Agent-minnessystemdesign: Implementering av korttids- och långtidsminne

Denna artikel utforskar designen av Agent-minnessystem, uppdelat i två nivåer: korttidsminne och långtidsminne, och beskriver i detalj deras respektive implementeringslösningar och överväganden.

Ramverk och kärnidéer:

1. Övergripande designprinciper: Dela upp Agentens minnessystem i två lager:

   • Korttidsminne: Tjänar den aktuella sessionen, kontrollerar kontextlängden genom tekniska medel samtidigt som semantisk koherens bibehålls.
   • Långtidsminne: Tjänar scenarier över flera sessioner, hämtar relevanta minnen från historisk information efter behov via en sökmekanism.

2. Två huvudsakliga lösningar för korttidsminne:

   • Fast fönsteravskärning: Behåll endast de senaste N samtalsomgångarna eller token, resten kastas direkt. Fördelar: enkel implementering, låg kostnad, stabil längd, lämplig för småprat eller enkel kundtjänst; nackdelar: risk att förlora tidig viktig information på grund av "en storlek passar alla", vilket leder till att Agenten "tappar minnet".
   • Rullande sammanfattning: När samtalshistoriken är på väg att överskrida fönstret, sammanfatta tidigare konversationer till en kortare sammanfattning för att ersätta originalposten. Fördelar: kan komprimera längden samtidigt som högt värderad information som uppgiftsmål och stilpreferenser bevaras, och minskar uppmärksamhetsutspädning vid långa kontexter, mer lämplig för långa uppgifter som projektplanering och långa texter; kostnad: kräver extra modellanrop, och sammanfattningens kvalitet påverkar direkt efterföljande resultat.

3. Bygglösning för långtidsminne: Allmän lösning med vektordatabas för att bygga kunskapsbas.

   • Kärnidé: Bearbeta tidigare konversationer till sökbara minnesfragment, återkalla efter relevans vid behov.
   • Nyckelprocess i tre steg:
     • Lagring: Vektorisera konversationen och lagra tillsammans med originaltexten i långtidsminnesbanken.
     • Sökning: Utför likhetssökning baserat på användarens nya fråga.
     • Kombination: Mata in de mest relevanta historiska fragmenten tillsammans med den aktuella frågan till modellen.
   • Fördelar: Bryter begränsningen av kontextfönstret, kan exakt extrahera relevant information från enorma historiska data, grunden för att bygga långsiktiga interaktionssystem som personliga assistenter och företagskunskapsbaser.
   • Nackdelar: Hög systemkomplexitet, kräver introduktion av inbäddningsmodell, vektordatabas och hela söklogiken.

4. Viktiga överväganden i praktiken:

   • Minnesinmatningskriterier: Bör inte lagra allt som standard, utan sätt upp behörighetsvillkor för långtidsminne, t.ex. endast lagra långsiktiga användarpreferenser, kärnuppgiftsmål, bekräftade viktiga fakta och återanvändbara slutsatser.
   • Minnesförvaltning: Betona att minne är en dynamisk datatillgång som måste regelbundet rensas, slås samman, uppdateras och faktakontrolleras, samt tillhandahålla hanteringsgränssnitt för användare för att säkerställa stabil drift av långtidsminnessystemet.