Agent Geheugensysteem Ontwerp: Implementatie van Korte- en Lange Termijn Geheugen

Dit artikel bespreekt het ontwerp van het geheugensysteem van een Agent, verdeeld in twee lagen: kortetermijngeheugen en langetermijngeheugen, en beschrijft gedetailleerd de respectievelijke implementatieoplossingen en aandachtspunten.

Kader en Kernpunten:

1. Algemene Ontwerpprincipes: Het geheugensysteem van de Agent wordt opgesplitst in twee lagen:

   • Kortetermijngeheugen: Dient voor de huidige sessie, beheert de contextlengte via technische middelen terwijl semantische samenhang behouden blijft.
   • Langetermijngeheugen: Dient voor cross-sessie scenario's, haalt via een retrievalsysteem relevante herinneringen uit historische informatie op.

2. Twee Hoofdoplossingen voor Kortetermijngeheugen:

   • Vast Venster Afkappen: Alleen de laatste N gespreksrondes of tokens worden bewaard, de rest wordt weggegooid. Voordelen zijn eenvoudige implementatie, lage kosten en stabiele lengte, geschikt voor casual gesprekken of eenvoudige klantenservice; nadeel is dat vroege kritieke informatie verloren kan gaan door een "one-size-fits-all" aanpak, wat leidt tot "geheugenverlies" van de Agent.
   • Rollende Samenvatting: Wanneer de gespreksgeschiedenis het venster dreigt te overschrijden, wordt de vroege dialoog samengevat in een kortere samenvatting ter vervanging van de originele tekst. Voordelen zijn dat het de lengte comprimeert terwijl waardevolle informatie zoals taakdoelen en stijlvereisten behouden blijft, en dat het de aandachtsverdunning bij lange contexten vermindert. Het is geschikter voor lange taken zoals projectplanning en lange creaties; de kosten zijn extra modelaanroepen en de kwaliteit van de samenvatting beïnvloedt de verdere prestaties.

3. Bouw van Langetermijngeheugen: Algemene oplossing met behulp van een vector database voor het bouwen van een kennisbank.

   • Kernidee: Verwerk eerdere gesprekken tot ophaalbare geheugenfragmenten, roep ze op basis van relevantie op wanneer nodig.
   • Drie Belangrijke Stappen:
     • Opslag: Vectoriseer de dialoog en sla deze samen met de originele tekst op in de langetermijngeheugenbank.
     • Retrieval: Voer een gelijkeniszoekopdracht uit op basis van de nieuwe vraag van de gebruiker.
     • Combinatie: Voer de meest relevante historische fragmenten samen met de huidige vraag in het model in.
   • Voordelen: Doorbreekt de beperking van het contextvenster, kan nauwkeurig relevante informatie uit enorme hoeveelheden geschiedenis halen, en vormt de basis voor langdurige interactiesystemen zoals gepersonaliseerde assistenten en bedrijfskennisbanken.
   • Nadelen: Hoge systeemcomplexiteit, vereist introductie van Embedding-modellen, vector databases en de volledige retrievallogica.

4. Belangrijke Overwegingen in de Praktijk:

   • Richtlijnen voor Geheugenopslag: Niet standaard alle inhoud opslaan, maar toegangsvoorwaarden instellen voor langetermijngeheugen, zoals alleen langdurige gebruikersvoorkeuren, kerntaakdoelen, bevestigde belangrijke feiten en herbruikbare conclusies opslaan.
   • Geheugenbeheer: Benadruk dat geheugen een dynamisch data-actief is, dat regelmatig moet worden opgeschoond, samengevoegd, bijgewerkt en feitelijk geverifieerd, en dat gebruikers een beheerinterface moeten krijgen om de stabiele werking van het langetermijngeheugensysteem te waarborgen.