Disseny del Sistema de Memòria de l'Agent: Solucions per a la Memòria a Curt i Llarg Termini

Aquest article explora el disseny del sistema de memòria de l'Agent, dividint-lo en dos nivells: memòria a curt termini i memòria a llarg termini, i detalla les seves respectives solucions i consideracions.

Marc i idees clau:

1. Principis generals de disseny: Dividir el sistema de memòria de l'Agent en dues capes:

   • Memòria a curt termini: Serveix per a la sessió actual, controlant la longitud del context mitjançant tècniques, tot mantenint la coherència semàntica.
   • Memòria a llarg termini: Serveix per a escenaris entre sessions, recuperant memòries rellevants de la informació històrica sota demanda mitjançant mecanismes de cerca.

2. Dues solucions principals per a la memòria a curt termini:

   • Truncament per finestra fixa: Només es conserven les últimes N rondes de diàleg o tokens, descartant la resta. Avantatges: implementació senzilla, baix cost, longitud estable, adequat per a xerrades informals o servei al client simple; desavantatges: pot perdre informació clau primerenca a causa del "tall uniforme", provocant que l'Agent "perdi la memòria".
   • Resum dinàmic: Quan l'historial de diàleg està a punt de superar la finestra, es resumeix el contingut de les primeres converses en un resum més curt per substituir el registre original. Avantatges: permet comprimir la longitud tot conservant informació d'alt valor com objectius de la tasca, requisits d'estil, i alleuja la dilució de l'atenció en contextos llargs, més adequat per a tasques llargues com planificació de projectes o creació de contingut extens; cost: requereix crides addicionals al model, i la qualitat del resum afecta directament el resultat posterior.

3. Construcció de la memòria a llarg termini: Solució general mitjançant bases de dades vectorials.

   • Idea central: Processar converses passades en fragments de memòria recuperables, i recuperar-los per rellevància quan sigui necessari.
   • Procés clau en tres passos:
     • Emmagatzematge: Vectoritzar la conversa i emmagatzemar-la juntament amb el text original a la memòria a llarg termini.
     • Recuperació: Realitzar una cerca per similitud basada en la nova pregunta de l'usuari.
     • Combinació: Introduir els fragments històrics més rellevants juntament amb la pregunta actual al model.
   • Avantatges: Supera les limitacions de la finestra de context, permetent extreure informació rellevant d'un gran volum d'historial, base per construir assistents personalitzats, bases de coneixement empresarials i altres sistemes d'interacció a llarg termini.
   • Desavantatges: Alta complexitat del sistema, requereix introduir models d'Embedding, bases de dades vectorials i tota la lògica de recuperació.

4. Consideracions importants a la pràctica:

   • Criteris d'escriptura de memòria: No s'ha d'emmagatzemar tot per defecte, sinó establir condicions d'accés per a la memòria a llarg termini, com ara només escriure preferències d'usuari a llarg termini, objectius de tasques principals, fets importants confirmats i conclusions reutilitzables.
   • Governança de la memòria: Emfatitzar que la memòria és un actiu de dades dinàmic, que requereix neteja, fusió, actualització i verificació de fets periòdics, i proporcionar interfícies de gestió per a l'usuari, per garantir el funcionament estable del sistema de memòria a llarg termini.