Progettazione del Sistema di Memoria per Agenti: Soluzioni per Memoria a Breve e Lungo Termine

Questo articolo esplora la progettazione del sistema di memoria per agenti, suddividendolo in due livelli: memoria a breve termine e memoria a lungo termine, e descrive in dettaglio le rispettive soluzioni e considerazioni.

Quadro e punti chiave:

1. Principio di progettazione generale: Suddividere il sistema di memoria dell'agente in due livelli:

   • Memoria a breve termine: Serve la sessione corrente, controllando la lunghezza del contesto tramite mezzi tecnici, mantenendo al contempo la coerenza semantica.
   • Memoria a lungo termine: Serve scenari cross-sessione, estraendo su richiesta ricordi rilevanti dalle informazioni storiche tramite un meccanismo di recupero.

2. Due principali soluzioni per la memoria a breve termine:

   • Troncamento a finestra fissa: Mantiene solo gli ultimi N turni di dialogo o token, scartando il resto. Vantaggi: semplice da implementare, a basso costo, lunghezza stabile, adatto per chat informali o semplici scenari di assistenza clienti; svantaggi: può perdere informazioni chiave precoci a causa del "taglio netto", portando l'agente a "perdere memoria".
   • Riassunto scorrevole: Quando la cronologia del dialogo sta per superare la finestra, riassume le parti iniziali in un riepilogo più breve per sostituire i record originali. Vantaggi: comprime la lunghezza preservando informazioni di alto valore come obiettivi del compito e requisiti di stile, alleviando la diluizione dell'attenzione in contesti lunghi, più adatto per compiti lunghi come pianificazione di progetti o scrittura estesa; costo: richiede chiamate aggiuntive al modello e la qualità del riepilogo influisce direttamente sui risultati successivi.

3. Soluzione per la costruzione della memoria a lungo termine: Schema generale che utilizza un database vettoriale per costruire una knowledge base.

   • Idea centrale: Elaborare i dialoghi passati in frammenti di memoria recuperabili, richiamandoli per rilevanza quando necessario.
   • Processo chiave in tre fasi:
     • Archiviazione: Vettorizzare il dialogo e memorizzarlo insieme al testo originale nel database di memoria a lungo termine.
     • Recupero: Eseguire una ricerca per similarità in base alla nuova domanda dell'utente.
     • Combinazione: Inserire i frammenti storici più rilevanti insieme alla domanda corrente nel modello.
   • Vantaggi: Supera i limiti della finestra di contesto, estraendo con precisione informazioni rilevanti da un'enorme quantità di storia, fondamentale per costruire assistenti personalizzati, knowledge base aziendali e altri sistemi di interazione a lungo termine.
   • Svantaggi: Elevata complessità del sistema, richiede l'introduzione di modelli di embedding, database vettoriali e l'intera logica di recupero.

4. Considerazioni importanti nella pratica:

   • Criteri di scrittura della memoria: Non archiviare tutto per impostazione predefinita, ma impostare condizioni di ammissione per la memoria a lungo termine, ad esempio scrivere solo preferenze utente a lungo termine, obiettivi principali del compito, fatti importanti confermati e conclusioni riutilizzabili.
   • Governance della memoria: Sottolineare che la memoria è un asset di dati dinamico, che richiede pulizia, unione, aggiornamento e verifica dei fatti regolari, e fornire interfacce di gestione per gli utenti, al fine di garantire il funzionamento stabile del sistema di memoria a lungo termine.