Návrh pamäťového systému agenta: Implementácia krátkodobej a dlhodobej pamäte

Tento článok skúma návrh pamäťového systému agenta, rozdeľuje ho na dve úrovne – krátkodobú a dlhodobú pamäť – a podrobne opisuje ich implementačné riešenia a dôležité aspekty.

Rámec a kľúčové myšlienky:

1. Všeobecné princípy návrhu: Rozdelenie pamäťového systému agenta na dve vrstvy:

   • Krátkodobá pamäť: Slúži pre aktuálnu konverzáciu, riadi dĺžku kontextu pomocou technických prostriedkov pri zachovaní sémantickej súvislosti.
   • Dlhodobá pamäť: Slúži pre medzirelacné scenáre, pomocou vyhľadávacieho mechanizmu získava relevantné spomienky z historických informácií podľa potreby.

2. Dve hlavné riešenia pre krátkodobú pamäť:

   • Orezanie pevným oknom: Zachováva iba posledných N kôl konverzácie alebo tokenov, zvyšok sa zahodí. Výhody: jednoduchá implementácia, nízke náklady, stabilná dĺžka, vhodné pre bežné konverzácie alebo jednoduchú zákaznícku podporu; nevýhody: môže stratiť kľúčové informácie z úvodu kvôli „jednotnému rezu“, čo vedie k „strate pamäte“ agenta.
   • Rolovacie sumarizácie: Keď história konverzácie presahuje okno, skoršia časť sa zhrnie do kratšieho súhrnu, ktorý nahradí pôvodné záznamy. Výhody: komprimuje dĺžku pri zachovaní vysoko hodnotných informácií, ako sú ciele úlohy a požiadavky na štýl, a zmierňuje rozptýlenie pozornosti pri dlhom kontexte, vhodnejšie pre dlhé úlohy, ako je plánovanie projektov alebo tvorba dlhých textov; nevýhody: vyžaduje dodatočné volanie modelu a kvalita súhrnu priamo ovplyvňuje následné výsledky.

3. Riešenie pre dlhodobú pamäť: Všeobecné riešenie pomocou vektorovej databázy na vytvorenie znalostnej bázy.

   • Hlavná myšlienka: Spracovať minulé konverzácie na vyhľadateľné pamäťové segmenty a podľa potreby ich vyvolať na základe relevantnosti.
   • Kľúčový trojkrokový proces:
     • Uloženie: Vektorizovať konverzáciu a uložiť ju spolu s pôvodným textom do databázy dlhodobej pamäte.
     • Vyhľadávanie: Na základe novej otázky používateľa vyhľadať podobnosť.
     • Kombinácia: Najrelevantnejšie historické segmenty vložiť spolu s aktuálnou otázkou do modelu.
   • Výhody: Prekonáva obmedzenia kontextového okna, umožňuje presné získavanie relevantných informácií z rozsiahlej histórie, čo je základom pre dlhodobé interaktívne systémy, ako sú personalizovaní asistenti a podnikové znalostné bázy.
   • Nevýhody: Vysoká zložitosť systému, vyžaduje zavedenie Embedding modelu, vektorovej databázy a celej logiky vyhľadávania.

4. Dôležité úvahy v praxi:

   • Pravidlá zápisu pamäte: Nemalo by sa ukladať všetko; pre dlhodobú pamäť je potrebné nastaviť podmienky prístupu, napríklad ukladať len dlhodobé preferencie používateľa, hlavné ciele úloh, potvrdené dôležité fakty a opakovane použiteľné závery.
   • Správa pamäte: Pamäť je dynamické dátové aktívum, ktoré si vyžaduje pravidelné čistenie, zlučovanie, aktualizáciu a overovanie faktov, a poskytnutie rozhrania pre používateľa na správu, aby sa zabezpečila stabilná prevádzka systému dlhodobej pamäte.