Dizajn Memorijskog Sustava Agenta: Implementacija Kratkoročne i Dugoročne Memorije

Ovaj članak istražuje dizajn memorijskog sustava Agenta, dijeleći ga na dvije razine: kratkoročnu i dugoročnu memoriju, te detaljno opisuje njihove implementacijske sheme i važne napomene.

Okvir i ključne točke:

1. Opći principi dizajna: Podijeliti memorijski sustav Agenta u dvije razine:

   • Kratkoročna memorija: Služi za trenutnu sesiju, kontrolira duljinu konteksta tehničkim sredstvima, dok održava semantičku koherentnost.
   • Dugoročna memorija: Služi za međusesijske scenarije, dohvaća relevantne memorije iz povijesnih informacija po potrebi putem mehanizma pretraživanja.

2. Dvije glavne sheme za kratkoročnu memoriju:

   • Fiksno odsijecanje prozora: Zadržava samo posljednjih N rundi dijaloga ili tokena, a ostatak se odbacuje. Prednosti su jednostavna implementacija, niski troškovi i stabilna duljina, pogodno za ležerne razgovore ili jednostavne korisničke službe; nedostatak je mogućnost gubitka ranih ključnih informacija zbog "jednog rezanja", što dovodi do "gubitka pamćenja" Agenta.
   • Klizni sažetak: Kada povijest dijaloga prijeti premašiti prozor, rani dijalog se sažima u kraći sažetak koji zamjenjuje originalni zapis. Prednosti su kompresija duljine uz zadržavanje visokovrijednih informacija poput ciljeva zadatka i zahtjeva stila, te ublažavanje slabljenja pažnje uzrokovanog dugim kontekstom, pogodnije za duge zadatke poput planiranja projekata ili dugotrajnog stvaranja; cijena su dodatni pozivi modela, a kvaliteta sažetka izravno utječe na naknadne rezultate.

3. Shema izgradnje dugoročne memorije: Opća shema korištenja vektorske baze podataka za izgradnju baze znanja.

   • Ključna ideja: Pretvoriti prošle dijaloge u pretražive memorijske fragmente, koji se dohvaćaju po relevantnosti kada je potrebno.
   • Ključni trostupanjski proces:
     • Pohrana: Vektorizirati dijalog i pohraniti ga zajedno s originalnim tekstom u dugoročnu memoriju.
     • Pretraživanje: Izvršiti pretraživanje sličnosti na temelju novog pitanja korisnika.
     • Kombinacija: Unijeti najrelevantnije povijesne fragmente zajedno s trenutnim pitanjem u model.
   • Prednosti: Probija ograničenje kontekstnog prozora, omogućujući precizno dohvaćanje relevantnih informacija iz ogromne povijesti, što je osnova za izgradnju dugoročnih interaktivnih sustava poput personaliziranih asistenata ili korporativnih baza znanja.
   • Nedostaci: Visoka složenost sustava, zahtijeva uvođenje Embedding modela, vektorske baze podataka i cjelokupne logike pretraživanja.

4. Važna razmatranja u praksi:

   • Kriteriji za upisivanje memorije: Ne bi trebalo pohranjivati sav sadržaj prema zadanim postavkama, već postaviti uvjete za pristup dugoročnoj memoriji, npr. pohranjivati samo dugoročne preferencije korisnika, ključne ciljeve zadatka, potvrđene važne činjenice i ponovno upotrebljive zaključke.
   • Upravljanje memorijom: Naglašava se da je memorija dinamički podatkovni resurs koji zahtijeva redovito čišćenje, spajanje, ažuriranje i provjeru činjenica, te pružanje sučelja za upravljanje korisnicima kako bi se osigurao stabilan rad dugoročnog memorijskog sustava.