Agentin muistijärjestelmän suunnittelu: lyhyt- ja pitkäaikaisen muistin toteutusratkaisut

Tässä artikkelissa tarkastellaan agentin muistijärjestelmän suunnittelua, joka jaetaan kahteen tasoon: lyhytaikainen muisti ja pitkäaikainen muisti. Lisäksi esitellään yksityiskohtaisesti kunkin toteutusratkaisut ja huomioitavat seikat.

Kehys ja keskeiset näkökulmat:

1. Yleiset suunnitteluperiaatteet: Agentin muistijärjestelmä jaetaan kahteen kerrokseen:

   • Lyhytaikainen muisti: Palvelee nykyistä keskustelua, hallitsee kontekstin pituutta teknisin keinoin säilyttäen samalla semanttisen johdonmukaisuuden.
   • Pitkäaikainen muisti: Palvelee keskustelujen välisiä tilanteita, hakee tarvittaessa asiaankuuluvaa muistia historiatiedoista hakumekanismin avulla.

2. Kaksi pääasiallista ratkaisua lyhytaikaiselle muistille:

   • Kiinteä ikkunakatkaisu: Säilytetään vain viimeisimmät N keskustelukierrosta tai tokenia, ylimääräinen osa hylätään suoraan. Etuja ovat yksinkertainen toteutus, alhaiset kustannukset ja vakaa pituus; sopii rupatteluun tai yksinkertaiseen asiakaspalveluun. Haittapuolena on, että varhaiset keskeiset tiedot saattavat kadota "yksi koko sopii kaikille" -periaatteella, mikä johtaa agentin "muistinmenetykseen".
   • Rullaava yhteenveto: Kun keskusteluhistoria on ylittämässä ikkunan, varhaiset keskustelut tiivistetään lyhyemmäksi yhteenvedoksi, joka korvaa alkuperäisen tallenteen. Etuja ovat pituuden pakkaaminen samalla, kun korkean arvon tiedot, kuten tehtävän tavoitteet ja tyylivaatimukset, säilyvät, ja pitkän kontekstin aiheuttaman huomion laimenemisen lieventäminen; sopii paremmin pitkiin tehtäviin, kuten projektisuunnitteluun ja pitkien tekstien luomiseen. Haittapuolena on lisämallikutsujen tarve, ja yhteenvedon laatu vaikuttaa suoraan myöhempään suorituskykyyn.

3. Pitkäaikaisen muistin rakentamisratkaisu: Yleinen ratkaisu tietokannan rakentamiseen vektoritietokannan avulla.

   • Keskeinen ajatus: Aiemmat keskustelut käsitellään haettaviksi muistifragmenteiksi, jotka palautetaan tarpeen mukaan relevanssin perusteella.
   • Keskeinen kolmivaiheinen prosessi:
     • Tallennus: Keskustelut vektorisoidaan ja tallennetaan yhdessä alkuperäisen tekstin kanssa pitkäaikaiseen muistivarastoon.
     • Haku: Suoritetaan samankaltaisuushaku käyttäjän uuden kysymyksen perusteella.
     • Yhdistäminen: Relevanteimmat historialliset fragmentit syötetään mallille yhdessä nykyisen kysymyksen kanssa.
   • Edut: Ylittää konteksti-ikkunan rajoitukset, mahdollistaa tarkkaan asiaankuuluvan tiedon hakemisen valtavasta historiasta; on perusta pitkäaikaisille vuorovaikutusjärjestelmille, kuten henkilökohtaisille avustajille ja yritysten tietokannoille.
   • Haitat: Järjestelmän monimutkaisuus on korkea; vaatii upotusmallin, vektoritietokannan ja koko hakulogiikan käyttöönoton.

4. Käytännön tärkeitä huomioita:

   • Muistin kirjoituskriteerit: Kaikkea sisältöä ei tulisi tallentaa oletuksena; pitkäaikaiselle muistille tulisi asettaa pääsyehdot, kuten tallentaa vain pitkäaikaiset käyttäjän mieltymykset, keskeiset tehtävätavoitteet, vahvistetut tärkeät faktat ja uudelleenkäytettävät päätelmät.
   • Muistinhallinta: Korostetaan, että muisti on dynaaminen dataresurssi, jota on säännöllisesti puhdistettava, yhdistettävä, päivitettävä ja tosiasiat tarkistettava, ja käyttäjille on tarjottava hallintaliittymä pitkäaikaisen muistijärjestelmän vakauden varmistamiseksi.