Disenyo ng Memory System ng Agent: Mga Solusyon para sa Panandalian at Pangmatagalang Memorya

Tinatalakay ng artikulong ito ang disenyo ng memory system ng Agent, na hinahati sa dalawang antas: panandalian at pangmatagalang memorya, at detalyadong ipinapaliwanag ang kani-kanilang mga solusyon at mahahalagang konsiderasyon.

Balangkas at Pangunahing Pananaw:

1. Pangkalahatang Prinsipyo ng Disenyo: Hatiin ang memory system ng Agent sa dalawang antas:

   • Panandaliang Memorya: Nagsisilbi sa kasalukuyang sesyon, kinokontrol ang haba ng konteksto sa pamamagitan ng teknikal na paraan habang pinapanatili ang semantikong pagkakaugnay.
   • Pangmatagalang Memorya: Nagsisilbi sa mga sitwasyong cross-session, kumukuha ng may-katuturang memorya mula sa makasaysayang impormasyon ayon sa pangangailangan sa pamamagitan ng retrieval mechanism.

2. Dalawang Pangunahing Solusyon para sa Panandaliang Memorya:

   • Fixed Window Truncation: Panatilihin lamang ang huling N rounds ng diyalogo o tokens, itapon ang labis. Bentahe: simple implementasyon, mababang gastos, matatag na haba, angkop para sa chat o simpleng customer service; Disbentahe: maaaring mawala ang mahalagang impormasyon sa simula dahil sa "one-size-fits-all", na nagdudulot ng "pagkalimot" ng Agent.
   • Rolling Summary: Kapag malapit nang lumampas ang kasaysayan ng diyalogo sa window, i-summarize ang naunang diyalogo sa isang mas maikling buod upang palitan ang orihinal na tala. Bentahe: napapanatili ang mahalagang impormasyon tulad ng layunin ng gawain at istilo habang pinipiga ang haba, at pinapagaan ang attention dilution na dulot ng mahabang konteksto, mas angkop para sa mahabang gawain tulad ng pagpaplano ng proyekto at mahabang pagsulat; Gastos: nangangailangan ng karagdagang tawag sa modelo, at ang kalidad ng buod ay direktang nakakaapekto sa susunod na resulta.

3. Solusyon para sa Pagbuo ng Pangmatagalang Memorya: Gamitin ang vector database upang bumuo ng knowledge base.

   • Pangunahing Ideya: Iproseso ang nakaraang diyalogo sa mga retrievable memory fragment, at kunin ang mga ito ayon sa kaugnayan kapag kinakailangan.
   • Tatlong Pangunahing Hakbang:
     • Pag-iimbak: I-vectorize ang diyalogo, at iimbak kasama ng orihinal na teksto sa pangmatagalang memory bank.
     • Pagkuha: Magsagawa ng similarity search batay sa bagong tanong ng user.
     • Pagsasama: I-input ang pinaka-kaugnay na makasaysayang fragment kasama ng kasalukuyang tanong sa modelo.
   • Bentahe: Lumalampas sa limitasyon ng konteksto window, tumpak na kumukuha ng may-katuturang impormasyon mula sa malawak na kasaysayan, pundasyon para sa pagbuo ng personalized na assistant, enterprise knowledge base, at iba pang pangmatagalang interactive system.
   • Disbentahe: Mataas na kumplikasyon ng sistema, nangangailangan ng pagpapakilala ng Embedding model, vector database, at buong retrieval logic.

4. Mahahalagang Konsiderasyon sa Praktika:

   • Pamantayan sa Pagsusulat ng Memorya: Hindi dapat iimbak ang lahat ng nilalaman bilang default; sa halip, magtakda ng admission criteria para sa pangmatagalang memorya, tulad ng pag-iimbak lamang ng pangmatagalang kagustuhan ng user, pangunahing layunin ng gawain, nakumpirmang mahahalagang katotohanan, at magagamit muli na konklusyon.
   • Pamamahala ng Memorya: Bigyang-diin na ang memorya ay isang dinamikong asset ng datos, dapat regular na linisin, pagsamahin, i-update, at i-verify ang katotohanan, at magbigay ng interface ng pamamahala para sa user upang matiyak ang matatag na operasyon ng pangmatagalang memory system.