Návrh paměťového systému agenta: Implementace krátkodobé a dlouhodobé paměti

Tento článek se zabývá návrhem paměťového systému agenta, který rozděluje na dvě úrovně – krátkodobou a dlouhodobou paměť – a podrobně popisuje jejich implementační řešení a důležité aspekty.

Rámec a hlavní myšlenky:

1. Obecné principy návrhu: Paměťový systém agenta je rozdělen do dvou vrstev:

   • Krátkodobá paměť: Slouží aktuální konverzaci, pomocí technických prostředků řídí délku kontextu a zároveň udržuje sémantickou soudržnost.
   • Dlouhodobá paměť: Slouží pro scénáře napříč konverzacemi, pomocí vyhledávacích mechanismů získává relevantní vzpomínky z historických informací podle potřeby.

2. Dvě hlavní řešení krátkodobé paměti:

   • Oříznutí pevným oknem: Uchovává pouze posledních N kol konverzace nebo tokenů, zbytek je zahozen. Výhody: jednoduchá implementace, nízké náklady, stabilní délka, vhodné pro neformální konverzaci nebo jednoduchou zákaznickou podporu; nevýhody: může kvůli „jednomu řezu“ ztratit důležité informace z počátku, což vede k „amnézii“ agenta.
   • Rolovací shrnutí: Když se historie konverzace blíží limitu okna, je obsah starší části konverzace shrnut do kratšího souhrnu, který nahradí původní záznam. Výhody: umožňuje komprimovat délku při zachování vysoce hodnotných informací, jako jsou cíle úkolu nebo stylové požadavky, a zmírňuje rozptýlení pozornosti u dlouhých kontextů; je vhodnější pro dlouhé úkoly, jako je plánování projektů nebo tvorba dlouhých textů; nevýhody: vyžaduje dodatečné volání modelu a kvalita shrnutí přímo ovlivňuje následné výsledky.

3. Řešení pro budování dlouhodobé paměti: Obecné řešení využívající vektorovou databázi k vytvoření znalostní báze.

   • Hlavní myšlenka: Zpracovat minulé konverzace na vyhledatelné paměťové segmenty, které jsou při potřebě vyvolány na základě relevance.
   • Klíčový tříkrokový proces:
     • Uložení: Konverzace je vektorizována a spolu s původním textem uložena do úložiště dlouhodobé paměti.
     • Vyhledávání: Na základě nové otázky uživatele je provedeno vyhledávání podobnosti.
     • Kombinace: Nejdůležitější historické segmenty jsou spolu s aktuální otázkou předány modelu.
   • Výhody: Překonává omezení kontextového okna a umožňuje přesně extrahovat relevantní informace z obrovského množství historie; je základem pro budování dlouhodobých interaktivních systémů, jako jsou personalizovaní asistenti nebo podnikové znalostní báze.
   • Nevýhody: Vysoká složitost systému, vyžaduje zavedení embedding modelu, vektorové databáze a celé vyhledávací logiky.

4. Důležité aspekty v praxi:

   • Pravidla pro zápis do paměti: Nemělo by se ukládat vše; pro dlouhodobou paměť je třeba nastavit podmínky pro vstup, například ukládat pouze dlouhodobé preference uživatele, hlavní cíle úkolu, potvrzená důležitá fakta a opakovaně použitelné závěry.
   • Správa paměti: Paměť je dynamické datové aktivum, které vyžaduje pravidelné čištění, slučování, aktualizaci a faktickou kontrolu; uživatelům by mělo být poskytnuto rozhraní pro správu, aby byla zajištěna stabilní funkce systému dlouhodobé paměti.