Дизајн система памћења агента: Имплементација краткорочног и дугорочног памћења

Овај чланак истражује дизајн система памћења агента, делећи га на два нивоа: краткорочно и дугорочно памћење, уз детаљан опис њихових имплементација и разматрања.

Оквир и кључне тачке:

1. Општи принципи дизајна: Систем памћења агента подељен је на два слоја:

   • Краткорочно памћење: Служи за тренутну сесију, контролише дужину контекста уз очување семантичке кохерентности.
   • Дугорочно памћење: Служи за међусесијске сценарије, користећи механизам претраге за издвајање релевантних сећања из историје.

2. Два главна приступа за краткорочно памћење:

   • Фиксно скраћивање прозора: Задржава само последњих N рунди дијалога или токена, а остатак се одбацује. Предности су једноставност, ниска цена и стабилна дужина, погодно за ћаскање или једноставне корисничке сервисе; недостатак је могући губитак раних кључних информација, што доводи до „амнезије“ агента.
   • Котрљајући резиме: Када историја дијалога премаши прозор, рани део се сажима у краћи резиме који замењује оригинал. Предности су очување високовредних информација попут циљева задатка и стилских захтева, ублажавање слабљења пажње услед дугог контекста, погодније за дуге задатке попут планирања пројеката или дугих текстова; цена је додатни позив модела, а квалитет резимеа директно утиче на даље резултате.

3. Изградња дугорочног памћења: Општи приступ коришћења векторске базе података.

   • Основна идеја: Претварање прошлих дијалога у претраживе сегменте памћења, који се призивају по потреби на основу релевантности.
   • Кључни трокорачни процес:
     • Складиштење: Векторизација дијалога и чување заједно са оригиналним текстом у дугорочној меморији.
     • Претрага: Претрага сличности на основу новог питања корисника.
     • Комбиновање: Унос најрелевантнијих историјских делова заједно са тренутним питањем моделу.
   • Предности: Превазилази ограничења контекстног прозора, омогућава прецизно издвајање информација из велике историје, основа за дугорочне интерактивне системе попут персонализованих асистената и корпоративних база знања.
   • Недостаци: Висока сложеност система, захтева увођење Embedding модела, векторске базе и целокупне логике претраге.

4. Важна практична разматрања:

   • Критеријуми за упис у памћење: Не треба подразумевано чувати сав садржај, већ поставити услове за пријем у дугорочно памћење, нпр. само дугорочне преференције корисника, кључне циљеве задатака, потврђене важне чињенице и поновљиве закључке.
   • Управљање памћењем: Памћење је динамички податак, захтева редовно чишћење, спајање, ажурирање и проверу чињеница, уз пружање корисничког интерфејса за управљање, како би се обезбедила стабилност дугорочног система памћења.