Проектиране на система за памет на Агент: Реализация на краткосрочна и дългосрочна памет

Тази статия разглежда проектирането на система за памет на Агент, разделяйки я на две нива – краткосрочна и дългосрочна памет, и представя подробно съответните реализации и съображения.

Рамка и основни идеи:

1. Общ принцип на проектиране: Разделяне на системата за памет на Агента на две нива:

   • Краткосрочна памет: Обслужва текущата сесия, като чрез технически средства се контролира дължината на контекста, като същевременно се поддържа семантична свързаност.
   • Дългосрочна памет: Обслужва междусесийни сценарии, като чрез механизъм за извличане се извличат подходящи спомени от историческа информация при необходимост.

2. Два основни подхода за краткосрочна памет:

   • Фиксирано прекъсване на прозореца: Запазване само на последните N диалога или токени, като останалите се изхвърлят. Предимства: проста реализация, ниски разходи, стабилна дължина, подходяща за непринудени разговори или прости сценарии за обслужване на клиенти; недостатъци: възможна загуба на ключова ранна информация поради „еднакъв подход“, водеща до „забравяне“ на Агента.
   • Превъртащо резюме: Когато историята на диалога е на път да надхвърли прозореца, ранното съдържание на диалога се обобщава в по-кратко резюме, което замества оригиналния запис. Предимства: компресира дължината, като същевременно запазва ценна информация като цели на задачата, изисквания за стил и намалява разреждането на вниманието при дълъг контекст, по-подходящо за дълги задачи като планиране на проекти, дълги текстове; недостатъци: изисква допълнителни извиквания на модела, а качеството на резюмето пряко влияе на последващите резултати.

3. Подход за изграждане на дългосрочна памет: Общ подход за изграждане на база от знания с помощта на векторна база данни.

   • Основна идея: Обработване на минали диалози в извличаеми фрагменти от паметта, които се извличат по релевантност при необходимост.
   • Ключов триетапен процес:
     • Съхранение: Векторизиране на диалога и съхраняване заедно с оригинала в хранилището за дългосрочна памет.
     • Извличане: Извършване на търсене по сходство според новия въпрос на потребителя.
     • Комбиниране: Подаване на най-релевантните исторически фрагменти заедно с текущия въпрос на модела.
   • Предимства: Преодолява ограниченията на контекстния прозорец, като може точно да извлече подходяща информация от огромно количество история, основа за изграждане на дългосрочни интерактивни системи като персонализирани асистенти, корпоративни бази от знания.
   • Недостатъци: Висока сложност на системата, изисква въвеждане на Embedding модел, векторна база данни и цялата логика за извличане.

4. Важни съображения в практиката:

   • Критерии за запис в паметта: Не трябва да се записва всичко по подразбиране, а да се зададат условия за достъп до дългосрочната памет, например да се записват само дългосрочни предпочитания на потребителя, основни цели на задачата, потвърдени важни факти и възпроизводими заключения.
   • Управление на паметта: Подчертава се, че паметта е динамичен актив от данни, който трябва редовно да се почиства, обединява, актуализира и проверява за факти, както и да се предоставя интерфейс за управление на потребителя, за да се гарантира стабилната работа на системата за дългосрочна памет.