Проектирование системы памяти агента: реализация краткосрочной и долгосрочной памяти

В этой статье рассматривается проектирование системы памяти агента, разделенной на два уровня: краткосрочную и долгосрочную память, а также подробно описываются соответствующие схемы реализации и меры предосторожности.

Структура и основные идеи:

1. Общие принципы проектирования: Разделение системы памяти агента на два уровня:

   • Краткосрочная память: обслуживает текущий сеанс, контролирует длину контекста с помощью технических средств, сохраняя при этом семантическую связность.
   • Долгосрочная память: обслуживает межсеансовые сценарии, извлекает релевантные воспоминания из исторической информации по мере необходимости с помощью механизма поиска.

2. Два основных подхода к краткосрочной памяти:

   • Фиксированное окно усечения: сохраняются только последние N раундов диалога или токенов, все, что выходит за пределы, отбрасывается. Преимущества: простота реализации, низкая стоимость, стабильная длина, подходит для чатов или простых сценариев обслуживания клиентов; недостатки: возможна потеря ключевой информации на ранних этапах из-за "одного размера для всех", что приводит к "амнезии" агента.
   • Прокручиваемое резюме: когда история диалога вот-вот выйдет за пределы окна, ранние части диалога обобщаются в более короткое резюме, заменяющее исходную запись. Преимущества: позволяет сжимать длину, сохраняя при этом высокоценную информацию, такую как цели задачи, требования к стилю, и уменьшает размытие внимания из-за длинного контекста, лучше подходит для длительных задач, таких как планирование проектов, написание длинных текстов; недостатки: требуются дополнительные вызовы модели, и качество резюме напрямую влияет на последующие результаты.

3. Схема построения долгосрочной памяти: общая схема построения базы знаний с использованием векторной базы данных.

   • Основная идея: обработка прошлых диалогов в извлекаемые фрагменты памяти, которые при необходимости вызываются по релевантности.
   • Ключевой трехэтапный процесс:
     • Хранение: векторизация диалога и сохранение вместе с исходным текстом в хранилище долгосрочной памяти.
     • Поиск: поиск по сходству на основе нового вопроса пользователя.
     • Комбинация: передача наиболее релевантных исторических фрагментов вместе с текущим вопросом модели.
   • Преимущества: преодолевает ограничения окна контекста, позволяет точно извлекать релевантную информацию из огромного объема истории, является основой для построения долгосрочных интерактивных систем, таких как персонализированные ассистенты, корпоративные базы знаний.
   • Недостатки: высокая сложность системы, требуется внедрение модели эмбеддингов, векторной базы данных и полной логики поиска.

4. Важные соображения на практике:

   • Критерии записи в память: не следует по умолчанию сохранять все содержимое, необходимо установить условия допуска для долгосрочной памяти, например, записывать только долгосрочные предпочтения пользователя, основные цели задачи, подтвержденные важные факты и воспроизводимые выводы.
   • Управление памятью: подчеркивается, что память является динамическим цифровым активом, необходимо регулярно проводить очистку, объединение, обновление и проверку фактов, а также предоставлять пользователям интерфейс управления для обеспечения стабильной работы системы долгосрочной памяти.