Проектування системи пам'яті агента: реалізація короткочасної та довгострокової пам'яті

У цій статті розглядається проектування системи пам'яті агента, яка поділяється на два рівні: короткочасна та довгострокова пам'ять, а також детально описуються відповідні схеми реалізації та важливі моменти.

Структура та основні ідеї:

1. Загальні принципи проектування: Розділіть систему пам'яті агента на два рівні:

   • Короткочасна пам'ять: Обслуговує поточний сеанс, контролюючи довжину контексту за допомогою технічних засобів, зберігаючи при цьому семантичну зв'язність.
   • Довгострокова пам'ять: Обслуговує міжсеансові сценарії, використовуючи механізм пошуку для вилучення відповідних спогадів з історичної інформації за потребою.

2. Дві основні схеми короткочасної пам'яті:

   • Відсікання фіксованим вікном: Зберігаються лише останні N раундів діалогу або токенів, все, що виходить за межі, відкидається. Переваги: проста реалізація, низька вартість, стабільна довжина, підходить для випадкових розмов або простих сценаріїв обслуговування клієнтів; недоліки: через "однаковий підхід" може бути втрачена ключова інформація з ранніх етапів, що призводить до "втрати пам'яті" агента.
   • Прокручуване резюме: Коли історія діалогу ось-ось вийде за межі вікна, ранній вміст діалогу узагальнюється в коротше резюме, яке замінює оригінальний запис. Переваги: дозволяє стиснути довжину, зберігаючи при цьому високоцінну інформацію, таку як цілі завдання, вимоги до стилю, і пом'якшує розрідження уваги при довгому контексті, краще підходить для довгих завдань, таких як планування проектів або створення довгих текстів; недоліки: потребує додаткових викликів моделі, а якість резюме безпосередньо впливає на подальші результати.

3. Схема побудови довгострокової пам'яті: Загальна схема використання векторної бази даних для створення бази знань.

   • Основна ідея: Перетворити минулі діалоги на фрагменти пам'яті, які можна шукати, і викликати їх за релевантністю, коли це необхідно.
   • Ключовий трикроковий процес:
     • Зберігання: Векторизувати діалог і зберегти разом з оригінальним текстом у сховищі довгострокової пам'яті.
     • Пошук: Виконати пошук за схожістю на основі нового запиту користувача.
     • Комбінування: Надати моделі найбільш релевантні історичні фрагменти разом із поточним запитом.
   • Переваги: Виходить за межі обмежень контекстного вікна, дозволяючи точно вилучати відповідну інформацію з величезної історії, що є основою для побудови довгострокових інтерактивних систем, таких як персоналізовані помічники або корпоративні бази знань.
   • Недоліки: Висока складність системи, потребує впровадження моделі Embedding, векторної бази даних та повної логіки пошуку.

4. Важливі міркування на практиці:

   • Критерії запису пам'яті: Не слід за замовчуванням зберігати весь вміст; натомість слід встановити умови допуску для довгострокової пам'яті, наприклад, записувати лише довгострокові вподобання користувача, основні цілі завдання, підтверджені важливі факти та повторно використовувані висновки.
   • Управління пам'яттю: Підкреслюється, що пам'ять є динамічним активом даних, який потребує регулярного очищення, об'єднання, оновлення та перевірки фактів, а також надання користувачеві інтерфейсу управління для забезпечення стабільної роботи системи довгострокової пам'яті.