Projektowanie systemu pamięci agenta: implementacja pamięci krótkoterminowej i długoterminowej

W tym artykule omówiono projektowanie systemu pamięci agenta, dzieląc go na dwa poziomy: pamięć krótkoterminową i długoterminową, oraz szczegółowo opisano odpowiednie schematy implementacji i kwestie do rozważenia.

Ramy i główne punkty widzenia są następujące:

1. Ogólne zasady projektowania: Podziel system pamięci agenta na dwie warstwy:

   • Pamięć krótkoterminowa: Obsługuje bieżącą sesję, kontroluje długość kontekstu za pomocą środków technicznych, zachowując jednocześnie spójność semantyczną.
   • Pamięć długoterminowa: Obsługuje scenariusze między sesjami, pobierając odpowiednie wspomnienia z historii na żądanie za pomocą mechanizmu wyszukiwania.

2. Dwa główne schematy pamięci krótkoterminowej:

   • Obcięcie stałego okna: Zachowaj tylko ostatnie N rund rozmowy lub tokenów, resztę odrzuć. Zalety: prosta implementacja, niski koszt, stabilna długość, odpowiednia do swobodnych rozmów lub prostych scenariuszy obsługi klienta; wady: może stracić wczesne kluczowe informacje z powodu „jednego cięcia”, prowadząc do „amnezji” agenta.
   • Podsumowanie przewijane: Gdy historia rozmowy ma przekroczyć okno, podsumuj wcześniejszą treść w krótsze podsumowanie, zastępując oryginalny zapis. Zalety: kompresuje długość, zachowując jednocześnie cenne informacje, takie jak cele zadania i preferencje stylu, oraz łagodzi rozproszenie uwagi spowodowane długim kontekstem, lepiej nadaje się do długich zadań, takich jak planowanie projektów i długie tworzenie; koszt: wymaga dodatkowych wywołań modelu, a jakość podsumowania bezpośrednio wpływa na późniejsze wyniki.

3. Schemat budowy pamięci długoterminowej: Wykorzystaj wektorową bazę danych do budowy ogólnego schematu bazy wiedzy.

   • Główna idea: Przetwarzaj przeszłe rozmowy na wyszukiwalne fragmenty pamięci, przywołując je na żądanie na podstawie trafności.
   • Kluczowy trzyetapowy proces:
     • Przechowywanie: Wektoryzuj rozmowę i przechowuj ją wraz z oryginalnym tekstem w pamięci długoterminowej.
     • Wyszukiwanie: Wykonaj wyszukiwanie podobieństwa na podstawie nowego pytania użytkownika.
     • Łączenie: Wprowadź najtrafniejsze fragmenty historii wraz z bieżącym pytaniem do modelu.
   • Zalety: Przekracza ograniczenia okna kontekstowego, umożliwiając precyzyjne wydobywanie odpowiednich informacji z ogromnej historii, co jest podstawą budowania długoterminowych systemów interakcyjnych, takich jak spersonalizowani asystenci i korporacyjne bazy wiedzy.
   • Wady: Wysoka złożoność systemu, wymaga wprowadzenia modelu osadzania, wektorowej bazy danych i całej logiki wyszukiwania.

4. Ważne kwestie w praktyce:

   • Zasady zapisu pamięci: Nie należy domyślnie przechowywać całej treści; zamiast tego ustaw warunki dostępu dla pamięci długoterminowej, na przykład zapisuj tylko długoterminowe preferencje użytkownika, główne cele zadania, potwierdzone ważne fakty i powtarzalne wnioski.
   • Zarządzanie pamięcią: Podkreśla, że pamięć jest dynamicznym zasobem danych, który wymaga regularnego czyszczenia, łączenia, aktualizacji i weryfikacji faktów, a także zapewnienia interfejsu zarządzania dla użytkowników, aby zapewnić stabilne działanie systemu pamięci długoterminowej.