Conception du système de mémoire d'un Agent : Solutions pour la mémoire à court terme et à long terme

Cet article explore la conception du système de mémoire d'un Agent, en le divisant en deux niveaux : la mémoire à court terme et la mémoire à long terme, et détaille leurs solutions de mise en œuvre respectives ainsi que les points d'attention.

Cadre et idées principales :

1. Principe de conception général : Décomposer le système de mémoire de l'Agent en deux couches :

   • Mémoire à court terme : Sert la session en cours, contrôle la longueur du contexte par des moyens techniques tout en maintenant la cohérence sémantique.
   • Mémoire à long terme : Sert les scénarios inter-sessions, extrait les souvenirs pertinents des informations historiques via un mécanisme de récupération.

2. Deux principales solutions pour la mémoire à court terme :

   • Troncature par fenêtre fixe : Ne conserve que les N derniers tours de dialogue ou tokens, le reste étant directement supprimé. Avantages : mise en œuvre simple, faible coût, longueur stable, adapté aux conversations informelles ou aux scénarios de service client simples ; Inconvénients : peut perdre des informations clés précoces en raison d'une coupure brutale, entraînant une « perte de mémoire » de l'Agent.
   • Résumé glissant : Lorsque l'historique de la conversation est sur le point de dépasser la fenêtre, résumer le contenu des premiers tours en un résumé plus court pour remplacer l'enregistrement original. Avantages : permet de compresser la longueur tout en conservant des informations de grande valeur comme les objectifs de la tâche et les préférences de style, et atténue la dilution de l'attention due aux longs contextes, mieux adapté aux longues tâches comme la planification de projet ou la création de longs textes ; Inconvénients : nécessite des appels de modèle supplémentaires, et la qualité du résumé affecte directement les résultats ultérieurs.

3. Solution de construction de la mémoire à long terme : Solution générale utilisant une base de données vectorielle pour construire une base de connaissances.

   • Idée centrale : Transformer les conversations passées en fragments de mémoire récupérables, et les rappeler par pertinence en cas de besoin.
   • Processus clé en trois étapes :
     • Stockage : Vectoriser la conversation et la stocker avec le texte original dans la mémoire à long terme.
     • Récupération : Effectuer une recherche de similarité en fonction de la nouvelle question de l'utilisateur.
     • Combinaison : Fournir les fragments historiques les plus pertinents avec la question actuelle au modèle.
   • Avantages : Dépasse les limites de la fenêtre de contexte, permet d'extraire précisément des informations pertinentes d'un vaste historique, constituant la base des systèmes d'interaction à long terme comme les assistants personnalisés ou les bases de connaissances d'entreprise.
   • Inconvénients : Complexité système élevée, nécessite l'introduction d'un modèle d'embedding, d'une base de données vectorielle et de toute la logique de récupération.

4. Considérations importantes en pratique :

   • Critères d'écriture en mémoire : Ne pas stocker tout le contenu par défaut, mais définir des conditions d'admission pour la mémoire à long terme, par exemple n'écrire que les préférences utilisateur à long terme, les objectifs de tâche principaux, les faits importants confirmés et les conclusions réutilisables.
   • Gouvernance de la mémoire : Souligner que la mémoire est un actif de données dynamique, nécessitant un nettoyage, une fusion, une mise à jour et une vérification des faits réguliers, et fournir une interface de gestion à l'utilisateur pour assurer le fonctionnement stable du système de mémoire à long terme.