Thiết kế hệ thống bộ nhớ Agent: Giải pháp triển khai bộ nhớ ngắn hạn và dài hạn

Bài viết này thảo luận về thiết kế hệ thống bộ nhớ Agent, chia thành hai lớp: bộ nhớ ngắn hạn và bộ nhớ dài hạn, đồng thời trình bày chi tiết các giải pháp triển khai và lưu ý tương ứng.

Khung và quan điểm cốt lõi như sau:

1. Nguyên tắc thiết kế tổng thể: Chia hệ thống bộ nhớ Agent thành hai lớp:

   • Bộ nhớ ngắn hạn: Phục vụ cho phiên hiện tại, kiểm soát độ dài ngữ cảnh thông qua các kỹ thuật, đồng thời duy trì tính mạch lạc về ngữ nghĩa.
   • Bộ nhớ dài hạn: Phục vụ cho các tình huống xuyên phiên, trích xuất bộ nhớ liên quan từ lịch sử thông tin theo nhu cầu thông qua cơ chế truy xuất.

2. Hai giải pháp chính cho bộ nhớ ngắn hạn:

   • Cắt ngắn cửa sổ cố định: Chỉ giữ lại N vòng hội thoại hoặc Token gần nhất, phần vượt quá sẽ bị loại bỏ. Ưu điểm là triển khai đơn giản, chi phí thấp, độ dài ổn định, phù hợp cho các tình huống trò chuyện thông thường hoặc dịch vụ khách hàng đơn giản; nhược điểm là có thể mất thông tin quan trọng ban đầu do cách tiếp cận "một kích cỡ phù hợp tất cả", dẫn đến Agent "mất trí nhớ".
   • Tóm tắt cuộn: Khi lịch sử hội thoại sắp vượt quá cửa sổ, tóm tắt nội dung hội thoại ban đầu thành một bản tóm tắt ngắn hơn để thay thế bản ghi gốc. Ưu điểm là có thể nén độ dài trong khi vẫn giữ lại thông tin có giá trị cao như mục tiêu nhiệm vụ, yêu cầu phong cách, đồng thời giảm thiểu sự pha loãng sự chú ý do ngữ cảnh dài, phù hợp hơn cho các tác vụ dài như lập kế hoạch dự án, sáng tác dài; chi phí là cần thêm lệnh gọi mô hình và chất lượng tóm tắt ảnh hưởng trực tiếp đến hiệu quả tiếp theo.

3. Giải pháp xây dựng bộ nhớ dài hạn: Sử dụng cơ sở dữ liệu vector để xây dựng giải pháp tổng quát cho cơ sở tri thức.

   • Ý tưởng cốt lõi: Xử lý các cuộc hội thoại trong quá khứ thành các đoạn bộ nhớ có thể truy xuất, và triệu hồi theo mức độ liên quan khi cần.
   • Quy trình ba bước chính:
     • Lưu trữ: Vector hóa hội thoại, sau đó lưu cùng với văn bản gốc vào kho bộ nhớ dài hạn.
     • Truy xuất: Tìm kiếm tương tự dựa trên câu hỏi mới của người dùng.
     • Kết hợp: Đưa các đoạn lịch sử liên quan nhất cùng với câu hỏi hiện tại vào mô hình.
   • Ưu điểm: Vượt qua giới hạn cửa sổ ngữ cảnh, có thể trích xuất chính xác thông tin liên quan từ lượng lớn lịch sử, là nền tảng để xây dựng các hệ thống tương tác dài hạn như trợ lý cá nhân hóa, cơ sở tri thức doanh nghiệp.
   • Nhược điểm: Độ phức tạp hệ thống cao, cần giới thiệu mô hình Embedding, cơ sở dữ liệu vector và toàn bộ logic truy xuất.

4. Những cân nhắc quan trọng trong thực tế:

   • Tiêu chí ghi bộ nhớ: Không nên lưu trữ mặc định toàn bộ nội dung, mà cần đặt điều kiện đầu vào cho bộ nhớ dài hạn, ví dụ chỉ ghi lại sở thích dài hạn của người dùng, mục tiêu nhiệm vụ cốt lõi, sự kiện quan trọng đã được xác nhận và kết luận có thể tái sử dụng.
   • Quản trị bộ nhớ: Nhấn mạnh rằng bộ nhớ là tài sản dữ liệu động, phải thực hiện dọn dẹp, hợp nhất, cập nhật và kiểm tra thực tế định kỳ, đồng thời cung cấp giao diện quản lý cho người dùng để đảm bảo hệ thống bộ nhớ dài hạn hoạt động ổn định.