에이전트 메모리 시스템 설계: 단기 및 장기 메모리 구현 방안

본 문서는 에이전트 메모리 시스템의 설계를 단기 메모리와 장기 메모리 두 계층으로 나누어 살펴보고, 각각의 구현 방안과 주의사항을 자세히 소개합니다.

프레임워크 및 핵심 관점

1. 전체 설계 원칙: 에이전트의 메모리 시스템을 두 계층으로 분할합니다.

   • 단기 메모리: 현재 세션을 지원하며, 기술적 수단을 통해 컨텍스트 길이를 제어하면서도 의미적 일관성을 유지합니다.
   • 장기 메모리: 세션 간 시나리오를 지원하며, 검색 메커니즘을 통해 과거 정보에서 필요에 따라 관련 메모리를 추출합니다.

2. 단기 메모리의 두 가지 주요 방식:

   • 고정 윈도우 절단: 최근 N회의 대화 또는 토큰만 유지하고, 초과분은 직접 폐기합니다. 장점은 구현이 간단하고 비용이 낮으며 길이가 안정적이어서 잡담이나 간단한 고객 서비스 시나리오에 적합합니다. 단점은 '일괄 절단'으로 인해 초기 핵심 정보가 손실되어 에이전트가 '기억 상실'될 수 있습니다.
   • 롤링 요약: 대화 기록이 곧 윈도우를 초과할 때, 초기 대화 내용을 더 짧은 요약으로 압축하여 원본 기록을 대체합니다. 장점은 길이를 압축하면서도 작업 목표, 스타일 요구사항 등 고가치 정보를 보존하고, 긴 컨텍스트로 인한 주의력 분산을 완화하여 프로젝트 계획, 장편 창작 등 긴 작업에 더 적합합니다. 단점은 추가 모델 호출이 필요하고 요약 품질이 후속 효과에 직접적인 영향을 미칩니다.

3. 장기 메모리 구축 방식: 벡터 데이터베이스를 활용한 지식 베이스 구축의 일반적인 방식.

   • 핵심 아이디어: 과거 대화를 검색 가능한 메모리 조각으로 처리하고, 필요 시 관련성에 따라 회상합니다.
   • 핵심 3단계 프로세스:
     • 저장: 대화를 벡터화한 후 원문과 함께 장기 메모리 저장소에 저장합니다.
     • 검색: 사용자의 새 질문에 대해 유사도 검색을 수행합니다.
     • 조합: 가장 관련성 높은 과거 조각을 현재 질문과 함께 모델에 입력합니다.
   • 장점: 컨텍스트 윈도우의 제한을 극복하고 방대한 과거 데이터에서 정확하게 관련 정보를 추출할 수 있어, 개인화된 어시스턴트, 기업 지식 베이스 등 장기 상호작용 시스템의 기초가 됩니다.
   • 단점: 시스템 복잡도가 높아 Embedding 모델, 벡터 데이터베이스 및 전체 검색 로직을 도입해야 합니다.

4. 실무에서 중요한 고려사항:

   • 메모리 쓰기 기준: 모든 내용을 기본적으로 저장해서는 안 되며, 장기 메모리에 입력 조건을 설정해야 합니다. 예를 들어 장기 사용자 선호도, 핵심 작업 목표, 확인된 중요 사실 및 재사용 가능한 결론만 기록합니다.
   • 메모리 거버넌스: 메모리는 동적 데이터 자산이므로 정기적인 정리, 병합, 업데이트 및 사실 검증이 필요하며, 사용자에게 관리 인터페이스를 제공하여 장기 메모리 시스템의 안정적인 운영을 보장해야 합니다.