AI 면접 질문 2: 대규모 언어 모델(LLM)의 도구 호출 신뢰성을 보장하는 방법

대규모 언어 모델(LLM)이 도구를 호출할 때 신뢰할 수 있고 통제 가능하게 작동하도록 보장하는 방법은 단순히 프롬프트에 의존하여 모델을 "설득"하는 것 이상의 접근이 필요합니다. 체계적으로 다단계 제약 프레임워크를 제공해야 합니다.

날씨 조회 예시에서 모델이 도구 호출 시 흔히 저지르는 세 가지 "허위" 행동:
1. 도구를 호출하지 않고 직접 가상의 답변을 생성
2. 도구 호출 시 형식이 잘못된 매개변수 전달 (예: 도구가 "모레"를 지원하지 않는데 date="모레" 전달)
3. 임의로 매개변수 형식 변환 (예: 도구 요구 사항이 없음에도 "모레"를 구체적인 날짜로 변환)

문제의 근본 원인은 모델 출력이 본질적으로 확률적이며, 프롬프트는 확률 분포에 "소프트 제약"을 가할 뿐 모델이 엄격히 준수하도록 보장하는 강제 메커니즘이 아니라는 점입니다. 복잡한 시나리오에서는 이러한 "소프트 제약"이 쉽게失效할 수 있습니다.

이 문제를 해결하기 위해 다단계 엔지니어링 솔루션이 필요합니다:

1. 첫 번째 계층: 프롬프트 최적화 (소프트 제약)

   • 제약 체계의 시작점이지만 결코 종착점이 아닙니다.
   • 프롬프트를 "운영 계약"으로 간주하여 도구의 용도, 각 매개변수의 유형과 경계를 명확히 설명하고 불법 값 예시를 나열해야 합니다.
   • Few-shot 예시를 포함하여 "올바른 입력 → 올바른 호출"의 예를 보여줌으로써 컨텍스트 학습을 통해 모델의 행동 패턴을 고정해야 합니다.

2. 두 번째 계층: JSON Schema 도입 (하드 제약)

   • 이는 "설득"에서 "울타리 설치"로 가는 핵심 단계입니다.
   • 자연어 설명 대신 기계가 읽고 검증할 수 있는 구조화된 정의(JSON Schema)를 사용하여 매개변수를 정의합니다. 필드 유형, 필수 여부, 열거 값 범위를 엄격히 정의하고 additionalProperties: false를 설정하여 모델이 정의되지 않은 필드를 출력하지 못하도록 금지할 수 있습니다.
   • 주요 API 플랫폼은 모델 디코딩 단계에서 이러한 구조화된 출력 제약을 지원하여 생성 원천에서 형식 위반을 방지합니다.

3. 세 번째 계층: 검증-수정-재시도 루프 구축 (실행 보완)

   • Schema가 있더라도 모델 출력을 받은 후 구문 및 Schema 검증을 수행해야 합니다.
   • 검증 실패 시 자동 정리 및 재시도 메커니즘(상한 있음)을 설계하여 오류 정보를 모델에 피드백하여 출력을 수정해야 합니다. 재시도 횟수를 초과하면 다운그레이드 또는 수동 처리 방안이 필요합니다.

4. 아키텍처 수준: 책임 분리

   • 의사 결정과 실행을 분리하여 3계층 아키텍처를 형성해야 합니다:
     • 모델 계층: 의사 결정만 담당 (어떤 도구를 호출할지, 어떤 매개변수를 생성할지 결정).
     • 프레임워크 계층: 실행 프레임워크를 담당하며 Schema 검증, 도구 호출, 재시도 처리 및 결과 통합을 포함합니다. 이는 모델 오류가 도구 안전성에 직접 영향을 미치지 않도록 하고, 도구 변경 시 프롬프트를 자주 조정할 필요가 없도록 합니다.
     • 도구 계층: 구체적인 비즈니스 기능 구현.
   • LangChain, LlamaIndex 등의 프레임워크가 이러한 작업을 수행하고 있습니다.

현재 솔루션의 한계: 매개변수 형식 문제는 잘 처리하지만 매개변수 의미론 (예: "상하이"와 "호"의 동등성)에 대한 검증 범위는 여전히 부족합니다. 이는 향후 해결해야 할 엔지니어링 과제입니다.

핵심 결론: LLM이 도구를 신뢰성 있게 호출하도록 하는 것은 본질적으로 소프트웨어 엔지니어링 문제이며, 소프트 제약, 하드 제약, 실행 보완 및 아키텍처 설계를 포함한 체계적인 엔지니어링 솔루션을 구축해야 합니다. 단순히 프롬프트 최적화에 의존해서는 안 됩니다.