AI 시리즈 면접 8: RAG란 무엇인가? 왜 RAG 프로젝트를 생각했는가?

RAG란 무엇인가?

RAG는 Retrieval-Augmented Generation의 약자로, 한국어로는 검색 증강 생성이라고 합니다.

간단히 말해, 대규모 언어 모델에 "언제든지 참고할 수 있는 참고서를 제공하는" 기술입니다.

대규모 언어 모델을 기억력이 뛰어나고 지식이 풍부한 "슈퍼 학습자"로 상상해 보세요. 하지만 이 학습자에게는 두 가지 선천적인 "결함"이 있습니다:

1. 지식 만료일: 그가 배운 지식은 훈련 당시의 데이터까지만 유효합니다. 2023년 이후의 일은 전혀 알지 못합니다.
2. 허구를 지어낼 가능성: 모르는 질문을 받았을 때 "모릅니다"라고 말하지 않고, 상상력을 동원해 그럴듯한 답변을 "지어냅니다" (이것이 AI 환각 현상입니다).

RAG는 이 두 가지 문제를 해결하기 위한 것입니다. 작동 과정은 매우 간단하며 세 단계로 이루어집니다:

1. 검색: 질문을 하면 시스템이 먼저 "외부 지식 베이스"(예: 회사의 모든 문서, 최신 위키피디아, 또는 법률 조문)에서 빠르게 검색하여 가장 관련성 높은 몇 개의 정보를 찾아냅니다. 이는 학습자가 질문에 대해 책을 찾아보는 것과 같습니다.
2. 증강: 시스템이 "사용자의 질문"과 "검색된 관련 단락"을 함께 묶어 "증강된" 프롬프트를 만듭니다. 이는 학습자에게 참고 자료를 제공하는 것과 같습니다.
3. 생성: 대규모 언어 모델이 이 "증강된" 프롬프트를 기반으로 최종 답변을 생성합니다. 더 이상 자신의 "기억"에 있는 오래된 지식에만 의존하지 않고, 제공된 "참고 자료"를 주로 참고하여 답변합니다. 이는 학습자가 책과 자료를 보며 답변하는 것과 같습니다. 공상이 아닙니다.

간단한 비유:
- 전통적 LLM: "내 XX 모델 자전거를 어떻게 수리하나요?" → 모델이 기억에 의존해 답변하며, 구식이거나 틀릴 수 있습니다.
- RAG: "내 XX 모델 자전거를 어떻게 수리하나요?" → 먼저 검색 최신 공식 수리 매뉴얼 → 그 후 생성: "2024년판 수리 매뉴얼 3장에 따르면, 먼저 ..."

왜 RAG 프로젝트를 생각했는가?

RAG 프로젝트를 하는 근본적인 이유는 장점을 살리고 단점을 보완하여 대규모 언어 모델의 진정한 잠재력을 발휘하기 위해서입니다. 주요 동기는 다음과 같습니다:

1. "지식 만료" 및 "환각" 문제 해결
2. 동기: LLM이 최신 사건, 내부 데이터, 사설 문서에 대한 질문에 답변하고, 답변에 증거를 첨부할 수 있도록 하기 위함.

3. 가치: RAG를 활용한 의료 질문 응답 시스템은 최신 의학 저널을 인용하여 "코로나19 최신 변종의 증상"에 답변할 수 있으며, 2021년의 구식 정보 대신 출처를 함께 제공하여 "함부로 말하는" 위험을 크게 줄입니다.

4. AI가 "사설 데이터"를 처리하면서도 안전 보장

5. 동기: 모든 기업은 자체 지식 베이스(계약서, 코드, 고객 서비스 기록 등)를 가지고 있습니다. 이러한 데이터를 사용해 모델을 재훈련하거나 미세 조정하기는 어렵습니다(비용이 높고 기술적으로 어려우며 데이터 유출 위험이 있음).

6. 가치: RAG를 통해 기업 내부의 "AI 질문 응답 도우미"를 구축할 수 있습니다. 직원이 질문하면 AI가 회사 내부 문서에서 관련 정보를 검색하여 답변합니다. 사설 데이터는 항상 회사 내에 보관되며, 모델 제공업체로 전송되어 훈련에 사용되지 않습니다. LLM의 이해 능력을 활용하면서도 데이터 안전을 보장합니다.

7. 비용 절감 및 효율성 향상

8. 동기: 대규모 모델을 재훈련하거나 미세 조정하여 새로운 지식을 흡수하는 것은 마치 도서관 전체를 다시 배우는 것과 같아 막대한 컴퓨팅 자원과 비용이 필요합니다.

9. 가치: RAG는 거의 훈련이 필요 없으며, 검색 시스템만 구축하면 됩니다. 비용은 미세 조정의 1%도 안 될 수 있습니다. 또한 지식 베이스가 업데이트되면 검색 결과도 자동으로 업데이트되므로 모델을 다시 훈련할 필요 없이 "실시간 업데이트"가 가능합니다.

10. AI가 "알면 알겠고, 모르면 모른다"고 말하게 하기

11. 동기: 모델이 자신의 지식 경계를 명확히 인식하도록 하기 위함.
12. 가치: RAG 시스템은 규칙을 설정할 수 있습니다. 관련 문서를 검색하지 못하면 "죄송합니다. 지식 베이스에서 관련 정보를 찾을 수 없습니다. 질문을 확인해 주세요."라고 직접 답변하도록 합니다. 이러한 "인용 실패" 메커니즘은 AI의 작동 방식을 더욱 신뢰할 수 있고 투명하게 만듭니다.

요약하자면:

RAG 프로젝트를 생각하게 된 이유는 대규모 언어 모델의 강력한 이해와 표현 능력을 원하면서도, 그것을 "정직하고, 신뢰할 수 있으며, 시대에 뒤처지지 않고, 사설 업무를 이해하는" 모델로 만드는 것입니다. RAG는 마치 슈퍼 엔진(LLM)에 정밀하게 제어 가능한 핸들과 실시간 업데이트되는 내비게이션 지도(검색 시스템)를 장착하는 것과 같습니다. 현재 LLM을 기업, 의료, 법률, 금융 등 심각한 분야에 실제로 적용하는 가장 효과적이고 주류적인 기술 경로 중 하나입니다.