Série de Entrevistas AI 8: O que é RAG? Por que criar um projeto RAG?

O que é RAG?

RAG é a sigla para Retrieval-Augmented Generation, que em português significa Geração Aumentada por Recuperação.

Simplificando, é uma tecnologia que dá ao modelo de linguagem grande um "livro de referência" que pode ser consultado a qualquer momento.

Você pode imaginar o modelo de linguagem grande como um "super-aluno" com memória excepcional e vasto conhecimento. Mas esse super-aluno tem duas "falhas" inatas:

1. Data de corte do conhecimento: O conhecimento que ele aprendeu se limita aos dados de treinamento. Ele não sabe nada sobre o que aconteceu depois de 2023.
2. Possibilidade de "inventar": Quando confrontado com uma pergunta que ele não sabe, ele não diz "não sei", mas sim "inventa" uma resposta que parece razoável (isto é a alucinação de IA).

RAG resolve esses dois problemas. Seu fluxo de trabalho é simples, em três etapas:

1. Recuperação: Quando você faz uma pergunta, o sistema primeiro pesquisa rapidamente em uma "base de conhecimento externa" (como todos os documentos da sua empresa, a Wikipédia mais recente, ou um conjunto de leis) para encontrar os trechos mais relevantes. É como mandar o aluno consultar um livro sobre o problema.
2. Aumento: O sistema empacota "sua pergunta" e os "trechos relevantes recuperados" juntos, formando um prompt "aumentado". É como dar ao aluno um material de referência.
3. Geração: O modelo de linguagem grande gera a resposta final com base nesse prompt "aumentado". Ele não depende mais apenas do conhecimento antigo em sua "memória", mas principalmente dos "materiais de referência" fornecidos para responder. É como o aluno respondendo a perguntas consultando o livro, não inventando.

Uma analogia simples:
- LLM tradicional: "Como consertar minha bicicleta modelo XX?" → O modelo responde de memória, que pode estar desatualizada ou errada.
- RAG: "Como consertar minha bicicleta modelo XX?" → Primeiro recupera o manual de reparo oficial mais recente → Depois gera: "De acordo com o capítulo 3 do manual de reparo de 2024, você deve primeiro..."

Por que criar um projeto RAG?

Criar um projeto RAG é, em essência, para maximizar os pontos fortes e minimizar os fracos, liberando o verdadeiro potencial dos modelos de linguagem grande. Existem várias motivações principais:

1. Resolver problemas de "conhecimento desatualizado" e "alucinação"

   • Motivação: Queremos que o LLM responda perguntas sobre eventos recentes, dados internos, documentos privados, garantindo que a resposta seja verificável.
   • Valor: Um sistema de perguntas e respostas médicas com RAG pode citar periódicos médicos recentes para responder "sintomas da nova variante da COVID", em vez de dar informações desatualizadas de 2021, e ainda fornecer a fonte da citação, reduzindo muito o risco de "falar sem fundamento".

2. Permitir que a IA lide com "dados privados" garantindo a segurança

   • Motivação: Cada empresa tem sua própria base de conhecimento (contratos, código, registros de atendimento, etc.). Esses dados não podem ser usados para retreinar ou ajustar o modelo (alto custo, dificuldade técnica, risco de vazamento de dados).
   • Valor: Com RAG, você pode construir um "assistente de perguntas e respostas" interno da empresa. Quando um funcionário pergunta, a IA recupera informações relevantes dos documentos privados internos para responder. Os dados privados permanecem sempre dentro da empresa, não são enviados para o fabricante do modelo para treinamento, utilizando a capacidade de compreensão do LLM enquanto garante a segurança dos dados.

3. Reduzir custos e aumentar a eficiência

   • Motivação: Retreinar ou ajustar um modelo grande para absorver novos conhecimentos é como ter que reaprender toda a biblioteca, exigindo enormes recursos computacionais e custos.
   • Valor: RAG quase não requer treinamento, apenas a construção de um sistema de recuperação. O custo pode ser tão baixo quanto 1% do ajuste fino, ou até menor. Além disso, quando a base de conhecimento é atualizada, os resultados da recuperação são atualizados automaticamente, sem necessidade de retreinar o modelo, permitindo "atualizações em tempo real".

4. Fazer a IA "saber o que sabe e o que não sabe"

   • Motivação: Queremos que o modelo tenha uma compreensão clara dos limites do seu conhecimento.
   • Valor: Um sistema com RAG pode definir uma regra: se nenhum documento relevante for recuperado, responder diretamente: "Desculpe, não encontrei informações relevantes na base de conhecimento. Por favor, verifique sua pergunta." Esse mecanismo de "falha na citação" torna a operação da IA mais confiável e transparente.

Resumindo:

Criar um projeto RAG surge do fato de que queremos tanto a poderosa capacidade de compreensão e expressão dos modelos de linguagem grande, quanto queremos que eles sejam "honestos, confiáveis, atualizados e entendam o negócio privado". É como instalar um volante preciso e um mapa de navegação atualizado em tempo real (sistema de recuperação) em um super motor (LLM), sendo atualmente um dos caminhos técnicos mais eficazes e populares para implementar LLMs em áreas sérias como empresas, saúde, direito, finanças, etc.