AI-serie interview 8: Wat is RAG? Waarom een RAG-project overwegen?

Wat is RAG?

RAG staat voor Retrieval-Augmented Generation, in het Nederlands ook wel opzoekingsversterkte generatie genoemd.

Simpel gezegd is het een techniek die een groot taalmodel voorziet van een naslagwerk dat het altijd kan raadplegen.

Je kunt een groot taalmodel beschouwen als een superstudent met een uitstekend geheugen en enorme kennis. Maar deze student heeft twee aangeboren "./tekortkomingen":

1. Kennisvervaldatum: Zijn kennis is beperkt tot de data waarop hij getraind is. Wat er na 2023 gebeurt, weet hij niet.
2. Mogelijk "verzinnen": Als hij een vraag niet weet, zegt hij niet "ik weet het niet", maar verzint hij een aannemelijk antwoord (dit heet AI-hallucinatie).

RAG lost deze twee problemen op. Het proces is eenvoudig, in drie stappen:

1. Opzoeken: Wanneer je een vraag stelt, gaat het systeem eerst naar een externe kennisbank (bijvoorbeeld alle documenten van je bedrijf, de nieuwste Wikipedia of een set wetteksten) en zoekt snel de meest relevante informatie op. Dit is alsof de student eerst in de boeken opzoekt wat de vraag beantwoordt.
2. Versterken: Het systeem combineert "jouw vraag" en "de opgezochte relevante passages" tot een versterkte prompt. Dit is alsof je de student een referentiemateriaal geeft.
3. Genereren: Het grote taalmodel gebruikt deze versterkte prompt om het uiteindelijke antwoord te genereren. Het baseert zich niet alleen op de oude kennis in zijn geheugen, maar vooral op de referentie die je hebt gegeven. Dit is alsof de student antwoordt met behulp van het boek, in plaats van uit het niets te verzinnen.

Een eenvoudige analogie:
- Traditionele LLM: "Hoe repareer ik mijn XX-model fiets?" → Het model antwoordt uit zijn geheugen, mogelijk verouderd of fout.
- RAG: "Hoe repareer ik mijn XX-model fiets?" → Eerst opzoeken in de nieuwste officiële reparatiehandleiding → Dan genereren: "Volgens hoofdstuk 3 van de reparatiehandleiding editie 2024 moet u eerst..."

Waarom een RAG-project overwegen?

Een RAG-project starten is in essentie bedoeld om de sterke punten te benutten en zwakke punten te compenseren, zodat het ware potentieel van grote taalmodellen wordt vrijgemaakt. De belangrijkste drijfveren zijn:

1. Oplossen van "verouderde kennis" en "hallucinaties"

   • Motivatie: LLM's in staat stellen om vragen te beantwoorden over de nieuwste gebeurtenissen, interne data en privédocumenten, met controleerbare antwoorden.
   • Waarde: Een medisch vraag-antwoordsysteem met RAG kan de nieuwste medische tijdschriften citeren om te antwoorden "symptomen van de nieuwste COVID-variant", in plaats van verouderde informatie uit 2021 te geven, inclusief bronverwijzingen. Dit verkleint het risico op "uit de lucht gegrepen" antwoorden aanzienlijk.

2. AI in staat stellen om met privégegevens te werken, terwijl veiligheid gewaarborgd blijft

   • Motivatie: Elk bedrijf heeft zijn eigen kennisbank (contracten, code, klantenserviceregistraties, enz.). Deze gegevens kunnen niet worden gebruikt om modellen opnieuw te trainen of te finetunen (hoge kosten, technisch moeilijk, risico op datalekken).
   • Waarde: Met RAG kun je een interne AI-vraagbaak voor het bedrijf bouwen. Wanneer een medewerker een vraag stelt, haalt de AI relevante informatie uit de interne privédocumenten om te antwoorden. Privégegevens blijven altijd binnen het bedrijf en worden niet naar de modelleverancier gestuurd voor training. Zo wordt zowel het begripsvermogen van de LLM benut als de gegevensveiligheid gegarandeerd.

3. Kosten verlagen, efficiëntie verhogen

   • Motivatie: Het opnieuw trainen of finetunen van een groot model om nieuwe kennis op te nemen is alsof je de hele bibliotheek opnieuw moet leren. Dit vereist enorme rekenkracht en hoge kosten.
   • Waarde: RAG vereist vrijwel geen training, alleen het opzetten van een zoeksysteem. De kosten kunnen slechts 1% van finetunen zijn, of nog lager. Bovendien, wanneer de kennisbank wordt bijgewerkt, worden de zoekresultaten vanzelf bijgewerkt, zonder dat het model opnieuw getraind hoeft te worden. Dit zorgt voor realtime updates.

4. AI laten "weten wat het weet en wat het niet weet"

   • Motivatie: Het model moet duidelijk zijn over de grenzen van zijn kennis.
   • Waarde: In een RAG-systeem kan een regel worden ingesteld: als er geen relevante documenten worden gevonden, antwoordt het systeem direct: "Sorry, ik heb geen relevante informatie in de kennisbank gevonden. Kunt u uw vraag verduidelijken?" Dit mechanisme van "mislukte verwijzing" maakt de werking van AI betrouwbaarder en transparanter.

Samengevat:

Een RAG-project overwegen, omdat we enerzijds de krachtige taalvaardigheid en het begripsvermogen van grote taalmodellen willen benutten, en anderzijds willen dat ze eerlijk, betrouwbaar, up-to-date en bekend met de specifieke bedrijfscontext zijn. Het is alsof we een krachtige motor (LLM) uitrusten met een precies stuur en een realtime navigatiesysteem (zoeksysteem). Het is een van de meest effectieve en gangbare technische paden om LLM's daadwerkelijk in te zetten in serieuze domeinen zoals bedrijven, gezondheidszorg, recht en financiën.