AI-serie interview 8: Hvad er RAG? Hvorfor overveje at lave et RAG-projekt?

Hvad er RAG?

RAG står for Retrieval-Augmented Generation, på dansk hentningsforstærket generering.

Kort sagt er det en teknologi, der giver en stor sprogmodel en opslagsbog, den kan slå op i når som helst.

Du kan tænke på en stor sprogmodel som en "super-studerende" med en fantastisk hukommelse og enorm viden. Men denne studerende har to medfødte "fejl":

1. Vidensgrænse: Den viden, han har, stopper ved træningsdatas afslutning. Ting der sker efter 2023, ved han intet om.
2. Mulig "opdigtning": Når han støder på et spørgsmål, han ikke kender svaret på, siger han ikke "jeg ved det ikke", men "digter" i stedet et tilsyneladende fornuftigt svar (dette er AI-hallucination).

RAG løser disse to problemer. Arbejdsgangen er enkel, i tre trin:

1. Hentning: Når du stiller et spørgsmål, søger systemet først i en "ekstern vidensbase" (f.eks. alle dine virksomhedsdokumenter, den nyeste Wikipedia eller en samling lovtekster) og finder hurtigt de mest relevante afsnit. Det svarer til, at den studerende slår op i en bog om emnet.
2. Forstærkning: Systemet pakker "dit spørgsmål" og "de hentede relevante afsnit" sammen og danner en "forstærket" prompt. Det svarer til at give den studerende et referencenotat.
3. Generering: Den store sprogmodel genererer det endelige svar baseret på denne "forstærkede" prompt. Den stoler ikke længere kun på sin egen "hukommelse" af gammel viden, men bruger primært den medfølgende "reference" til at svare. Det svarer til, at den studerende svarer ved at se i bogens materiale i stedet for at gætte.

En simpel analogi:
- Traditionel LLM: "Hvordan reparerer jeg min XX-model cykel?" → Modellen svarer fra hukommelsen, muligvis forældet eller forkert.
- RAG: "Hvordan reparerer jeg min XX-model cykel?" → Hent først den nyeste officielle reparationsmanual → Generér derefter: "Ifølge kapitel 3 i 2024-reparationsmanualen skal du først..."

Hvorfor overveje at lave et RAG-projekt?

At lave et RAG-projekt handler grundlæggende om at udnytte styrker og undgå svagheder for at frigøre den store sprogmodels sande potentiale. Der er primært følgende centrale drivkræfter:

1. Løs problemet med "forældet viden" og "hallucinationer"

   • Motivation: Ønsket om at få LLM til at besvare spørgsmål om de seneste begivenheder, interne data, private dokumenter, samtidig med at svarene er verificerbare.
   • Værdi: Et medicinsk spørgsmål-svar-system med RAG kan citere den nyeste medicinske tidsskrift for at svare på "symptomer på den nyeste COVID-variant" i stedet for at give forældet information fra 2021, og samtidig angive kilden, hvilket reducerer risikoen for "at tale over sig" betydeligt.

2. Få AI til at håndtere "private data" samtidig med sikkerhed

   • Motivation: Hver virksomhed har sin egen vidensbase (kontrakter, kode, kundeservicelogs osv.). Disse data kan ikke bruges til at genoptræne eller finjustere modellen (dyrt, teknisk svært, risiko for datalæk).
   • Værdi: Med RAG kan du bygge en intern "AI-svar-assistent" i virksomheden. Når medarbejdere stiller spørgsmål, henter AI'en relevant information fra virksomhedens interne private dokumenter for at svare. Private data forbliver altid i virksomheden og sendes ikke til modelproducenten til træning, hvilket både udnytter LLM's forståelsesevne og sikrer datasikkerhed.

3. Reducer omkostninger, øg effektivitet

   • Motivation: At genoptræne eller finjustere en stor model til at absorbere ny viden svarer til at lære hele biblioteket forfra og kræver enorme computerressourcer og omkostninger.
   • Værdi: RAG kræver næsten ingen træning, kun opsætning af hentningssystemet. Omkostningerne kan være så lave som 1 % af finjustering, eller endnu mindre. Desuden, når vidensbasen opdateres, opdateres hentningsresultaterne automatisk uden at skulle genoptræne modellen, hvilket giver "realtidsopdatering".

4. Få AI til at "vide, hvad den ved, og hvad den ikke ved"

   • Motivation: Ønsket om, at modellen skal have en klar bevidsthed om sine egne vidensgrænser.
   • Værdi: RAG-systemet kan indstille en regel: Hvis der ikke hentes relevante dokumenter, svarer det direkte: "Beklager, jeg kunne ikke finde relevant information i vidensbasen. Verificer venligst dit spørgsmål." Denne "citeringsfejl"-mekanisme gør AI'ens funktionsmåde mere pålidelig og gennemsigtig.

Opsummering:

At overveje at lave et RAG-projekt skyldes, at vi både ønsker den store sprogmodels stærke forståelses- og udtryksevne, og samtidig ønsker at gøre den "ærlig, pålidelig, opdateret og fortrolig med interne forretningsområder". Det er som at montere et præcist styret rat og et opdateret navigationskort på en supermotor (LLM). Det er i øjeblikket en af de mest effektive og mainstream tekniske metoder til at bringe LLM til alvorlige domæner som virksomheder, medicin, jura og finans.