AI-serie intervju 8: Hva er RAG? Hvorfor lage et RAG-prosjekt?

Hva er RAG?

RAG står for Retrieval-Augmented Generation, på norsk hentingsforsterket generering.

Enkelt sagt er det en teknologi som gir store språkmodeller "en oppslagsbok de kan bla i når som helst".

Tenk deg at den store språkmodellen er en "superelev" med fenomenal hukommelse og enorm kunnskap. Men denne eleven har to naturlige "svakheter":

1. Kunnskapsstoppdato: Kunnskapen stopper ved tidspunktet for trening. Han vet ingenting om ting som har skjedd etter 2023.
2. Kan "finne på": Når han støter på noe han ikke vet, sier han ikke "jeg vet ikke", men "fantaserer" i stedet frem et svar som høres fornuftig ut (dette er AI-hallusinasjoner).

RAG løser disse to problemene. Arbeidsflyten er enkel, i tre trinn:

1. Henting: Når du stiller et spørsmål, går systemet først til en "ekstern kunnskapsbase" (for eksempel alle dokumentene i bedriften din, den nyeste Wikipedia, eller en haug med lovtekster), søker raskt og finner de mest relevante avsnittene. Dette er som å la eleven slå opp i en bok for å finne svar.
2. Forsterkning: Systemet pakker sammen "spørsmålet ditt" og "de hentede avsnittene" til en "forsterket" prompt. Dette er som å gi eleven et referansemateriale.
3. Generering: Den store språkmodellen genererer det endelige svaret basert på denne "forsterkede" prompten. Den stoler ikke lenger bare på gammel kunnskap fra hukommelsen, men bruker hovedsakelig "referansematerialet" du har gitt. Dette er som at eleven svarer med boka foran seg, i stedet for å spekulere.

En enkel analogi:
- Tradisjonell LLM: "Hvordan reparerer jeg min XX-modell sykkel?" → Modellen svarer fra hukommelsen, kan være utdatert eller feil.
- RAG: "Hvordan reparerer jeg min XX-modell sykkel?" → Hent først den nyeste offisielle reparasjonshåndboken → Generer så: "Ifølge kapittel 3 i 2024-reparasjonshåndboken, bør du først ..."

Hvorfor lage et RAG-prosjekt?

Å lage et RAG-prosjekt handler i bunn og grunn om å utnytte styrker og unngå svakheter for å frigjøre det sanne potensialet til store språkmodeller. Hoveddriverne er:

1. Løse problemene med "utdatert kunnskap" og "hallusinasjoner"

   • Motivasjon: Få LLM til å svare på spørsmål om nyeste hendelser, interne data, private dokumenter, samtidig som svarene kan verifiseres.
   • Verdi: Et medisinsk spørsmål-svar-system med RAG kan sitere fra nyeste medisinske tidsskrifter om "symptomer på den nyeste COVID-varianten", i stedet for å gi utdatert informasjon fra 2021, og legge ved kildehenvisninger, noe som reduserer risikoen for "å snakke i øst og vest" betraktelig.

2. La AI håndtere "private data" samtidig som sikkerheten ivaretas

   • Motivasjon: Hver bedrift har sin egen kunnskapsbase (kontrakter, kode, kundeservicelogger osv.). Disse dataene kan ikke brukes til å trene eller finjustere modellen på nytt (kostbart, teknisk vanskelig, risiko for datalekkasje).
   • Verdi: Med RAG kan du bygge en intern "AI-spørsmål-svar-assistent" i bedriften. Når en ansatt spør, henter AI informasjon fra interne private dokumenter for å svare. Private data forblir alltid innenfor bedriften og sendes ikke til modellleverandørene for trening. Dette utnytter LLMs forståelsesevne samtidig som datasikkerheten ivaretas.

3. Redusere kostnader, øke effektivitet

   • Motivasjon: Å trene eller finjustere en stor modell på nytt for å absorbere ny kunnskap er som å lære hele biblioteket på nytt, og krever enorme beregningsressurser og kostnader.
   • Verdi: RAG krever nesten ingen trening, bare oppsett av et hentingssystem. Kostnaden kan være så lav som 1 % av finjustering, eller enda mindre. Når kunnskapsbasen oppdateres, oppdateres også hentingsresultatene automatisk, uten å måtte trene modellen på nytt – dermed oppnås "sanntidsoppdatering".

4. Få AI til å vite hva den vet og ikke vet

   • Motivasjon: Ønsker at modellen skal ha en klar forståelse av sine egne kunnskapsgrenser.
   • Verdi: Et RAG-system kan settes opp med en regel: hvis ingen relevante dokumenter hentes, svarer det direkte: "Beklager, jeg fant ingen relevant informasjon i kunnskapsbasen. Kan du presisere spørsmålet?" Denne mekanismen med "mislykket henvisning" gjør AIens arbeidsmåte mer pålitelig og transparent.

Oppsummering:

Grunnen til å lage et RAG-prosjekt er at vi både vil ha den store språkmodellens sterke forståelses- og uttrykksevne, og samtidig gjøre den "ærlig, pålitelig, tidsaktuell og kjent med privat virksomhet". Det er som å montere et presist ratt og et sanntidsoppdatert navigasjonskart (hentingssystem) på en supermotor (LLM). I dag er det en av de mest effektive og dominerende teknologiske veiene for å få LLM til å fungere i seriøse domener som bedrift, helse, jus og finans.