AI serija intervjujev 8: Kaj je RAG? Zakaj se lotiti projekta RAG?

Kaj je RAG?

RAG je kratica za Retrieval-Augmented Generation, kar v slovenščini pomeni generiranje z izboljšanim iskanjem.

Preprosto povedano, gre za tehniko, ki velikemu jezikovnemu modelu doda "referenčno knjigo, ki jo lahko kadar koli odpre".

Veliki jezikovni model si lahko predstavljate kot "super učenca" z odličnim spominom in ogromnim znanjem. Vendar ima ta učenec dve prirojeni "pomanjkljivosti":

1. Datum zaključka znanja: Njegovo znanje sega le do podatkov, na katerih je bil usposobljen. O dogodkih po letu 2023 ne ve ničesar.
2. Možnost "izmišljanja": Ko se sooči z vprašanjem, na katerega ne pozna odgovora, ne reče "ne vem", ampak si po domišljiji "izmisli" verodostojno zveneč odgovor (to je AI halucinacija).

RAG rešuje ta dva problema. Njegov potek dela je preprost in poteka v treh korakih:

1. Iskanje: Ko zastavite vprašanje, sistem najprej v "zunanji bazi znanja" (npr. vsi dokumenti vašega podjetja, najnovejša Wikipedija ali kup zakonskih besedil) hitro poišče in izlušči najbolj relevantne odstavke. To je podobno, kot da bi učenec poiskal informacije v knjigah.
2. Izboljšava: Sistem združi "vaše vprašanje" in "najdene relevantne odstavke" v "izboljšano" navodilo. To je kot bi učencu dali referenčno gradivo.
3. Generiranje: Veliki jezikovni model na podlagi tega "izboljšanega" navodila ustvari končni odgovor. Ne zanaša se več le na staro znanje iz "spomina", ampak predvsem na "referenčno gradivo", ki ste mu ga dali. To je kot bi učenec odgovarjal s pomočjo knjig, ne pa iz glave.

Preprosta analogija:
- Tradicionalni LLM: "Kako popravim svoje kolo modela XX?" → Model odgovori po spominu, kar je lahko zastarelo ali napačno.
- RAG: "Kako popravim svoje kolo modela XX?" → Najprej poišče najnovejši uradni servisni priročnik → Nato generira: "V skladu s 3. poglavjem servisnega priročnika iz leta 2024 morate najprej ..."

Zakaj se lotiti projekta RAG?

Projekti RAG so v bistvu namenjeni izkoriščanju prednosti in odpravljanju pomanjkljivosti, da bi sprostili pravi potencial velikih jezikovnih modelov. Glavni gonilni sili sta:

1. Reševanje problemov "zastarelega znanja" in "halucinacij"

   • Motivacija: Omogočiti LLM-jem odgovarjanje na vprašanja o najnovejših dogodkih, internih podatkih, zasebnih dokumentih, hkrati pa zagotoviti, da so odgovori preverljivi.
   • Vrednost: Medicinski sistem za odgovarjanje na vprašanja, ki uporablja RAG, lahko citira najnovejše medicinske revije pri odgovoru na vprašanje "simptomi najnovejše različice COVID-19", namesto da poda zastarele informacije iz leta 2021, in priloži vir citata, s čimer močno zmanjša tveganje "izmišljanja".

2. Omogočanje AI-ju obdelave "zasebnih podatkov" ob zagotavljanju varnosti

   • Motivacija: Vsako podjetje ima svojo bazo znanja (pogodbe, kodo, zapise o strankah itd.). Teh podatkov ni mogoče uporabiti za ponovno usposabljanje ali fino prilagajanje modelov (visoki stroški, tehnične težave, tveganje uhajanja podatkov).
   • Vrednost: Z RAG-om lahko zgradite notranjega "AI pomočnika za odgovarjanje na vprašanja". Ko zaposleni zastavi vprašanje, AI poišče relevantne informacije iz internih zasebnih dokumentov in odgovori. Zasebni podatki ostanejo znotraj podjetja in niso poslani ponudniku modela za usposabljanje, kar izkorišča razumevanje LLM-ja in hkrati zagotavlja varnost podatkov.

3. Znižanje stroškov in povečanje učinkovitosti

   • Motivacija: Ponovno usposabljanje ali fino prilagajanje velikega modela za absorbiranje novega znanja je kot ponovno učenje celotne knjižnice; zahteva ogromno računalniške moči in stroškov.
   • Vrednost: RAG skoraj ne potrebuje usposabljanja; potrebuje le vzpostavitev iskalnega sistema. Stroški so lahko le 1 % stroškov finega prilagajanja ali celo manj. Poleg tega, ko se baza znanja posodobi, se samodejno posodobijo tudi rezultati iskanja, ne da bi bilo treba model ponovno usposobiti, kar omogoča "posodobitve v realnem času".

4. Omogočanje AI-ju, da "ve, kar ve, in ve, česa ne ve"

   • Motivacija: Želimo, da model jasno razume meje svojega znanja.
   • Vrednost: Sistem RAG lahko nastavi pravilo: če ne najde nobenega relevantnega dokumenta, neposredno odgovori: "Oprostite, v bazi znanja nisem našel ustreznih informacij. Prosimo, preverite svoje vprašanje." Ta mehanizem "neuspelega citiranja" naredi delovanje AI-ja bolj zanesljivo in pregledno.

Povzetek:

Projekta RAG se lotimo, ker želimo tako močne zmožnosti razumevanja in izražanja velikih jezikovnih modelov kot tudi, da postanejo "pošteni, zanesljivi, posodobljeni in poznajo zasebno poslovanje". Je kot namestitev natančno vodljivega volana in navigacijske karte v realnem času (iskalni sistem) na super motor (LLM) in je trenutno eden najučinkovitejših in najbolj razširjenih tehničnih pristopov za resno uporabo LLM-jev v podjetjih, medicini, pravu, financah in drugih resnih področjih.