AI serija intervjua 8: Što je RAG? Zašto raditi RAG projekt?

Što je RAG?

RAG je kratica za Retrieval-Augmented Generation, na hrvatskom Generacija potpomognuta pretraživanjem ili Retrieval-pojačana generacija.

Jednostavno rečeno, to je tehnika koja velikom jezičnom modelu daje „priručnik koji može listati u bilo kojem trenutku”.

Zamislite veliki jezični model kao „superučenika” s izvrsnim pamćenjem i ogromnim znanjem. Međutim, taj učenik ima dva prirođena „nedostatka”:

1. Datum ograničenja znanja: Njegovo znanje završava s podacima na kojima je treniran. Događaji nakon 2023. godine su mu potpuno nepoznati.
2. Mogućnost „izmišljanja”: Kada naiđe na pitanje koje ne zna, neće reći „ne znam”, već će maštovito „izmisliti” odgovor koji zvuči uvjerljivo (to je AI halucinacija).

RAG rješava ova dva problema. Njegov radni tijek je jednostavan, u tri koraka:

1. Pretraživanje: Kada postavite pitanje, sustav prvo odlazi u „vanjsku bazu znanja” (npr. sve dokumente vaše tvrtke, najnoviju Wikipediju ili zbirku zakona) i brzo pronalazi najrelevantnije informacije. To je kao da učenik prvo pogleda u knjigu radi odgovora.
2. Pojačavanje: Sustav pakira „vaše pitanje” i „pronađene relevantne odlomke” u jedan „pojačani” upit. To je kao da učeniku date referentni materijal.
3. Generiranje: Veliki jezični model generira konačni odgovor na temelju tog „pojačanog” upita. Više se ne oslanja samo na svoje „zapamćeno” staro znanje, već se u odgovaranju uglavnom oslanja na dostavljeni „referentni materijal”. To je kao da učenik odgovara gledajući u knjigu, a ne maštajući.

Jednostavna usporedba:
- Tradicionalni LLM: „Kako popraviti moj bicikl modela XX?” → Model odgovara iz sjećanja, moguće zastarjelo ili pogrešno.
- RAG: „Kako popraviti moj bicikl modela XX?” → Prvo pretraži najnoviji službeni servisni priručnik → Zatim generira: „Prema poglavlju 3 servisnog priručnika iz 2024., trebali biste prvo...”.

Zašto raditi RAG projekt?

Raditi RAG projekt znači iskoristiti prednosti i izbjeći slabosti, osloboditi pravi potencijal velikih jezičnih modela. Postoji nekoliko ključnih pokretača:

1. Rješavanje problema „zastarjelog znanja” i „halucinacija”

   • Motivacija: Želimo da LLM odgovara na pitanja o najnovijim događajima, internim podacima, privatnim dokumentima, uz osiguranje da su odgovori potkrijepljeni dokazima.
   • Vrijednost: Medicinski sustav za pitanja i odgovore koji koristi RAG može citirati najnovije medicinske časopise za odgovor na pitanje „simptomi najnovije varijante COVID-a”, umjesto da daje zastarjele informacije iz 2021., te priložiti izvore citata, čime se znatno smanjuje rizik od „nepromišljenog govora”.

2. Omogućiti AI-ju obradu „privatnih podataka” uz očuvanje sigurnosti

   • Motivacija: Svaka tvrtka ima vlastitu bazu znanja (ugovori, kod, zapisi korisničke podrške itd.). Ti se podaci ne mogu koristiti za ponovno treniranje ili finije podešavanje modela (skupo, tehnički zahtjevno, rizik od curenja podataka).
   • Vrijednost: Korištenjem RAG-a možete izgraditi interni „AI asistent za pitanja i odgovore” unutar tvrtke. Kada zaposlenik postavi pitanje, AI pretražuje interne privatne dokumente kako bi pronašao relevantne informacije i odgovorio. Privatni podaci ostaju unutar tvrtke i ne šalju se proizvođaču modela za treniranje, čime se iskorištava sposobnost razumijevanja LLM-a uz očuvanje sigurnosti podataka.

3. Smanjenje troškova i povećanje učinkovitosti

   • Motivacija: Ponovno treniranje ili finije podešavanje velikog modela za usvajanje novog znanja je poput ponovnog učenja cijele knjižnice; zahtijeva ogromne računalne resurse i troškove.
   • Vrijednost: RAG gotovo da ne zahtijeva treniranje; potrebno je samo izgraditi sustav za pretraživanje. Trošak može biti samo 1% ili čak manje od troška finog podešavanja. Osim toga, ažuriranjem baze znanja automatski se ažuriraju i rezultati pretraživanja, bez potrebe za ponovnim treniranjem modela, čime se postiže „ažuriranje u stvarnom vremenu”.

4. Omogućiti AI-ju da „zna što zna, a što ne zna”

   • Motivacija: Želimo da model ima jasnu percepciju granica svog znanja.
   • Vrijednost: RAG sustav može postaviti pravilo: ako ne pronađe relevantan dokument, izravno odgovara s „Žao nam je, nisam pronašao relevantne informacije u bazi znanja. Molimo provjerite svoje pitanje.” Ovaj mehanizam „neuspjelog citiranja” čini način rada AI-ja pouzdanijim i transparentnijim.

Sažetak:

Razlog za izradu RAG projekta je taj što želimo iskoristiti snažne sposobnosti razumijevanja i izražavanja velikih jezičnih modela, ali ih istovremeno učiniti „poštenima, pouzdanima, u korak s vremenom i upućenima u privatne poslove”. To je poput ugradnje precizno kontroliranog volana i navigacijske karte koja se ažurira u stvarnom vremenu (sustav za pretraživanje) na super motor (LLM). To je jedan od najučinkovitijih i najčešćih tehničkih putova za stvarnu primjenu LLM-a u ozbiljnim područjima poput poduzeća, medicine, prava i financija.