AI serijos interviu 8: Kas yra RAG? Kodėl buvo pradėtas RAG projektas?

Kas yra RAG?

RAG pilna forma yra Retrieval-Augmented Generation, lietuviškai – Paieškos papildyta generacija.

Trumpai tariant, tai technologija, kuri suteikia dideliam kalbos modeliui „nuorodų knygą, kurią galima bet kada pavartyti“.

Didelį kalbos modelį galite įsivaizduoti kaip nepaprastai daug žinantį ir atmintį turintį „superstudentą“. Tačiau šis superstudentas turi du „įgimtus“ trūkumus:

1. Žinių galiojimo data: Jo žinios baigiasi treniravimo duomenų data. Apie tai, kas įvyko po 2023 m., jis nieko nežino.
2. Gali „prasimanyti“: Kai susiduria su jam nežinomu klausimu, jis nesako „nežinau“, o pagal vaizduotę „sukuria“ logišką atsakymą (tai yra AI haliucinacijos).

RAG skirtas šioms dviem problemoms spręsti. Jo darbo eiga paprasta, susideda iš trijų žingsnių:

1. Paieška: Kai užduodate klausimą, sistema pirmiausia greitai ieško ir suranda kelias svarbiausias informacijos dalis „išoriniame žinių banke“ (pvz., visuose jūsų įmonės dokumentuose, naujausioje Vikipedijoje ar teisės kodekse). Tai panašu į tai, kaip studentas, norėdamas atsakyti, varto knygą.
2. Papildymas: Sistema sujungia „jūsų užduotą klausimą“ ir „rastas atitinkamas pastraipas“ į vieną „papildytą“ raginimą. Tai panašu į tai, kad studentui duodama nuorodų medžiaga.
3. Generavimas: Didelis kalbos modelis, remdamasis šiuo „papildytu“ raginimu, sugeneruoja galutinį atsakymą. Jis nebepasitiki tik savo „atmintyje“ esančiomis senomis žiniomis, o daugiausia remiasi pateikta „nuorodų medžiaga“. Tai panašu į tai, kaip studentas, atsakydamas, žiūri į knygos medžiagą, o ne fantazuoja.

Paprastas palyginimas:
- Tradicinis LLM: „Kaip pataisyti mano XX modelio dviratį?“ → Modelis atsako iš atminties, gali būti pasenęs arba neteisingas.
- RAG: „Kaip pataisyti mano XX modelio dviratį?“ → Pirmiausia ieškoma naujausio oficialaus remonto vadovo → Po to generuojama: „Pagal 2024 m. remonto vadovo 3 skyrių, pirmiausia turėtumėte...“

Kodėl buvo pradėtas RAG projektas?

RAG projektas iš esmės siekia išnaudoti stipriąsias puses ir kompensuoti trūkumus, atskleidžiant tikrąjį didelių kalbos modelių potencialą. Pagrindiniai motyvai yra šie:

1. Spręsti „žinių pasenimo“ ir „haliucinacijų“ problemas

   • Motyvacija: Norima, kad LLM atsakytų į klausimus apie naujausius įvykius, vidinius duomenis, privačius dokumentus, kartu užtikrinant, kad atsakymai būtų pagrįsti šaltiniais.
   • Vertė: Medicininė klausimų-atsakymų sistema su RAG gali cituoti naujausius medicinos žurnalus, atsakydama į klausimą „Kokie yra naujausios COVID-19 atmainos simptomai?“, o ne pateikti 2021 m. pasenusią informaciją, pateikdama citatos šaltinį, taip žymiai sumažindama „kalbėjimo iš piršto“ riziką.

2. Suteikti AI galimybę tvarkyti „privačius duomenis“, išlaikant saugumą

   • Motyvacija: Kiekviena įmonė turi savo žinių bazę (sutartys, kodas, klientų aptarnavimo įrašai ir kt.). Šių duomenų negalima naudoti per treniravimą ar pritaikymą (didelės sąnaudos, techniniai sunkumai, duomenų nutekėjimo rizika).
   • Vertė: Naudojant RAG, galite sukurti įmonės vidinį „AI klausimų-atsakymų asistentą“. Darbuotojui uždavus klausimą, AI ieško atitinkamos informacijos įmonės privačiuose dokumentuose ir atsako. Privatūs duomenys lieka įmonės viduje ir nesiunčiami modelio gamintojui treniravimui, taip išnaudojant LLM supratimo gebėjimus ir užtikrinant duomenų saugumą.

3. Sumažinti išlaidas, padidinti efektyvumą

   • Motyvacija: Pergrupuoti ar pritaikyti didelį modelį naujoms žinioms įgyti yra tarsi mokytis visą biblioteką iš naujo, reikalaujant didžiulių skaičiavimo resursų ir išlaidų.
   • Vertė: RAG beveik nereikalauja treniravimo, tik sukurti paieškos sistemą. Išlaidos gali būti vos 1% pritaikymo išlaidų ar net mažesnės. Be to, atnaujinus žinių bazę, automatiškai atnaujinami ir paieškos rezultatai, nereikia pergrupuoti modelio – pasiekiamas „realaus laiko atnaujinimas“.

4. Padaryti AI „žinantį, ką žino, o ko nežino“

   • Motyvacija: Norima, kad modelis aiškiai suprastų savo žinių ribas.
   • Vertė: RAG sistemoje galima nustatyti taisyklę: jei nepavyksta rasti atitinkamo dokumento, tiesiog atsakyti „Atsiprašome, žinių bazėje neradome atitinkamos informacijos. Prašome patikslinti klausimą.“ Toks „citatos nebuvimo“ mechanizmas daro AI veikimą patikimesnį ir skaidresnį.

Apibendrinant:

RAG projektas pradėtas, nes norime išnaudoti galingus didelių kalbos modelių supratimo ir generavimo gebėjimus, kartu norime, kad jie taptų „sąžiningi, patikimi, neatsiliekantys nuo laiko ir išmanantys privačią veiklą“. Tai tarsi galingam varikliui (LLM) įmontuoti tikslų vairavimo mechanizmą ir realiu laiku atnaujinamą navigacijos žemėlapį (paieškos sistemą), ir šiuo metu tai yra veiksmingiausias ir populiariausias techninis būdas, leidžiantis LLM iš tikrųjų pritaikyti rimtose srityse, tokiose kaip įmonės, medicina, teisė, finansai.