AI-seeria intervjuu 8: Mis on RAG? Miks teha RAG-projekt?

Mis on RAG?

RAG tähendus on Retrieval-Augmented Generation, eesti keeles otsinguga täiustatud genereerimine.

Lihtsalt öeldes on see tehnoloogia, mis annab suurele keelemudelile „kaasas oleva teatmeteose, mida saab igal ajal lugeda”.

Võid ette kujutada, et suur keelemudel on nagu mälu- ja teadmistelt ületamatu „superõpilane”. Sellel superõpilasel on aga kaks kaasasündinud „viga”:

1. Teadmiste lõppkuupäev: Tema teadmised piirduvad ainult treeningu ajal olevate andmetega. Pärast 2023. aastat toimunust pole tal aimugi.
2. Võimalik „väljamõtlemine”: Kui ta puutub kokku küsimusega, mida ta ei tea, ei ütle ta „ma ei tea”, vaid mõtleb oma kujutlusvõime abil välja usutava vastuse (see on AI hallutsinatsioon).

RAG lahendab need kaks probleemi. Selle töövoog on lihtne, kolm sammu:

1. Otsing: Kui esitad küsimuse, otsib süsteem esmalt „välisest teadmusbaasist” (nt kõik sinu ettevõtte dokumendid, uusim Vikipeedia või hulk juriidilisi tekste) kiiresti välja kõige asjakohasemad lõigud. See on nagu laseks õpilasel küsimuse jaoks raamatutest järele vaadata.
2. Täiustamine: Süsteem pakib „sinu küsimuse” ja „otsitud asjakohased lõigud” kokku, moodustades „täiustatud” päringu. See on nagu antaks õpilasele viitematerjalid.
3. Genereerimine: Suur keelemudel genereerib selle „täiustatud” päringu põhjal lõpliku vastuse. See ei tugine enam ainult oma „mälus” olevatele vanadele teadmistele, vaid peamiselt esitatud „viitematerjalidele”. See on nagu õpilane vastaks raamatu põhjal, mitte ei mõtleks välja.

Lihtne analoogia:
- Traditsiooniline LLM: „Kuidas parandada minu XX-mudelit jalgratast?” → Mudel vastab mälu järgi, võib olla aegunud või vale.
- RAG: „Kuidas parandada minu XX-mudelit jalgratast?” → Otsib kõigepealt uusimat ametlikku remondijuhendit → Siis genereerib: „2024. aasta remondijuhendi 3. peatüki kohaselt peaksite kõigepealt …”

Miks teha RAG-projekt?

RAG-projekti tegemine on oma olemuselt tugevuste kasutamine ja nõrkuste vältimine, et vabastada suure keelemudeli tõeline potentsiaal. Peamised tõukejõud on:

1. „Teadmiste aegumise” ja „hallutsinatsiooni” probleemi lahendamine

   • Motivatsioon: Tahta, et LLM vastaks küsimustele uudiste, sisemiste andmete, privaatsete dokumentide kohta, tagades samas vastuste kontrollitavuse.
   • Väärtus: RAG-i võimekas meditsiiniline küsimuste-vastuste süsteem saab viidata uusimatele meditsiiniajakirjadele, vastates „COVID-19 uusima variandi sümptomitele”, mitte andes 2021. aasta aegunud infot, ning lisada viiteallikad, vähendades oluliselt „suvalise jutu” riski.

2. AI võime töödelda „privaatseid andmeid”, tagades samas turvalisuse

   • Motivatsioon: Igal ettevõttel on oma teadmusbaas (lepingud, kood, klienditeeninduse kirjed jne). Neid andmeid ei saa kasutada mudeli ümbertreenimiseks või peenhäälestamiseks (kallis, tehniliselt keerukas, andmelekke oht).
   • Väärtus: RAG-i abil saad luua ettevõttesiseselt „AI küsimuste-vastuste assistendi”. Töötaja küsib, AI otsib ettevõtte sisemistest privaatsetest dokumentidest asjakohast infot ja vastab. Privaatsed andmed jäävad alati ettevõttesse, neid ei saadeta mudelitarnijale treenimiseks, kasutades nii LLM-i mõistmisvõimet kui tagades andmeturbe.

3. Kulude vähendamine ja tõhususe suurendamine

   • Motivatsioon: Suure mudeli ümbertreenimine või peenhäälestamine uute teadmiste omandamiseks on nagu terve raamatukogu uuesti õppimine, nõudes tohutul hulgal arvutusvõimsust ja kulusid.
   • Väärtus: RAG peaaegu ei vaja treenimist, vaja on vaid otsingusüsteemi ülesehitamist. Kulud võivad olla 1% peenhäälestuse maksumusest või isegi väiksemad. Lisaks, kui teadmusbaas uueneb, uuenevad automaatselt ka otsingutulemused, ilma et oleks vaja mudelit uuesti treenida – see on „reaalajas uuendamine”.

4. AI „teadmine, et ta teab” ja „teadmine, et ta ei tea”

   • Motivatsioon: Soovitakse, et mudelil oleks selge arusaam oma teadmiste piiridest.
   • Väärtus: RAG-süsteemile saab seada reegli: kui asjakohast dokumenti ei leita, vastab ta otse: „Vabandust, ma ei leidnud teadmusbaasist asjakohast teavet. Palun kontrollige küsimust.” See „tsiteerimise ebaõnnestumise” mehhanism muudab AI töökindlamaks ja läbipaistvamaks.

Kokkuvõte:

Miks tehakse RAG-projekt? Sest me tahame nii suure keelemudeli võimsat mõistmis- ja väljendusvõimet kui ka seda, et see oleks „aus, usaldusväärne, ajakohane ja kursis privaatsete äritegevustega”. See on nagu paigaldada supermootorile (LLM) täpne rool ja reaalajas uuendatav navigatsioonikaart (otsingusüsteem) – praegu on see üks tõhusamaid ja levinumaid tehnilisi teid, et tuua LLM reaalselt ettevõtetesse, meditsiini, õigusesse, rahandusse jt tõsistesse valdkondadesse.