Séria AI rozhovorov 8: Čo je RAG? Prečo vznikol projekt RAG?

Čo je RAG?

RAG je skratka pre Retrieval-Augmented Generation, v slovenčine generovanie rozšírené o vyhľadávanie.

Jednoducho povedané, ide o technológiu, ktorá dáva veľkému jazykovému modelu „referenčnú knihu, do ktorej môže kedykoľvek nahliadnuť“.

Veľký jazykový model si môžete predstaviť ako „superštudenta“ s výbornou pamäťou a obrovskými vedomosťami. Tento superštudent má však dva vrodené „nedostatky“:

1. Dátum ukončenia znalostí: Jeho vedomosti siahajú len po dáta, na ktorých bol trénovaný. O udalostiach po roku 2023 nevie nič.
2. Možnosť „vymýšľať si“: Keď narazí na otázku, na ktorú nepozná odpoveď, nepovie „neviem“, ale „vymyslí“ zdanlivo hodnovernú odpoveď (to sú halucinácie AI).

RAG tieto dva problémy rieši. Jeho pracovný postup je jednoduchý a pozostáva z troch krokov:

1. Vyhľadávanie: Keď položíte otázku, systém najprv rýchlo prehľadá „externú znalostnú bázu“ (napríklad všetky firemné dokumenty, najnovšiu Wikipédiu alebo zbierku právnych predpisov) a nájde najrelevantnejšie časti textu. **Je to ako keby ste študentovi povedali, aby si k danej otázke našiel informácie v knihe. **
2. Rozšírenie: Systém spojí „vašu otázku“ a „nájdené relevantné časti textu“ do jedného „rozšíreného“ promptu. Je to ako keby ste študentovi dali referenčné materiály.
3. Generovanie: Veľký jazykový model na základe tohto „rozšíreného“ promptu vygeneruje konečnú odpoveď. Už sa nespolieha len na staré vedomosti zo svojej „pamäti“, ale pri odpovedi sa opiera hlavne o poskytnuté „referenčné materiály“. Je to ako keby študent odpovedal s knihou pred sebou, nie iba z hlavy.

Jednoduchá analógia:
- Tradičný LLM: „Ako opraviť bicykel modelu XX?“ → Model odpovedá spamäti, odpoveď môže byť zastaraná alebo nesprávna.
- RAG: „Ako opraviť bicykel modelu XX?“ → Najprv vyhľadá najnovšiu oficiálnu príručku na opravu → Potom vygeneruje: „Podľa kapitoly 3 návodu na opravu z roku 2024 by ste mali najskôr…“

Prečo vznikol projekt RAG?

Projekt RAG vznikol v podstate preto, aby sme využili silné stránky a obmedzili slabé stránky, čím sa uvoľní skutočný potenciál veľkých jazykových modelov. Hlavnými hybnými silami je niekoľko faktorov:

1. Riešenie problému „zastaraných znalostí“ a „halucinácií“

   • Motivácia: Chceme, aby LLM odpovedal na otázky o najnovších udalostiach, interných údajoch a súkromných dokumentoch, pričom by odpovede mali byť overiteľné.
   • Hodnota: Zdravotnícky systém otázok a odpovedí s podporou RAG môže citovať najnovšie lekárske časopisy a odpovedať na otázku „príznaky najnovšieho variantu COVID-19“ namiesto zastaraných informácií z roku 2021, pričom uvedie zdroj, čím výrazne znižuje riziko „nezodpovedných tvrdení“.

2. Umožnenie AI pracovať so „súkromnými údajmi“ pri zachovaní bezpečnosti

   • Motivácia: Každá spoločnosť má svoju vlastnú znalostnú bázu (zmluvy, kód, záznamy o zákazníkoch atď.). Tieto údaje nie je možné použiť na opätovné trénovanie alebo jemné doladenie modelov (je to nákladné, technicky náročné a hrozí únik údajov).
   • Hodnota: Pomocou RAG môžete vytvoriť interného „AI asistenta“ pre otázky a odpovede. Keď sa zamestnanec spýta, AI vyhľadá relevantné informácie z interných súkromných dokumentov a odpovie. Súkromné údaje zostávajú vždy v spoločnosti, nie sú odoslané výrobcovi modelu na trénovanie, čím sa využíva schopnosť porozumieť LLM a zároveň sa zaručuje bezpečnosť údajov.

3. Zníženie nákladov a zvýšenie efektivity

   • Motivácia: Opätovné trénovanie alebo jemné doladenie veľkého modelu na absorbovanie nových vedomostí je ako znovu sa učiť celú knižnicu – vyžaduje obrovský výpočtový výkon a náklady.
   • Hodnota: RAG takmer nevyžaduje trénovanie, stačí vybudovať vyhľadávací systém. Náklady môžu byť len 1 % nákladov na jemné doladenie, alebo ešte menej. A keď sa aktualizuje znalostná báza, automaticky sa aktualizujú aj výsledky vyhľadávania, nie je potrebné model znovu trénovať – to je „aktualizácia v reálnom čase“.

4. Aby AI „vedela, čo vie a čo nevie“

   • Motivácia: Chceme, aby model mal jasné povedomie o hraniciach svojich vedomostí.
   • Hodnota: Systém RAG môže nastaviť pravidlo: ak sa nenašiel žiadny relevantný dokument, odpovie: „Prepáčte, v znalostnej báze som nenašiel žiadne relevantné informácie. Prosím, overte svoju otázku.“ Tento mechanizmus „zlyhania pri citovaní“ robí fungovanie AI spoľahlivejším a transparentnejším.

Zhrnutie:

Projekt RAG vznikol, pretože chceme využiť silnú schopnosť porozumieť a generovať veľké jazykové modely, a zároveň ich urobiť „čestnými, spoľahlivými, aktuálnymi a znalými súkromných obchodných procesov“. Je to ako namontovať presne ovládateľný volant a navigačnú mapu s aktualizáciami v reálnom čase (vyhľadávací systém) na super motor (LLM). V súčasnosti je to jedna z najefektívnejších a najrozšírenejších technických ciest, ako uviesť LLM do praxe v serióznych oblastiach, ako sú podnikanie, zdravotníctvo, právo a financie.