AI série rozhovorů 8: Co je RAG? Proč dělat projekt RAG?

Co je RAG?

RAG znamená Retrieval-Augmented Generation, česky generování rozšířené o vyhledávání.

Jednoduše řečeno, jde o techniku, která dává velkému jazykovému modelu "příručku, do které může kdykoli nahlédnout".

Představte si velký jazykový model jako "superstudenta" s výbornou pamětí a obrovskými znalostmi. Tento student má ale dva vrozené "nedostatky":

1. Datum uzávěrky znalostí: Jeho znalosti končí datem, kdy byl trénován. O událostech po roce 2023 neví nic.
2. Možnost "vymýšlení si": Když nezná odpověď na otázku, neřekne "Nevím", ale "vymyslí" si věrohodně znějící odpověď (to je AI halucinace).

RAG řeší oba problémy. Jeho pracovní postup je jednoduchý, skládá se ze tří kroků:

1. Vyhledávání: Když položíte otázku, systém nejprve rychle prohledá "externí znalostní bázi" (např. všechny dokumenty vaší společnosti, nejnovější Wikipedii nebo sbírku právních předpisů) a najde nejrelevantnější odstavce. Je to jako nechat studenta hledat v knize.
2. Rozšíření: Systém zabalí "vaši otázku" a "nalezené relevantní odstavce" dohromady a vytvoří "rozšířený" prompt. Je to jako dát studentovi referenční materiály.
3. Generování: Velký jazykový model na základě tohoto "rozšířeného" promptu vygeneruje konečnou odpověď. Už se nespoléhá jen na staré znalosti ze své "paměti", ale hlavně na poskytnuté "referenční materiály". Je to jako když student odpovídá s knihou před sebou, ne z hlavy.

Jednoduchá analogie:
- Tradiční LLM: "Jak opravit moje kolo modelu XX?" → Model odpovídá zpaměti, odpověď může být zastaralá nebo chybná.
- RAG: "Jak opravit moje kolo modelu XX?" → Nejprve vyhledá nejnovější oficiální servisní příručku → Poté vygeneruje: "Podle kapitoly 3 servisní příručky z roku 2024 byste měli nejprve..."

Proč dělat projekt RAG?

Dělat projekt RAG je v podstatě snahou využít silné stránky a zakrýt slabiny, uvolnit skutečný potenciál velkých jazykových modelů. Hlavní hnací síly jsou:

1. Řešení problému "zastaralých znalostí" a "halucinací"
2. Motivace: Chceme, aby LLM odpovídal na otázky o nejnovějších událostech, interních datech a soukromých dokumentech a zároveň aby odpovědi byly podložené.

3. Hodnota: Lékařský dotazovací systém s RAG může citovat nejnovější lékařské časopisy při odpovědi na otázku "Příznaky nejnovější mutace COVIDu" místo zastaralých informací z roku 2021 a uvést zdroje, čímž výrazně sníží riziko "vymýšlení".

4. Zpracování "soukromých dat" při zachování bezpečnosti

5. Motivace: Každá společnost má svou znalostní bázi (smlouvy, kód, záznamy zákaznické podpory atd.). Tato data nelze použít k přetrénování nebo dolaďování modelu (vysoké náklady, technická náročnost, riziko úniku dat).

6. Hodnota: Pomocí RAG můžete postavit interního "AI asistenta pro dotazy". Zaměstnanec položí otázku a AI vyhledá relevantní informace z interních soukromých dokumentů a odpoví. Soukromá data zůstávají vždy uvnitř společnosti a nejsou odesílána výrobci modelu k trénování, čímž využíváte schopnosti LLM při zachování bezpečnosti dat.

7. Snížení nákladů a zvýšení efektivity

8. Motivace: Přetrénovat nebo doladit velký model tak, aby absorboval nové znalosti, je jako znovu se učit celou knihovnu – vyžaduje obrovský výpočetní výkon a náklady.

9. Hodnota: RAG téměř nevyžaduje trénování, stačí vybudovat vyhledávací systém. Náklady mohou být 1 % nákladů na dolaďování nebo ještě nižší. A když se znalostní báze aktualizuje, výsledky vyhledávání se aktualizují automaticky, není třeba model znovu trénovat – dosahujeme "aktualizace v reálném čase".

10. Aby AI "věděla, co ví a co neví"

11. Motivace: Chceme, aby model měl jasné povědomí o hranicích svých znalostí.
12. Hodnota: Systém s RAG může mít pravidlo: pokud nenajde relevantní dokument, odpoví "Omlouvám se, v znalostní bázi jsem nenašel relevantní informace. Zkuste prosím upřesnit otázku." Tento mechanismus "neúspěšného citování" činí fungování AI spolehlivějším a transparentnějším.

Shrnutí:

Proč dělat projekt RAG? Protože chceme jak silné schopnosti porozumění a vyjadřování velkých jazykových modelů, tak aby byly "čestné, spolehlivé, aktuální a rozuměly soukromým obchodním záležitostem". Je to jako nasadit supermotoru (LLM) přesný volant a navigační mapu v reálném čase (vyhledávací systém). V současnosti je to jedna z nejefektivnějších a nejběžnějších technických cest, jak LLM skutečně nasadit v seriózních oblastech, jako jsou podniky, zdravotnictví, právo a finance.