Interviu din seria AI 8: Ce este RAG? De ce să începi un proiect RAG?

Ce este RAG?

RAG înseamnă Retrieval-Augmented Generation, în română Generare augmentată prin recuperare.

Pe scurt, este o tehnologie care oferă unui model lingvistic mare „o carte de referință pe care o poate consulta oricând”.

Poți să îți imaginezi un model lingvistic mare ca pe un „super-elev” cu o memorie excelentă și cunoștințe vaste. Dar acest super-elev are două „defecte” înnăscute:

1. Data limită a cunoștințelor: Cunoștințele sale se opresc la datele de antrenament. Nu știe nimic despre evenimentele petrecute după 2023.
2. Posibilitatea de a „inventa”: Când întâlnește o întrebare la care nu știe răspunsul, nu spune „Nu știu”, ci „inventează” un răspuns care sună plauzibil (aceasta este halucinația AI).

RAG rezolvă aceste două probleme. Procesul său de lucru este simplu, în trei pași:

1. Recuperare: Când pui o întrebare, sistemul caută rapid într-o „bază de cunoștințe externă” (de exemplu, toate documentele companiei, Wikipedia actualizată sau un set de legi) și extrage cele mai relevante fragmente. Este ca și cum ai trimite elevul să caute în carte răspunsul la întrebare.
2. Augmentare: Sistemul împachetează „întrebarea ta” și „fragmentele relevante găsite” împreună, formând un prompt „augmentat”. Este ca și cum ai oferi elevului materiale de referință.
3. Generare: Modelul lingvistic mare generează răspunsul final pe baza acestui prompt augmentat. Nu se mai bazează doar pe cunoștințele vechi din „memorie”, ci consultă în principal „materialele de referință” furnizate. Este ca și cum elevul răspunde uitându-se în carte, nu din imaginație.

O analogie simplă:
- LLM tradițional: „Cum repar bicicleta mea model XX?” → Modelul răspunde din memorie, posibil depășit sau greșit.
- RAG: „Cum repar bicicleta mea model XX?” → Mai întâi recuperează manualul de reparații actualizat → Apoi generează: „Conform Capitolului 3 din manualul de reparații ediția 2024, ar trebui mai întâi...”

De ce să începi un proiect RAG?

Realizarea unui proiect RAG, în esență, își propune să valorifice punctele forte și să compenseze punctele slabe, deblocând adevăratul potențial al modelelor lingvistice mari. Principalele motivații sunt:

1. Rezolvarea problemelor de „cunoștințe învechite” și „halucinații”

   • Motivație: Permite LLM-ului să răspundă la întrebări despre evenimente recente, date interne, documente private, asigurând în același timp că răspunsurile pot fi verificate.
   • Valoare: Un sistem de întrebări medicale bazat pe RAG poate cita cele mai recente articole medicale pentru a răspunde la „simptomele noii variante COVID”, în loc să ofere informații depășite din 2021, și poate atașa surse, reducând semnificativ riscul de „informații inventate”.

2. Permite AI-ului să gestioneze „date private” în siguranță

   • Motivație: Fiecare companie are propria bază de cunoștințe (contracte, cod, înregistrări servicii clienți etc.). Aceste date nu pot fi folosite pentru reantrenare sau fine-tuning (costisitor, tehnic dificil, risc de scurgere de date).
   • Valoare: Prin RAG, poți construi un „asistent de întrebări AI” intern. Angajații pun întrebări, iar AI-ul recuperează informații din documentele private ale companiei pentru a răspunde. Datele private rămân întotdeauna în interiorul companiei, nu sunt trimise furnizorilor de modele pentru antrenament, combinând astfel puterea de înțelegere a LLM-ului cu securitatea datelor.

3. Reducerea costurilor și creșterea eficienței

   • Motivație: Reantrenarea sau fine-tuningul unui model mare pentru a absorbi noi cunoștințe este ca și cum ai reînvăța o întreagă bibliotecă, necesitând resurse de calcul și costuri uriașe.
   • Valoare: RAG aproape că nu necesită antrenare, ci doar construirea unui sistem de recuperare. Costul poate fi de 1% din cel al fine-tuningului sau chiar mai puțin. Mai mult, atunci când baza de cunoștințe este actualizată, rezultatele recuperării se actualizează automat, fără a reantrena modelul, oferind „actualizare în timp real”.

4. Făcând AI-ul să știe „ce știe și ce nu știe”

   • Motivație: Se dorește ca modelul să aibă o conștientizare clară a limitelor propriilor cunoștințe.
   • Valoare: Un sistem RAG poate stabili o regulă: dacă nu se găsesc documente relevante, răspunde direct „Îmi pare rău, nu am găsit informații relevante în baza de cunoștințe. Vă rugăm să verificați întrebarea.” Acest mecanism de „eșec la citare” face funcționarea AI-ului mai fiabilă și mai transparentă.

Rezumat:

Ideea de a începe un proiect RAG vine din faptul că vrem atât puterea puternică de înțelegere și generare a modelelor lingvistice mari, cât și să le facem „sincere, fiabile, actualizate și conștiente de domeniul privat”. Este ca și cum ai monta un volan precis și o hartă de navigație actualizată (sistemul de recuperare) pe un motor supraalimentat (LLM), fiind una dintre cele mai eficiente și populare căi tehnice pentru a implementa LLM-ul în domenii serioase precum afaceri, medicină, juridic, finanțe etc.