Colloquio serie AI 8: Cos'è RAG? Perché pensare di fare un progetto RAG?

Cos'è RAG?

RAG sta per Retrieval-Augmented Generation, in italiano Generazione Aumentata da Recupero.

In breve, è una tecnica che fornisce al grande modello linguistico un "libro di consultazione" da sfogliare sempre.

Immagina il grande modello linguistico come un "super-studente" con memoria eccellente e vasta conoscenza. Ma questo super-studente ha due "difetti" innati:

1. Data di scadenza delle conoscenze: la sua conoscenza si ferma ai dati di addestramento. Non sa nulla dopo il 2023.
2. Possibile "invenzione" : quando non conosce una risposta, non dice "non lo so", ma "inventa" una risposta plausibile (allucinazione AI).

RAG risolve questi due problemi. Il suo flusso di lavoro è semplice, in tre passaggi:

1. Recupero: quando fai una domanda, il sistema cerca rapidamente in un "database di conoscenze esterno" (es. tutti i documenti aziendali, Wikipedia aggiornata, testi legali) e trova i frammenti più rilevanti. Come se lo studente cercasse nel libro la risposta alla domanda.
2. Aumento: il sistema combina "la tua domanda" e "i frammenti pertinenti recuperati" in un unico prompt "aumentato". Come se fornisci allo studente un materiale di riferimento.
3. Generazione: il grande modello linguistico genera la risposta finale basandosi su questo prompt "aumentato". Non si affida più solo alla vecchia conoscenza "memorizzata", ma si basa principalmente sul "materiale di riferimento" fornito. Come se lo studente rispondesse consultando il libro, non fantasticando.

Un semplice esempio:
- LLM tradizionale: "Come riparare la mia bicicletta modello XX?" → Il modello risponde a memoria, potrebbe essere obsoleto o errato.
- RAG: "Come riparare la mia bicicletta modello XX?" → Prima recupera il manuale di riparazione ufficiale più recente → Poi genera: "Secondo il capitolo 3 del manuale di riparazione 2024, dovresti prima..."

Perché pensare di fare un progetto RAG?

Realizzare un progetto RAG serve fondamentalmente a sfruttare i punti di forza e compensare le debolezze, liberando il vero potenziale dei grandi modelli linguistici. Le principali ragioni sono:

1. Risolvere il problema di "conoscenza obsoleta" e "allucinazioni"

   • Motivazione: far rispondere all'LLM su eventi recenti, dati interni, documenti privati, garantendo risposte verificabili.
   • Valore: un sistema di risposta medica basato su RAG può citare gli ultimi giornali medici per rispondere a "sintomi dell'ultima variante di COVID", invece di dare informazioni obsolete del 2021, e fornire la fonte, riducendo il rischio di "parlare a vanvera".

2. Permettere all'AI di gestire "dati privati" in modo sicuro

   • Motivazione: ogni azienda ha il proprio knowledge base (contratti, codice, registri assistenza, ecc.). Non si possono usare per riaddestrare o fare fine-tuning del modello (costi elevati, difficoltà tecniche, rischio di fuga dati).
   • Valore: con RAG, puoi costruire un "assistente di risposta alle domande" interno. I dipendenti pongono domande, l'AI recupera informazioni da documenti aziendali privati e risponde. I dati privati restano sempre in azienda, non vengono inviati al fornitore del modello per l'addestramento, sfruttando la capacità di comprensione dell'LLM e garantendo la sicurezza dei dati.

3. Ridurre i costi, aumentare l'efficienza

   • Motivazione: riaddestrare o fare fine-tuning di un grande modello per assorbire nuove conoscenze è come reimparare un'intera biblioteca, richiede enorme potenza di calcolo e costi.
   • Valore: RAG quasi non richiede addestramento, basta costruire un sistema di recupero. Il costo può essere l'1% del fine-tuning, o anche meno. Inoltre, quando il knowledge base viene aggiornato, i risultati del recupero si aggiornano automaticamente, senza bisogno di riaddestrare il modello, permettendo "aggiornamenti in tempo reale".

4. Far sì che l'AI "sappia di sapere e di non sapere"

   • Motivazione: si vuole che il modello sia consapevole dei propri limiti di conoscenza.
   • Valore: un sistema RAG può impostare una regola: se non vengono recuperati documenti pertinenti, risponde direttamente "Mi dispiace, non ho trovato informazioni rilevanti nel knowledge base. La prego di verificare la domanda." Questo meccanismo di "citazione fallita" rende il funzionamento dell'AI più affidabile e trasparente.

In sintesi:

L'idea di fare un progetto RAG nasce dal volere sia la potente capacità di comprensione ed espressione del grande modello linguistico, sia renderlo "onesto, affidabile, aggiornato e competente nei dati privati" . È come montare un volante preciso e una mappa aggiornata in tempo reale (sistema di recupero) su un motore super potente (LLM). È una delle vie tecniche più efficaci e più diffuse per far atterrare seriamente l'LLM in settori come aziende, sanità, diritto, finanza.