AI elkarrizketa-saila 8: Zer da RAG? Zergatik pentsatu RAG proiektu bat egitea?

Zer da RAG?

RAG-ren izen osoa Retrieval-Augmented Generation da, euskaraz Bilaketa-Heineko Sorkuntza esan nahi duena.

Laburbilduz, hizkuntza-eredu handiari "beti kontsulta daitekeen erreferentzia-liburu bat ematen dion" teknologia da.

Hizkuntza-eredu handia memoria bikaina eta jakintza zabala duen "ikasle superdotatu" gisa imajina dezakezu. Baina ikasle horrek bi "akats" ditu berez:

1. Ezagutza-muga data: ikasitako ezagutza entrenamendu-datako dataraino soilik da. 2023. urtearen ondoren gertatutakoa ez daki.
2. Asmatzeko joera: ez dakitenean, "ez dakit" esan beharrean, erantzun sinesgarri bat "asmatzen" dute (hori da AI-aren halutsinazioa).

RAG bi arazo horiek konpontzeko da. Bere lan-fluxua sinplea da, hiru urratsetan:

1. Bilaketa: galdera bat egiten duzunean, sistemak "kanpoko ezagutza-base" batera (zure enpresako dokumentu guztiak, Wikipedia eguneratua lege-testuak...) jo eta azkar bilatzen ditu erlazionatutako paragrafo egokienak. Hori ikasleak galderari erantzuteko liburua irakurtzearen antzekoa da.
2. Hein handiagotzea: sistemak "zure galdera" eta "biltutako paragrafo erlazionatuak" biltzen ditu, eta "hein handiagotutako" gako-mezu bat osatzen du. Hori ikasleari erreferentzia-materiala ematearen antzekoa da.
3. Sorkuntza: hizkuntza-eredu handiak gako-mezu "hein handiagotu" horretan oinarrituta sortzen du azken erantzuna. Ez du soilik bere "memorian" gordetako ezagutza zaharra erabiltzen, baizik eta emandako "erreferentzia-materiala" erabiltzen du erantzuteko. Hori ikasleak liburua irakurrita erantzutearen antzekoa da, asmatu beharrean.

Konparazio sinple bat:
- LLM tradizionala: "Nola konpondu nire XX modeloko bizikleta?" → Ereduak memoriatik erantzuten du, baliteke zaharkitua edo okerra izatea.
- RAG: "Nola konpondu nire XX modeloko bizikleta?" → Lehenik azken eskuliburu ofiziala bilatu → Gero sortu: "2024ko eskuliburuaren 3. kapituluaren arabera, lehenik ..."

Zergatik pentsatu RAG proiektu bat egitea?

RAG proiektu bat egitea, funtsean, indarguneak aprobetxatu eta ahuleziak saihesteko da, hizkuntza-eredu handiaren benetako potentziala askatzeko. Honako hauek dira eragile nagusiak:

1. Ezagutza zaharkitua eta halutsinazioaren arazoa konpontzea

   • Motibazioa: LLM-ek gertaera berriei, barne-datuei eta dokumentu pribatuei buruzko galderei erantzutea nahi da, erantzunak frogagarriak direla bermatuz.
   • Balioa: RAG duen osasun-galderen sistema batek azken aldizkari medikoak aipa ditzake "COVID-19aren azken aldaeraren sintomak" erantzuteko, 2021eko informazio zaharkitua eman beharrean, eta iturria aipatuz, "asmatze" arriskua murriztuz.

2. AI-ak datu pribatuak maneiatzea, segurtasuna bermatuz

   • Motibazioa: Enpresa bakoitzak bere ezagutza-basea du (kontratuak, kodeak, bezeroen erregistroak...). Datu horiek ezin dira berriro entrenatu edo egokitu (kostu handia, zailtasun teknikoa, datu-ihesaren arriskua).
   • Balioa: RAG bidez, enpresa barruko "AI galdera-erantzunen laguntzailea" eraiki dezakezu. Langileek galdetzen dutenean, AI-ak barneko dokumentu pribatutatik bilatzen du informazioa erantzuteko. Datu pribatuak enpressan gordetzen dira, ez dira modeloen fabrikatzaileei bidaltzen entrenamendurako, LLM-aren ulermen-gaitasuna aprobetxatuz baina datu-segurtasuna bermatuz.

3. Kostuak murriztea, eraginkortasuna handitzea

   • Motibazioa: Eredu handi bat berriro entrenatzea edo egokitzea ezagutza berriak xurgatzeko, liburutegi osoa berriro ikastea bezala da, kalkulu- eta kostu handia eskatzen duena.
   • Balioa: RAG-ek ia entrenamendurik behar ez du, bilaketa-sistema eraikitzea besterik ez. Kostua, agian, egokitzearen %1 baino gutxiago da. Gainera, ezagutza-basea eguneratzean, bilaketa-emaitzak automatikoki eguneratzen dira, eredua berriro entrenatu beharrik gabe, denbora errealean eguneratzea lortuz.

4. AI-ak "dakitena dakit, ez dakitena ez dakit" esatea

   • Motibazioa: Ereduak bere ezagutza-mugak argi izatea nahi da.
   • Balioa: RAG sistemak arau bat ezar dezake: erlazionatutako dokumenturik aurkitzen ez badu, zuzenean erantzun "Barkatu, ez dut ezagutza-basean informazio erlazionaturik aurkitu; mesedez, egiaztatu galdera." Aipamen-gabeziaren mekanismo horrek AI-aren funtzionamendua fidagarriagoa eta gardenagoa bihurtzen du.

Laburbilduz:

RAG proiektu bat egitea pentsatzen da, hizkuntza-eredu handiaren ulermen- eta adierazpen-gaitasun indartsuak nahi ditugulako, baina aldi berean, "zintzoa, fidagarria, eguneratua eta negozio pribatuen ezagutzaduna" izan dadin. Nik, super-motor bati (LLM) gidatzeko zehatza eta nabigazio-mapa eguneratua (bilaketa-sistema) jartzea bezala da, gaur egun LLM-a enpresa, osasun, lege, finantza eta beste eremu seriotan benetan aplikatzeko bide eraginkor eta nagusienetako bat da.