AI Series Interview 8: Unsa ang RAG? Nganong Maghunahuna sa Pagbuhat og RAG nga Proyekto?

Unsa ang RAG?

Ang RAG nagpasabot sa Retrieval-Augmented Generation, sa Iningles, nga sa Cebuano mahimong hubaron nga Pagkuha-ug-Gipalig-on nga Pagmugna.

Sa yano nga pagkasulti, kini usa ka teknolohiya nga naghatag sa dagkong mga modelo sa pinulongan og "libro nga mahimong basahon bisan unsang orasa ".

Mahimo nimong hunahunaon ang dagkong modelo sa pinulongan isip usa ka "super scholar" nga adunay hawod nga panumduman ug lapad nga kahibalo. Apan kining super scholar adunay duha ka kinaiyanhon nga "kakulangan":

1. Petsa sa pagkahuman sa kahibalo: Ang iyang nakat-onan nga kahibalo limitado lamang sa datos sa pagkabansay. Ang mga panghitabo human sa 2023, wala siyay nahibaloan.
2. Posibleng "paghimo-himo": Kung makasugat siyag pangutana nga wala niya mahibaloi, dili siya moingon nga "Wala ko kabalo", kondili mag-imbento siyag usa ka daw makatarunganon nga tubag (gitawag kini nga AI hallucination).

Ang RAG aron pagsulbad niining duha ka problema. Ang proseso niini yano, tulo ka lakang:

1. Pagkuha: Kung mangutana ka, ang sistema moadto una sa usa ka "external knowledge base" (pananglitan, tanang dokumento sa imong kompanya, ang pinakabag-o nga Wikipedia, o mga legal nga teksto) ug dali nga mangita ug mopili sa labing may kalabutan nga mga parapo. Sama kini nga magpasuta sa estudyante sa libro alang sa tubag.
2. Pagpalig-on: Giputos sa sistema ang "imong pangutana" ug ang "nakuha nga mga parapo" nga magkauban aron maporma ang usa ka "enhanced" prompt. Sama kini nga gihatagan ang estudyante og mga materyal nga reperensiya.
3. Pagmugna: Ang dagkong modelo sa pinulongan mogamit niining "enhanced" prompt aron mamugna ang katapusang tubag. Dili na kini magsalig lamang sa daang kahibalo sa iyang "panumduman", kondili mosalig sa imong gihatag nga "mga reperensiya" aron motubag. Sama kini nga motubag ang estudyante base sa libro, dili kay maghanduraw.

Yano nga pagtandi:
- Tradisyonal nga LLM: "Unsaon pag-ayo sa akong XX model nga bisikleta?" → Motubag ang modelo base sa panumduman, posibleng daan o sayop.
- RAG: "Unsaon pag-ayo sa akong XX model nga bisikleta?" → Kuhaa una ang pinakabag-o nga manwal sa pag-ayo → Pagmugna dayon: "Sumala sa 2024 nga edisyon sa manwal sa pag-ayo, kapitulo 3, kinahanglan nimo nga una..."

Nganong Maghunahuna sa Pagbuhat og RAG nga Proyekto?

Ang paghimo og RAG nga proyekto, sa tinuod, aron mapahimuslan ang mga kusog ug malikayan ang mga kahuyang, ug mapagawas ang tinuod nga potensyal sa dagkong modelo sa pinulongan. Adunay mga nag-unang mga drayb:

1. Pagsulbad sa problema sa "daang kahibalo" ug "hallucination"

   • Motibasyon: Gusto nga motubag ang LLM sa mga pangutana bahin sa pinakabag-o nga panghitabo, internal nga datos, pribadong dokumento, samtang masiguro nga ang tubag adunay basihan.
   • Bili: Ang usa ka medikal nga sistema nga makahimo sa RAG mahimong mokutlo sa pinakabag-o nga medikal nga journal aron motubag sa "mga sintomas sa pinakabag-o nga variant sa COVID-19", imbes nga mohatag sa daang impormasyon gikan sa 2021, uban sa tinubdan sa citation, nga makapamenos sa risgo sa "paghimo-himo".

2. Pagpahimo sa AI nga makahimo sa pagproseso sa "pribadong datos", samtang masiguro ang seguridad

   • Motibasyon: Ang matag kompanya adunay kaugalingong knowledge base (kontrata, code, rekord sa serbisyo sa kostumer, ug uban pa). Kini nga datos dili magamit sa pagbansay o pag-fine-tune sa modelo (mahal, teknikal nga lisud, adunay risgo sa pag-leak sa datos).
   • Bili: Pinaagi sa RAG, mahimo kang magtukod og internal nga "AI assistant sa pangutana" sa kompanya. Sa dihang mangutana ang empleyado, ang AI mokuha sa may kalabutan nga impormasyon gikan sa internal nga pribadong dokumento aron motubag. Ang pribadong datos magpabilin sa sulod sa kompanya, dili ipadala sa tighimo og modelo alang sa pagbansay, nga naggamit sa abilidad sa pagsabot sa LLM, ug nagsiguro sa seguridad sa datos.

3. Pagpaubos sa gasto, pagpauswag sa kahusayan

   • Motibasyon: Ang pagbansay pag-usab o pag-fine-tune sa usa ka dagkong modelo aron masuhop ang bag-ong kahibalo sama sa pagtuon pag-usab sa tibuok librarya, nga nagkinahanglan og daghang kusog sa kompyuter ug gasto.
   • Bili: Ang RAG halos wala magkinahanglan og pagbansay; nagkinahanglan lang og pagtukod sa retrieval system. Ang gasto mahimo nga 1% lamang sa fine-tuning, o mas ubos pa. Ug kung ma-update ang knowledge base, ang mga resulta sa retrieval awtomatikong ma-update, nga walay kinahanglan nga i-retrain ang modelo, nga naghimo sa "real-time nga pag-update".

4. Pagpahimo sa AI nga "mosulti sa iyang nahibaloan, ug unsay wala"

   • Motibasyon: Gusto nga ang modelo adunay klaro nga pagsabot sa iyang kaugalingong utlanan sa kahibalo.
   • Bili: Ang sistema sa RAG mahimong magtakda og lagda: kung walay nakuha nga may kalabutan nga dokumento, direktang moingon "Pasayloa, wala koy nakitang may kalabutan nga impormasyon sa knowledge base. Palihog kumpirmahi ang imong pangutana." Kini nga mekanismo sa "pagkapakyas sa pag-refer" naghimo sa operasyon sa AI nga mas kasaligan ug transparent.

Pagsumada:

Ang paghunahuna sa pagbuhat og RAG nga proyekto tungod kay gusto nato ang kusog nga abilidad sa pagsabot ug pagpahayag sa dagkong modelo sa pinulongan, apan gusto usab nato nga kini mahimong 'matinud-anon, kasaligan, kauban sa panahon, ug makasabot sa pribadong negosyo'. Sama kini nga gibutangan ang super engine (LLM) og tukma ug makontrol nga manibela ug real-time nga na-update nga mapa sa nabigasyon (retrieval system), usa sa labing epektibo ug mainstream nga teknikal nga agianan aron ang LLM tinuod nga magamit sa seryosong mga dominyo sama sa negosyo, medisina, balaod, pinansya, ug uban pa.