AI Series Interview 8: Ano ang RAG? Bakit Naisipang Gumawa ng RAG Project?

Ano ang RAG?

Ang RAG ay nangangahulugang Retrieval-Augmented Generation, o sa Tagalog ay Pagbuo na Pinahusay ng Pagkuha.

Sa madaling salita, ito ay isang teknolohiya na nagbibigay sa malaking modelo ng wika ng isang "reference book" na maaaring buksan anumang oras.

Isipin ang malaking modelo ng wika bilang isang "super student" na may kahanga-hangang memorya at malawak na kaalaman. Ngunit ang estudyanteng ito ay may dalawang likas na "kapintasan":

1. Petsa ng pagtatapos ng kaalaman: Ang kaalaman niya ay hanggang lamang sa datos na ginamit sa pagsasanay. Hindi niya alam ang mga pangyayari pagkatapos ng 2023.
2. Posibleng "mag-imbento": Kapag hindi niya alam ang sagot sa isang tanong, hindi siya sasabing "Hindi ko alam", kundi gagawa siya ng isang sagot na mukhang makatwiran (ito ang AI hallucination).

Ang RAG ay naglulutas ng dalawang problemang ito. Ang proseso nito ay simple, tatlong hakbang:

1. Pagkuha: Kapag nagtanong ka, ang sistema ay mabilis na maghahanap sa isang "external knowledge base" (tulad ng lahat ng dokumento ng iyong kumpanya, pinakabagong Wikipedia, o isang grupo ng mga batas) at kukunin ang mga pinaka-kaugnay na talata. Ito ay tulad ng pagpapahanap sa estudyante ng sagot sa libro.
2. Pagpapahusay: Isasama ng sistema ang "tanong mo" at ang "mga nakuha na kaugnay na talata" upang bumuo ng isang "enhanced" na prompt. Ito ay tulad ng pagbibigay sa estudyante ng sanggunian.
3. Pagbuo: Ang malaking modelo ng wika ay bubuo ng panghuling sagot batay sa "enhanced" na prompt na ito. Hindi na ito umaasa lamang sa lumang kaalaman sa kanyang "memorya", kundi pangunahing sumasangguni sa ibinigay mong "sanggunian" upang sumagot. Ito ay tulad ng estudyanteng sumasagot habang tumitingin sa libro, hindi sa imahinasyon.

Isang simpleng paghahambing:
- Tradisyonal na LLM: "Paano ayusin ang aking bisikleta na modelo XX?" → Sumasagot ang modelo batay sa memorya, maaaring luma o mali.
- RAG: "Paano ayusin ang aking bisikleta na modelo XX?" → Unang kukunin ang pinakabagong opisyal na manual ng pagkukumpuni → Pagkatapos bubuuin: "Ayon sa 2024 na manual ng pagkukumpuni, kabanata 3, dapat mong unahin ang..."

Bakit Naisipang Gumawa ng RAG Project?

Ang paggawa ng RAG project ay para gamitin ang lakas at iwasan ang kahinaan, upang mailabas ang tunay na potensyal ng malaking modelo ng wika. Ang mga pangunahing dahilan ay:

1. Lutasin ang problemang "luma ang kaalaman" at "hallucination"

   • Motibo: Gustong sagutin ng LLM ang mga tanong tungkol sa pinakabagong pangyayari, panloob na datos, at pribadong dokumento, habang tinitiyak na may basehan ang sagot.
   • Halaga: Ang isang medical Q&A system na may RAG ay maaaring sumangguni sa pinakabagong medical journal upang sagutin ang "sintomas ng pinakabagong variant ng COVID", sa halip na magbigay ng lumang impormasyon mula 2021, at mag-attach ng source citation, na malaking binabawas ang panganib ng "paggawa-gawa".

2. Hayaan ang AI na hawakan ang "pribadong datos" habang tinitiyak ang seguridad

   • Motibo: Bawat kumpanya ay may sariling knowledge base (kontrata, code, tala ng customer service, atbp.). Ang mga datos na ito ay hindi maaaring gamitin upang muling sanayin o i-fine-tune ang modelo (mataas na gastos, mahirap na teknolohiya, may panganib ng data leak).
   • Halaga: Sa pamamagitan ng RAG, maaari kang bumuo ng panloob na "AI Q&A assistant" sa kumpanya. Kapag nagtanong ang empleyado, ang AI ay kukuha ng kaugnay na impormasyon mula sa panloob na pribadong dokumento upang sumagot. Ang pribadong datos ay nananatili sa loob ng kumpanya at hindi ipinapadala sa model vendor para sa pagsasanay, ginagamit ang kakayahang umunawa ng LLM habang tinitiyak ang seguridad ng datos.

3. Bawasan ang gastos, pataasin ang kahusayan

   • Motibo: Ang muling pagsasanay o fine-tune ng isang malaking modelo upang sumipsip ng bagong kaalaman ay tulad ng pag-aaral muli ng buong library, nangangailangan ng malaking computational power at gastos.
   • Halaga: Ang RAG ay halos hindi nangangailangan ng pagsasanay, kailangan lang bumuo ng retrieval system. Ang gastos ay maaaring 1% lang ng fine-tune, o mas mababa pa. At kapag na-update ang knowledge base, awtomatikong maa-update ang retrieval results, hindi na kailangan muling sanayin ang modelo, nakakamit ang "real-time update".

4. Hayaan ang AI na maging "alam kung alam, hindi alam kung hindi alam"

   • Motibo: Nais na magkaroon ng malinaw na kamalayan ang modelo sa hangganan ng kaalaman nito.
   • Halaga: Ang RAG system ay maaaring magtakda ng patakaran: kung walang mahanap na kaugnay na dokumento, direktang sasabihin "Paumanhin, wala akong nakitang kaugnay na impormasyon sa knowledge base. Pakitingnan ang iyong tanong." Ang mekanismong ito ng "failure to cite" ay ginagawang mas maaasahan at transparent ang operasyon ng AI.

Pagbubuod:

Naisipang gumawa ng RAG project dahil gusto nating gamitin ang malakas na kakayahan ng malaking modelo ng wika sa pag-unawa at pagbuo ng teksto, at sa parehong oras gusto nating maging "tapat, maaasahan, sumasabay sa panahon, at nakakaunawa ng pribadong negosyo" ang AI. Ito ay tulad ng paglalagay ng tumpak na manibela at real-time na navigation map (retrieval system) sa isang super engine (LLM), at ito ang pinakaepektibo at pinakapangunahing teknolohikal na landas upang mailapat ang LLM sa seryosong larangan tulad ng enterprise, medisina, batas, at pananalapi.