Tambayoyin Tsarin AI 8: Menene RAG? Me yasa aka yi tunanin yin aikin RAG?

Menene RAG?

RAG na nufin Retrieval-Augmented Generation, wato Haɗakar da sake dawo da bayanai don samar da amsoshi.

A taƙaice, wata dabara ce ta bai wa babban samfurin harshe (LLM) “littafin tunani” wanda zai iya kai dubawa a kowane lokaci.

Kuna iya tunanin babban samfurin harshe a matsayin “babban ɗalibi” wanda yake da ƙwaƙwalwa mai ƙarfi da ilimi mai yawa. Amma wannan babban ɗalibi yana da “lahani” guda biyu na asali:

1. Kwanan watan ƙarshen ilimi: Ilimin da ya koya ya ƙare ne kawai a lokacin horarwa. Bai san abubuwan da suka faru bayan 2023 ba.
2. Yiwuwar “ƙirƙira”: Idan ya gamu da tambayar da bai sani ba, ba zai ce “ban sani ba” ba, amma zai “ƙirƙira” amsa mai jituwa (wannan shine halucination na AI).

RAG shine maganin waɗannan matsaloli guda biyu. Aikin sa yana da matakai uku masu sauƙi:

1. Sake dawo da bayanai: Lokacin da kuka yi tambaya, tsarin zai fara bincika “rumbun ilimi na waje” (misali, duk takaddun kamfanin ku, sabon Wikipedia, ko jerin dokoki) don gano mafi yawan bayanai masu dacewa. Wannan kamar ba wa ɗalibi damar bincika littafi ne don amsa tambaya.
2. Haɓakawa: Tsarin ya haɗa “tambayar da kuka yi” da “sassan da aka samo” wuri ɗaya, su zama “haɓakaccen umarni”. Wannan kamar ba wa ɗalibi takardun tunani ne.
3. Samar da amsa: Babban samfurin harshe (LLM) yana amfani da wannan “haɓakaccen umarni” don samar da amsar ƙarshe. Ba ya dogara ga tsohon ilimin da yake “tuna” shi kaɗai, amma yana koma ga “takardun tunani” da aka ba shi. Wannan kamar ɗalibi yana amsa tambaya yana kallon littafi ne, ba tunani kawai ba.

Misali mai sauƙi:
- LLM na gargajiya: “Yaya zan gyara keken motsi na irin XX?” → Samfurin yana amsa bisa ƙwaƙwalwa, mai yiwuwa tsoho ko kuskure.
- RAG: “Yaya zan gyara keken motsi na irin XX?” → Da farko ya nemi sabon littafin gyara na hukuma → Sa'an nan ya samar da “Dangane da littafin gyara na 2024, babi na 3, ya kamata ku fara da...”

Me yasa aka yi tunanin yin aikin RAG?

Yin aikin RAG, ainihin dalili shine don cika nakasu da kuma fito da gwanintar babban samfurin harshe. Akwai manyan dalilai masu zuwa:

1. Magance matsalar “ilimi da ya wuce” da “halucination”
2. Dalili: Ana son LLM ya amsa tambayoyi game da sababbin abubuwa, bayanan cikin gida, takardu masu zaman kansu, tare da tabbatar da amsar tana da tushe.

3. Muhimmanci: Tsarin amsawar tambayoyi na likitanci wanda ke amfani da RAG zai iya ambaci sabbin mujallolin likitanci don amsa “alamomin sabon bambaro na COVID-19”, maimakon bayar da tsohon bayanin 2021, tare da nuna tushen, yana rage haɗarin “ƙirƙira”.

4. Ba da damar AI ya sarrafa “bayanan sirri”, tare da kiyaye tsaro

5. Dalili: Kowane kamfani yana da rumbun iliminsa (kwangiloli, lambobi, bayanan abokin ciniki, da sauransu). Ba za a iya amfani da waɗannan bayanan don sake horarwa ko gyara samfurin ba (tsada, wahala, haɗarin bayyana bayanan).

6. Muhimmanci: Ta hanyar RAG, za ku iya gina “mai taimako na AI” na cikin kamfani. Idan ma'aikaci ya yi tambaya, AI zai nemi bayanai daga takardun sirri na kamfani don amsawa. Bayanan sirri suna kasancewa a cikin kamfani, ba a aika su ga kamfanin samfurin don horarwa ba, yana amfani da ƙarfin fahimtar LLM yayin da yake kiyaye tsaron bayanai.

7. Rage tsada, haɓaka inganci

8. Dalili: Sake horarwa ko gyara babban samfurin don ɗaukar sabon ilimi, kamar sake karanta ɗakin karatu gaba ɗaya ne, yana buƙatar ƙarfin lantarki mai yawa da tsada.

9. Muhimmanci: RAG kusan baya buƙatar horarwa, kawai buƙatar gina tsarin sake dawo da bayanai. Tsadar ta na iya zama 1% na gyara, ko ma ƙasa. Kuma idan an sabunta rumbun ilimi, sakamakon sake dawo da bayanai yana sabuntawa kai tsaye, ba buƙatar sake horar da samfurin, yana ba da “sabuntawa take take”.

10. Sa AI ya “san abin da ya sani, ya kuma san abin da bai sani ba”

11. Dalili: Ana son samfurin ya san iyakar iliminsa.
12. Muhimmanci: Tsarin RAG na iya saita doka: idan ba a sami takardun da suka dace ba, sai ya amsa da “Yi hakuri, ban sami wani bayani a rumbun ilimi ba game da wannan tambaya, don Allah a sake tabbatar da tambayar.” Wannan tsarin “gazawar ambato” yana sa aikin AI ya zama abin dogaro da gaskiya.

Taƙaitawa:

Ana tunanin yin aikin RAG domin muna son ƙarfin fahimta da bayyana na babban samfurin harshe (LLM), amma kuma muna son ya zama “mai gaskiya, abin dogaro, mai kula da zamani, da kuma fahimtar harkokin sirri”. Kamar sanya sitiyarin sarrafawa da taswirar jagora (tsarin sake dawo da bayanai) ga babban injin (LLM) ne, kuma ita ce hanya mafi inganci da yadad da ta sa LLM ya zama mai amfani a fannoni masu muhimmanci kamar kasuwanci, likitanci, shari'a, kuɗi, da sauransu.