Mahojiano ya Msururu wa AI 8: RAG ni nini? Kwa nini kufanya mradi wa RAG?

RAG ni nini?

RAG (Retrieval-Augmented Generation) kwa Kiswahili inamaanisha Uzalishaji Ulioboreshwa kwa Urejeshaji.

Kwa kifupi, ni teknolojia ya kumpa mfano wa lugha kubwa "kitabu cha marejeleo kinachoweza kusomwa wakati wowote".

Mfano wa lugha kubwa ni kama "mwanafunzi mahiri" mwenye kumbukumbu nzuri na maarifa mengi. Lakini mwanafunzi huyu ana "mapungufu" mawili ya asili:

1. Tarehe ya mwisho ya maarifa: Anajua tu mpaka data aliyofunzwa. Matukio baada ya 2023 hayajui.
2. Huenda "kutungaua": Anapokutana na swali asilijui, hasemi "sijui", bali hubuni jibu linaloonekana kuwa sawa (ndoto ya AI).

RAG inatatua matatizo haya mawili. Kazi yake ni rahisi, hatua tatu:

1. Urejeshaji: Unapouliza swali, mfumo huenda kwenye "hifadhi ya maarifa ya nje" (kwa mfano, nyaraka zote za kampuni, Wikipedia ya hivi karibuni, au sheria), kutafuta na kurejesha habari muhimu. Hii ni kama kumruhusu mwanafunzi apekue kitabu.
2. Uboreshaji: Mfumo unachanganya "swali lako" na "vipande vilivyorejeshwa" kuwa prompt iliyoboreshwa. Hii ni kama kumpa mwanafunzi marejeleo.
3. Uzalishaji: Mfano wa lugha kubwa unatumia prompt hiyo iliyoboreshwa kuzalisha jibu la mwisho. Hategemei tu kumbukumbu yake ya zamani, bali anarejelea "nyaraka ulizompa". Hii ni kama mwanafunzi anajibu kwa kusoma kitabu, si kuvumbua.

Mfano rahisi:
- LLM ya kawaida: "Jinsi ya kurekebisha baiskeli yangu ya mfano XX?" → Mfano anajibu kwa kumbukumbu, huenda likawa la zamani au lisilo sahihi.
- RAG: "Jinsi ya kurekebisha baiskeli yangu ya mfano XX?" → Anarejesha mwongozo rasmi wa ukarabati toleo la hivi karibuni → Anazalisha: "Kulingana na sura ya 3 ya mwongozo wa ukarabati wa 2024, kwanza unapaswa..."

Kwa nini kufanya mradi wa RAG?

Kufanya mradi wa RAG ni kukusanya nguvu na kuziba udhaifu, ili kuleta uwezo halisi wa mfano wa lugha kubwa. Sababu kuu ni:

1. Kutatua tatizo la "maarifa yaliyopitwa na wakati" na "ndoto"

   • Motisha: Kutaka LLM ijibu maswali kuhusu matukio ya hivi karibuni, data za ndani, na nyaraka za faragha, huku ikitoa marejeleo.
   • Thamani: Mfumo wa afya unaotumia RAG unaweza kurejelea majarida ya matibabu ya hivi karibuni kujibu "dalili za lahaja mpya ya COVID", badala ya kutoa taarifa za 2021, na kuongeza marejeleo, kupunguza hatari ya kusema mambo yasiyo sahihi.

2. Kusaidia AI kushughulikia "data za faragha" na kuhakikisha usalama

   • Motisha: Kila kampuni ina hifadhi yake ya maarifa (mikataba, msimbo, rekodi za huduma kwa wateja). Data hizi haziwezi kutumwa kufundisha au kuwarekebisha mfano (gharama kubwa, changamoto za kiufundi, hatari ya uvujaji wa data).
   • Thamani: Kwa kutumia RAG, unaweza kujenga "msaidizi wa AI wa maswali" ndani ya kampuni. Mfanyakazi anapouliza, AI inarejesha taarifa kutoka kwenye nyaraka za ndani. Data za faragha hubaki ndani ya kampuni, hazitumwi kwa watengenezaji wa mfano kwa ajili ya mafunzo, hivyo kutumia uwezo wa LLM na kuhakikisha usalama wa data.

3. Kupunguza gharama na kuongeza ufanisi

   • Motisha: Kufundisha au kuwarekebisha mfano mkubwa ili kuingiza maarifa mapya ni kama kusoma maktaba yote tena, kunahitaji nguvu kubwa na gharama.
   • Thamani: RAG haihitaji mafunzo mengi, inahitaji tu mfumo wa urejeshaji. Gharama inaweza kuwa 1% tu ya uwarekebishaji, au hata chini zaidi. Na hifadhi ya maarifa ikisasishwa, matokeo ya urejeshaji yanakuwa sasa hivi, bila kulazimika kufundisha mfano tena.

4. Kufanya AI iwe "jua au usijue"

   • Motisha: Kutaka mfano uwe na ufahamu wazi wa mipaka ya maarifa yake.
   • Thamani: Mfumo wa RAG unaweza kuweka sheria: kama hakuna nyaraka zinazorejelewa, anasema moja kwa moja "Samahani, sikupata taarifa kwenye hifadhi ya maarifa. Tafadhali thibitisha swali lako." Utaratibu huu wa "kushindwa kurejelea" unafanya kazi ya AI iwe ya kuaminika na wazi zaidi.

Muhtasari:

Kufanya mradi wa RAG ni kwa sababu tunataka mfano wa lugha kubwa uwe na uwezo wa kuelewa na kuzalisha, lakini pia tuwe na uhalisia, uaminifu, uwezo wa kusasishwa na kujua biashara za faragha. Ni kama kuweka usukani sahihi na ramani ya sasa ya urambazaji kwenye injini kubwa (LLM). Ni njia moja wapo yenye ufanisi zaidi na maarufu ya kutumia LLM katika maeneo makubwa kama biashara, afya, sheria, na fedha.