AI Series Tambayoyin Tattaunawar 11: Yadda ake Inganta RAG?

Inganta RAG ba gyara kashi ɗaya ba ne, amma tsari ne na inganta dukkan hanyoyin haɗin gwiwa. A ƙasa, daga bangarori huɗu: gefen fihirisar bayanai, gefen bincike, gefen samarwa, gefen kimantawa, zan ba da dabarun inganta tsarin, tare da haɗa ƙwarewar aiki da za a iya ambata a cikin tambayoyin tattaunawa.

ɗaya: Inganta gefen fihirisar bayanai (haɓaka ingancin "taskar ilimi")

Wannan shine wurin da aka fi sakawa amma yana da tasiri da sauri.

Batun Inganta	Matsalar	Hanyar Aiki	Ma'aunin Sakamako
Fassarar Takardu	Ana watsi da tebura, zane-zane a cikin PDF, ko haruffa sun rikice, tsari ya ɓata.	Amfani da ingantattun ɗakunan karatu (kamar `unstructured`, yanayin riƙe shimfidar `pypdf`); cire tebura ta amfani da `pandas` sannan a mayar da su zuwa Markdown.	ƙimar dawowa +5~15%
Girman Rarraba Rubutu	chunk ya yi ƙanƙanta ya rasa mahallin (kamar "shi" a cikin "ɗan kasuwancin sa ya karu a wannan shekara" ya ɓace); chunk ya yi girma ya sa bincike ya yi hayaniya.	Gwada girman chunk daban-daban (256/512/768 token), overlap 10~20%; ga dogayen takardu, raba ta iyakar ma'ana (sakin layi/take) maimakon tsayayyen tsayi.	ƙimar bugawa / aminci
Ƙara metadata	An samo sashi mai dacewa, amma ba a iya gano asali ko lokaci, ko kuma ana buƙatar tacewa ta fanni.	Ƙara metadata ga kowane chunk: `source` (sunan fayil/URL), `timestamp`, `page_num`, `doc_type`. Yi amfani da tacewa yayin bincike (kamar `doc_type == 'legal'`).	Daidaiton tacewa
Zaɓin Samfurin Sakawa	embedding na gaba ɗaya yana da mummunan aiki a fannoni na musamman (lafiya, lamba, doka).	Yi amfani da samfuran da aka gyara na fanni (BGE‑large‑zh, GTE‑Qwen2‑7B‑instruct); ko gyara samfurin embedding naka (ta amfani da triplet loss).	MRR@10 na bincike +10~20%

Biyu: Inganta gefen bincike (sanya "buda littafi" ya zama mafi daidai)

Bincike yana ƙayyade ingancin "abubuwan tunani" da aka ciyar da LLM.

Batun Inganta	Matsalar	Hanyar Aiki	Sakamako
Bincike Mai Haɗe-haɗe	Binciken vector ba ya iya daidaita kalmomi na musamman (kamar samfurin `ABC-123`), binciken keyword ba ya fahimtar ma'ana ɗaya.	Yi amfani da binciken vector (ma'ana) da BM25 (kalmomi) lokaci guda, ta hanyar nauyi (kamar 0.7vector + 0.3BM25) ko haɗa ta rerank.	ƙimar dawowa +10~25%
Sake Tsarawa (Rerank)	Sakamakon farko na binciken vector ba lallai ne mafi dacewa ba, na 10 shine mafi kyau.	Yi amfani da samfurin cross‑encoder (kamar `BGE‑reranker-v2`, Cohere Rerank) don sake ƙididdige yawan zaɓin (kamar na farko 20), ɗauki top‑K.	Ƙimar bugawa ta tashi sosai (musamman top‑1)
Sake Rubuta Tambaya	Tambayar mai amfani ba ta fito fili ba ko kuma a cikin tattaunawa mai yawa ba a fayyace ba ("Farashin sa?" ).	Yi amfani da LLM don sake rubuta tambayar asali zuwa sigar da ta dace da bincike (kamar "Menene farashin iPhone 15?"); ko kuma cika ta amfani da tarihin tattaunawa.	ƙimar dawowa +5~15%
HyDE	Tambayar mai amfani ta yi gajarta ko ta rikice (kamar "Yi bayani game da photosynthesis"), bincike kai tsaye ba shi da kyau.	Da farko ka sa LLM ya samar da amsa ta zato, sannan ka yi amfani da wannan amsar don bincika takardu.	Ya dace da buɗaɗɗen fanni, amma bai dace da tambayoyin gaskiya masu madaidaici ba
Daidaita Yawan Top‑K	K ya yi ƙanƙanta yana iya rasa mahimman bayanai; K ya yi girma yana ƙara yawan amfani da token da hayaniya.	Gwada K=3/5/10, kalli daidaiton ƙimar dawowa da amincin amsa.	Musaya tsakanin inganci da sakamako

Uku: Inganta gefen samarwa (sa LLM ya yi amfani da abubuwan tunani da kyau)

Ko da bincike ya yi daidai, idan ba shi da kyakkyawan umarni ko samfurin ba zai yi aiki ba.

Batun Inganta	Matsalar	Hanyar Aiki	Sakamako
Injiniyan Nuni	LLM ya watsar da abubuwan da aka samo, ko ya ƙirƙira daga iska.	Bayyana umarni: "Amsa tambaya kawai bisa ga abubuwan da aka bayar a ƙasa. Idan bayanan ba su isa ba ko ba su dace ba, amsa da 'Babu isasshen bayani'." Ƙara misalan ‘yan kadan don nuna yadda ake ambaton tushe.	Aminci +20~40%
Matsar da Mahallin	Abubuwan da aka samo sun yi tsayi (sun fi taga mahallin samfurin), ko kuma galibi hayaniya.	Yi amfani da `LLMLingua` ko `Zaɓaɓɓen Mahallin` don matsa, riƙe mafi dacewa jumloli kafin aikawa da LLM.	Rage haɗarin rasa bayanai
Haɓaka Samfurin LLM	Ƙananan samfur (7B) ba zai iya yin tunani mai rikitarwa ba, ko kuma ba zai iya tunawa da dogon mahallin ba.	Canza zuwa samfur mai ƙarfi (GPT‑4o, Claude 3.5 Sonnet, Qwen2.5‑72B).	Ingantaccen daidaiton tunani sosai
Gudana da Ambato	Mai amfani ba zai iya tabbatar da amincin amsa ba.	Yayin samarwa, sa LLM ya fitar da `[citation:1]`, mai daidai da lambar takardar da aka samo. A bayan gida, haɗa asalin hanyar haɗi.	Amincewar mai amfani + iya gyarawa
Daidaita Ƙin Amsa	Samfurin yana ƙirƙira lokacin da bai kamata ba, ko kuma ya ce bai sani ba lokacin da ya kamata ya amsa.	Saita matsakaicin kamanni: idan similarity cosine tsakanin top‑1 chunk da tambaya ya yi ƙasa da 0.7, umurci LLM da "bayanan ba su dace ba".	Rage ƙimar hasashe

Huɗu: Gefen kimantawa da maimaitawa (san inda za a gyara)

Ba tare da awo ba, ba za a iya inganta ba.

Batun Inganta	Hanyar Aiki	Ma'auni
Ƙirƙiri saitin kimantawa	Shirya tambayoyin masu amfani na gaske 100~300 + amsoshi daidai + ID na takardun da suka dace.	Rufe mabambantan matakan wahala, mabambantan manufa.
Kimantawa ta atomatik	Yi amfani da RAGAS (Aminci, Dacewar Amsa, Tunowar Mahallin) ko TruLens.	Manyan ma'auni uku: aminci, dacewar amsa, ƙimar tunowar mahallin.
Kimantawa ta mutum	Kowane mako, gwada 20 na bad case, nazarin nau'in kuskure (gazawar bincike / kuskuren samarwa / rashin bayanai a taskar ilimi).	Tsara fifikon ingantawa.
Gwajin A/B	A cikin yanayin samarwa, gwada mabambantan dabarun bincike (kamar BM25 vs bincike mai haɗe-haɗe).	Ma'auni na kan layi: gamsuwar mai amfani, ƙimar rashin amsa.

Biyar: "Ƙwarewar Aiki" da za a iya ambata a cikin tambayoyin tattaunawa (maki na ƙarin)

"A cikin aikin RAG da nake da alhakin, a farkon ƙimar bugawa ta asali ta kai 67%. Na yi abubuwa uku:
1. Canza rabuwa daga 1024 na tsayayye zuwa rabuwa ta ma'ana ta tsauri (bisa take+sakin layi), ƙimar bugawa ta tashi zuwa 74%;
2. Ƙara bincike mai haɗe-haɗe (vector + BM25) da ƙaramin samfurin rerank, ƙimar bugawa ta tashi zuwa 83%;
3. Inganta umarni kuma tilasta [Ba a sami bayanin da ya dace ba], ƙimar hasashe ta ragu daga 22% zuwa ƙasa da 5%.

Bugu da ƙari, mun kafa tsarin kimantawa mai ci gaba, kafin kowane canji muna gudanar da 200 tambayoyin RAGAS don tabbatar da babu koma baya."

Taƙaitawa: Hanyar inganta RAG cikakkiya

Matakin bayanai ─→ Tsaftace takardu, inganta rabuwa, ƙara metadata, embedding na fanni
Matakin bincike ─→ Bincike mai haɗe-haɗe, rerank, sake rubuta tambaya, HyDE, daidaita Top-K
Matakin samarwa ─→ Ƙarfafa umarni, buƙatun umarni, matsawa, ambato, ƙofa ta ƙi
Matakin kimantawa ─→ Saitin kimantawa, RAGAS, bincike na mutum, gwajin A/B