Tattaunawar AI Series 9: Yaya ake kallon daidaiton tsarin tambaya da amsawa?

Daidaito shine mabuɗin rayuwar tsarin tambaya da amsawa, musamman idan kuna ƙoƙarin amfani da shi a wurare masu tsanani (kamar likitanci, shari'a, tallafin cikin kamfani). Ra'ayina na iya taƙaita: Daidaito ra'ayi ne mai girma da yawa, ba za a iya kallon lamba ɗaya kawai ba, amma dole ne a haɗa shi da ƙarfin tsarin, wuƙar aiki, da farashin haƙuri don kimantawa.

Zan bayyana daga matakai huɗu:

Na ɗaya: Daidaito ba wai kawai 'daidai/ba daidai' ba ne mai sauƙi

Daidaiton matsalolin rarrabuwa na gargajiya (kamar gane hoto) a bayyane yake. Amma tsarin tambaya da amsawa daban, girmaɗan rarrabuwa na yauɗaɗa sun haɗa da:

Girma	Ma'ana	Misalin kimantawa
Yawan bugun nema	Shin tsarin zai iya dawo da shafin da ke ɗauke da amsar daidai daga rumbun ilimi?	Mai amfani ya tambaya 'Kuɗin shiga na kamfanin A a 2024', shin tsarin zai iya nemo wancan rahoton da ke ɗauke da bayanin?
Amincewar samarwa	Shin amsar da samfurin ya samar ta dogara sosai kan abin da aka samo, ba ta ƙirƙira ba?	An samo takardu ba su faɗi 'ƙaruwa' ba, amma samfurin ya ce 'ya ƙaru da 5%' → rashin aminci
Daidaiton amsa	Shin amsar ƙarshe ta yi daidai da gaskiya (ko amsar tunani)?	Amsar daidai ita ce 'biliyan 42', samfurin ya fitar 'biliyan 42' ko 'kimanin biliyan 42 na RMB' ana iya ɗauka daidai
Yawan ƙi amsa	Idan babu bayanin da ya dace a rumbun ilimi, shin tsarin zai iya faɗi 'ban sani ba' maimakon yin hasashe?	Lokacin da nema ya kasance fanko ko ƙananan amincewa, fitar da 'Yi haƙuri, ba a sami bayanin da ya dace ba'

Tsarin na iya samun babban yawan bugun nema (koyaushe yana iya samun sassa masu dacewa), amma ƙananan amincin samarwa (koyaushe yana ƙara), kuma daidaiton ƙarshe har yanzu yana da rauni. Don haka, kallon daidaito dole ne a fayyace wane mataki kuke aunawa.

Na biyu: A ƙarƙashin matakin fasaha na yanzu, daidaiton tsarin RAG zai iya kai nawa?

Babu lamba ɗaya, amma ana iya duba wasu bincike da ayyuka na jama'a:

Tambayoyin gaskiya masu sauƙi (tsalle ɗaya, amsa tana bayyana kai tsaye a cikin takarda ɗaya): Yawan bugun nema zai iya kai 90-98% (ya dogara da ingancin rumbun ilimi da mai nema), amincin samarwa a ƙarƙashin umarni da aka tsara zai iya kai 95%+, daidaiton gabaɗaya zai iya kasancewa tsakanin 85-95%.
Tambayoyin tunani mai hawa biyu (ana buƙatar haɗa bayanai daga takardu biyu ko fiye): Yawan bugun nema yana faɗuwa sosai zuwa 50-70%, daidaiton amsawa yana iya zama 40-60% kawai. Wannan shine babban kalubale na RAG a yanzu.
Filin buɗe + rumbun ilimi mai hayaniya (kamar shafukan yanar gizo marasa iyaka): Daidaito yana raguwa sosai, saboda nema na iya kawo hayaniya, samfurin yana da sauƙin ɓarna.

Ƙarshe: A yanayi mai sarrafawa (tsabta, tsari, madaidaicin girman takarda), RAG na iya samun daidaito sama da 90%; amma a yanayi mai rikitarwa, buɗe, buƙatar tunani mai hawa biyu, daidaito sau da yawa bai gamsar ba, yana buƙatar ingantawa da yawa.

Na uku: Abubuwan da ke shafar daidaito

Idan kun lura cewa daidaiton tsarin RAG ɗinku bai isa ba, yawanci ana iya bincika daga matakai huɗu masu zuwa:

Rumbun ilimi da kansa
Shin bayanan sun tsufa, ba cikakku, ko ma suna da kuskure?
Shin takardun sun rikice (kamar fayilolin hoto ba a yi OCR ba, ko tebur sun lalace)?
Rarraba da fihirisa
Yanke ƙananan rubutu da yawa → rasa mahallin; yanke dogon rubutu da yawa → ƙara hayaniya.
Shin samfurin haɗawa ya dace da yankin ku (samfurin gama gari na iya yin rauni a kan kalmomin shari'a)?
Dabarun nema
Yin amfani da nema na vector kawai na iya rasa kalmomi daidai (kamar nau'in samfur).
Rashin sake oda na iya haifar da abubuwan da ba su dace ba a sakamakon farko.
Matakin samarwa
Shin umarnin yana nuna a fili 'Amsa kawai bisa ga bayanan da aka bayar, idan ba su isa ba, ƙi amsa'?
Shin ƙarfin samfurin ya isa (ƙananan samfuri suna da sauƙin rasa cikakkun bayanai a cikin dogon mahallin)?

Kuskuren gama gari: A ɗauki ƙarancin daidaito kai tsaye dalilin rashin ƙarfin LLM, amma a gaskiya yawancin matsalar tana cikin 'nema' da 'tsara umarni'.

Na huɗu: Yadda ake 'kallo' daidaito daidai - wasu mahimman halaye a aikace

1. Saita ma'auni da tsammanin da ya dace

Ga wuraren haɗari (likitanci, shawara ta shari'a), ko da 90% daidaito bai isa ba, dole ne a shigar da bita ta mutum ko tabbatarwa da yawa.
Ga yanayin ƙananan haɗari (taimakon abokin ciniki, neman ilimin ciki), 80% daidaito tare da amsa 'ban sani ba' mai kyau na iya haɓaka aiki sosai.

2. Kada ku nemi 100%, ku nemi 'daidaito mai iya tabbatarwa'

Bari tsarin ya haɗa tushen magana ta atomatik (wane labari, wane sashe ya ambata).
Mai amfani zai iya ganin ainihin rubutun ya tabbatar da kansa, ko da amsa ta yi kuskure a wasu lokuta, gaskiya tana iya gina amana.
Ƙara ƙimar amincewa, idan ƙasa ta yi, a ba da shawara 'Wannan amsa ba ta da tabbaci sosai, don Allah a duba takardar asali'.

3. Dauki daidaito a matsayin abin ingantawa akai-akai, ba burin lokaci ɗaya ba

Kafa layin kimantawa: Akai-akai a ɗauki tambayoyin da aka yiwa alama da hannu, a kimanta yawan bugun nema da amincin samarwa ta atomatik.
Yi amfani da kayan aiki kamar RAGAS, TruLens don kimantawa na tsari, maimakon dogaro da 'yan misalai kaɗan.
Dangane da mummunan lamari, ci gaba da daidaita: hanyar rarrabuwa, sigogin mai nema, samfurin sake oda, umarni.

4. Rarrabe 'kuskuren tsarin' da 'rashin daidaituwar ma'aunin mutum'

Wani lokaci amsar da tsarin ya bayar ta bambanta da tsammanin mai amfani, amma bisa ga bayanan rumbun ilimi tana daidai (saboda rumbun ilimi yana da iyaka ko gardama).
A nan dole ne a ayyana: Shin daidaito ya dogara ne akan 'gaskiyar rumbun ilimi' ko 'gaskiyar da jama'a ta yarda da ita'?

Kammalawa

Daidaiton tsarin tambaya da amsawa ba ma'auni ne na cikakkar maki a tsaye ba, amma ƙimar ƙarfin da ke nuna 'ɗaukar ilimi + daidaiton nema + amincin samarwa + ikon ƙi amsa'. Lokacin kallon sa, dole ne a fahimci a hankali cewa fasaha na yanzu ba za ta iya zama cikakke ba, kuma ta hanyar ƙirar nuna tushe, alamar amincewa, haɗin mutum da na'ura, a yi amfani da shi a kasuwanci da gaske.