AI စီးရီးအင်တာဗျူး ၉- အသိပညာမေးခွန်းစနစ်ရဲ့ တိကျမှုနှုန်းကို ဘယ်လိုရှုမြင်မလဲ။

တိကျမှုနှုန်းသည် အသိပညာမေးခွန်းစနစ်၏ အဓိကအသက်သွေးကြောဖြစ်ပြီး၊ အထူးသဖြင့် ၎င်းကို လေးနက်သောအခြေအနေများ (ဆေးဘက်ဆိုင်ရာ၊ ဥပဒေ၊ ကုမ္ပဏီအတွင်းပိုင်းအကူ) တွင် အသုံးပြုရန် ကြိုးစားသည့်အခါ ပိုမိုအရေးကြီးသည်။ ကျွန်ုပ်၏အမြင်ကို ဤသို့အကျဉ်းချုပ်နိုင်သည်- တိကျမှုနှုန်းသည် ဘက်စုံသဘောတရားတစ်ခုဖြစ်ပြီး၊ ကိန်းဂဏန်းတစ်ခုတည်းကိုသာ ကြည့်ရှုခြင်းမဟုတ်ဘဲ စနစ်စွမ်းရည်၊ လုပ်ငန်းအခက်အခဲနှင့် အမှားအယွင်းခံနိုင်ရည်ကုန်ကျစရိတ်တို့ကို ပေါင်းစပ်အကဲဖြတ်ရမည်။

အောက်တွင် အဆင့်လေးခုဖြင့် ရှင်းလင်းထားသည်-

---

၁။ တိကျမှုနှုန်းသည် "အဖြေမှန်/မှား" သက်သက်မဟုတ်ပါ

ရိုးရာအမျိုးအစားခွဲခြားခြင်းပြဿနာများ (ဥပမာ ရုပ်ပုံမှတ်မိခြင်း) ၏ တိကျမှုနှုန်းသည် ရှင်းလင်းသည်။ သို့သော် အသိပညာမေးခွန်းစနစ်သည် ကွဲပြားသည်၊ ဘုံအတိုင်းအတာခွဲများတွင် ပါဝင်သည်-

အတိုင်းအတာ	အဓိပ္ပာယ်	အကဲဖြတ်ဥပမာ
ရှာဖွေတွေ့ရှိမှုနှုန်း	စနစ်သည် အသိပညာဘဏ်မှ အဖြေမှန်ပါဝင်သော စာရွက်စာတမ်းအပိုင်းကို ပြန်လည်ရှာဖွေနိုင်သလား။	အသုံးပြုသူက "A ကုမ္ပဏီ၏ ၂၀၂၄ ခုနှစ်ဝင်ငွေ" ကိုမေးလျှင်၊ စနစ်သည် အဆိုပါဒေတာပါဝင်သော ဘဏ္ဍာရေးအစီရင်ခံစာအပိုင်းကို ရှာဖွေနိုင်သလား။
ထုတ်လုပ်မှုသစ္စာရှိမှု	မော်ဒယ်မှထုတ်လုပ်သော အဖြေသည် ရှာဖွေတွေ့ရှိထားသော အကြောင်းအရာကို တင်းကျပ်စွာအခြေခံပြီး ကိုယ်တိုင်ဖန်တီးခြင်းမဟုတ်သလား။	ရှာဖွေတွေ့ရှိထားသော အချက်အလက်တွင် "တိုးတက်မှုနှုန်း" မပါဝင်သော်လည်း မော်ဒယ်က "၅% တိုးလာသည်" ဟုပြောလျှင် → သစ္စာမရှိပါ။
အဖြေမှန်ကန်မှု	နောက်ဆုံးအဖြေသည် အချက်အလက် (သို့မဟုတ် အကိုးအကားအဖြေ) နှင့် ကိုက်ညီမှုရှိသလား။	မှန်ကန်သောအဖြေက "၄၂ ဘီလီယံ" ဖြစ်လျှင် မော်ဒယ်က "၄၂ ဘီလီယံ" သို့မဟုတ် "ခန့်မှန်းခြေ ၄၂ ဘီလီယံယွမ်" ဟုထုတ်လုပ်ပါက မှန်ကန်နိုင်သည်။
ငြင်းပယ်နှုန်း	အသိပညာဘဏ်တွင် သက်ဆိုင်ရာအချက်အလက်မရှိသည့်အခါ စနစ်သည် "မသိဘူး" ဟုတက်ကြွစွာပြောနိုင်သလား၊ မှန်းဆခြင်းမပြုသလား။	ရှာဖွေမှုရလဒ်ဗလာ သို့မဟုတ် ယုံကြည်မှုနိမ့်သည့်အခါ "ဝမ်းနည်းပါသည်၊ သက်ဆိုင်ရာအချက်အလက်ကို ရှာမတွေ့ပါ" ဟုထုတ်လုပ်သည်။

စနစ်တစ်ခုသည် ရှာဖွေတွေ့ရှိမှုနှုန်းတွင် မြင့်မားနိုင်သည် (အမြဲတမ်းသက်ဆိုင်ရာစာပိုဒ်ကိုရှာတွေ့နိုင်သည်)၊ သို့သော် ထုတ်လုပ်မှုသစ္စာရှိမှု အလွန်နိမ့်နေပါက (အမြဲတမ်းအလှဆင်ဖြည့်စွက်ခြင်း)၊ နောက်ဆုံးတိကျမှုနှုန်းမှာ ညံ့နေဆဲဖြစ်သည်။ ထို့ကြောင့် တိကျမှုနှုန်းကိုရှုမြင်ရာတွင် မည်သည့်အဆင့်ကို တိုင်းတာနေသည်ကို ဦးစွာရှင်းလင်းရမည်။

---

၂။ လက်ရှိနည်းပညာအဆင့်တွင် RAG စနစ်များ၏ တိကျမှုနှုန်းသည် မည်မျှရှိနိုင်သနည်း။

တစ်ပုံစံတည်းသောကိန်းဂဏန်းမရှိပါ၊ သို့သော် အများသုံးသုတေသနနှင့် လက်တွေ့အတွေ့အကြုံများကို ကိုးကားနိုင်သည်-

• ရိုးရှင်းသောအချက်အလက်အမျိုးအစားမေးခွန်းများ (တစ်ခုခုန်၊ အဖြေသည် စာရွက်စာတမ်းတစ်ခုတည်းတွင် တိုက်ရိုက်ပါဝင်သည်):
  ရှာဖွေတွေ့ရှိမှုနှုန်း ၉၀-၉၈% (အသိပညာဘဏ်အရည်အသွေးနှင့် ရှာဖွေကိရိယာပေါ်မူတည်၍)၊ ထုတ်လုပ်မှုသစ္စာရှိမှု ဂရုတစိုက်ဒီဇိုင်းထုတ်ထားသော အချက်ပြမှုများဖြင့် ၉၅%+ အထိရှိနိုင်ပြီး၊ ပေါင်းစပ်တိကျမှုနှုန်းသည် ၈၅-၉၅% ကြားရှိနိုင်သည်။
• မျိုးစုံခုန်ကျော်ဆင်ခြင်ခြင်း (မတူညီသော စာရွက်စာတမ်းအပိုင်းနှစ်ခုထက်ပိုသော အချက်အလက်များကို ပေါင်းစပ်ရန် လိုအပ်သည်):
  ရှာဖွေမှုတိကျမှုနှုန်း ၅၀-၇၀% အထိကျဆင်းကာ ထုတ်လုပ်ထားသောအဖြေ၏ မှန်ကန်မှုသည် ၄၀-၆၀% သာရှိနိုင်သည်။ ဤသည်မှာ လက်ရှိ RAG ၏ အဓိကအခက်အခဲဖြစ်သည်။
• ပွင့်လင်းဒိုမိန်း + ဆူညံသောအသိပညာဘဏ် (ဥပမာ ကြီးမားသောဝက်ဘ်စာမျက်နှာများ):
  တိကျမှုနှုန်းသည် သိသိသာသာကျဆင်းမည်၊ အကြောင်းမှာ ရှာဖွေမှုတွင် ဆူညံမှုများဝင်ရောက်နိုင်ပြီး မော်ဒယ်သည် အနှောင့်အယှက်ခံရလွယ်သောကြောင့်ဖြစ်သည်။

နိဂုံး- ထိန်းချုပ်ထားသောပတ်ဝန်းကျင် (သန့်ရှင်း၊ ဖွဲ့စည်းပုံရှိ၊ စာရွက်စာတမ်းအပိုင်းအရွယ်အစားသင့်လျော်) တွင် RAG သည် ၉၀% အထက်တိကျမှုနှုန်းကို ရရှိနိုင်သည်။ သို့သော် ရှုပ်ထွေးသော၊ ပွင့်လင်းသော၊ မျိုးစုံခုန်ကျော်ဆင်ခြင်မှုလိုအပ်သော အခြေအနေများတွင် တိကျမှုနှုန်းသည် မကြာခဏ စိတ်ကျေနပ်မှုမရှိဘဲ များစွာသောပိုမိုကောင်းမွန်အောင်ပြုလုပ်မှု လိုအပ်သည်။

---

၃။ တိကျမှုနှုန်းကို သက်ရောက်မှုရှိသော အဓိကအချက်များ

သင့် RAG စနစ်၏ တိကျမှုနှုန်း စိတ်ကျေနပ်မှုမရှိပါက၊ အောက်ပါအဆင့်လေးခုမှ စစ်ဆေးနိုင်သည်-

1. အသိပညာဘဏ်ကိုယ်တိုင်
2. ဒေတာသည် ခေတ်မမီတော့သော၊ မပြည့်စုံသော၊ သို့မဟုတ် အမှားများပါရှိသလား။

3. စာရွက်စာတမ်းများသည် ရှုပ်ထွေးနေသလား (ဥပမာ စကင်ဖတ်ထားသောစာရွက်များကို OCR မလုပ်ထားခြင်း၊ ဇယားများကို ကုဒ်ပျက်စေခြင်း)။

4. ခွဲခြမ်းခြင်းနှင့် အညွှန်းကိန်းထုတ်ခြင်း

5. စာသားအပိုင်းများကို လွန်းတိုလွန်းတိုဖြတ်ခြင်း → ဆက်စပ်မှုပျောက်ဆုံးခြင်း။ လွန်းရှည်လွန်းရှည်ဖြတ်ခြင်း → ဆူညံမှုရောနှောခြင်း။

6. ထည့်သွင်းမော်ဒယ်သည် သင့်နယ်ပယ်အတွက် သင့်လျော်မှုရှိသလား (အထွေထွေမော်ဒယ်များသည် ဥပဒေဝေါဟာရများတွင် ညံ့ဖျင်းနိုင်သည်)။

7. ရှာဖွေမှုဗျူဟာ

8. vector ရှာဖွေမှုတစ်ခုတည်းကိုသာ အသုံးပြုခြင်းသည် တိကျသောသော့ချက်စာလုံးများ (ဥပမာ ထုတ်ကုန်မော်ဒယ်နံပါတ်) ကို လျစ်လျူရှုနိုင်သည်။

9. ပြန်လည်အဆင့်သတ်မှတ်ခြင်းမရှိပါက ရှေ့ဆုံးရလဒ်များတွင် မသက်ဆိုင်သောအကြောင်းအရာများ ရောနှောပါဝင်နိုင်သည်။

10. ထုတ်လုပ်မှုအဆင့်

11. အချက်ပြစကားလုံးများသည် "ပေးထားသောအကြောင်းအရာကိုသာ အခြေခံဖြေပါ၊ မလုံလောက်ပါက ငြင်းပယ်ပါ" ဟု ရှင်းလင်းစွာညွှန်ကြားထားသလား။
12. မော်ဒယ်စွမ်းရည် လုံလောက်မှုရှိသလား (သေးငယ်သောမော်ဒယ်များသည် ရှည်လျားသောဆက်စပ်မှုရှိ အသေးစိတ်အချက်အလက်များကို လျစ်လျူရှုလေ့ရှိသည်)။

အဖြစ်များသောအမှားတစ်ခု- တိကျမှုနှုန်းနိမ့်ခြင်းကို LLM စွမ်းရည်မလုံလောက်ခြင်းဟု တိုက်ရိုက်အပြစ်တင်ခြင်းဖြစ်သော်လည်း အမှန်တကယ်တွင် ပြဿနာအများစုသည် "ရှာဖွေမှု" နှင့် "အချက်ပြဒီဇိုင်း" တွင် ဖြစ်သည်။

---

၄။ တိကျမှုနှုန်းကို မှန်ကန်စွာ "ရှုမြင်ခြင်း"—လက်တွေ့တွင် အဓိကသဘောထားအချို့

၁။ ကျိုးကြောင်းဆီလျော်သော အောက်ခြေအဆင့်နှင့် မျှော်လင့်ချက်များ သတ်မှတ်ပါ

• အန္တရာယ်များသောနယ်ပယ်များ (ဆေးဘက်ဆိုင်ရာရောဂါရှာဖွေခြင်း၊ ဥပဒေအကြံပြုချက်များ) တွင် ၉၀% တိကျမှုနှုန်းသည် လုံလောက်မှုမရှိပါ၊ လူကိုယ်တိုင်စစ်ဆေးခြင်း သို့မဟုတ် ဘက်စုံစစ်ဆေးခြင်းကို ထည့်သွင်းရမည်။
• အန္တရာယ်နိမ့်သောအခြေအနေများ (ဖောက်သည်ဝန်ဆောင်မှုအတွက်အရန်ကူး၊ ကုမ္ပဏီအတွင်းပိုင်းအသိပညာရှာဖွေခြင်း) တွင် ၈၀% တိကျမှုနှုန်းနှင့် "မသိဘူး" ဟူသော ဖော်ရွေသောတုံ့ပြန်မှုသည် ထိရောက်မှုကို သိသိသာသာမြှင့်တင်ပေးနိုင်သည်။

၂။ ၁၀၀% ကို မလိုက်လျှောက်ပါနှင့်၊ "စိစစ်နိုင်သော တိကျမှုနှုန်း" ကို လိုက်လျှောက်ပါ

• စနစ်အား အကိုးအကားအရင်းအမြစ်များကို အလိုအလျောက်ပူးတွဲထုတ်လုပ်ရန် (မည်သည့်ဆောင်းပါး၊ မည်သည့်စာပိုဒ်ကို ကိုးကားသည်ကို ဖော်ပြပါ)။
  အသုံးပြုသူသည် မူရင်းစာသားကို ကြည့်ရှုပြီး ကိုယ်တိုင်စစ်ဆေးနိုင်သည်၊ အဖြေသည် ရံဖန်ရံခါမှားယွင်းသော်လည်း ပွင့်လင်းမြင်သာမှုသည် ယုံကြည်မှုကို တည်ဆောက်နိုင်သည်။
• ယုံကြည်မှုအဆင့်သတ်မှတ်ချက် ထည့်သွင်းပါ၊ အမှတ်နိမ့်ပါက "ဤအဖြေသည် ယုံကြည်စိတ်ချရမှုနည်းပါးသည်၊ မူရင်းစာရွက်စာတမ်းကို ကြည့်ရှုရန် အကြံပြုပါသည်" ဟု တက်ကြွစွာပြောပါ။

၃။ တိကျမှုနှုန်းကို တစ်ကြိမ်တည်းပန်းတိုင်မဟုတ်ဘဲ စဉ်ဆက်မပြတ်ပိုမိုကောင်းမွန်အောင်ပြုလုပ်ရမည့် အရာအဖြစ် သတ်မှတ်ပါ

• အကဲဖြတ်မှုပိုက်လိုင်း တည်ဆောက်ပါ- အချိန်အခါအလိုက် လူကိုယ်တိုင်မှတ်သားထားသောမေးခွန်းများကို ထုတ်ယူပြီး ရှာဖွေတွေ့ရှိမှုနှုန်းနှင့် ထုတ်လုပ်မှုသစ္စာရှိမှုကို အလိုအလျောက်အကဲဖြတ်ပါ။
• RAGAS၊ TruLens ကဲ့သို့သော ကိရိယာများကို အသုံးပြု၍ စနစ်ကျသောအကဲဖြတ်မှုပြုလုပ်ပါ၊ ဥပမာအနည်းငယ်ကိုသာ မှီခိုအားထားခြင်းမပြုပါနှင့်။
• ဆိုးရွားသောဖြစ်ရပ်များအပေါ်အခြေခံ၍ အဆက်မပြတ်ချိန်ညှိပါ- ခွဲခြမ်းနည်း၊ ရှာဖွေကိရိယာဘောင်များ၊ ပြန်လည်အဆင့်သတ်မှတ်မော်ဒယ်၊ အချက်ပြစကားလုံးများ။

၄။ "စနစ်အမှား" နှင့် "လူသားစံနှုန်းမကိုက်ညီမှု" ကို ခွဲခြားပါ

• တစ်ခါတစ်ရံတွင် စနစ်မှထုတ်လုပ်သောအဖြေသည် အသုံးပြုသူ၏မျှော်လင့်ချက်နှင့် ကွဲပြားသော်လည်း အသိပညာဘဏ်အတွင်းရှိ အချက်အလက်များအရ အမှန်တကယ်မှန်ကန်နိုင်သည် (အသိပညာဘဏ်ကိုယ်တိုင်တွင် ကန့်သတ်ချက် သို့မဟုတ် အငြင်းပွားဖွယ်ရာရှိသောကြောင့်)။
  ဤအခြေအနေတွင် တိကျမှုနှုန်းကို "အသိပညာဘဏ်အချက်အလက်များ" ဖြင့်လား၊ "ပြင်ပအသိအမှတ်ပြုအချက်အလက်များ" ဖြင့်လား သတ်မှတ်ရန် လိုအပ်သည်။

---

နောက်ဆုံးအကျဉ်းချုပ်

အသိပညာမေးခွန်းစနစ်၏ တိကျမှုနှုန်းသည် တည်ငြိမ်သောအမှတ်ပြည့်ညွှန်းကိန်းတစ်ခုမဟုတ်ဘဲ "အသိပညာလွှမ်းခြုံမှု + ရှာဖွေမှုတိကျမှု + ထုတ်လုပ်မှုသစ္စာရှိမှု + ငြင်းပယ်နိုင်စွမ်း" ကို ထင်ဟပ်သည့် ပေါင်းစပ်စွမ်းရည်တန်ဖိုးတစ်ခုဖြစ်သည်။ ၎င်းကိုရှုမြင်ရာတွင် လက်ရှိနည်းပညာသည် ပြီးပြည့်စုံမှုကို မရနိုင်ကြောင်း ဆင်ခြင်တုံတရားဖြင့် သိရှိနားလည်ရမည့်အပြင် အကိုးအကားခြေရာခံခြင်း၊ ယုံကြည်မှုအဆင့်အချက်ပြခြင်း၊ လူနှင့်စက်ပူးပေါင်းဆောင်ရွက်ခြင်းစသည့် ဒီဇိုင်းများမှတစ်ဆင့် လုပ်ငန်းတွင် တန်ဖိုးအမှန်တကယ်ရရှိစေရန် ပြုလုပ်ရမည်။