AI စီးရီးအင်တာဗျူး 8: RAG ဆိုတာဘာလဲ။ RAG ပရောဂျက်ကို ဘာကြောင့်လုပ်ချင်တာလဲ။

RAG ဆိုတာဘာလဲ။

RAG ၏ အပြည့်အဝအမည်မှာ Retrieval-Augmented Generation ဖြစ်ပြီး မြန်မာလို ရှာဖွေမှုအားချဲ့ထွင်ထုတ်ပေးခြင်း ဟုခေါ်သည်။

ရိုးရိုးရှင်းရှင်းပြောရလျှင် ၎င်းသည် "အချိန်မရွေးဖတ်နိုင်သော အကိုးအကားစာအုပ်တစ်အုပ်ကို ဘာသာစကားမော်ဒယ်ကြီးတစ်ခုအား ပေးအပ်ခြင်း" နည်းပညာဖြစ်သည်။

ဘာသာစကားမော်ဒယ်ကြီးကို မှတ်ဉာဏ်ကောင်းပြီး အသိပညာဗဟုသုတကြွယ်ဝသော "စူပါကျောင်းသား" တစ်ယောက်အဖြစ် စဉ်းစားနိုင်သည်။ သို့သော် ထိုကျောင်းသားတွင် မွေးရာပါ "အားနည်းချက်" နှစ်ခုရှိသည်-

1. အသိပညာသတ်မှတ်ရက်: သူလေ့လာထားသော အသိပညာသည် လေ့ကျင့်မှုဒေတာ၏ သတ်မှတ်ရက်အထိသာ သက်ရောက်သည်။ 2023 ခုနှစ်နောက်ပိုင်း ဖြစ်ပျက်ခဲ့သော အရာများကို သူလုံးဝမသိပါ။
2. "လိမ်လည်ဖန်တီးနိုင်": သူမသိသောမေးခွန်းတစ်ခုကြုံလာလျှင် "ကျွန်ုပ်မသိပါ" ဟုမပြောဘဲ စိတ်ကူးဖြင့် "ဖန်တီးပြီး" ယုတ္တိရှိပုံရသော အဖြေတစ်ခုကို ထုတ်ပေးလိမ့်မည် (၎င်းသည် AI အာရုံစူးစိုက်မှုဖြစ်သည်)။

RAG သည် ပြဿနာနှစ်ခုကို ဖြေရှင်းရန် ဖြစ်သည်။ ၎င်း၏ လုပ်ငန်းလုပ်နည်းမှာ ရိုးရှင်းပြီး သုံးဆင့်ရှိသည်-

1. ရှာဖွေခြင်း: သင်မေးခွန်းတစ်ခုမေးသောအခါ စနစ်သည် "ပြင်ပအသိပညာဒေတာဘေ့စ်" (ဥပမာ သင့်ကုမ္ပဏီ၏စာရွက်စာတမ်းအားလုံး၊ နောက်ဆုံးပေါ်ဝီကီပီးဒီးယား သို့မဟုတ် ဥပဒေစာတန်းများ) သို့သွားကာ လျင်မြန်စွာရှာဖွေပြီး သက်ဆိုင်ရာအပိုင်းအချို့ကို ရှာဖွေတွေ့ရှိသည်။ ၎င်းသည် ကျောင်းသားအား မေးခွန်းအတွက် စာအုပ်ကြည့်ခိုင်းသလိုဖြစ်သည်။
2. ချဲ့ထွင်ခြင်း: စနစ်သည် "သင်မေးသောမေးခွန်း" နှင့် "ရှာဖွေတွေ့ရှိသော သက်ဆိုင်ရာအပိုင်းများ" ကို အတူတကွထုပ်ပိုးပြီး "ချဲ့ထွင်ထားသော" အချက်ပြစာသားတစ်ခုကို ဖန်တီးသည်။ ၎င်းသည် ကျောင်းသားအား အကိုးအကားပစ္စည်းများပေးသလိုဖြစ်သည်။
3. ထုတ်ပေးခြင်း: ဘာသာစကားမော်ဒယ်ကြီးသည် ဤ "ချဲ့ထွင်ထားသော" အချက်ပြစာသားကို အခြေခံ၍ နောက်ဆုံးအဖြေကို ထုတ်ပေးသည်။ ၎င်းသည် မိမိ၏ "မှတ်ဉာဏ်" ထဲမှ ဟောင်းသောအသိပညာကိုသာ အားမကိုးတော့ဘဲ သင်ပေးထားသော "အကိုးအကားပစ္စည်းများ" ကို အဓိကကိုးကားကာ အဖြေပေးသည်။ ၎င်းသည် ကျောင်းသားသည် စာမေးပွဲမဖြေဘဲ စာအုပ်နှင့်ပစ္စည်းများကိုကြည့်၍ အဖြေပေးသလိုဖြစ်သည်။

ရိုးရှင်းသော ဥပမာတစ်ခု-
- သမားရိုးကျ LLM: "ကျွန်ုပ်၏ XX မော်ဒယ်စက်ဘီးကို ဘယ်လိုပြုပြင်ရမလဲ။" → မော်ဒယ်သည် မှတ်ဉာဏ်ဖြင့်ဖြေကာ ဟောင်းနွမ်းသော သို့မဟုတ် မှားယွင်းသောအဖြေဖြစ်နိုင်သည်။
- RAG: "ကျွန်ုပ်၏ XX မော်ဒယ်စက်ဘီးကို ဘယ်လိုပြုပြင်ရမလဲ။" → နောက်ဆုံးပေါ်တရားဝင်ပြုပြင်ရေးလက်စွဲကို ဦးစွာရှာဖွေသည် → ထို့နောက်ထုတ်ပေးသည်: "2024 ထုတ် ပြုပြင်ရေးလက်စွဲအရ အခန်း 3 အရ သင်သည် ဦးစွာ ..."

RAG ပရောဂျက်ကို ဘာကြောင့်လုပ်ချင်တာလဲ။

RAG ပရောဂျက်ကိုလုပ်ခြင်းသည် အနှစ်သာရအားဖြင့် အားသာချက်များကိုယူ၍ အားနည်းချက်များကိုရှောင်ရန် နှင့် ဘာသာစကားမော်ဒယ်ကြီး၏ စစ်မှန်သောအလားအလာကို ထုတ်လွှတ်ရန်ဖြစ်သည်။ အဓိကမောင်းနှင်အားများမှာ အောက်ပါအတိုင်းဖြစ်သည်-

1. "အသိပညာဟောင်းနွမ်းခြင်း" နှင့် "အာရုံစူးစိုက်မှု" ပြဿနာများကိုဖြေရှင်းရန်

   • လှုံ့ဆော်မှု: LLM အား နောက်ဆုံးပေါ်ဖြစ်ရပ်များ၊ အတွင်းပိုင်းဒေတာများ၊ ကိုယ်ပိုင်စာရွက်စာတမ်းများအကြောင်းမေးခွန်းများကိုဖြေဆိုနိုင်စေရန် နှင့် အဖြေများတွင် ကိုးကားချက်များပါရှိစေရန်။
   • တန်ဖိုး: RAG လုပ်နိုင်သော ဆေးဘက်ဆိုင်ရာမေးခွန်းဖြေစနစ်တစ်ခုသည် "COVID-19 ၏နောက်ဆုံးပေါ်မျိုးကွဲလက္ခဏာများ" ကိုဖြေရန် နောက်ဆုံးပေါ်ဆေးပညာဂျာနယ်များကို ကိုးကားနိုင်ပြီး 2021 ခုနှစ်မှ ဟောင်းနွမ်းသောအချက်အလက်များကို မပေးဘဲ ကိုးကားချက်ရင်းမြစ်များကိုပါ တွဲပေးကာ "လိမ်လည်ပြောဆိုခြင်း" အန္တရာယ်ကို လျှော့ချနိုင်သည်။

2. AI အား "ကိုယ်ပိုင်ဒေတာ" ကိုင်တွယ်နိုင်စေရန် နှင့် လုံခြုံရေးကိုသေချာစေရန်

   • လှုံ့ဆော်မှု: ကုမ္ပဏီတိုင်းတွင် ၎င်းတို့၏ကိုယ်ပိုင်အသိပညာဒေတာဘေ့စ်များ (စာချုပ်များ၊ ကုဒ်များ၊ ဖောက်သည်ဝန်ဆောင်မှုမှတ်တမ်းများ စသည်) ရှိသည်။ ဤဒေတာကို မော်ဒယ်အားပြန်လေ့ကျင့်ရန် သို့မဟုတ် ချိန်ညှိရန်မသုံးနိုင်ပါ (ကုန်ကျစရိတ်မြင့်မားခြင်း၊ နည်းပညာခက်ခဲခြင်း၊ ဒေတာပေါက်ကြားမှုအန္တရာယ်ရှိခြင်း)။
   • တန်ဖိုး: RAG မှတစ်ဆင့် ကုမ္ပဏီအတွင်းပိုင်း "AI မေးခွန်းဖြေလက်ထောက်" တစ်ခုကို တည်ဆောက်နိုင်သည်။ ဝန်ထမ်းတစ်ဦးမေးမြန်းသောအခါ AI သည် ကုမ္ပဏီအတွင်းပိုင်းကိုယ်ပိုင်စာရွက်စာတမ်းများမှ သက်ဆိုင်ရာအချက်အလက်များကိုရှာဖွေကာ အဖြေပေးသည်။ ကိုယ်ပိုင်ဒေတာသည် ကုမ္ပဏီအတွင်းတွင်သာရှိနေပြီး မော်ဒယ်ထုတ်လုပ်သူထံ လေ့ကျင့်မှုအတွက်မပို့ပါ၊ LLM ၏နားလည်နိုင်စွမ်းကိုအသုံးပြုနေချိန်တွင် ဒေတာလုံခြုံရေးကိုသေချာစေသည်။

3. ကုန်ကျစရိတ်ကိုလျှော့ချရန် နှင့် ထိရောက်မှုတိုးမြှင့်ရန်

   • လှုံ့ဆော်မှု: အသိပညာအသစ်များစုပ်ယူရန် မော်ဒယ်ကြီးတစ်ခုကိုပြန်လေ့ကျင့်ခြင်း သို့မဟုတ် ချိန်ညှိခြင်းသည် စာကြည့်တိုက်တစ်ခုလုံးကို ပြန်လေ့လာရသကဲ့သို့ဖြစ်ပြီး ကြီးမားသောတွက်ချက်မှုစွမ်းအားနှင့် ကုန်ကျစရိတ်လိုအပ်သည်။
   • တန်ဖိုး: RAG သည် လေ့ကျင့်မှုနီးပါးမလိုအပ်ပါ၊ ရှာဖွေရေးစနစ်တည်ဆောက်ရန်သာလိုအပ်သည်။ ကုန်ကျစရိတ်သည် ချိန်ညှိမှု၏ 1% သို့မဟုတ် ထိုထက်ပင် နည်းနိုင်သည်။ ထို့အပြင် အသိပညာဒေတာဘေ့စ်ကို အပ်ဒိတ်လုပ်လိုက်လျှင် ရှာဖွေမှုရလဒ်များလည်း အလိုအလျောက်အပ်ဒိတ်ဖြစ်ကာ မော်ဒယ်ကိုပြန်လေ့ကျင့်ရန်မလိုဘဲ "အချိန်နှင့်တပြေးညီအပ်ဒိတ်" ကိုရရှိသည်။

4. AI အား "သိသည်ကိုသိ၍ မသိသည်ကိုမသိစေရန်"

   • လှုံ့ဆော်မှု: မော်ဒယ်သည် ၎င်း၏အသိပညာနယ်နိမိတ်ကို ရှင်းရှင်းလင်းလင်းသိစေလိုသည်။
   • တန်ဖိုး: RAG စနစ်တွင် စည်းမျဉ်းတစ်ခုသတ်မှတ်နိုင်သည်- သက်ဆိုင်ရာစာရွက်စာတမ်းမတွေ့ပါက "တောင်းပန်ပါသည်၊ ကျွန်ုပ်၏အသိပညာဒေတာဘေ့စ်တွင် သက်ဆိုင်ရာအချက်အလက်များကိုရှာမတွေ့ပါ။ ကျေးဇူးပြု၍ သင့်မေးခွန်းကိုအတည်ပြုပါ။" ဟုတိုက်ရိုက်ဖြေဆိုခြင်းဖြစ်သည်။ ဤ "ကိုးကားမှုမအောင်မြင်ခြင်း" ယန္တရားသည် AI ၏လည်ပတ်မှုကို ပိုမိုယုံကြည်စိတ်ချရပြီး ပွင့်လင်းမြင်သာစေသည်။

အနှစ်ချုပ်-

RAG ပရောဂျက်ကိုလုပ်ရခြင်းမှာ ကျွန်ုပ်တို့သည် ဘာသာစကားမော်ဒယ်ကြီး၏ အားကောင်းသောနားလည်နိုင်စွမ်းနှင့် ဖော်ပြနိုင်စွမ်းကို လိုချင်သလို ၎င်းကို "ရိုးသား၊ ယုံကြည်စိတ်ချရ၊ ခေတ်နှင့်အမီလိုက်၊ ကိုယ်ပိုင်လုပ်ငန်းကိုနားလည်" စေလိုသောကြောင့်ဖြစ်သည်။ ၎င်းသည် စူပါအင်ဂျင် (LLM) အား တိကျသောထိန်းချုပ်နိုင်သောစတီယာရင်ဘီးနှင့် အချိန်နှင့်တပြေးညီအပ်ဒိတ်လုပ်သော လမ်းပြမြေပုံ (ရှာဖွေရေးစနစ်) တပ်ဆင်ပေးသကဲ့သို့ဖြစ်ပြီး လက်ရှိတွင် LLM အား လုပ်ငန်း၊ ဆေးဘက်၊ ဥပဒေ၊ ဘဏ္ဍာရေးစသည့် အလေးအနက်နယ်ပယ်များတွင် အမှန်တကယ်အသုံးချရန် အထိရောက်ဆုံးနှင့် အဓိကလမ်းကြောင်းများထဲမှတစ်ခုဖြစ်သည်။