AI ප්රශ්න මාලාව 11: RAG ප්රශස්තිකරණය කරන්නේ කෙසේද?
RAG ප්රශස්තිකරණය යනු තනි අදියරක සකස් කිරීමක් නොව, සම්පූර්ණ දාමයක ප්රශස්තිකරණයකි. පහතින් මම දත්ත දර්ශක පැත්ත, ප්රතිසාධන පැත්ත, උත්පාදන පැත්ත, ඇගයීම් පැත්ත යන මාන හතරෙන් ක්රමානුකූල ප්රශස්තිකරණ උපාය මාර්ග ලබා දෙන අතර, සම්මුඛ පරීක්ෂණයේදී සඳහන් කළ හැකි ප්රායෝගික අත්දැකීම් ද අමුණමි.
1. දත්ත දර්ශක පැත්තේ ප්රශස්තිකරණය ("දැනුම් පදනමේ" ගුණාත්මකභාවය ඉහළ නැංවීම)
මෙය බොහෝ විට නොසලකා හරින නමුත් වේගවත්ම ප්රතිඵල ලබා දෙන ස්ථානයයි.
| ප්රශස්තිකරණ ලක්ෂ්යය | ගැටලු සංසිද්ධිය | නිශ්චිත ක්රියාමාර්ගය | බලපෑම් දර්ශකය |
|---|---|---|---|
| ලේඛන විග්රහ කිරීම | PDF හි වගු, ප්රවාහ සටහන් නොසලකා හැරීම, හෝ අක්ෂර විකෘති වීම, අනුපිළිවෙල වැරදීම. | වඩා හොඳ විග්රහ කිරීමේ පුස්තකාල (උදා. unstructured, pypdf හි පිරිසැලසුම් රඳවා ගැනීමේ මාදිලිය) භාවිතා කරන්න; වගු සඳහා pandas භාවිතා කර Markdown බවට පරිවර්තනය කරන්න. |
නැවත කැඳවීමේ අනුපාතය +5~15% |
| පෙළ කොටස් ප්රමාණය | කුඩා කොටස සන්දර්භය අහිමි කරයි (උදා. "ඔහුගේ මෙම වසරේ ආදායම් වර්ධනය" හි "ඔහු" යොමුව අහිමි වීම); විශාල කොටස ප්රතිසාධන ශබ්දය වැඩි කරයි. | විවිධ කොටස් ප්රමාණ (256/512/768 token) අත්හදා බලන්න, අතිච්ඡාදනය 10~20% ලෙස සකසන්න; දිගු ලේඛන සඳහා අර්ථකථන මායිම් (ඡේද/ශීර්ෂ) අනුව කපන්න, ස්ථාවර දිගට නොවේ. | ප්රහාර අනුපාතය / විශ්වාසනීයත්වය |
| පාර-දත්ත අමුණා ගැනීම | අදාළ ඡේදය සොයා ගත්තද, මූලාශ්රය හෝ කාලය සොයා ගත නොහැක, හෝ වසම අනුව පෙරීමට අවශ්ය වේ. | එක් එක් කොටස සඳහා පාර-දත්ත එක් කරන්න: source (ගොනු නම/URL), timestamp, page_num, doc_type. ප්රතිසාධනයේදී පෙරහන් භාවිතා කරන්න (උදා. doc_type == 'legal'). |
පෙරීමේ නිරවද්යතාව |
| එම්බෙඩ් කිරීමේ ආකෘතිය තෝරා ගැනීම | සාමාන්ය එම්බෙඩ් කිරීම සිරස් වසම් (වෛද්ය, කේත, නීති) තුළ දුර්වල ලෙස ක්රියා කරයි. | වසම් සියුම්-සුසර කළ ආකෘති (BGE-large-zh, GTE-Qwen2-7B-instruct) භාවිතා කරන්න; හෝ ඔබේම එම්බෙඩ් කිරීමේ ආකෘතිය සියුම්-සුසර කරන්න (triplet loss භාවිතා කර). | ප්රතිසාධන MRR@10 +10~20% |
2. ප්රතිසාධන පැත්තේ ප්රශස්තිකරණය ("පොත පෙරලීම" වඩාත් නිවැරදි කිරීම)
ප්රතිසාධනය LLM වෙත ලබා දෙන "යොමු ද්රව්ය"වල ගුණාත්මකභාවය තීරණය කරයි.
| ප්රශස්තිකරණ ලක්ෂ්යය | ගැටලු සංසිද්ධිය | නිශ්චිත ක්රියාමාර්ගය | බලපෑම |
|---|---|---|---|
| මිශ්ර ප්රතිසාධනය | දෛශික ප්රතිසාධනය නිවැරදි පද (උදා. නිෂ්පාදන ආකෘතිය ABC-123) ගැළපීමට අසමත් වේ, මූල පද ප්රතිසාධනය සමාන පද තේරුම් නොගනී. |
දෛශික ප්රතිසාධනය (අර්ථකථන) සහ BM25 (මූල පද) එකවර භාවිතා කරන්න, බර කිරීම (උදා. 0.7දෛශික + 0.3BM25) හෝ නැවත ඇණවුම් කිරීම මගින් ඒකාබද්ධ කරන්න. | නැවත කැඳවීමේ අනුපාතය +10~25% |
| නැවත ඇණවුම් කිරීම (Rerank) | දෛශික ප්රතිසාධනයෙන් ආපසු ලැබෙන පළමු ප්රතිඵල කිහිපය අවශ්යයෙන්ම වඩාත්ම අදාළ නොවේ; 10 වැනි ප්රතිඵලය හොඳම විය හැක. | cross-encoder ආකෘතියක් (උදා. BGE-reranker-v2, Cohere Rerank) භාවිතා කර අපේක්ෂක කට්ටලය (උදා. පළමු 20) නැවත ලකුණු කරන්න, top-K ගන්න. |
ප්රහාර අනුපාතය සැලකිය යුතු ලෙස වැඩි දියුණු වේ (විශේෂයෙන් top-1) |
| ප්රශ්න නැවත ලිවීම | පරිශීලක ප්රශ්නය අපැහැදිලි හෝ බහු-වට සංවාදයේදී යොමුව පැහැදිලි නැත ("එහි මිල කීයද?"). | LLM භාවිතා කර මුල් ප්රශ්නය ප්රතිසාධනයට වඩාත් සුදුසු ආකාරයට නැවත ලියන්න (උදා. "iPhone 15 හි මිල කීයද?"); හෝ සංවාද ඉතිහාසය භාවිතා කර සම්පූර්ණ කරන්න. | නැවත කැඳවීමේ අනුපාතය +5~15% |
| HyDE | පරිශීලක ප්රශ්නය ඉතා කෙටි හෝ වියුක්තයි (උදා. "ප්රභාසංස්ලේෂණය ගැන කියන්න"), සෘජු ප්රතිසාධනය දුර්වලයි. | පළමුව LLM ට උපකල්පිත පිළිතුරක් ජනනය කරන ලෙසට ඉඩ දෙන්න, ඉන්පසු එම පිළිතුර ලේඛන ප්රතිසාධනය සඳහා භාවිතා කරන්න. | විවෘත වසම් සඳහා සුදුසු නමුත් කරුණු මත පදනම් වූ නිවැරදි ප්රශ්නෝත්තර සඳහා සුදුසු නොවේ |
| ප්රතිසාධන ප්රමාණය Top-K සකස් කිරීම | K ඉතා කුඩා නම් ප්රධාන තොරතුරු අහිමි විය හැක; K ඉතා විශාල නම් token පරිභෝජනය සහ ශබ්දය වැඩි වේ. | K=3/5/10 අත්හදා බලන්න, නැවත කැඳවීමේ අනුපාතය සහ පිළිතුරේ විශ්වාසනීයත්වය අතර සමතුලිතතාවය නිරීක්ෂණය කරන්න. | කාර්යක්ෂමතාව සහ බලපෑම අතර වෙළඳාම |
3. උත්පාදන පැත්තේ ප්රශස්තිකරණය (LLM යොමු ද්රව්ය හොඳින් භාවිතා කිරීමට සලස්වා ගැනීම)
ප්රතිසාධනය කෙතරම් නිවැරදි වුවත්, ඉඟි හොඳ නැතිනම් හෝ ආකෘතිය දුර්වල නම් එය නිෂ්ඵලයි.
| ප්රශස්තිකරණ ලක්ෂ්යය | ගැටලු සංසිද්ධිය | නිශ්චිත ක්රියාමාර්ගය | බලපෑම |
|---|---|---|---|
| ඉඟි ඉංජිනේරු විද්යාව | LLM ප්රතිසාධන අන්තර්ගතය නොසලකා හරියි, හෝ මනඃකල්පිත දේ නිර්මාණය කරයි. | පැහැදිලි උපදෙස්: "පහත සපයා ඇති යොමු ද්රව්ය පමණක් භාවිතා කර ප්රශ්නයට පිළිතුරු දෙන්න. ද්රව්ය ප්රමාණවත් නොවේ නම් හෝ අදාළ නොවේ නම්, 'ප්රමාණවත් තොරතුරු නැත' යනුවෙන් පිළිතුරු දෙන්න." මූලාශ්ර උපුටා දැක්වීමට ආදර්ශන සහිත few-shot examples එක් කරන්න. | විශ්වාසනීයත්වය +20~40% |
| සන්දර්භ සම්පීඩනය | ප්රතිසාධනය කළ අන්තර්ගතය ඉතා දිගු (ආකෘතියේ සන්දර්භ කවුළුව ඉක්මවා), හෝ බොහෝමයක් ශබ්දය වේ. | LLMLingua හෝ තේරීම් සන්දර්භය භාවිතා කර සම්පීඩනය කරන්න, වඩාත්ම අදාළ වාක්ය පමණක් රඳවා ගෙන LLM වෙත යවන්න. |
තොරතුරු අහිමි වීමේ අවදානම අඩු කරයි |
| LLM ආකෘතිය වැඩිදියුණු කිරීම | කුඩා ආකෘති (7B) සංකීර්ණ තර්කනය ක්රියාත්මක කළ නොහැක, හෝ දිගු සන්දර්භය මතක තබා ගත නොහැක. | ශක්තිමත් ආකෘති (GPT-4o, Claude 3.5 Sonnet, Qwen2.5-72B) වෙත මාරු වන්න. | තර්කන නිරවද්යතාව සැලකිය යුතු ලෙස වැඩි දියුණු වේ |
| ප්රවාහය සහ උපුටා දැක්වීම් | පරිශීලකයාට පිළිතුරේ විශ්වසනීයත්වය සත්යාපනය කළ නොහැක. | උත්පාදනයේදී LLM ට [citation:1] ප්රතිදානය කිරීමට ඉඩ දෙන්න, එය ප්රතිසාධන ලේඛනයේ අංකයට අනුරූප වේ. පසුපෙළ මුල් සබැඳිය අමුණන්න. |
පරිශීලක විශ්වාසය + නිදොස්කරණය |
| පිළිතුරු ප්රතික්ෂේප කිරීමේ ක්රමාංකනය | ආකෘතිය පිළිතුරු නොදිය යුතු විට මනඃකල්පිත දේ නිර්මාණය කරයි, නැතහොත් පිළිතුරු දිය යුතු විට "නොදනී" යැයි කියයි. | සමානතා සීමාවක් සකසන්න: ප්රතිසාධනය කළ top-1 කොටසේ සහ ප්රශ්නයේ කොසයින් සමානතාව 0.7 ට අඩු නම්, LLM ට "ද්රව්ය අදාළ නොවේ" යැයි පවසන්න. | මායා අනුපාතය අඩු කරයි |
4. ඇගයීම් සහ පුනරාවර්තන පැත්ත (කොතැනට සකස් කළ යුතුදැයි දැන ගැනීම)
මිනුම් නොමැතිව ප්රශස්තිකරණය කළ නොහැක.
| ප්රශස්තිකරණ ලක්ෂ්යය | ක්රියාමාර්ගය | දර්ශකය |
|---|---|---|
| ඇගයීම් කට්ටලයක් ස්ථාපිත කිරීම | සැබෑ පරිශීලක ප්රශ්න 100~300 ක් + සම්මත පිළිතුරු + නිවැරදි ප්රතිසාධන ලේඛන ID සකස් කරන්න. | විවිධ දුෂ්කරතා සහ අභිප්රායන් ආවරණය කරයි. |
| ස්වයංක්රීය ඇගයීම | RAGAS (Faithfulness, Answer Relevance, Context Recall) හෝ TruLens භාවිතා කරන්න. | ප්රධාන දර්ශක තුන: විශ්වාසනීයත්වය, පිළිතුරු අදාළත්වය, සන්දර්භ නැවත කැඳවීම. |
| මානව ඇගයීම | සතිපතා නරක අවස්ථා 20 ක් අහඹු ලෙස පරීක්ෂා කරන්න, දෝෂ වර්ග විශ්ලේෂණය කරන්න (ප්රතිසාධන අසාර්ථකත්වය / උත්පාදන දෝෂය / දැනුම් පදනමේ හිඟය). | වැඩිදියුණු කිරීමේ ප්රමුඛතා අනුපිළිවෙල. |
| A/B පරීක්ෂාව | නිෂ්පාදන පරිසරයේ විවිධ ප්රතිසාධන උපාය මාර්ග (උදා. BM25 එදිරිව මිශ්ර ප්රතිසාධනය) කොටස් කර පරීක්ෂා කරන්න. | සබැඳි දර්ශක: පරිශීලක තෘප්තිය, පිළිතුරු නොමැති අනුපාතය. |
5. සම්මුඛ පරීක්ෂණයේදී කිව හැකි "ප්රායෝගික අත්දැකීම්" (අමතර ලකුණු)
"මගේ වගකීම යටතේ තිබූ RAG ව්යාපෘතියේදී, ආරම්භක මූලික ප්රහාර අනුපාතය 67% ක් පමණක් විය. මම කරුණු තුනක් කළෙමි:
1. ස්ථාවර 1024 කොටස් ප්රමාණයෙන් ගතික අර්ථකථන කැපීමට (ශීර්ෂ+ඡේද අනුව) වෙනස් කළෙමි, ප්රහාර අනුපාතය 74% දක්වා ඉහළ ගියේය;
2. මිශ්ර ප්රතිසාධනය (දෛශික + BM25) සහ කුඩා නැවත ඇණවුම් කිරීමේ ආකෘතියක් එක් කළෙමි, ප්රහාර අනුපාතය 83% දක්වා ඉහළ ගියේය;
3. ඉඟි ප්රශස්ත කර [අදාළ තොරතුරු සොයාගත නොහැකි විය] අනිවාර්ය කළෙමි, මායා අනුපාතය 22% සිට 5% ට වඩා අඩු විය.මීට අමතරව, අපි අඛණ්ඩ ඇගයීම් නල මාර්ගයක් ස්ථාපිත කළෙමු, එක් එක් වෙනස් කිරීමට පෙර ප්රශ්න 200 ක RAGAS ලකුණු ධාවනය කර, පරිහානියක් නොමැති බවට සහතික විය."
අවසාන සාරාංශය: සම්පූර්ණ RAG ප්රශස්තිකරණ මාර්ග සිතියමක්
දත්ත ස්තරය ─→ ලේඛන පිරිසිදු කිරීම, කොටස් ප්රශස්තිකරණය, පාර-දත්ත වැඩිදියුණු කිරීම, වසම් එම්බෙඩ් කිරීම
ප්රතිසාධන ස්තරය ─→ මිශ්ර ප්රතිසාධනය, නැවත ඇණවුම් කිරීම, ප්රශ්න නැවත ලිවීම, HyDE, Top-K සුසර කිරීම
උත්පාදන ස්තරය ─→ ඉඟි ශක්තිමත් කිරීම, උපදෙස් අවශ්යතා, සම්පීඩනය, උපුටා දැක්වීම, ප්රතික්ෂේප කිරීමේ සීමාව
ඇගයීම් ස්තරය ─→ ඇගයීම් කට්ටලය, RAGAS, මානව විශ්ලේෂණය, A/B පරීක්ෂණ
评论
暂无已展示的评论。
发表评论（匿名）