Awọn ibeere ifọrọwanilẹnuwo AI 11: Bawo ni a ṣe n ṣe atunṣe RAG?

Atunṣe RAG kii ṣe atunṣe ẹyọ kan, ṣugbọn o jẹ ilana isọdọtun gbogbo ọna asopọ. Nibayi, lati inu ẹgbẹ data atọka, ẹgbẹ wiwa, ẹgbẹ ipilẹṣẹ, ẹgbẹ igbelewọn mẹrin, Mo n fun awọn ilana atunṣe eto, pẹlu awọn iriri iṣe ti a le mẹnuba ninu ifọrọwanilẹnuwo.

Ọkọọkan kan: Atunṣe ẹgbẹ data atọka (igbelaruge didara "iyè imọ")

Eyi ni ibi ti a ṣe akiyesi rẹ diẹ ṣugbọn o nṣiṣẹ ni kiakia.

Oju atunṣe	Iṣẹlẹ iṣoro	Ọna kan pato	Atọka ipa
Itupalẹ iwe	Awọn tabili, awọn fọto ṣiṣan ninu PDF ni a foju, tabi awọn ọrọ jẹ awọn koodu ti ko tọ, aṣẹ jẹ aṣiṣe.	Lo awọn ile-ikawe itupalẹ ti o dara julọ (gẹgẹ bi `unstructured`, `pypdf` ni ipo ifipamọ ifilelẹ); fun awọn tabili lo `pandas` lati yọ jade ki o si yi pada si Markdown.	Ipe agbapada +5~15%
Iwọn pipin ọrọ	Chunk kekere pupa padanu agbegbe (bii "ó jẹ́ pé ó gbé” ninu “ó jẹ́ pé ó gbé” padanu itọka); chunk tobi fa ariwo wiwa pọ.	Ṣe idanwo awọn iwọn chunk oriṣiriṣi (256/512/768 token), overlap fi si 10~20%; fun awọn iwe gigun, pin nipasẹ aala itumọ (ipin/akọle) kuku ju gigun ti o wa titi lọ.	Oṣuwọn kọlu / iṣootọ
Afi metadata	Wiwa si apakan ti o jọmọ, ṣugbọn ko le ṣe itọpa si orisun tabi akoko, tabi nilo lati ṣe àlẹmọ nipasẹ aaye.	Fi metadata kun fun chunk kọọkan: `source` (orukọ faili/URL), `timestamp`, `page_num`, `doc_type`. Ni wiwa lo awọn àlẹmọ (bii `doc_type == 'legal'`).	Ipeye àlẹmọ
Yiyan awoṣe ifibọ	Ifibọ gbogbogbo ko dara ni aaye inaro (iwosan, koodu, ofin).	Lo awọn awoṣe ti a tunṣe aaye (BGE‑large‑zh, GTE‑Qwen2‑7B‑instruct); tabi tunṣe awoṣe ifibọ tirẹ (lo triplet loss).	Wiwa MRR@10 +10~20%

Ọkọọkan keji: Atunṣe ẹgbẹ wiwa (mu "kika iwe" jẹ deede)

Wiwa pinnu didara "awọn ohun elo itọkasi" ti a fun LLM.

Oju atunṣe	Iṣẹlẹ iṣoro	Ọna kan pato	Ipa
Wiwa idapọ	Wiwa fekito ko le baramu ọrọ pato (bii awoṣe ọja `ABC-123`), wiwa koko-ọrọ ko le loye awọn ọrọ-ìṣe.	Lo wiwa fekito (itumọ) ati BM25 (koko-ọrọ) nigbakanna, nipasẹ fifi iwuwo (bii 0.7fekito + 0.3BM25) tabi rerank idapọ.	Ipe agbapada +10~25%
Atunto (Rerank)	Awọn abajade akọkọ ti wiwa fekito da pada kii ṣe pataki julọ, ẹkẹwa ni o dara julọ.	Lo awoṣe cross‑encoder (bii `BGE‑reranker-v2`, Cohere Rerank) lati ṣe atunto awọn oludije (bii 20 akọkọ), mu top‑K.	Oṣuwọn kọlu pọ si (paapaa top‑1)
Atunkọ ibeere	Ibeere olumulo jẹ ṣoki tabi itọka ti ko ṣe kedere ninu ibaraẹnisọrọ pupọ ("Kini idiyele rẹ?").	Fi LLM ṣe atunkọ ibeere atilẹba si fọọmu ti o dara fun wiwa (bii "Kini idiyele iPhone 15?"); tabi lo itan ibaraẹnisọrọ lati pari.	Ipe agbapada +5~15%
HyDE	Ibeere olumulo kuru ju tabi áljẹbrà (bii "sọ nipa photosynthesis"), wiwa taara ko dara.	Kọkọ jẹ ki LLM ṣe ipilẹṣẹ idahun arosọ, lẹhinna lo idahun yii lati wiwa iwe.	O wulo fun aaye ṣiṣi, ṣugbọn kii ṣe fun ibeere otitọ kongẹ
Atunṣe nọmba wiwa Top‑K	K kere ju le padanu alaye pataki; K tobi ju pọ si agbara token ati ariwo.	Ṣe idanwo K=3/5/10, ṣe akiyesi iwọntunwọnsi laarin ipe agbapada ati iṣootọ idahun.	Iṣẹ ṣiṣe ati ipa trade‑off

Ọkọọkan kẹta: Atunṣe ẹgbẹ ipilẹṣẹ (mu LLM lo awọn ohun elo itọkasi daradara)

Wiwa ti o dara julọ, ti a ko ba fi awọn ilana itọni to dara tabi awoṣe ko dara, ko wulo.

Oju atunṣe	Iṣẹlẹ iṣoro	Ọna kan pato	Ipa
Imọ-ẹrọ itọka	LLM foju awọn akoonu wiwa, tabi da awọn nkan ọfẹ.	Paṣẹ kedere: "Dahun ibeere nikan da lori awọn ohun elo itọkasi ti a pese ti akoonu ko to tabi ko jọmọ, jọwọ dahun 'ko si alaye to'." Fi awọn apẹẹrẹ few‑shot ti o ṣe afihan bi a ṣe tọka orisun.	Iṣootọ +20~40%
Fifunpin ọrọ	Akoonu ti a wiwa gun ju (lọ kọja ferese ọrọ awoṣe), tabi pupọ julọ jẹ ariwo.	Lo `LLMLingua` tabi `Fifunpin ọrọ yiyan` lati funpin, ṣe itọju awọn gbolohun ti o jẹ pataki julọ ki o si fi ran LLM.	Dinku eewu pipadanu alaye
Imudara awoṣe LLM	Awoṣe kekere (7B) ko le ṣe ero inu eka, tabi ko le ranti ọrọ gigun.	Yipada si awoṣe ti o lagbara (GPT‑4o, Claude 3.5 Sonnet, Qwen2.5‑72B).	Ipeye ero inu pọ si pupọ
Ṣiṣan ati itọka	Olumulo ko le rii daju iṣootọ idahun.	Ni ipilẹṣẹ jẹ ki LLM ṣe afihan `[citation:1]`, tọka si nọmba iwe ti a wiwa. Ẹgbẹ ẹhin fi ọna asopọ atilẹba kun.	Igbagbọ olumulo + agbara ṣiṣe àtúnṣe
Isọdọtun idahun kiko	Awoṣe da nkan ọfẹ nigbati ko yẹ, tabi sọ pe ko mọ nigbati o yẹ ki o dahun.	Ṣeto ala ibajọra kan: ti top‑1 chunk ti a wiwa ba ni ibajọra cosine kere ju 0.7 pẹlu ibeere, sọ fun LLM "akoonu ko jọmọ".	Dinku iṣuwọn iruju

Ọkọọkan kẹrin: Ẹgbẹ igbelewọn ati atunṣe (mọ ibi ti a ti n ṣe atunṣe)

Laisi wiwọn, ko si imudara.

Oju atunṣe	Ọna	Atọka
Ṣeto akojo igbelewọn	Ṣeto awọn ibeere olumulo gidi 100~300 + awọn idahun boṣewa + awọn ID iwe wiwa to tọ.	Bo awọn iṣoro oriṣiriṣi, awọn ero oriṣiriṣi.
Igbelewọn adaṣe	Lo RAGAS (Faithfulness, Answer Relevance, Context Recall) tabi TruLens.	Awọn atọka pataki mẹta: iṣootọ, ibaramu idahun, ipadabọ ọrọ.
Igbelewọn eniyan	Ṣe ayẹwo awọn ọran buburu 20 ni ọsẹ kọọkan, ṣe itupalẹ iru aṣiṣe (wiwa kuna / ipilẹṣẹ aṣiṣe / ikọja iyè imọ).	Ṣeto iṣeto iṣaaju fun imudara.
Idanwo A/B	Ni agbegbe iṣelọpọ, ṣe idanwo awọn ilana wiwa oriṣiriṣi ni awọn bata (fun apẹẹrẹ BM25 vs wiwa idapọ).	Awọn atọka ori ayelujara: itẹlọrun olumulo, oṣuwọn ailabawọn idahun.

Ọkọọkan karun: Awọn "iriri iṣe" ti a le sọ ninu ifọrọwanilẹnuwo (aaye afikun)

"Ninu iṣẹ RAG ti Mo ṣe, ni ibẹrẹ oṣuwọn kọlu ipilẹ jẹ 67%. Mo ṣe awọn nkan mẹta:
1. Yipada pinpin lati 1022 kan si pipin itumọ dinamiki (nipasẹ akọle+ipin), oṣuwọn kọlu ga si 74%;
2. Fi wiwa idapọ (fekito + BM25) ati awoṣe rerank kekere kun, oṣuwọn kọlu ga si 83%;
3. Mu awọn ilana itọka dara si ati fi agbara mu pe ko si alaye to, iṣuwọn iruju dinku lati 22% si kere ju 5%.

Ni afikun, a ṣe idasile ọna ṣiṣe igbelewọn lemọlemọ, ṣaaju iyipada kọọkan a ni lati ṣe ayẹwo awọn ibeere 200 pẹlu Dimegilio RAGAS, lati rii daju pe ko si ipadasẹhin."

Ipari: Eto itọsọna atunṣe RAG pipe kan

Data Layer ─→ Ifọmọ iwe, imudara pinpin, imudara metadata, ifibọ aaye
Wiwa Layer ─→ Wiwa idapọ, rerank, atunkọ ibeere, HyDE, atunṣe Top-K
Ipilẹṣẹ Layer ─→ Agbara itọka, awọn ilana ibeere, funpin, itọka, ala kiko
Igbelewọn Layer ─→ Akojo igbelewọn, RAGAS, itupalẹ eniyan, idanwo A/B