AI seriýa soralgulary 11: RAG nädip optimizirlemeli?

RAG-ny optimizirlemek ýekeje halynyň düzedilmegi däl, eýsem tutuş zynjyr optimizasiýasy prosesi. Aşakda maglumat indeks tarapy, gözleg tarapy, generasiýa tarapy, bahalandyryş tarapy dört ölçegden ulgamlaýyn optimizasiýa strategiýasyny berýärin we soralguda aýdyp boljak amaly tejribäni goşýaryn.

1. Maglumat indeks tarapyny optimizirlemek („Bilim bazasynyň“ hilini ýokarlandyrmak)

Iň ünsden düşürilýän ýöne netijeli ýer.

Optimizasiýa nokady	Mesele hadysasy	Anyk çäre	Netije görkezijisi
Resminama analiz	PDF-däki tablisalar, akym diagrammalary äsgerilmeýär ýa-da tekst kodlaşdyryş bozulýar, tertip bozulýar.	Has gowy analiz kitaphanasyna geçmek (meselem `unstructured`, `pypdf`-iň ýerleşiş gorap saklaýan režimi); tablisalar üçin `pandas` bilen çykaryp soň Markdown-a öwürmek.	Yzyna çagyryş derejesi +5~15%
Tekst böleklere bölmek ululygy	chunk gaty kiçi bolsa kontekst ýitýär (meselem "Ol ýylda girdejiniň ösmegi"-däki "Ol"-yň kesgitlenmesi ýitýär); chunk gaty uly bolsa gözleg sesleri köpelýär.	Dürli chunk ululyklaryny synag etmek (256/512/768 token), overlap 10~20% goýmak; uzyn resminamalar üçin semantik serhetler (abzas/at) boýunça kesmek, hemişelik uzynlykda däl.	Uruş derejesi / wepalylyk
Meta-maglumat goşmak	Degişli bölek tapyldy, ýöne çeşmesini ýa-da wagtyny yzarlap bolmaýar ýa-da ugur boýunça süzgüç gerek.	Her bölek üçin meta-maglumat goşmak: `source` (faýl ady/URL), `timestamp`, `page_num`, `doc_type`. Gözlegde süzgüç ulanyň (meselem `doc_type == 'legal'`).	Süzgüç takyklygy
Embedding modelini saýlamak	Umumy embedding dikeý ugurlarda (lukmançylyk, kod, hukuk) erbet işleýär.	Ugur boýunça inçeleýän modelleri ulanyň (BGE‑large‑zh, GTE‑Qwen2‑7B‑instruct); ýa-da öz embedding modeliňizi inçeläň (triplet loss bilen).	Gözleg MRR@10 +10~20%

2. Gözleg tarapyny optimizirlemek („Kitap açmak“ has takyk)

Gözleg LLM-e iýmitlenýän „salgy materialynyň“ hilini kesgitleýär.

Optimizasiýa nokady	Mesele hadysasy	Anyk çäre	Netije
Garyşyk gözleg	Wektor gözlegi takyk terminleri (meselem önüm modeli `ABC-123`) gabat getirip bilmeýär, açar söz gözlegi sinonimleri düşünip bilmeýär.	Bir wagtda wektor gözlegini (semantik) we BM25 (açar söz) ulanyp, agramlaşdyryp (meselem 0.7wektor + 0.3BM25) ýa-da rerank birleşdirmek.	Yzyna çagyryş derejesi +10~25%
Tertipläp goýmak (Rerank)	Wektor gözleginiň ilkinji netijeleri iň degişli däl, 10-njy iň gowy.	Cross‑encoder modelini (meselem `BGE‑reranker-v2`, Cohere Rerank) ulanyp, kandidatlar toplumyny (ilkinji 20) täzeden bahalandyryp, top‑K saýlaň.	Uruş derejesi ep-esli ýokarlanýar (esasanam top‑1)
Sorgy täzeden ýazmak	Ulanyjynyň soragy düşnüksiz ýa-da köp gepleşikde kesgitleme ýitýär ("Onuň bahasy näçe?").	LLM bilen asyl soragy gözleg üçin amatly görnüşe öwürmek (meselem "iPhone 15-iň bahasy näçe?"); ýa-da gepleşik taryhyny ulanyp doldurmak.	Yzyna çagyryş derejesi +5~15%
HyDE	Ulanyjynyň soragy gaty gysga ýa-da abstrakt (meselem "Fotosintez hakda aýdyň"), gözleg gowy işlemeýär.	Ilki LLM-e gipotez jogap döretdiriň, soň şol jogap bilen resminamalary gözläň.	Açyk ugur üçin amatly, ýöne fakt takyk jogaplara däl
Gözleg sany Top‑K sazlamak	K kiçi bolsa möhüm maglumat ýitip biler; K uly bolsa token sarp edilişi we ses köpelýär.	K=3/5/10 synag etmek, yzyna çagyryş derejesi we jogabyň wepalylygynyň deňagramlylygyny gözlemek.	Netijelilik we netije çalşyglylygy

3. Generasiýa tarapyny optimizirlemek (LLM-e salgy materialyny gowy ulanmak)

Gözleg näçe takyk bolsa-da, yşarat gowy däl ýa-da model gowy däl bolsa peýdasyz.

Optimizasiýa nokady	Mesele hadysasy	Anyk çäre	Netije
Yşarat inženerligi	LLM gözleg netijelerini äsgermeýär ýa-da ýalan maglumat döredýär.	Açyk görkezme: "Diňe aşakdaky salgy materiallara esaslanyp soraga jogap ber. Maglumat ýeterlik däl ýa-da degişli däl bolsa, 'Ýeterlik maglumat ýok' diýip jogap ber." Few‑shot mysallar bilen çeşmelere salgylanmagy görkeziň.	Wepalylyk +20~40%
Kontekst gysgaltmak	Gözleg netijeleri gaty uzyn (modeliň kontekst penjiresinden geçýär) ýa-da esasy sesli.	`LLMLingua` ýa-da `Saýlama kontekst` gysgaltmasyny ulanyp, iň degişli sözlemleri saklap, soň LLM-e iberiň.	Maglumat ýitmeginiň töwekgelçiligini azaltmak
LLM modelini täzelemek	Kiçi model (7B) çylşyrymly akyl ýöretmäni ýerine ýetirip bilmeýär ýa-da uzyn konteksti ýatda saklap bilmeýär.	Has güýçli modele geçmek (GPT‑4o, Claude 3.5 Sonnet, Qwen2.5‑72B).	Akyl ýöretme takyklygy ep-esli ýokarlanýar
Akym we salgylanma	Ulanyjy jogabyň ynamlylygyny barlap bilmeýär.	Generasiýa wagty LLM-e `[citation:1]` çykarmagy buýruk beriň, bu gözleg resminamasynyň belgisine gabat gelýär. Arka tarapda asyl baglanyşyk goşuň.	Ulanyjy ynamy + düzetmek mümkinçiligi
Ret etmek bosagasyny sazlamak	Model gerek däl ýerde ýalan maglumat berýär, ýa-da gerek wagty "bilmeýärin" diýýär.	Meňzeşlik bosagasy goýuň: eger tapylan top‑1 bölek sorag bilen kosinus meňzeşligi 0.7-den pes bolsa, LLM-e "Maglumat degişli däl" diýip görkeziň.	Gallyusinasiýa derejesini peseltmek

4. Bahalandyryş we gaýtalanma tarapy (Nirä sazlamalydygyny bilmek)

Ölçeg bolmasa optimizasiýa mümkin däl.

Optimizasiýa nokady	Çäre	Görkeziji
Bahalandyryş toplumyny döretmek	100~300 hakyky ulanyjy soragy + standart jogap + dogry gözleg resminama ID-sini taýýarlaň.	Dürli kynlykda, dürli niýetde bolsun.
Awtomatlaşdyrylan bahalandyryş	RAGAS (Faithfulness, Answer Relevance, Context Recall) ýa-da TruLens ulanyň.	Üç esasy görkeziji: wepalylyk, jogabyň degişliligi, kontekstiň yzyna çagyryşy.
El bilen bahalandyryş	Her hepde 20 erbet ýagdaýy barlap, ýalňyş görnüşini analiz ediň (gözleg şowsuzlygy / generasiýa ýalňyşlygy / bilim bazasynda ýok).	Gowulaşdyryş ileri tutulýan tertibi.
A/B synagy	Önümçilik gurşawynda dürli gözleg strategiýalaryny (meselem BM25 vs garyşyk gözleg) böleklere bölüp synag ediň.	Onlaýn görkezijiler: ulanyjy kanagatlanmasy, jogapsyzlyk derejesi.

5. Soralguda aýdyp boljak „amaly tejribe“ (goşmaça ballar)

"Men jogapkär bolan RAG taslamasynda, başda esasy uruş derejesi 67% bolupdy. Üç zady etdim:
1. Böleklere bölmek hemişelik 1024-den dinamiki semantik kesmä geçdim (at we abzas boýunça), uruş derejesi 74%-e çykdy;
2. Garyşyk gözleg (wektor + BM25) we kiçi rerank modelini goşdum, uruş derejesi 83%-e çykdy;
3. Yşaraty optimizirledim we „[Degişli maglumat tapylmady]“ hökmünde jogap bermegi mejbur etdim, gallyusinasiýa derejesi 22%-den 5%-den aşaga düşdi.

Mundan başga-da, üznüksiz bahalandyryş turbasyny gurduk, her üýtgeşmeden öň 200 soragly RAGAS balyny geçirip, peselmegiň ýokdugyna göz ýetirdik."

Jemleme: RAG-ny optimizirlemegiň doly ugrukdyryjy kartasy

Maglumat gatlagy ─→ Resminama arassalamak, böleklere bölmek optimizasiýasy, meta-maglumat güýçlendirmek, ugur embedding
Gözleg gatlagy ─→ Garyşyk gözleg, rerank, sorgy täzeden ýazmak, HyDE, Top-K optimizasiýasy
Generasiýa gatlagy ─→ Yşarat güýçlendirmek, görkezme talaplary, gysgaltmak, sitir, ret etmek bosagasy
Bahalandyryş gatlagy ─→ Bahalandyryş toplumy, RAGAS, el bilen analiz, A/B synag