AI Müsahibə Sualları 11: RAG Necə Tənzimlənir?

RAG-ın tənzimlənməsi tək bir mərhələnin düzəlişi deyil, tam zəncirin optimallaşdırılması prosesidir. Aşağıda məlumat indeksi, axtarış, generasiya və qiymətləndirmə olmaqla dörd ölçüdən sistemli tənzimləmə strategiyaları verirəm və müsahibədə qeyd edilə biləcək praktik təcrübələri də əlavə edirəm.

1. Məlumat İndeksi Tərəfində Tənzimləmə ("Bilik Bazası" Keyfiyyətini Artırmaq)

Bu, ən çox diqqətdən kənar qalan, lakin ən sürətli nəticə verən yerdir.

Tənzimləmə Nöqtəsi	Problem	Konkret Tədbir	Effekt Göstəricisi
Sənəd təhlili	PDF-dəki cədvəllər, axın diaqramları nəzərə alınmır və ya mətn qarışıq, sıra pozulur.	Daha yaxşı təhlil kitabxanaları istifadə edin (`unstructured`, `pypdf` layout saxlama rejimi); cədvəllər üçün `pandas` ilə çıxarın və Markdown-a çevirin.	Recall +5~15%
Mətn hissə ölçüsü	Chunk çox kiçikdirsə kontekst itir (məsələn, "Onun bu ilki gəlir artımı"-da "Onun" işarəsi itir); chunk çox böyükdürsə axtarış səs-küyü çoxalır.	Müxtəlif chunk ölçülərini sınayın (256/512/768 token), overlap 10~20%; uzun sənədlər üçün semantik sərhədlərə (parağraf/başlıq) görə kəsin, sabit uzunluqda deyil.	Hit nisbəti / Dəqiqlik
Metadata əlavəsi	Müvafiq paraqraf tapılır, lakin mənbə və ya vaxt izlənə bilmir və ya sahəyə görə filtrləmə lazımdır.	Hər chunk üçün metadata əlavə edin: `source` (fayl adı/URL), `timestamp`, `page_num`, `doc_type`. Axtarışda filtr istifadə edin (məsələn, `doc_type == 'legal'`).	Filtr dəqiqliyi
Emdeddinq model seçimi	Ümumi emdeddinq xüsusi sahələrdə (tibb, kod, hüquq) zəif işləyir.	Sahəyə uyğun tənzimlənmiş modellərdən istifadə edin (BGE‑large‑zh, GTE‑Qwen2‑7B‑instruct); və ya öz emdeddinq modelinizi tənzimləyin (triplet loss ilə).	MRR@10 +10~20%

2. Axtarış Tərəfində Tənzimləmə ("Kitab Vərəqləməyi" Daha Dəqiq Etmək)

Axtarış LLM-ə verilən "istinad materialı"nın keyfiyyətini müəyyən edir.

Tənzimləmə Nöqtəsi	Problem	Konkret Tədbir	Effekt
Qarışıq axtarış	Vektor axtarışı dəqiq terminləri uyğunlaşdıra bilmir (məsələn, məhsul modeli `ABC-123`), açar söz axtarışı sinonimləri anlamır.	Həm vektor axtarışı (semantik) həm də BM25 (açar söz) istifadə edin, çəkilərlə (məsələn, 0.7vektor + 0.3BM25) və ya rerank ilə birləşdirin.	Recall +10~25%
Yenidən sıralama (Rerank)	Vektor axtarışının ilk nəticələri ən uyğun olmaya bilər, 10-cu ən yaxşı ola bilər.	Cross‑encoder modelindən (`BGE‑reranker-v2`, Cohere Rerank) istifadə edərək namizəd dəstini (ilk 20) yenidən qiymətləndirin, top‑K götürün.	Hit nisbəti əhəmiyyətli dərəcədə artar (xüsusilə top‑1)
Sualın yenidən yazılması	İstifadəçi sualı qeyri-müəyyən və ya çoxdönməli dialoqda işarə aydın deyil ("Onun qiyməti?").	LLM ilə orijinal sualı axtarış üçün daha uyğun formaya yazın (məsələn, "iPhone 15-in qiyməti nə qədərdir?"); və ya dialoq tarixçəsindən tamamlayın.	Recall +5~15%
HyDE	İstifadəçi sualı çox qısa və ya mücərrəddir (məsələn, "Fotosintezdən danış"), birbaşa axtarış zəif işləyir.	Əvvəlcə LLM-ə hipotetik cavab yaratdırın, sonra bu cavabla sənədləri axtarın.	Açıq domen üçün uyğundur, dəqiq factual suallar üçün uyğun deyil
Top‑K tənzimlənməsi	K çox kiçikdirsə əsas məlumat itə bilər; K çox böyükdürsə token istehlakı və səs-küy artar.	K=3/5/10 sınayın, recall və cavab dəqiqliyi arasında tarazlığa baxın.	Effektivlik və nəticə trade‑off

3. Generasiya Tərəfində Tənzimləmə (LLM-in İstinad Materialını Yaxşı İstifadə Etməsi)

Axtarış nə qədər dəqiq olsa da, prompt yaxşı deyilsə və ya model güclü deyilsə, faydasızdır.

Tənzimləmə Nöqtəsi	Problem	Konkret Tədbir	Effekt
Prompt mühəndisliyi	LLM axtarılan məlumatı gözardı edir və ya uydurur.	Aydın təlimat: "Yalnız aşağıda verilən istinad materiallarına əsaslanaraq sualı cavablandırın. Əgər material kifayət deyilsə və ya uyğun deyilsə, 'Kifayət qədər məlumat yoxdur' deyin." Few‑shot nümunələri ilə mənbəyə istinadı göstərin.	Dəqiqlik +20~40%
Kontekst sıxışdırma	Axtarılan mətn çox uzundur (modelin kontekst pəncərəsindən böyük) və ya çox səs-küylüdür.	`LLMLingua` və ya `Seçici Kontekst` ilə sıxışdırın, ən uyğun cümlələri saxlayıb LLM-ə göndərin.	Məlumat itirmə riskini azaldır
LLM model yeniləmə	Kiçik model (7B) mürəkkəb düşüncə apara bilmir və ya uzun konteksti xatırlaya bilmir.	Daha güclü modelə keçin (GPT‑4o, Claude 3.5 Sonnet, Qwen2.5‑72B).	Düşüncə dəqiqliyi əhəmiyyətli dərəcədə artar
Axın və istinad	İstifadəçi cavabın etibarlılığını yoxlaya bilmir.	Generasiya zamanı LLM-ə `[citation:1]` çıxartdırın, bu axtarılan sənədin nömrəsinə uyğundur. Backend-də orijinal link əlavə edin.	İstifadəçi etibarı + sazlama
Cavab verməkdən imtinanın kalibrlənməsi	Model lazımsız yerə uydurur və ya lazım olduqda bilmədiyini deyir.	Bənzərlik həddi təyin edin: əgər top‑1 chunk sualla kosinus bənzərliyi 0.7-dən aşağıdırsa, LLM-ə "Material uyğun deyil" deyin.	Halüsinasiya nisbətini azaldır

4. Qiymətləndirmə və İterasiya Tərəfi (Harada Tənzimləməli Olduğunu Bilmək)

Ölçmədən optimallaşdırma mümkün deyil.

Tənzimləmə Nöqtəsi	Tədbir	Göstərici
Qiymətləndirmə dəsti yaratmaq	100-300 real istifadəçi sualı + standart cavab + düzgün axtarış sənədi ID-si hazırlayın.	Fərqli çətinlik, fərqli niyyəti əhatə edin.
Avtomatlaşdırılmış qiymətləndirmə	RAGAS (Faithfulness, Answer Relevance, Context Recall) və ya TruLens istifadə edin.	Üç əsas göstərici: dəqiqlik, cavab uyğunluğu, kontekst recall.
İnsan qiymətləndirməsi	Həftədə 20 bad case seçin, səhv növünü təhlil edin (axtarış uğursuzluğu / generasiya xətası / bilik bazası çatışmazlığı).	Təkmilləşdirmə prioritetləri sıralayın.
A/B testi	İstehsal mühitində fərqli axtarış strategiyalarını (məsələn, BM25 vs qarışıq axtarış) bölmələrlə sınayın.	Onlayn göstəricilər: istifadəçi məmnuniyyəti, cavabsız sual nisbəti.

5. Müsahibədə Söylənə Biləcək "Praktik Təcrübələr" (Bonus)

"Mənim rəhbərlik etdiyim RAG layihəsində ilkin hit nisbəti cəmi 67% idi. Üç şey etdim:
1. Chunk ölçüsünü sabit 1024-dən dinamik semantik kəsməyə dəyişdim (başlıq+paraqraf əsasında), hit nisbəti 74% oldu;
2. Qarışıq axtarış (vektor + BM25) və kiçik bir rerank modeli əlavə etdim, hit nisbəti 83% oldu;
3. Promptu optimallaşdırdım və məcburi '[Müvafiq məlumat tapılmadı]' cavabını tələb etdim, halüsinasiya nisbəti 22%-dən 5%-ə düşdü.

Ayrıca, davamlı qiymətləndirmə xətti qurduq, hər dəyişiklikdən əvvəl 200 sual üzərində RAGAS balını işlədirdik ki, geriləmə olmasın."

Son Xülasə: Tam RAG Tənzimləmə Yol Xəritəsi

Məlumat təbəqəsi ─→ Sənəd təmizliyi, hissə optimallaşdırması, metadata gücləndirməsi, sahə emdeddinqi
Axtarış təbəqəsi ─→ Qarışıq axtarış, rerank, sualın yenidən yazılması, HyDE, Top-K tənzimlənməsi
Generasiya təbəqəsi ─→ Prompt gücləndirməsi, təlimat tələbləri, sıxışdırma, istinad, imtina həddi
Qiymətləndirmə təbəqəsi ─→ Qiymətləndirmə dəsti, RAGAS, insan təhlili, A/B təcrübəsi