AI цувралын ярилцлагын асуулт 11: RAG-ийг хэрхэн оновчтой болгох вэ?
RAG-ийг оновчтой болгох нь зөвхөн нэг үе шатыг тохируулах биш, харин бүх холбоосын оновчлол юм. Дараах би өгөгдлийн индексжүүлэлт, хайлт, үүсгэлт, үнэлгээ гэсэн дөрвөн хэмжээсээр системтэй оновчлох стратегийг танилцуулж, ярилцлагад дурдаж болох практик туршлагыг хавсаргах болно.
1. Өгөгдлийн индексжүүлэлтийн оновчлол ("Мэдлэгийн сан"-ын чанарыг сайжруулах)
Энэ нь хамгийн амархан үл тоомсорлогддог боловч хамгийн хурдан үр дүнтэй хэсэг юм.
| Оновчлох цэг | Асуудал | Тодорхой арга | Үр дүнгийн үзүүлэлт |
|---|---|---|---|
| Баримт бичгийг задлан шинжлэх | PDF-ийн хүснэгт, урсгал диаграммыг үл тоомсорлож, эсвэл текст код буруу, дараалал алдагдах. | Илүү сайн задлагч номын сан ашиглах (unstructured, pypdf-ийн зохион байгуулалт хадгалах горим); хүснэгтийг pandas-аар гаргаж аваад Markdown болгон хөрвүүлэх. |
Эргэн сануулалт +5~15% |
| Текстийн хэсгийн хэмжээ | Хэсэг хэт жижиг бол контекст алдагддаг (жишээ нь "түүний энэ жилийн орлого өссөн"-ийн "түүний" гэх заалт алга болдог); хэт том бол хайлтад их шуугиан үүсгэдэг. | Янз бүрийн chunk size (256/512/768 токен) турших, давхцах (overlap) 10~20% болгох; урт баримт бичгийг утгын хилээр (догол мөр/гарчиг) таслах. | Онох хувь / Үнэнч байдал |
| Мета өгөгдөл нэмэх | Холбогдох хэсэг олдсон боловч гарал үүсэл эсвэл цаг хугацааг мөрдөх боломжгүй, эсвэл салбараар шүүх шаардлагатай. | Хэсэг бүрт мета өгөгдөл нэмэх: source (файлын нэр/URL), timestamp, page_num, doc_type. Хайлтад шүүлтүүр ашиглах (жишээ нь doc_type == 'legal'). |
Шүүлтүүрийн нарийвчлал |
| Оруулга загвар сонголт | Ерөнхий embedding нь босоо салбарт (эмнэлэг, код, хууль) муу ажилладаг. | Салбарт тохируулсан загвар ашиглах (BGE‑large‑zh, GTE‑Qwen2‑7B‑instruct); эсвэл өөрийн embedding загварыг тохируулах (triplet loss ашиглан). | Хайлтын MRR@10 +10~20% |
2. Хайлтын оновчлол ("Ном хайх"-ыг илүү нарийвчлах)
Хайлт нь LLM-д өгөх "лавлах материалын" чанарыг тодорхойлно.
| Оновчлох цэг | Асуудал | Тодорхой арга | Үр дүн |
|---|---|---|---|
| Холимог хайлт | Вектор хайлт нарийн нэр томьёог (жишээ нь бүтээгдэхүүний загвар ABC-123) тааруулж чадахгүй, түлхүүр үгийн хайлт ижил утгыг ойлгодоггүй. |
Вектор хайлт (семантик) болон BM25 (түлхүүр үг)-ийг зэрэг ашиглах, жинлэх (жишээ нь 0.7вектор + 0.3BM25) эсвэл rerank нэгтгэх. | Эргэн сануулалт +10~25% |
| Дахин эрэмбэлэх (Rerank) | Вектор хайлтын эхний хэдэн үр дүн хамгийн хамааралтай биш, 10 дахь нь хамгийн сайн байж болно. | Cross‑encoder загвар (жишээ нь BGE‑reranker-v2, Cohere Rerank) ашиглан горимчлуудыг (эхний 20) дахин үнэлж, top‑K авах. |
Онох хувь мэдэгдэхүйц сайжирдаг (ялангуяа top‑1) |
| Асуултыг дахин бичих | Хэрэглэгчийн асуулт тодорхой бус эсвэл олон үеийн харилцан ярианы заалт тодорхойгүй ("Түүний үнэ хэд вэ?"). | LLM ашиглан анхны асуултыг хайлтад илүү тохиромжтой хэлбэрт шилжүүлэх (жишээ нь "iPhone 15-ийн үнэ хэд вэ?"); эсвэл харилцан ярианы түүхээр нөхөх. | Эргэн сануулалт +5~15% |
| HyDE | Хэрэглэгчийн асуулт хэт богино эсвэл хийсвэр (жишээ нь "Фотосинтезийн тухай яриач"), шууд хайлт муу ажилладаг. | Эхлээд LLM-ээр таамагласан хариулт үүсгэж, дараа нь энэ хариултыг ашиглан баримт бичиг хайх. | Нээлттэй домэйнд тохиромжтой, гэхдээ баримт дээр суурилсан нарийн асуултад тохиромжгүй |
| Хайлтын тоо Top‑K тохируулга | K хэт жижиг бол чухал мэдээлэл алдагдаж болно; K хэт том бол токен зарцуулалт болон шуугиан нэмэгддэг. | K=3/5/10 турших, эргэн сануулалт болон хариултын үнэнч байдлын тэнцвэрийг ажиглах. | Үр ашиг ба үр дүнгийн trade‑off |
3. Үүсгэлтийн оновчлол (LLM-ийг лавлагаа материалыг зөв ашиглах)
Хайлт хэчнээн нарийвчлалтай байсан ч, сэрэглэл муу эсвэл загвар муу бол ашиггүй.
| Оновчлох цэг | Асуудал | Тодорхой арга | Үр дүн |
|---|---|---|---|
| Сэрэглэлийн инженерчлэл | LLM хайлтын агуулгыг үл тоомсорлож, эсвэл зохиомол мэдээлэл өгдөг. | Тодорхой заавар: "Зөвхөн дараах лавлагаа материалыг ашиглан асуултанд хариулна уу. Хэрэв материал хангалтгүй эсвэл хамааралгүй бол 'Хангалттай мэдээлэл байхгүй' гэж хариулна уу." Few‑shot жишээ нэмж, эх сурвалжаас хэрхэн иш татахыг харуулах. | Үнэнч байдал +20~40% |
| Контекст шахах | Хайлтаар олдсон агуулга хэт урт (загварын контекст цонхоос хэтэрсэн), эсвэл ихэнх нь шуугиан юм. | LLMLingua эсвэл Сонгон контекст шахах арга ашиглан хамгийн хамааралтай өгүүлбэрүүдийг үлдээгээд LLM-д өгөх. |
Мэдээлэл алдагдах эрсдэлийг бууруулах |
| LLM загвар шинэчлэх | Жижиг загвар (7B) нарийн төвөгтэй дүгнэлт хийж чадахгүй, эсвэл урт контекстийг санаж чадахгүй. | Илүү хүчирхэг загвар (GPT‑4o, Claude 3.5 Sonnet, Qwen2.5‑72B) руу шилжих. | Дүгнэлтийн нарийвчлал ихээхэн сайжирдаг |
| Стрим болон ишлэл | Хэрэглэгч хариултын найдвартай байдлыг баталгаажуулж чадахгүй. | Үүсгэх үед LLM-д [citation:1] гаргах, хайлтын баримт бичгийн дугаартай тохируулах. Арын системд анхны холбоосыг хавсаргах. |
Хэрэглэгчийн итгэлцэл + тохируулга |
| Татгалзах хариулт тохируулах | Загвар хариулах ёсгүй үед зохиомол мэдээлэл өгдөг, эсвэл хариулах ёстой үед мэдэхгүй гэж хэлдэг. | Ижил байдлын босго тогтоох: хайлтын top‑1 хэсгийн асуулттай косинус ижил байдал 0.7-оос бага бол LLM-д "материал хамааралгүй" гэж зааварлах. | Хуурамч мэдээллийн түвшинг бууруулах |
4. Үнэлгээ ба давталт (Хаана тохируулахаа мэдэх)
Хэмжилтгүйгээр оновчлол хийх боломжгүй.
| Оновчлох цэг | Арга | Үзүүлэлт |
|---|---|---|
| Үнэлгээний багц бүрдүүлэх | 100~300 бодит хэрэглэгчийн асуулт + стандарт хариулт + зөв хайлтын баримт бичгийн ID бэлтгэх. | Янз бүрийн хүндрэл, зорилгыг хамарсан. |
| Автомат үнэлгээ | RAGAS (Faithfulness, Answer Relevance, Context Recall) эсвэл TruLens ашиглах. | Гурван гол үзүүлэлт: үнэнч байдал, хариултын хамаарал, контекстийн эргэн сануулалт. |
| Гар үнэлгээ | Долоо хоногт 20 муу тохиолдлыг шалгаж, алдааны төрлийг шинжлэх (хайлт амжилтгүй / үүсгэлтийн алдаа / мэдлэгийн сан дутуу). | Сайжруулах чиглэлийн дараалал. |
| A/B тест | Үйлдвэрлэлийн орчинд өөр өөр хайлтын стратегийг (жишээ нь BM25 vs холимог хайлт) саванд турших. | Онлайн үзүүлэлт: хэрэглэгчийн сэтгэл ханамж, хариултгүй түвшин. |
5. Ярилцлагад дурдаж болох "практик туршлага" (нэмэлт оноо)
"Миний хариуцсан RAG төсөлд эхний суурь онох хувь ердөө 67% байсан. Би гурван зүйл хийсэн:
1. Хэсэглэлийг тогтмол 1024-аас динамик утгын хуваарилалт болгон өөрчилсөн (гарчиг+догол мөрөөр), онох хувь 74% болсон;
2. Холимог хайлт (вектор + BM25) болон жижиг rerank загвар нэмсэн, онох хувь 83% болсон;
3. Сэрэглэлийг оновчтой болгож,[Холбогдох мэдээлэл олдсонгүй]гэж заавал хэлэхийг шаардсан, хуурамч мэдээллийн түвшин 22% -аас 5% болж буурсан.Мөн бид тасралтгүй үнэлгээний шугам байгуулж, өөрчлөлт бүрийн өмнө 200 асуултад RAGAS оноо авах, ухралт байхгүй эсэхийг шалгадаг."
Эцсийн дүгнэлт: RAG оновчлолын бүрэн замын зураг
Өгөгдлийн давхарга ─→ баримт бичиг цэвэрлэх, хэсэглэл оновчлох, мета өгөгдөл нэмэх, салбарын embedding
Хайлтын давхарга ─→ холимог хайлт, rerank, асуулт дахин бичих, HyDE, Top-K тохируулга
Үүсгэлтийн давхарга ─→ сэрэглэл бэхжүүлэх, заавар шаардах, шахалт, ишлэл, татгалзах босго
Үнэлгээний давхарга ─→ үнэлгээний багц, RAGAS, гар шинжилгээ, A/B туршилт
评论
暂无已展示的评论。
发表评论（匿名）