AI цуврал ярилцлага 8: RAG гэж юу вэ? Яагаад RAG төсөл хийхээр шийдсэн бэ?

RAG гэж юу вэ?

RAG гэдэг нь Retrieval-Augmented Generation буюу монголоор Хайлтаар сайжруулсан үүсгэлт гэсэн утгатай.

Энгийнээр хэлбэл, энэ нь том хэлний загварт "ямар ч үед нээж болох лавлах ном" өгөх арга юм.

Та том хэлний загварыг маш сайн ой санамжтай, мэдлэгтэй "супер сурагч" гэж төсөөлж болно. Гэхдээ энэ сурагч хоёр төрөлхийн "сул талтай":

1. Мэдлэгийн дуусах хугацаа: Түүний мэдлэг зөвхөн сургах үеийн өгөгдлөөр хязгаарлагддаг. 2023 оноос хойш болсон үйл явдлыг тэр мэдэхгүй.
2. "Зохиомол хариулт өгөх магадлал": Тэр өөрт нь мэдэгдэхгүй асуултад "би мэдэхгүй" гэж хэлэхийн оронд, төсөөллөөр "хүлээн зөвшөөрөхүйц" хариултыг "зохиодог" (үүнийг AI-ийн хий үзэгдэл гэдэг).

RAG эдгээр хоёр асуудлыг шийдэх зорилготой. Түүний ажиллах урсгал энгийн бөгөөд гурван алхамаас бүрдэнэ:

1. Хайлт: Та асуулт асуухад, систем эхлээд "гадаад мэдлэгийн сан" (жишээ нь, танай компанийн бүх баримт бичиг, хамгийн сүүлийн үеийн Википедиа, эсвэл хуулийн эх зүйлс) -аас хамгийн холбогдох хэдэн хэсгийг хурдан хайж олно. Энэ нь сурагчийг асуултанд хариулахын тулд ном үзэхтэй адил.
2. Сайжруулалт: Систем "таны асуулт" болон "хайлтаар олдсон холбогдох хэсгүүд" -ийг нэгтгэж, "сайжруулсан" сануулга үүсгэдэг. Энэ нь сурагчид лавлагаа материал өгөхтэй адил.
3. Үүсгэлт: Том хэлний загвар энэхүү "сайжруулсан" сануулга дээр үндэслэн эцсийн хариултыг үүсгэдэг. Энэ нь зөвхөн өөрийн "санах ойд" байгаа хуучин мэдлэгт тулгуурлахаас илүүтэй, таны өгсөн "лавлах материал" дээр голчлон тулгуурлан хариулдаг. Энэ нь сурагч номноос үзэж хариулахтай адил, төсөөлөх биш.

Энгийн зүйрлэл:
- Уламжлалт LLM: "Миний XX загварын дугуйг хэрхэн засах вэ?" → Загвар санах ойгоор хариулдаг, хуучирсан эсвэл буруу байж болно.
- RAG: "Миний XX загварын дугуйг хэрхэн засах вэ?" → Эхлээд хайлт хийж хамгийн сүүлийн үеийн албан ёсны зааварчилгааг олно → Дараа нь үүсгэнэ: "2024 оны зааварчилгааны 3-р бүлгийн дагуу, та эхлээд..."

Яагаад RAG төсөл хийхээр шийдсэн бэ?

RAG төсөл хийх нь үндсэндээ давуу талыг ашиглаж, сул талыг нөхөх, том хэлний загварын жинхэнэ чадавхыг чөлөөлөхөд чиглэгддэг. Гол хөдөлгөгч хүчин зүйлс нь дараах байдалтай:

1. "Мэдлэгийн хуучиралт" болон "хий үзэгдэл" асуудлыг шийдвэрлэх

   • Шалтгаан: LLM-ийг хамгийн сүүлийн үйл явдал, дотоод өгөгдөл, хувийн баримт бичгийн талаарх асуултад хариулах чадвартай болгох, мөн хариулт нотолгоотой байхыг хангах.
   • Үнэ цэнэ: RAG чадвартай эмнэлгийн асуулт-хариулт систем нь хамгийн сүүлийн үеийн эмнэлгийн сэтгүүлээс иш татан "COVID-19-ийн шинэ хувилбарын шинж тэмдэг" гэх мэтийг хариулж, 2021 оны хуучирсан мэдээлэл өгөхгүй, мөн эх сурвалжийг хавсарган, "зохиомол" хариулт өгөх эрсдлийг бууруулдаг.

2. AI-ийг "хувийн өгөгдөл" боловсруулах чадвартай болгох, аюулгүй байдлыг хангах

   • Шалтгаан: Компани бүр өөрийн мэдлэгийн сантай (гэрээ, код, үйлчлүүлэгчийн бүртгэл гэх мэт). Эдгээр өгөгдлийг загварыг дахин сургах эсвэл тохируулахад ашиглах боломжгүй (өндөр өртөг, техникийн хүндрэл, өгөгдөл алдагдах эрсдэл).
   • Үнэ цэнэ: RAG-ээр дамжуулан та компани доторх "AI асуултын туслах" -ыг бий болгож чадна. Ажилтан асуулт асуухад AI нь компанийн дотоод хувийн баримт бичгээс холбогдох мэдээллийг хайж олж хариулдаг. Хувийн өгөгдөл компани дотор үлдэж, загвар үйлдвэрлэгчид сургахад илгээгддэггүй бөгөөд энэ нь LLM-ийн ойлголтыг ашиглахын зэрэгцээ өгөгдлийн аюулгүй байдлыг хангадаг.

3. Өртгийг бууруулж, үр ашгийг нэмэгдүүлэх

   • Шалтгаан: Том хэлний загварыг дахин сургах эсвэл тохируулах нь шинэ мэдлэг оруулахын тулд бүх номын санг дахин судлахтай адил бөгөөд асар их тооцоолох хүчин чадал, өртөг шаарддаг.
   • Үнэ цэнэ: RAG нь бараг сургалт шаарддаггүй, зөвхөн хайлтын системийг бий болгоход хангалттай. Өртөг нь тохируулалтын 1% эсвэл бүр бага байж болно. Мөн мэдлэгийн сан шинэчлэгдэхэд хайлтын үр дүн автоматаар шинэчлэгддэг тул загварыг дахин сургах шаардлагагүй, "бодит цаг хугацаанд шинэчлэгдэх" боломжтой.

4. AI-ийг "мэдэхээ мэддэг, мэдэхгүйгээ мэддэг" болгох

   • Шалтгаан: Загвар өөрийн мэдлэгийн хязгаарыг тодорхой ойлгохыг хүсдэг.
   • Үнэ цэнэ: RAG системд нэг дүрэм тогтоож болно: хэрэв холбогдох баримт олдохгүй бол шууд "Уучлаарай, би мэдлэгийн сангаас холбогдох мэдээлэл олсонгүй. Асуултаа давхар шалгана уу" гэж хариулах. Энэхүү "иш татахгүй" механизм нь AI-ийн ажиллагааг илүү найдвартай, ил тод болгодог.

Дүгнэлт:

RAG төсөл хийхээр шийдсэн шалтгаан нь бид том хэлний загварын хүчирхэг ойлголт, илэрхийлэх чадварыг хадгалахын зэрэгцээ, түүнийг "шударга, найдвартай, цаг үеэ дагасан, хувийн бизнесийг мэддэг" болгохыг хүсдэгт оршино. Энэ нь супер хөдөлгүүрт (LLM) нарийн хяналттай жолооны хүрд, бодит цагийн навигацийн газрын зураг (хайлтын систем) суурилуулж байгаатай адил бөгөөд одоогоор LLM-ийг аж ахуйн нэгж, эрүүл мэнд, хууль, санхүү зэрэг ноцтой салбарт бодитоор нэвтрүүлэх хамгийн үр дүнтэй, гол урсгал техникийн аргуудын нэг юм.