AI Seriyası Müsahibə 8: RAG nədir? Niyə RAG layihəsi etmək fikrinə gəldik?

RAG nədir?

RAG tam adı Retrieval-Augmented Generation, Azərbaycanca Axtarışla Gücləndirilmiş Generasiya deməkdir.

Sadə desək, bu, böyük dil modellərinə "istədiyi vaxt vərəqləyə biləcəyi bir məlumat kitabı" vermək texnologiyasıdır.

Böyük dil modelini yaddaşı mükəmməl, biliyi geniş olan bir "super tələbə" kimi təsəvvür edin. Amma bu tələbənin iki təbii "qüsuru" var:

1. Bilik son tarixi: Onun bildikləri yalnız təlim zamanı olan məlumatlarla məhdudlaşır. 2023-cü ildən sonra baş verənlər barədə heç nə bilmir.
2. Yalan uydurma ehtimalı: Bilmədiyi bir sualla qarşılaşdıqda "bilmirəm" deməz, təsəvvürünə əsaslanaraq məntiqli səslənən bir cavab "uydurar" (bu, AI halüsinasiyasıdır).

RAG bu iki problemi həll etmək üçündür. Onun iş axını sadədir, üç addımda:

1. Axtarış: Siz sual verdikdə, sistem əvvəlcə "xarici bilik bazası"nda (məsələn, şirkətinizin bütün sənədləri, ən son Vikipediya və ya qanun mətnləri) sürətli axtarış apararaq ən uyğun məlumat parçalarını tapır. Bu, tələbənin suala uyğun kitabı vərəqləməsi kimidir.
2. Gücləndirmə: Sistem "sizin sualınız" ilə "axtarılan məlumat parçalarını" birləşdirərək "gücləndirilmiş" bir təlimat yaradır. Bu, tələbəyə qeyd materialları vermək kimidir.
3. Generasiya: Böyük dil modeli bu "gücləndirilmiş" təlimat əsasında yekun cavabı yaradır. O, artıq yalnız öz "yaddaşındakı" köhnə biliyə güvənmir, əsasən təqdim olunan "məlumat materiallarına" istinad edərək cavab verir. Bu, tələbənin kitaba baxaraq cavab verməsi kimidir, təsəvvürə güvənmək deyil.

Sadə bir bənzətmə:
- Ənənəvi LLM: "XX model velosipedimi necə təmir edərəm?" → Model yaddaşından cavab verir, köhnə və ya səhv ola bilər.
- RAG: "XX model velosipedimi necə təmir edərəm?" → Əvvəlcə ən son rəsmi təmir təlimatını axtarır → Sonra yaradır: "2024-cü il təmir təlimatının 3-cü fəslinə əsasən, ilk olaraq..."

Niyə RAG layihəsi etmək fikrinə gəldik?

RAG layihəsi etmək, mahiyyətcə, güclü tərəflərdən yararlanıb zəif tərəfləri aradan qaldırmaq, böyük dil modellərinin həqiqi potensialını üzə çıxarmaq üçündür. Əsas hərəkətverici qüvvələr bunlardır:

1. "Köhnəlmiş bilik" və "halüsinasiya" problemlərini həll etmək

   • Motivasiya: LLM-ə ən son hadisələr, daxili məlumatlar, şəxsi sənədlər haqqında sualları cavablandırmaq və cavabların mənbəyini göstərmək.
   • Dəyər: RAG edə bilən bir tibbi sual-cavab sistemi, "COVID-19-un ən son variantının simptomları" sualına ən son tibbi jurnallara istinad edərək cavab verə bilər, 2021-ci ilin köhnəlmiş məlumatlarını verməz və mənbə göstərməklə "boş danışma" riskini azaldar.

2. AI-nin "şəxsi məlumatları" emal etməsinə və eyni zamanda təhlükəsizliyi təmin etməyə imkan vermək

   • Motivasiya: Hər şirkətin öz bilik bazası var (müqavilələr, kod, müştəri qeydləri və s.). Bu məlumatları yenidən təlim etmək və ya modeli incə tənzimləmək bahalı, texniki cəhətdən çətindir və məlumat sızması riski var.
   • Dəyər: RAG vasitəsilə şirkət daxilində bir "AI sual-cavab köməkçisi" qurmaq olar. İşçi sual verdikdə, AI şirkətin daxili sənədlərindən uyğun məlumatı axtarıb cavablandırar. Şəxsi məlumatlar həmişə şirkət daxilində qalır, model təminatçısına təlim üçün göndərilmir, həm LLM-in anlama qabiliyyətindən istifadə olunur, həm də məlumat təhlükəsizliyi təmin edilir.

3. Xərcləri azaltmaq, səmərəliliyi artırmaq

   • Motivasiya: Yeni bilikləri mənimsəmək üçün böyük bir modeli yenidən təlim etmək və ya incə tənzimləmək, bütün kitabxananı yenidən oxumaq kimidir, böyük hesablama gücü və xərc tələb edir.
   • Dəyər: RAG demək olar ki, heç bir təlim tələb etmir, sadəcə axtarış sisteminin qurulması kifayətdir. Xərc incə tənzimləmənin 1%-i və ya daha az ola bilər. Üstəlik, bilik bazası yeniləndikdə axtarış nəticələri də avtomatik yenilənir, modeli yenidən təlim etməyə ehtiyac qalmır, "real vaxtda yeniləmə" mümkün olur.

4. AI-yə "bildiyini bil, bilmədiyini bilmə" prinsipini qazandırmaq

   • Motivasiya: Modelin öz bilik sərhədlərini dəqiq tanımasını istəyirik.
   • Dəyər: RAG sistemində bir qayda təyin etmək olar: əgər uyğun sənəd tapılmazsa, birbaşa "Bağışlayın, məlumat bazasında müvafiq məlumat tapa bilmədim. Zəhmət olmasa sualınızı yoxlayın" cavabı verilir. Bu "istinad uğursuzluğu" mexanizmi AI-nin işləməsini daha etibarlı və şəffaf edir.

Xülasə:

RAG layihəsi etmək fikri, biz həm böyük dil modellərinin güclü anlama və ifadə qabiliyyətindən yararlanmaq, həm də onları "dürüst, etibarlı, zamana uyğun və özəl biznesi anlayan" etmək istədiyimiz üçün yaranıb. Bu, super mühərrikə (LLM) dəqiq idarə olunan sükan və real vaxtda yenilənən naviqasiya xəritəsi (axtarış sistemi) quraşdırmaq kimidir və hazırda LLM-lərin müəssisə, tibb, hüquq, maliyyə kimi ciddi sahələrdə tətbiqinin ən effektiv və əsas texnoloji yollarından biridir.