AI სერია ინტერვიუ 8: რა არის RAG? რატომ გაგიჩნდათ RAG პროექტის გაკეთების იდეა?

რა არის RAG?

RAG-ის სრული სახელია Retrieval-Augmented Generation, ქართულად ნიშნავს მოძიებით გაძლიერებულ გენერაციას.

მარტივად რომ ვთქვათ, ეს არის ტექნიკა, რომელიც დიდ ენობრივ მოდელს აძლევს „საცნობარო წიგნს, რომლის ნებისმიერ დროს შეუძლია ჩახედოს“.

შეგიძლიათ წარმოიდგინოთ დიდი ენობრივი მოდელი, როგორც „სუპერ სტუდენტი“ არაჩვეულებრივი მეხსიერებით და ცოდნით. მაგრამ ამ სტუდენტს ორი თანდაყოლილი „ნაკლი“ აქვს:

1. ცოდნის მოძველება: მისი ცოდნა შემოიფარგლება მხოლოდ ტრენინგის მონაცემებით. 2023 წლის შემდეგ მომხდარი მოვლენების შესახებ მან არაფერი იცის.
2. შესაძლო „გამოგონება“: როდესაც ის ხვდება კითხვას, რომელზე პასუხი არ იცის, ის არ იტყვის „არ ვიცი“, არამედ წარმოსახვით „გამოიგონებს“ დამაჯერებელ პასუხს (ეს არის AI-ის ჰალუცინაცია).

RAG სწორედ ამ ორი პრობლემის გადასაჭრელად არსებობს. მისი სამუშაო პროცესი მარტივია, სამი ნაბიგი:

1. მოძიება: როდესაც თქვენ სვამთ შეკითხვას, სისტემა ჯერ „გარე ცოდნის ბაზაში“ (მაგალითად, თქვენი კომპანიის ყველა დოკუმენტი, უახლესი ვიკიპედია, ან კანონმდებლობის კრებული) ეძებს და პოულობს ყველაზე რელევანტურ ინფორმაციას. ეს იმას ჰგავს, რომ მოსწავლემ კითხვაზე პასუხისთვის წიგნს ჩახედოს.
2. გაძლიერება: სისტემა აერთიანებს „თქვენს შეკითხვას“ და „მოძიებულ რელევანტურ მონაკვეთებს“ ერთ „გაძლიერებულ“ მოთხოვნად. ეს იმას ჰგავს, რომ მოსწავლეს მისცეთ საცნობარო მასალა.
3. გენერაცია: დიდი ენობრივი მოდელი ამ „გაძლიერებული“ მოთხოვნის საფუძველზე ქმნის საბოლოო პასუხს. ის აღარ ეყრდნობა მხოლოდ თავის „მეხსიერებაში“ არსებულ ძველ ცოდნას, არამედ ძირითადად თქვენ მიერ მოწოდებულ „საცნობარო მასალას“ იყენებს. ეს იმას ჰგავს, რომ მოსწავლე წიგნში ჩახედვით პასუხობს, ვიდრე წარმოსახვით.

მარტივი ანალოგია:
- ტრადიციული LLM: „როგორ შევაკეთო ჩემი XX მოდელის ველოსიპედი?“ → მოდელი მეხსიერებით პასუხობს, შესაძლოა მოძველებული ან არასწორი.
- RAG: „როგორ შევაკეთო ჩემი XX მოდელის ველოსიპედი?“ → ჯერ მოძიებს უახლეს ოფიციალურ სარემონტო სახელმძღვანელოს → შემდეგ ქმნის: „2024 წლის სარემონტო სახელმძღვანელოს მე-3 თავის თანახმად, თქვენ ჯერ უნდა...“

რატომ გაგიჩნდათ RAG პროექტის გაკეთების იდეა?

RAG პროექტის გაკეთების იდეა, არსებითად, მიზნად ისახავს ძლიერი მხარეების გამოყენებას და სისუსტეების თავიდან არიდებას, რათა გამოვავლინოთ დიდი ენობრივი მოდელების ნამდვილი პოტენციალი. ძირითადი მამოძრავებელი ფაქტორებია:

1. „ცოდნის მოძველების“ და „ჰალუცინაციის“ პრობლემის გადაჭრა

   • მოტივაცია: გვინდა, LLM-მა უპასუხოს კითხვებს უახლეს მოვლენებზე, შიდა მონაცემებზე, კერძო დოკუმენტებზე, და ამავდროულად უზრუნველყოს, რომ პასუხები დადასტურებულია.
   • ღირებულება: RAG-ის მქონე სამედიცინო კითხვა-პასუხის სისტემას შეუძლია მოიყვანოს უახლესი სამედიცინო ჟურნალები „COVID-19-ის ახალი შტამის სიმპტომების“ შესახებ, ნაცვლად 2021 წლის მოძველებული ინფორმაციისა, და დაურთოს ციტირების წყარო, რაც მნიშვნელოვნად ამცირებს „გამოგონების“ რისკს.

2. AI-ისთვის „კერძო მონაცემების“ დამუშავების საშუალება, უსაფრთხოების უზრუნველყოფით

   • მოტივაცია: თითოეულ კომპანიას აქვს თავისი ცოდნის ბაზა (კონტრაქტები, კოდი, მომხმარებელთა მომსახურების ჩანაწერები და ა.შ.). ეს მონაცემები არ შეიძლება გამოყენებულ იქნას მოდელის ხელახალი ტრენინგისთვის ან მორგებისთვის (ძვირი, ტექნიკურად რთული, მონაცემთა გაჟონვის რისკი).
   • ღირებულება: RAG-ის საშუალებით შეგიძლიათ ააწყოთ კომპანიის შიდა „AI კითხვა-პასუხის ასისტენტი“. თანამშრომლის შეკითხვის შემდეგ, AI მოიძიებს რელევანტურ ინფორმაციას კომპანიის შიდა კერძო დოკუმენტებიდან და უპასუხებს. კერძო მონაცემები ყოველთვის რჩება კომპანიის შიგნით, ისინი არ იგზავნება მოდელის მწარმოებელთან ტრენინგისთვის, რაც საშუალებას იძლევა გამოვიყენოთ LLM-ის გაგების უნარი მონაცემთა უსაფრთხოების შენარჩუნებით.

3. ხარჯების შემცირება, ეფექტურობის გაზრდა

   • მოტივაცია: მოდელის ხელახალი ტრენინგი ან მორგება ახალი ცოდნის ათვისებისთვის ჰგავს მთელი ბიბლიოთეკის ხელახლა სწავლას, რაც საჭიროებს უზარმაზარ გამოთვლით რესურსებს და ხარჯებს.
   • ღირებულება: RAG თითქმის არ საჭიროებს ტრენინგს, მხოლოდ მოძიების სისტემის აწყობას. ხარჯები შეიძლება იყოს მორგების 1% ან უფრო ნაკლები. უფრო მეტიც, ცოდნის ბაზის განახლებისას, მოძიების შედეგები ავტომატურად განახლდება, მოდელის ხელახალი ტრენინგის საჭიროების გარეშე, რაც უზრუნველყოფს „რეალურ დროში განახლებას“.

4. AI-ს „იცოდეს, რაც იცის, და იცოდეს, რაც არ იცის“

   • მოტივაცია: გვინდა, მოდელს ჰქონდეს მკაფიო გაგება თავისი ცოდნის საზღვრების შესახებ.
   • ღირებულება: RAG-ის სისტემას შეუძლია დააწესოს წესი: თუ მოძიებისას ვერ მოიძებნა რელევანტური დოკუმენტი, მაშინ უშუალოდ უპასუხოს „უკაცრავად, მე ვერ ვიპოვე ინფორმაცია ცოდნის ბაზაში. გთხოვთ, დაზუსტოთ თქვენი შეკითხვა.“ „ციტირების ჩავარდნის“ ეს მექანიზმი AI-ის მუშაობას უფრო სანდოს და გამჭვირვალეს ხდის.

შეჯამება:

RAG პროექტის გაკეთების იდეა წარმოიშვა იმიტომ, რომ ჩვენ გვინდა როგორც დიდი ენობრივი მოდელების ძლიერი გაგებისა და გამოხატვის უნარი, ასევე გვინდა, რომ ისინი გახდნენ „პატიოსანი, სანდო, დროზე ინფორმირებული, და კერძო ბიზნესის მცოდნე“. იგი ჰგავს სუპერ ძრავზე (LLM) ზუსტად კონტროლირებადი საჭის და რეალურ დროში განახლებული სანავიგაციო რუქის (მოძიების სისტემა) დაყენებას, რაც ამჟამად ერთ-ერთი ყველაზე ეფექტური და მეინსტრიმული ტექნიკური მიმართულებაა LLM-ის რეალურ გამოყენებაში ისეთ სერიოზულ სფეროებში, როგორიცაა ბიზნესი, მედიცინა, სამართალი, ფინანსები.