AI интервю серия 8: Какво е RAG? Защо решихме да направим RAG проект?

Какво е RAG?

RAG е съкращение от Retrieval-Augmented Generation, което на български означава генериране, подсилено с извличане.

Накратко, това е технология, която дава на големия езиков модел "справочник, който може да прелиства по всяко време".

Можете да си представите големия езиков модел като "супер ученик" с феноменална памет и обширни познания. Но този ученик има два вродени "недостатъка":

1. Краен срок на знанията: Знанията му са ограничени до данните по време на обучението. Той не знае нищо за случилото се след 2023 г.
2. Възможно "измисляне": Когато се сблъска с въпрос, на който не знае отговора, той не казва "Не знам", а започва да "измисля" правдоподобен отговор (това е AI халюцинация).

RAG решава точно тези два проблема. Неговият работен процес е прост и се състои от три стъпки:

1. Извличане: Когато зададете въпрос, системата първо отива във "външна база знания" (например всички документи на компанията ви, най-новата Уикипедия или набор от правни текстове) и бързо търси и намира няколко най-подходящи откъса информация. Това е като да накарате ученика да потърси в книга за конкретния въпрос.
2. Подсилване: Системата опакова заедно "вашия въпрос" и "намерените откъси", за да създаде "подсилена" версия на подкана. Това е като да дадете на ученика справочен материал.
3. Генериране: Големият езиков модел генерира окончателния отговор на базата на тази "подсилена" подкана. Той вече не разчита само на старите знания от "паметта" си, а основно на предоставения "справочен материал". Това е като ученик, който отговаря на въпроси, гледайки учебника, а не като си измисля.

Прост пример:
- Традиционен LLM: "Как се поправя моят велосипед модел XX?" → Моделът отговаря по памет, може да е остарял или грешен.
- RAG: "Как се поправя моят велосипед модел XX?" → Първо извлича най-новото официално ръководство за ремонт → След това генерира: "Според глава 3 на ръководството за ремонт от 2024 г., първо трябва да..."

Защо решихме да направим RAG проект?

Правенето на RAG проект по същество е използване на силните страни и избягване на слабите, за да се освободи истинският потенциал на големите езикови модели. Основните движещи сили са няколко:

1. Решаване на проблемите с "остаряването на знанията" и "халюцинациите"

   • Мотив: Да накараме LLM да отговаря на въпроси за най-новите събития, вътрешни данни и частни документи, като същевременно гарантираме, че отговорите са подкрепени с факти.
   • Стойност: Медицинска система за въпроси и отговори, базирана на RAG, може да цитира най-новите медицински списания, за да отговори на въпрос за "симптомите на най-новия вариант на COVID-19", вместо да дава остаряла информация от 2021 г., и да предостави източници на цитатите, което значително намалява риска от "празни приказки".

2. Позволяване на AI да обработва "частни данни", като същевременно гарантира сигурност

   • Мотив: Всяка компания има своя собствена база знания (договори, код, записи от клиентски услуги и т.н.). Тези данни не могат да се използват за преобучване или фина настройка на модела (високи разходи, техническа сложност, риск от изтичане на данни).
   • Стойност: Чрез RAG можете да изградите вътрешен "AI асистент за въпроси и отговори" за компанията. Когато служител зададе въпрос, AI извлича информация от вътрешните частни документи на компанията, за да отговори. Частните данни остават в компанията и не се изпращат на производителя на модела за обучение, като по този начин се използва разбирателската способност на LLM и се гарантира сигурността на данните.

3. Намаляване на разходите и повишаване на ефективността

   • Мотив: Преобучението или фината настройка на голям модел за усвояване на нови знания е като да прекарате отново цялата библиотека - изисква огромни изчислителни ресурси и разходи.
   • Стойност: RAG почти не изисква обучение, трябва само да изградите система за извличане. Разходите могат да бъдат 1% от тези за фина настройка или дори по-малко. Освен това, когато базата знания се актуализира, резултатите от извличането автоматично се актуализират, без да се налага преобучение на модела - това е "актуализация в реално време".

4. Каране на AI да знае "какво знае и какво не знае"

   • Мотив: Да накараме модела да има ясно осъзнаване на границите на своите знания.
   • Стойност: Системата с RAG може да зададе правило: ако не се намерят съответни документи, директно да отговори "За съжаление, не открих съответна информация в базата знания. Моля, проверете вашия въпрос." Този механизъм на "неуспешно цитиране" прави работата на AI по-надеждна и прозрачна.

Обобщение:

Решихме да направим RAG проект, защото искаме едновременно силната способност за разбиране и изразяване на големите езикови модели и искаме те да станат "честни, надеждни, актуални и запознати с частния бизнес". Това е като да монтирате прецизно управляем волан и навигационна карта в реално време (система за извличане) на супер двигателя (LLM). Това е един от най-ефективните и основни технологични пътища за внедряване на LLM в сериозни области като предприятия, медицина, право, финанси и т.н.