Интервју од AI серија 8: Што е RAG? Зошто да се направи RAG проект?

Што е RAG?

RAG е кратенка за Retrieval-Augmented Generation, на македонски Генерација збогатена со пребарување.

Едноставно кажано, тоа е техника која на големиот јазичен модел му дава „прирачник што може да го прелистува во секое време“.

Замислете го големиот јазичен модел како „супер ученик“ со одлична меморија и големо знаење. Но, овој ученик има два вродени „недостатоци“:

1. Рок на знаење: Неговото знаење е ограничено на податоците од обуката. За настаните по 2023 година, тој не знае ништо.
2. Можност за „измислување“: Кога ќе наиде на прашање што не го знае, тој не вели „не знам“, туку од имагинација „измислува“ одговор што звучи разумно (ова е AI халуцинација).

RAG ги решава овие два проблема. Неговиот работен процес е едноставен, во три чекори:

1. Пребарување: Кога поставувате прашање, системот оди во „надворешна база на знаење“ (на пример, сите документи на вашата компанија, најновата Википедија или збирка законски текстови) и брзо пребарува за да ги најде најрелевантните делови. Ова е како да го натерате ученикот да прелистува книги за да најде одговор на прашањето.
2. Збогатување: Системот ги спакува „вашето прашање“ и „пронајдените релевантни делови“ во еден „збогатен“ промпт. Ова е како да му дадете на ученикот референтен материјал.
3. Генерирање: Големиот јазичен модел генерира конечен одговор врз основа на тој „збогатен“ промпт. Тој веќе не се потпира само на старото знаење од својата „меморија“, туку главно се потпира на „референтниот материјал“ што сте му го дале. Ова е како ученикот да одговара гледајќи во книгите, а не да измислува.

Едноставна аналогија:
- Традиционален LLM: „Како да го поправам мојот велосипед модел XX?“ → Моделот одговара по сеќавање, можеби застарено или погрешно.
- RAG: „Како да го поправам мојот велосипед модел XX?“ → Прво пребарува најново службено упатство за поправка → Потоа генерира: „Според упатството за поправка од 2024 година, поглавје 3, прво треба да...“

Зошто да се направи RAG проект?

Правењето RAG проект, во суштина, е за надминување на слабостите и искористување на силните страни на големите јазични модели, ослободувајќи ја нивната вистинска потенцијал. Главните движечки сили се:

1. Решавање на проблемите со „застарено знаење“ и „халуцинации“
2. Мотивација: Сакаме LLM да одговара на прашања за најнови настани, интерни податоци, приватни документи, истовремено обезбедувајќи дека одговорите се поткрепени со извори.

3. Вредност: Медицински систем за одговарање на прашања со RAG може да цитира најнови медицински списанија за да одговори на „симптоми на најновата варијанта на КОВИД“, наместо да дава застарени информации од 2021 година, и да приложи извори, значително намалувајќи го ризикот од „измислување“.

4. Овозможување на AI да обработува „приватни податоци“ додека се обезбедува безбедност

5. Мотивација: Секоја компанија има своја база на знаење (договори, код, записи од служба за корисници итн.). Овие податоци не можат да се користат за преобука или фино прилагодување на модел (висока цена, технички тешкотии, ризик од истекување на податоци).

6. Вредност: Преку RAG, можете да изградите внатрешен „AI асистент за одговарање на прашања“. Кога вработен поставува прашање, AI пребарува релевантни информации од внатрешните приватни документи и одговара. Приватните податоци остануваат во компанијата и не се испраќаат до производителот на моделот за обука, со што се искористува способноста на LLM за разбирање, а истовремено се обезбедува безбедност на податоците.

7. Намалување на трошоците, зголемување на ефикасноста

8. Мотивација: Преобука или фино прилагодување на голем модел за апсорбирање на нови знаења е како повторно учење на цела библиотека, бара огромна пресметковна моќ и трошоци.

9. Вредност: RAG речиси не бара обука, само треба да се изгради систем за пребарување. Трошоците може да бидат 1% од трошоците за фино прилагодување, па и помалку. И кога базата на знаење се ажурира, резултатите од пребарувањето автоматски се ажурираат, без потреба од преобука на моделот, постигнувајќи „ажурирање во реално време“.

10. Да се направи AI „знае што знае, а што не знае“

11. Мотивација: Сакаме моделот да има јасна свест за границите на своето знаење.
12. Вредност: RAG системот може да постави правило: ако не пронајде релевантен документ, директно да одговори „Извинете, не пронајдов релевантни информации во базата на знаење. Ве молиме потврдете го вашето прашање.“ Овој механизам на „неуспех во цитирање“ го прави работењето на AI посигурно и потранспарентно.

Резиме:

Идејата за правење RAG проект доаѓа од тоа што сакаме и моќните способности за разбирање и изразување на големите јазични модели, но и сакаме тие да бидат „искрени, сигурни, во чекор со времето и да ги разбираат приватните бизниси“. Тоа е како да му ставите прецизно управување и ажурирана навигација (систем за пребарување) на супермоторот (LLM). Тоа е еден од најефикасните и најпопуларни технички патишта за реално применување на LLM во сериозни области како претпријатија, медицина, право, финансии итн.