Seria rozmów kwalifikacyjnych AI 8: Czym jest RAG? Dlaczego powstał projekt RAG?

Czym jest RAG?

RAG to skrót od Retrieval-Augmented Generation, co po polsku oznacza generowanie wspomagane wyszukiwaniem.

Mówiąc prosto, jest to technika, która „wyposaża duży model językowy w podręcznik, do którego może w każdej chwili zajrzeć”.

Możesz wyobrazić sobie duży model językowy jako „super-ucznia” z doskonałą pamięcią i ogromną wiedzą. Ten uczeń ma jednak dwie wrodzone „wady”:

1. Data graniczna wiedzy: Wie tylko to, co zawierały dane treningowe. O wydarzeniach po 2023 roku nie ma pojęcia.
2. Może „zmyślać”: Gdy nie zna odpowiedzi, nie powie „nie wiem”, tylko „wymyśli” brzmiącą rozsądnie odpowiedź (to halucynacje AI).

RAG rozwiązuje te dwa problemy. Jego działanie jest proste i składa się z trzech kroków:

1. Wyszukiwanie: Gdy zadajesz pytanie, system najpierw szybko przeszukuje „zewnętrzną bazę wiedzy” (np. wszystkie dokumenty Twojej firmy, najnowszą Wikipedię czy zbiór przepisów prawnych) i znajduje kilka najbardziej odpowiednich fragmentów. To jak kazanie uczniowi, by najpierw poszukał w książkach.
2. Wzmocnienie: System łączy „Twoje pytanie” z „wyszukanymi fragmentami” w jeden „wzmocniony” prompt. To jak danie uczniowi materiałów pomocniczych.
3. Generowanie: Duży model językowy na podstawie tego „wzmocnionego” promptu generuje ostateczną odpowiedź. Nie polega już tylko na starej wiedzy z „pamięci”, ale głównie na dostarczonych „materiałach”. To jak uczeń odpowiadający na podstawie książki, a nie z wyobraźni.

Prosta analogia:
- Tradycyjny LLM: „Jak naprawić mój rower model XX?” → Model odpowiada z pamięci, odpowiedź może być nieaktualna lub błędna.
- RAG: „Jak naprawić mój rower model XX?” → Najpierw wyszukuje najnowszy oficjalny podręcznik napraw → Potem generuje: „Zgodnie z rozdziałem 3 podręcznika napraw z 2024, powinieneś najpierw…”

Dlaczego powstał projekt RAG?

Stworzenie projektu RAG ma na celu wykorzystanie mocnych stron i zniwelowanie słabości, aby uwolnić prawdziwy potencjał dużych modeli językowych. Główne motywacje:

1. Rozwiązanie problemu „nieaktualnej wiedzy” i „halucynacji”

   • Motywacja: Chcemy, aby LLM odpowiadał na pytania o najnowsze wydarzenia, wewnętrzne dane i prywatne dokumenty, zapewniając jednocześnie, że odpowiedzi są oparte na źródłach.
   • Wartość: System medyczny oparty na RAG może zacytować najnowsze czasopismo medyczne, odpowiadając na pytanie „objawy nowego wariantu COVID-19”, zamiast podawać nieaktualne informacje z 2021 roku, i dołączyć cytaty, co znacznie zmniejsza ryzyko „mówienia bez pokrycia”.

2. Umożliwienie AI pracy z „prywatnymi danymi” przy zachowaniu bezpieczeństwa

   • Motywacja: Każda firma ma swoją bazę wiedzy (umowy, kod, zapisy obsługi klienta itp.). Tych danych nie można użyć do ponownego trenowania ani fine-tuningu modelu (wysokie koszty, trudności techniczne, ryzyko wycieku danych).
   • Wartość: Dzięki RAG możesz zbudować wewnętrznego „asystenta AI” w firmie. Gdy pracownik zadaje pytanie, AI wyszukuje odpowiednie informacje w firmowych dokumentach. Prywatne dane pozostają w firmie i nie są wysyłane do producenta modelu do trenowania, co łączy możliwości rozumienia LLM z bezpieczeństwem danych.

3. Obniżenie kosztów i zwiększenie wydajności

   • Motywacja: Ponowne trenowanie lub fine-tuning dużego modelu, aby przyswoił nową wiedzę, jest jak uczenie się całej biblioteki od nowa – wymaga ogromnych mocy obliczeniowych i kosztów.
   • Wartość: RAG prawie nie wymaga trenowania – wystarczy zbudować system wyszukiwania. Koszt może wynosić 1% kosztów fine-tuningu, a nawet mniej. Co więcej, gdy baza wiedzy jest aktualizowana, wyniki wyszukiwania automatycznie się zmieniają, bez potrzeby ponownego trenowania modelu – to „aktualizacja w czasie rzeczywistym”.

4. Sprawienie, by AI wiedziało, co wie, a czego nie wie

   • Motywacja: Chcemy, aby model miał jasną świadomość granic swojej wiedzy.
   • Wartość: System RAG może mieć zasadę: jeśli nie znajdzie odpowiednich dokumentów, odpowiada „Przepraszam, nie znalazłem odpowiednich informacji w bazie wiedzy. Proszę sprecyzować pytanie.” Taki mechanizm „cytowania zakończonego niepowodzeniem” czyni działanie AI bardziej wiarygodnym i przejrzystym.

Podsumowując:

Projekt RAG powstał, ponieważ chcemy zarówno wykorzystać potężne zdolności rozumienia i generowania dużych modeli językowych, jak i uczynić je „uczciwymi, wiarygodnymi, na bieżąco aktualizowanymi i znającymi prywatną działalność”. To jak wyposażenie super-silnika (LLM) w precyzyjnie sterowaną kierownicę i aktualizowaną na bieżąco nawigację (system wyszukiwania). Jest to obecnie jedna z najskuteczniejszych i najbardziej popularnych ścieżek technicznych, aby wdrożyć LLM w poważnych dziedzinach, takich jak przedsiębiorstwa, medycyna, prawo czy finanse.