Serje ta' Intervisti AI 8: X'inhu RAG? Għaliex Ħsibt biex Nagħmel Proġett RAG?

X'inhu RAG?

RAG huwa akronimu għal Retrieval-Augmented Generation, li bl-Ingliż tfisser Ġenerazzjoni Mtejba b'Rkupru.

Fil-qosor, hija teknika li tagħti lill-mudell tal-lingwa kbira "ktieb ta' referenza li jista' jikkonsulta fi kwalunkwe ħin".

Tista' timmaġina l-mudell tal-lingwa kbira bħala "student superjuri" b'memorja eċċellenti u għarfien profond. Iżda dan l-istudent għandu żewġ "difetti" naturali:

1. Data ta' skadenza tal-għarfien: L-għarfien li tgħallem jintemm biss sad-data tad-dejta tat-taħriġ. Ma jaf xejn dwar dak li ġara wara l-2023.
2. Jista' "jivvinta": Meta jiltaqa' ma' mistoqsija li ma jafx, ma jgħidx "Ma nafx", iżda jivvinta tweġiba li tidher raġonevoli (din hija l-alluċinazzjoni tal-AI).

RAG issolvi dawn iż-żewġ problemi. Il-proċess tax-xogħol tiegħu huwa sempliċi, fi tliet passi:

1. Rkupru: Meta tistaqsi mistoqsija, is-sistema tmur tfittex malajr f'"bażi ta' għarfien esterna" (bħad-dokumenti kollha tal-kumpanija tiegħek, l-aħħar Wikipedija, jew sensiela ta' liġijiet) u ssib l-aktar siltiet rilevanti. Dan huwa bħal li tħalli student ifittex fi ktieb għall-mistoqsija.
2. Titjib: Is-sistema tgħaqqad "il-mistoqsija tiegħek" u "s-siltiet rilevanti misjuba" f'prompt "imtejjeb". Dan huwa bħal li tagħti lill-istudent materjal ta' referenza.
3. Ġenerazzjoni: Il-mudell tal-lingwa kbira jiġġenera t-tweġiba finali abbażi ta' dan il-prompt imtejjeb. Ma jiddependix biss fuq l-għarfien qadim fil-memorja tiegħu, iżda jirreferi prinċipalment għall-materjal ta' referenza mogħti. Dan huwa bħal li student iwieġeb billi jħares lejn il-ktieb, mhux jimmaġina.

Analoġija sempliċi:
- LLM tradizzjonali: "Kif insewwi r-rota tal-mudell XX tiegħi?" → Il-mudell iwieġeb mill-memorja, possibilment skadut jew żbaljat.
- RAG: "Kif insewwi r-rota tal-mudell XX tiegħi?" → L-ewwel ifittex l-aħħar manwal tat-tiswija uffiċjali → Imbagħad jiġġenera: "Skont il-Kapitolu 3 tal-Manwal tat-Tiswija 2024, l-ewwel għandek..."

Għaliex Ħsibt biex Nagħmel Proġett RAG?

Li tagħmel proġett RAG, essenzjalment huwa biex tisfrutta l-qawwiet u tevita d-dgħufijiet, u tirrilaxxa l-veru potenzjal tal-mudelli tal-lingwa kbar. Hemm diversi raġunijiet ewlenin:

1. Issolvi l-problemi ta' "għarfien skadut" u "alluċinazzjoni"

   • Motivazzjoni: Li l-LLM iwieġeb mistoqsijiet dwar l-aħħar avvenimenti, dejta interna, dokumenti privati, filwaqt li jiżgura li t-tweġibiet ikunu verifikabbli.
   • Valur: Sistema ta' mistoqsijiet mediċi li tuża RAG tista' tiċċita l-aħħar ġurnali mediċi biex twieġeb "sintomi tal-aħħar varjant COVID", minflok tagħti informazzjoni skaduta tal-2021, u tinkludi s-sors taċ-ċitazzjoni, u tnaqqas ir-riskju ta' "gideb".

2. Ħalli l-AI timmaniġġja "dejta privata" filwaqt li tiżgura s-sigurtà

   • Motivazzjoni: Kull kumpanija għandha l-bażi tal-għarfien tagħha (kuntratti, kodiċi, rekords tal-klijenti, eċċ.). Din id-dejta ma tistax tintuża biex terġa' tħarreġ jew tiffajla l-mudell (għaljin, teknikament diffiċli, riskju ta' tnixxija tad-dejta).
   • Valur: Permezz ta' RAG, tista' tibni "assistent ta' mistoqsijiet AI" intern għall-kumpanija. Meta impjegat jistaqsi, l-AI tfittex informazzjoni rilevanti mid-dokumenti privati interni biex twieġeb. Id-dejta privata tibqa' dejjem ġewwa l-kumpanija, ma tintbagħatx lill-fornitur tal-mudell għat-taħriġ, u b'hekk tuża l-kapaċità ta' fehim tal-LLM filwaqt li tiżgura s-sigurtà tad-dejta.

3. Tnaqqas l-ispejjeż u żżid l-effiċjenza

   • Motivazzjoni: Li terġa' tħarreġ jew tiffajla mudell kbir biex jassorbi għarfien ġdid huwa bħal li titgħallem il-librerija kollha mill-ġdid, li jeħtieġ qawwa ta' komputazzjoni u spejjeż enormi.
   • Valur: RAG kważi ma jeħtieġx taħriġ; għandek bżonn biss tibni sistema ta' rkupru. L-ispiża tista' tkun 1% tal-ispiża tal-fine-tuning, jew saħansitra inqas. Barra minn hekk, meta l-bażi tal-għarfien tiġi aġġornata, ir-riżultati tal-irkupru jiġu aġġornati awtomatikament, mingħajr il-ħtieġa li terġa' tħarreġ il-mudell, u b'hekk ikollok "aġġornament f'ħin reali".

4. Ħalli l-AI tkun "taf li taf u taf li ma tafx"

   • Motivazzjoni: Li l-mudell ikollu għarfien ċar tal-konfini tal-għarfien tiegħu.
   • Valur: Sistema RAG tista' tistabbilixxi regola: jekk ma ssib l-ebda dokument rilevanti, twieġeb direttament "Jiddispjaċini, ma sibt l-ebda informazzjoni rilevanti fil-bażi tal-għarfien. Jekk jogħġbok ikkonferma l-mistoqsija tiegħek." Din il-mekkaniżmu ta' "falliment taċ-ċitazzjoni" jagħmel it-tħaddim tal-AI aktar affidabbli u trasparenti.

Fil-qosor:

Il-ħsieb li tagħmel proġett RAG huwa għax irridu kemm il-kapaċità qawwija ta' fehim u espressjoni tal-mudell tal-lingwa kbir, kif ukoll li nagħmluh "onest, affidabbli, aġġornat, u jifhem in-negozju privat". Dan huwa bħal li tinstalla steering wheel preċiż u mappa tan-navigazzjoni aġġornata f'ħin reali (is-sistema ta' rkupru) fuq magna super (LLM), u bħalissa huwa wieħed mill-aktar metodi tekniċi effettivi u popolari biex l-LLM jiġi applikat f'oqsma serji bħall-intrapriża, il-mediċina, il-liġi, u l-finanzi.