የ AI ተከታታይ ቃለ መጠይቅ 8፡ RAG ምንድን ነው? ለምን RAG ፕሮጀክት ማድረግ ታስቧል?

RAG ምንድን ነው?

RAG ሙሉ ስሙ Retrieval-Augmented Generation ሲሆን በአማርኛ ፍለጋ-የተጠናከረ ትውልድ ይባላል።

በቀላል አባባል፣ ለትልቅ ቋንቋ ሞዴል "በማንኛውም ጊዜ ሊመለከተው የሚችል የማመሳከሪያ መጽሐፍ" የማስታጠቅ ቴክኖሎጂ ነው።

ትልቅ ቋንቋ ሞዴልን እንደ ልዩ የማስታወስ ችሎታ ያለው፣ ሰፊ እውቀት ያለው "ልዑል ምሁር" መገመት ትችላለህ። ነገር ግን ይህ ምሁር ሁለት ተፈጥሯዊ "ጉድለቶች" አሉት፦

1. የእውቀት መጠናቀቂያ ቀን፡ የተማረው እውቀት የሚቆረጠው በስልጠና ወቅት ባለው መረጃ ላይ ብቻ ነው። ከ2023 በኋላ የሆኑ ነገሮችን አያውቅም።
2. ሊዋሽ ይችላል፡ የማያውቀው ጥያቄ ሲጠየቅ፣ "አላውቅም" አይልም፤ ይልቁንም ምክንያታዊ የሚመስል መልስ በደመ ነፍሱ ይፈጥራል (ይህ የAI ውሸት/ሃሴት ነው)።

RAG እነዚህን ሁለት ችግሮች ለመፍታት ነው። የሥራ ሂደቱ ቀላል ነው፣ ሶስት ደረጃዎች አሉት፦

1. ፍለጋ፡ አንድ ጥያቄ ስትጠይቅ፣ ስርዓቱ በመጀመሪያ ወደ "ውጫዊ የእውቀት ማከማቻ" (ለምሳሌ የኩባንያ ሰነዶች፣ የቅርብ ጊዜ ዊኪፔዲያ፣ ወይም የሕግ ድንጋጌዎች) ይሄዳል እና በፍጥነት በጣም ተዛማጅ የሆኑትን ክፍሎች ይፈልጋል። ይህ ተማሪው ጥያቄውን መሰረት አድርጎ መጽሐፍ እንደሚመለከት ነው።
2. ማጠናከር፡ ስርዓቱ "የጠየቅከውን ጥያቄ" እና "የተገኙትን ተዛማጅ ክፍሎች" አንድ ላይ በማሰባሰብ የተጠናከረ ጥያቄ ይፈጥራል። ይህ ለተማሪው የማመሳከሪያ ቁሳቁስ መስጠት ይመስላል።
3. መፍጠር፡ ትልቅ ቋንቋ ሞዴሉ በዚህ የተጠናከረ ጥያቄ ላይ በመመስረት የመጨረሻውን መልስ ያመነጫል። በራሱ ትውስታ ውስጥ ባለው አሮጌ እውቀት ላይ ብቻ አይደገፍም፤ ከሰጠኸው ማመሳከሪያ ውስጥ በማግኘት ይመልሳል። ይህ ተማሪው ከመጽሐፍ በመመልከት መልስ እንደሚሰጥ ነው፣ ከመገመት ይልቅ።

ቀላል ምሳሌ፦
- ባህላዊ LLM፡ "የእኔን XX ሞዴል ብስክሌት እንዴት መጠገን እችላለሁ?" → ሞዴሉ ከትውስታው ይመልሳል፣ ሊያረጅ ወይም ሊሳሳት ይችላል።
- RAG፡ "የእኔን XX ሞዴል ብስክሌት እንዴት መጠገን እችላለሁ?" → መጀመሪያ ፈልግ አዲሱን የይፋዊ ጥገና መመሪያ → ከዚያ ፍጠር፡ "እንደ 2024 እትም የጥገና መመሪያ ምዕራፍ 3፣ መጀመሪያ አንተ መሆን አለብህ..."

ለምን RAG ፕሮጀክት ማድረግ ታስቧል?

RAG ፕሮጀክት ማድረግ በመሰረቱ ጥሩውን አጽንቶ መጥፎውን ለማስወገድ እና የትልቅ ቋንቋ ሞዴልን እውነተኛ አቅም ለመልቀቅ ነው። ዋና ዋናዎቹ ምክንያቶች የሚከተሉት ናቸው፦

1. "የእውቀት መዘግየት" እና "ሃሴት/ውሸት" ችግሮችን መፍታት

   • ዓላማ፡ LLM ስለ ወቅታዊ ክስተቶች፣ የውስጥ መረጃዎች፣ የግል ሰነዶች መልስ እንዲሰጥ ማድረግ፣ በተመሳሳይ ጊዜ መልሱ የተረጋገጠ ምንጭ እንዲኖረው ማረጋገጥ።
   • ዋጋ፡ RAG የሚችል የሕክምና ጥያቄ መልስ ስርዓት ስለ አዲሱ የኮቪድ-19 ልዩነት ምልክቶች ከቅርብ ጊዜ የሕክምና መጽሔቶች በመጥቀስ መልስ መስጠት ይችላል፣ ከ2021 የዘመነ መረጃ መስጠት ይልቅ፣ እና ምንጩን ያያይዛል፣ ይህም "ያለማወቅ መዋሸት" አደጋን በእጅጉ ይቀንሳል።

2. AI የግል መረጃዎችን እንዲያስተናግድ ማድረግ፣ ደህንነትን በመጠበቅ

   • ዓላማ፡ እያንዳንዱ ኩባንያ የራሱ የእውቀት ማከማቻ አለው (ኮንትራቶች፣ ኮድ፣ የደንበኛ አገልግሎት መዝገቦች ወዘተ)። እነዚህ መረጃዎች ሞዴሉን እንደገና ለማሰልጠን ወይም ለማስተካከል (fine-tune) መጠቀም አይቻልም (ውድ ነው፣ ቴክኒካል አስቸጋሪ ነው፣ የመረጃ መግለጫ አደጋ አለ)።
   • ዋጋ፡ በRAG አማካይነት የኩባንያ ውስጥ የAI ጥያቄ መልስ ረዳት መገንባት ትችላለህ። ሰራተኞች ጥያቄ ሲጠይቁ፣ AI ከኩባንያው የውስጥ ሰነዶች ውስጥ ተዛማጅ መረጃ ፈልጎ ይመልሳል። የግል መረጃው በኩባንያው ውስጥ ይቀራል፣ ለሞዴል አቅራቢ አይላክም ወይም ለስልጠና አይውልም፣ ይህም የLLMን የመረዳት ችሎታ እየተጠቀመ የመረጃ ደህንነትን ያረጋግጣል።

3. ወጪ መቀነስ እና ቅልጥፍናን መጨመር

   • ዓላማ፡ አዲስ እውቀት ለማስገባት ትልቅ ሞዴል እንደገና ማሰልጠን ወይም ማስተካከል ሙሉ ቤተ መጻሕፍትን እንደገና እንደማጥናት ነው፣ ከፍተኛ የሆነ የስሌት ሃይል እና ወጪ ይጠይቃል።
   • ዋጋ፡ RAG ማለት ይቻላል ምንም ዓይነት ስልጠና አያስፈልገውም፤ የሚፈልገው የፍለጋ ስርዓት መገንባት ብቻ ነው። ወጪው ከማስተካከል (fine-tuning) 1% ወይም ከዚያ ያነሰ ሊሆን ይችላል። በተጨማሪም የእውቀት ማከማቻው ሲዘመን፣ የፍለጋ ውጤቱም በራስ ሰር ይዘምናል፣ ሞዴሉን እንደገና ማሰልጠን አያስፈልግም፣ ይህም "ወቅታዊ ዝመና" ያስችላል።

4. AI "የምታውቀውን ታውቃለች፣ የማታውቀውን አታውቅም" እንዲሆን ማድረግ

   • ዓላማ፡ ሞዴሉ የራሱን የእውቀት ወሰን በግልጽ እንዲያውቅ ማድረግ።
   • ዋጋ፡ የRAG ስርዓት አንድ ህግ ሊያስቀምጥ ይችላል፡ ምንም ተዛማጅ ሰነድ ካልተገኘ፣ በቀጥታ "ይቅርታ፣ በእውቀት ማከማቻው ውስጥ ተዛማጅ መረጃ አላገኘሁም፤ እባክዎ ጥያቄዎን ያረጋግጡ" ብሎ መልስ መስጠት። ይህ "ማመሳከሪያ አለመሳካት" ዘዴ የAI አሰራርን የበለጠ አስተማማኝ እና ግልጽ ያደርገዋል።

ማጠቃለያ፦

RAG ፕሮጀክት ማድረግ የታሰበበት ምክንያት እኛ የትልቅ ቋንቋ ሞዴልን ኃይለኛ የመረዳት እና የመፍጠር ችሎታ ስንፈልግ፣ በተመሳሳይ ጊዜ 'ሐቀኛ፣ አስተማማኝ፣ ወቅታዊ እና የግል ንግድን የሚረዳ' እንዲሆን ስለምንፈልግ ነው። ልክ እንደ ልዕለ ሞተር (LLM) ላይ ትክክለኛ መቆጣጠሪያ እና ወቅታዊ የማውጫ ካርታ (የፍለጋ ስርዓት) መጫን ይመስላል፣ ይህም በአሁኑ ጊዜ LLM በከባድ ዘርፎች እንደ ንግድ፣ ሕክምና፣ ሕግ፣ ፋይናንስ ወዘተ በተሳካ ሁኔታ እንዲተገበር በጣም ውጤታማ እና ተቀባይነት ካላቸው የቴክኖሎጂ መንገዶች አንዱ ነው።