የ AI ቃለ መጠይቅ ጥያቄ ሁለት፡ ትልቅ የቋንቋ ሞዴል (LLM) መሳሪያ ጥሪ አስተማማኝ መሆኑን እንዴት ማረጋገጥ ይቻላል?

ትልቅ የቋንቋ ሞዴል (LLM) መሳሪያ ሲጠራ አስተማማኝ እና ቁጥጥር የሚደረግበት መሆኑን ለማረጋገጥ በፍንጭ ቃላት ላይ ብቻ መተማመን ሳይሆን በስርዓት የተደራጀ ባለብዙ ደረጃ የገደብ ማዕቀፍ ያስፈልጋል።

እንደ የአየር ሁኔታ መጠይቅ ምሳሌ፣ ሞዴሉ በመሳሪያ ጥሪ ወቅት የሚያሳያቸው ሦስት የተለመዱ “ውሸት” ባህሪዎች፦
1. መሳሪያውን ሳይጠራ በቀጥታ ምናባዊ መልስ መስጠት።
2. መሳሪያውን ሲጠራ የተሳሳተ ቅርጸት ያላቸው መለኪያዎችን ማስተላለፍ (ለምሳሌ መሳሪያው “ከዘመን በኋላ”ን ባይደግፍም date="ከዘመን በኋላ" በማለት ማስተላለፍ)።
3. የመለኪያ ቅርጸትን በራስ ፈቃድ መቀየር (ለምሳሌ መሳሪያው ባይፈልግም “ከዘመን በኋላ”ን ወደ ተጨባጭ ቀን መቀየር)።

የችግሩ መነሻ የሞዴሉ ውጤት በመሠረቱ ፕሮባቢሊቲካል መሆኑ ነው፤ ፍንጭ ቃላት በፕሮባቢሊቲ ስርጭት ላይ “ለስላሳ ገደብ” ብቻ ነው የሚጥሉት፣ ሞዴሉ በጥብቅ እንዲከተል የሚያስገድድ ዘዴ አይደለም። ውስብስብ ሁኔታዎች ውስጥ ይህ “ለስላሳ ገደብ” በቀላሉ ሊሳካ ይችላል።

ይህንን ችግር ለመፍታት ባለብዙ ደረጃ የምህንድስና መፍትሄ ያስፈልጋል፦

1. የመጀመሪያ ደረጃ፡ ፍንጭ ቃላትን ማሻሻል (ለስላሳ ገደብ)

   • ይህ የገደብ ስርዓቱ መነሻ ነው፣ ግን መጨረሻ አይደለም።
   • ፍንጭ ቃላትን እንደ “የአሰራር ውል” መቁጠር ያስፈልጋል፤ የመሳሪያውን አጠቃቀም፣ የእያንዳንዱን መለኪያ አይነት እና ወሰን በግልጽ መግለጽ፣ እንዲሁም ልክ ያልሆኑ እሴቶችን ምሳሌ መስጠት።
   • ጥቂት-ምሳሌ (Few-shot) ምሳሌዎችን መጨመር ያስፈልጋል፤ “ትክክለኛ ግብዓት → ትክክለኛ ጥሪ” የሚያሳዩ ምሳሌዎችን በማቅረብ የሞዴሉን ባህሪ ለማስተካከል የአውድ ትምህርትን መጠቀም።

2. ሁለተኛ ደረጃ፡ JSON Schema ማስተዋወቅ (ጠንካራ ገደብ)

   • ይህ ከ“ማሳመን” ወደ “አጥር መትከል” የሚደረግ ቁልፍ እርምጃ ነው።
   • የመለኪያዎችን ተፈጥሯዊ ቋንቋ መግለጫ በማሽን ሊነበብ እና ሊረጋገጥ በሚችል መዋቅራዊ ትርጉም (JSON Schema) መተካት። የመስክ አይነትን፣ አስፈላጊነትን፣ የቁጥር ወሰንን በጥብቅ መወሰን ይቻላል፤ እንዲሁም additionalProperties: false በማዘጋጀት ሞዴሉ ያልተገለጹ መስኮችን እንዳያወጣ መከልከል ይቻላል።
   • ዋና ዋና የኤፒአይ መድረኮች በሞዴል ዲኮዲንግ ደረጃ እንዲህ ያለ መዋቅራዊ ውጤት ገደብ ይደግፋሉ፣ ይህም ከመነሻው የቅርጸት ጥሰትን ያስወግዳል።

3. ሦስተኛ ደረጃ፡ የማረጋገጥ-ማስተካከል-እንደገና መሞከር ዑደት መመስረት (የማስፈጸሚያ መጠባበቂያ)

   • Schema ቢኖርም የሞዴሉን ውጤት ከተቀበልን በኋላ ሰዋሰዋዊ እና Schema ማረጋገጥ ያስፈልጋል።
   • ማረጋገጡ ሲወድቅ አውቶማቲክ ማጽዳት እና እንደገና መሞከር (ከፍተኛ ገደብ ያለው) ዘዴ መንደፍ ያስፈልጋል፤ የስህተት መረጃውን ወደ ሞዴሉ በመመለስ ውጤቱን እንዲያስተካክል ማድረግ። የእንደገና መሞከር ቁጥር ከደረሰ በኋላ ዝቅተኛ ደረጃ ወይም የሰው ጣልቃ ገብነት ያስፈልጋል።

4. የሥነ ሕንፃ ደረጃ፡ የኃላፊነት መለያየት

   • ውሳኔ እና አፈጻጸም መለየት ያስፈልጋል፤ ባለ ሦስት ደረጃ ሥነ ሕንፃ መመስረት፦
     • ሞዴል ንብርብር፡ ውሳኔ ብቻ የሚወስን (የትኛውን መሳሪያ መጠራት እንዳለበት፣ ምን መለኪያዎች እንደሚፈጠሩ መወሰን)።
     • ማዕቀፍ ንብርብር፡ የማስፈጸሚያ ማዕቀፉን ያከናውናል፤ Schema ማረጋገጥ፣ መሳሪያ መጥራት፣ እንደገና መሞከርን ማስተዳደር እና ውጤቶችን ማዋሃድ። ይህ የሞዴል ስህተቶች በቀጥታ የመሳሪያ ደህንነት ላይ ተጽዕኖ እንዳያሳድሩ ያደርጋል፤ የመሳሪያ ለውጥ ሲኖር ፍንጭ ቃላትን በተደጋጋሚ ማስተካከል አያስፈልግም።
     • መሳሪያ ንብርብር፡ የተወሰኑ የንግድ ችሎታዎች ትግበራ።
   • LangChain፣ LlamaIndex የመሳሰሉት ማዕቀፎች ይህንን ሥራ እየሠሩ ነው።

የአሁኑ መፍትሄ ውስንነት፡ የመለኪያ ቅርጸት ችግሮችን በጥሩ ሁኔታ መፍታት ይችላል፣ ነገር ግን የመለኪያ ትርጉም (ለምሳሌ “ሻንጋይ” እና “ሁ” እኩል መሆን) ማረጋገጥ ላይ አሁንም አለፍጽምና አለ። ይህ ወደፊት የሚጋፈጠው የምህንድስና ፈተና ይሆናል።

ዋና መደምደሚያ፡ LLM መሳሪያዎችን በአስተማማኝ ሁኔታ እንዲጠራ ማድረግ በመሠረቱ የሶፍትዌር ምህንድስና ችግር ነው፤ ከለስላሳ ገደብ፣ ጠንካራ ገደብ፣ የማስፈጸሚያ መጠባበቂያ እስከ ሥነ ሕንፃ ዲዛይን ድረስ ስልታዊ የምህንድስና መፍትሄ መገንባት ያስፈልጋል፣ ፍንጭ ቃላትን ማሻሻል ብቻ ሳይሆን።