AI সাক্ষাৎকার প্রশ্ন ২: কীভাবে নিশ্চিত করবেন বড় ভাষা মডেল (LLM) টুল কলিং নির্ভরযোগ্য

কীভাবে নিশ্চিত করবেন বড় ভাষা মডেল (LLM) টুল কলিংয়ের সময় নির্ভরযোগ্য ও নিয়ন্ত্রিতভাবে কাজ করে, কেবল প্রম্পটের উপর নির্ভর না করে মডেলকে "বোঝানোর" জন্য। একটি বহু-স্তরীয় সীমাবদ্ধতা কাঠামো পদ্ধতিগতভাবে দেওয়া প্রয়োজন।

যেমন আবহাওয়া জানার উদাহরণ, টুল কলিংয়ে মডেলের তিনটি সাধারণ "মিথ্যা" আচরণ:
1. টুল কল না করে সরাসরি উত্তর তৈরি করা।
2. টুল কল করার সময় ভুল ফরম্যাটের প্যারামিটার পাঠানো (যেমন টুল "পরশু" সমর্থন করে না, কিন্তু প্যারামিটার date="পরশু" পাঠানো)।
3. নিজে থেকে প্যারামিটার ফরম্যাট পরিবর্তন করা (যেমন নিজে থেকে "পরশু" কে নির্দিষ্ট তারিখে রূপান্তর করা), যদিও টুলের এমন প্রয়োজন নেই।

সমস্যার মূল হল মডেল আউটপুট মূলত সম্ভাব্যতাভিত্তিক, এবং প্রম্পট কেবল সম্ভাব্যতা বণ্টনে একটি "নরম সীমাবদ্ধতা" প্রয়োগ করে, মডেলকে কঠোরভাবে মেনে চলার বাধ্যতামূলক ব্যবস্থা নয়। জটিল পরিস্থিতিতে এই "নরম সীমাবদ্ধতা" সহজেই ব্যর্থ হয়।

এই সমস্যা সমাধানের জন্য একটি বহু-স্তরীয় প্রকৌশল সমাধান প্রয়োজন:

1. প্রথম স্তর: প্রম্পট অপ্টিমাইজ করা (নরম সীমাবদ্ধতা)

   • অবস্থান হল সীমাবদ্ধতা কাঠামোর শুরু, কিন্তু শেষ নয়।
   • প্রম্পটকে একটি "অপারেশন চুক্তি" হিসাবে বিবেচনা করা উচিত, টুলের উদ্দেশ্য, প্রতিটি প্যারামিটারের ধরন, সীমা স্পষ্টভাবে বর্ণনা করা এবং অবৈধ মানের উদাহরণ তালিকাভুক্ত করা।
   • Few-shot উদাহরণ যোগ করা উচিত, "সঠিক ইনপুট → সঠিক কল" এর উদাহরণ দেখিয়ে, প্রসঙ্গ শেখার মাধ্যমে মডেলের আচরণের প্যাটার্ন নোঙর করা।

2. দ্বিতীয় স্তর: JSON Schema প্রবর্তন (কঠিন সীমাবদ্ধতা)

   • এটি "যুক্তি দেখানো" থেকে "বেড়া দেওয়া" পর্যন্ত গুরুত্বপূর্ণ পদক্ষেপ।
   • প্রাকৃতিক ভাষায় প্যারামিটার বর্ণনার পরিবর্তে মেশিন-পাঠযোগ্য, যাচাইযোগ্য কাঠামোগত সংজ্ঞা (JSON Schema) ব্যবহার করা। এটি কঠোরভাবে ফিল্ড টাইপ, আবশ্যকতা, এনাম মানের পরিসীমা সংজ্ঞায়িত করতে পারে এবং additionalProperties: false সেট করে মডেলকে কোনো অপরিচিত ফিল্ড আউটপুট করতে নিষেধ করতে পারে।
   • প্রধান API প্ল্যাটফর্মগুলি মডেল ডিকোডিং পর্যায়ে এই ধরনের কাঠামোগত আউটপুট সীমাবদ্ধতা সমর্থন করে, যা জেনারেশনের উৎস থেকে ফরম্যাট লঙ্ঘন এড়ায়।

3. তৃতীয় স্তর: যাচাই-মেরামতি-পুনরায় চেষ্টা লুপ স্থাপন (নির্বাহের ব্যাকআপ)

   • Schema থাকলেও, মডেল আউটপুট পাওয়ার পর সিনট্যাক্স এবং Schema যাচাই করা প্রয়োজন।
   • যাচাই ব্যর্থ হলে, স্বয়ংক্রিয় পরিষ্কার এবং পুনরায় চেষ্টা প্রক্রিয়া (সীমা সহ) ডিজাইন করা উচিত, ত্রুটির তথ্য মডেলকে ফিরিয়ে দিয়ে আউটপুট সংশোধন করতে। পুনরায় চেষ্টার সংখ্যা অতিক্রম করলে, ডিগ্রেডেশন বা মানবিক হস্তক্ষেপের পরিকল্পনা থাকতে হবে।

4. স্থাপত্য স্তর: দায়িত্ব পৃথকীকরণ

   • সিদ্ধান্ত এবং নির্বাহ পৃথক করা উচিত, তিন স্তরের স্থাপত্য গঠন করে:
     • মডেল স্তর: শুধুমাত্র সিদ্ধান্তের জন্য দায়ী (কোন টুল কল করতে হবে, কী প্যারামিটার তৈরি করতে হবে তা নির্ধারণ করা)।
     • ফ্রেমওয়ার্ক স্তর: নির্বাহ কাঠামোর জন্য দায়ী, যার মধ্যে Schema যাচাই, টুল কল করা, পুনরায় চেষ্টা পরিচালনা এবং ফলাফল একীভূত করা। এটি নিশ্চিত করে যে মডেল ত্রুটি সরাসরি টুল নিরাপত্তাকে প্রভাবিত করবে না এবং টুল পরিবর্তনের জন্য ঘন ঘন প্রম্পট সামঞ্জস্যের প্রয়োজন হবে না।
     • টুল স্তর: নির্দিষ্ট ব্যবসায়িক ক্ষমতা বাস্তবায়ন।
   • LangChain, LlamaIndex ইত্যাদি ফ্রেমওয়ার্ক এই কাজটি করছে।

বর্তমান সমাধানের সীমাবদ্ধতা: প্যারামিটার ফরম্যাট সমস্যা ভালোভাবে পরিচালনা করতে পারে, কিন্তু প্যারামিটার শব্দার্থ (যেমন "সাংহাই" এবং "হু" এর সমতা) যাচাইয়ের কভারেজ এখনও অপর্যাপ্ত। এটি ভবিষ্যতে মোকাবেলা করতে হবে এমন একটি প্রকৌশল চ্যালেঞ্জ।

মূল উপসংহার: LLM কে নির্ভরযোগ্যভাবে টুল কল করানো মূলত একটি সফটওয়্যার প্রকৌশল সমস্যা, যার জন্য নরম সীমাবদ্ধতা, কঠিন সীমাবদ্ধতা, নির্বাহের ব্যাকআপ থেকে স্থাপত্য নকশা পর্যন্ত একটি পদ্ধতিগত প্রকৌশল সমাধান প্রয়োজন, কেবল প্রম্পট অপ্টিমাইজেশনের উপর নির্ভর না করে।