AI সিরিজ সাক্ষাৎকার 8: RAG কী? কেন RAG প্রকল্প করার কথা ভাবা হয়?

RAG কী?

RAG এর পুরো নাম Retrieval-Augmented Generation, বাংলায় অনুসন্ধান-বর্ধিত উৎপাদন।

সহজ ভাষায়, এটি একটি কৌশল যা বড় ভাষার মডেলকে একটি রেফারেন্স বই দেয় যা যেকোনো সময় খুলে দেখা যায়।

আপনি বড় ভাষার মডেলটিকে একজন অত্যন্ত স্মৃতিশক্তিসম্পন্ন ও জ্ঞানী 'সুপার ছাত্র' হিসেবে কল্পনা করতে পারেন। কিন্তু এই ছাত্রের দুটি স্বাভাবিক 'ত্রুটি' রয়েছে:

1. জ্ঞানের শেষ তারিখ: তার জ্ঞান শুধুমাত্র প্রশিক্ষণের সময়ের তথ্য পর্যন্ত সীমাবদ্ধ। ২০২৩ সালের পরের ঘটনা সম্পর্কে সে কিছুই জানে না।
2. সম্ভাব্য 'মিথ্যে বলা': যখন সে অজানা প্রশ্নের সম্মুখীন হয়, তখন সে 'আমি জানি না' বলে না, বরং কল্পনা করে একটি শোনাতে যুক্তিযুক্ত উত্তর 'বানিয়ে' বলে (এটাই AI হ্যালুসিনেশন)।

RAG এই দুটি সমস্যা সমাধানের জন্য। এর কাজের প্রক্রিয়া খুব সহজ, তিনটি ধাপে:

1. অনুসন্ধান: আপনি যখন একটি প্রশ্ন জিজ্ঞাসা করেন, সিস্টেম প্রথমে একটি 'বাহ্যিক জ্ঞানভান্ডার' (যেমন আপনার কোম্পানির সব ডকুমেন্ট, সর্বশেষ উইকিপিডিয়া, বা আইনের একটি গুচ্ছ) থেকে দ্রুত অনুসন্ধান করে সবচেয়ে প্রাসঙ্গিক কয়েকটি অনুচ্ছেদ খুঁজে বের করে। এটি ছাত্রকে প্রশ্নের জন্য বই খুলে দেখার মতো।
2. বর্ধিতকরণ: সিস্টেম 'আপনার প্রশ্ন' এবং 'অনুসন্ধানকৃত প্রাসঙ্গিক অনুচ্ছেদ' একসাথে প্যাকেজ করে একটি 'বর্ধিত' প্রম্পট তৈরি করে। এটি ছাত্রকে একটি রেফারেন্স উপাদান দেওয়ার মতো।
3. উৎপাদন: বড় ভাষার মডেল এই 'বর্ধিত' প্রম্পটের উপর ভিত্তি করে চূড়ান্ত উত্তর তৈরি করে। এটি আর শুধু তার 'মনে' রাখা পুরনো জ্ঞানের উপর নির্ভর করে না, বরং মূলত আপনার দেওয়া 'রেফারেন্স উপাদান' দেখে উত্তর দেয়। এটি ছাত্র বইয়ের উপাদান দেখে উত্তর দেওয়ার মতো, কল্পনা করে নয়।

একটি সহজ উপমা:
- প্রথাগত LLM: "আমার XX মডেলের সাইকেল কীভাবে ঠিক করব?" → মডেল স্মৃতি থেকে উত্তর দেয়, যা পুরনো বা ভুল হতে পারে।
- RAG: "আমার XX মডেলের সাইকেল কীভাবে ঠিক করব?" → প্রথমে সর্বশেষ অফিসিয়াল মেরামতির ম্যানুয়াল অনুসন্ধান করে → তারপর উত্তর তৈরি করে: "২০২৪ সংস্করণের মেরামতি ম্যানুয়ালের অধ্যায় ৩ অনুযায়ী, আপনার প্রথমে …"

কেন RAG প্রকল্প করার কথা ভাবা হয়?

RAG প্রকল্প করার মূল কারণ হল শক্তি এবং দুর্বলতা উভয়কেই কাজে লাগিয়ে বড় ভাষার মডেলের প্রকৃত সম্ভাবনা মুক্ত করা। প্রধান চালিকাশক্তি নিম্নরূপ:

1. 'জ্ঞান পুরনো হওয়া' এবং 'হ্যালুসিনেশন' সমস্যা সমাধান

   • প্রেরণা: LLM-কে সর্বশেষ ঘটনা, অভ্যন্তরীণ তথ্য, ব্যক্তিগত ডকুমেন্ট সম্পর্কে প্রশ্নের উত্তর দিতে সক্ষম করতে চাওয়া, পাশাপাশি উত্তর যাচাইযোগ্য হওয়া নিশ্চিত করা।
   • মূল্য: একটি RAG-সক্ষম চিকিৎসা প্রশ্নোত্তর সিস্টেম সর্বশেষ চিকিৎসা জার্নাল উদ্ধৃত করে "নতুন কোভিড ভ্যারিয়েন্টের লক্ষণ" সম্পর্কে উত্তর দিতে পারে, ২০২১ সালের পুরনো তথ্য না দিয়ে, এবং উৎস উল্লেখ করে 'বানোয়াট' বলার ঝুঁকি ব্যাপকভাবে কমায়।

2. AI-কে 'ব্যক্তিগত তথ্য' প্রক্রিয়াকরণে সক্ষম করা, পাশাপাশি নিরাপত্তা নিশ্চিত করা

   • প্রেরণা: প্রতিটি কোম্পানির নিজস্ব জ্ঞানভান্ডার আছে (চুক্তি, কোড, গ্রাহক পরিষেবা রেকর্ড ইত্যাদি)। এই তথ্য পুনরায় প্রশিক্ষণ বা ফাইন-টিউনিংয়ের জন্য ব্যবহার করা যায় না (খরচ বেশি, প্রযুক্তিগতভাবে কঠিন, তথ্য ফাঁসের ঝুঁকি)।
   • মূল্য: RAG-এর মাধ্যমে আপনি একটি কোম্পানির অভ্যন্তরীণ 'AI প্রশ্নোত্তর সহায়ক' তৈরি করতে পারেন। কর্মচারী প্রশ্ন করলে, AI কোম্পানির অভ্যন্তরীণ ব্যক্তিগত ডকুমেন্ট থেকে প্রাসঙ্গিক তথ্য অনুসন্ধান করে উত্তর দেয়। ব্যক্তিগত তথ্য কোম্পানির ভিতরেই থাকে, মডেল সরবরাহকারীর কাছে প্রশিক্ষণের জন্য পাঠানো হয় না, যা LLM-এর বোধগম্যতা ব্যবহার করে এবং তথ্য নিরাপত্তাও নিশ্চিত করে।

3. খরচ কমানো, দক্ষতা বাড়ানো

   • প্রেরণা: একটি বড় মডেলকে নতুন জ্ঞান吸收 করতে পুনরায় প্রশিক্ষণ বা ফাইন-টিউন করা পুরো লাইব্রেরি আবার পড়ার মতো, বিপুল গণনামূলক সম্পদ এবং খরচ প্রয়োজন।
   • মূল্য: RAG-এর প্রায় কোনো প্রশিক্ষণের প্রয়োজন নেই, শুধু অনুসন্ধান সিস্টেম তৈরি করতে হয়। খরচ ফাইন-টিউনিংয়ের ১% বা তারও কম হতে পারে। উপরন্তু, জ্ঞানভান্ডার আপডেট হলে, অনুসন্ধান ফলাফলও স্বয়ংক্রিয়ভাবে আপডেট হয়, মডেল পুনরায় প্রশিক্ষণের প্রয়োজন হয় না, ফলে 'রিয়েল-টাইম আপডেট' সম্ভব হয়।

4. AI-কে 'যা জানে তা জানে, যা জানে না তা জানে না' বলতে শেখানো

   • প্রেরণা: মডেল যাতে নিজের জ্ঞানের সীমানা সম্পর্কে স্পষ্ট ধারণা রাখে।
   • মূল্য: RAG সিস্টেম একটি নিয়ম সেট করতে পারে: যদি প্রাসঙ্গিক ডকুমেন্ট অনুসন্ধানে না পাওয়া যায়, তাহলে সরাসরি উত্তর দেয় "দুঃখিত, আমি জ্ঞানভান্ডারে প্রাসঙ্গিক তথ্য পাইনি, দয়া করে আপনার প্রশ্নটি নিশ্চিত করুন।" এই 'উদ্ধৃতি ব্যর্থতা' প্রক্রিয়া AI-এর কাজকে আরও নির্ভরযোগ্য এবং স্বচ্ছ করে তোলে।

সংক্ষেপে:

RAG প্রকল্প করার কথা ভাবার কারণ হল আমরা বড় ভাষার মডেলের শক্তিশালী বোধগম্যতা এবং প্রকাশ ক্ষমতা চাই, পাশাপাশি এটিকে 'সৎ, নির্ভরযোগ্য, সময়ের সাথে আপডেটেড, এবং ব্যক্তিগত ব্যবসা বোঝে' করতে চাই। এটি সুপার ইঞ্জিনে (LLM) নির্ভুল নিয়ন্ত্রণযোগ্য স্টিয়ারিং হুইল এবং রিয়েল-টাইম আপডেটেড নেভিগেশন ম্যাপ (অনুসন্ধান সিস্টেম) লাগানোর মতো, যা বর্তমানে LLM-কে এন্টারপ্রাইজ, চিকিৎসা, আইন, অর্থ ইত্যাদি গুরুতর ক্ষেত্রে বাস্তবায়নের সবচেয়ে কার্যকর এবং জনপ্রিয় প্রযুক্তিগত পথগুলির মধ্যে একটি।