سری مصاحبه‌های هوش مصنوعی ۸: RAG چیست؟ چرا به فکر انجام پروژه RAG افتادیم؟

RAG چیست؟

RAG مخفف Retrieval-Augmented Generation به معنای تولید تقویت‌شده با بازیابی است.

به زبان ساده، این یک تکنیک برای دادن یک "کتاب مرجع قابل مرور" به مدل زبان بزرگ است.

می‌توانید مدل زبان بزرگ را مانند یک "فرد باهوش فوق‌العاده" با حافظه عالی و دانش گسترده تصور کنید. اما این فرد دو "نقص" ذاتی دارد:

1. تاریخ انقضای دانش: دانش او فقط به داده‌های زمان آموزش محدود می‌شود. او از رویدادهای پس از سال ۲۰۲۳ بی‌خبر است.
2. احتمال "تخیلی پاسخ دادن": وقتی با سؤالی ناآشنا مواجه می‌شود، نمی‌گوید "نمی‌دانم"، بلکه با تخیل خود پاسخی به ظاهر منطقی می‌سازد (این همان توهم هوش مصنوعی است).

RAG برای حل این دو مشکل طراحی شده است. گردش کار آن ساده و در سه مرحله است:

1. بازیابی: وقتی سؤالی می‌پرسید، سیستم ابتدا به یک "پایگاه دانش خارجی" (مانند تمام اسناد شرکت، ویکی‌پدیای به‌روز، یا مجموعه‌ای از قوانین حقوقی) مراجعه کرده و مرتبط‌ترین بخش‌های اطلاعات را پیدا می‌کند. این مانند این است که از دانش‌آموز بخواهیم برای پاسخ به سؤال به کتاب مراجعه کند.
2. تقویت: سیستم "سؤال شما" و "بخش‌های مرتبط بازیابی‌شده" را کنار هم قرار داده و یک پرامپت "تقویت‌شده" می‌سازد. این مانند دادن یک برگه مرجع به دانش‌آموز است.
3. تولید: مدل زبان بزرگ بر اساس این پرامپت تقویت‌شده پاسخ نهایی را تولید می‌کند. دیگر فقط به دانش قدیمی "حافظه" خود تکیه نمی‌کند، بلکه عمدتاً از "مرجع" ارائه‌شده برای پاسخ‌دهی استفاده می‌کند. این مانند این است که دانش‌آموز با نگاه به کتاب پاسخ دهد، نه از روی تخیل.

یک تشبیه ساده:
- LLM سنتی: "چگونه دوچرخه مدل XX خود را تعمیر کنم؟" → مدل از حافظه پاسخ می‌دهد، ممکن است قدیمی یا اشتباه باشد.
- RAG: "چگونه دوچرخه مدل XX خود را تعمیر کنم؟" → ابتدا دفترچه تعمیرات رسمی جدید را بازیابی می‌کند → سپس تولید می‌کند: "بر اساس فصل ۳ دفترچه تعمیرات ویرایش ۲۰۲۴، ابتدا باید ..."

چرا به فکر انجام پروژه RAG افتادیم؟

انجام پروژه RAG اساساً برای بهبود نقاط قوت و پوشش نقاط ضعف و آزادسازی پتانسیل واقعی مدل زبان بزرگ است. چندین محرک اصلی وجود دارد:

1. حل مشکل "قدیمی بودن دانش" و "توهم"

   • انگیزه: می‌خواهیم LLM به سؤالات درباره رویدادهای جدید، داده‌های داخلی و اسناد خصوصی پاسخ دهد، در عین حال اطمینان حاصل کنیم که پاسخ‌ها مستند هستند.
   • ارزش: یک سیستم پرسش و پاسخ پزشکی مجهز به RAG می‌تواند با استناد به جدیدترین مجلات پزشکی به سؤال "علائم جدیدترین سویه کووید" پاسخ دهد، به جای ارائه اطلاعات قدیمی از سال ۲۰۲۱، و منبع استناد را نیز ذکر کند که خطر "بدون مدرک صحبت کردن" را به شدت کاهش می‌دهد.

2. توانایی AI در پردازش "داده‌های خصوصی" با حفظ امنیت

   • انگیزه: هر شرکت پایگاه دانش خود را دارد (قراردادها، کدها، سوابق خدمات مشتریان و غیره). این داده‌ها را نمی‌توان برای آموزش مجدد یا تنظیم دقیق مدل استفاده کرد (هزینه بالا، دشواری فنی، خطر نشت داده).
   • ارزش: با RAG می‌توانید یک "دستیار پرسش و پاسخ هوش مصنوعی" داخلی برای شرکت بسازید. کارمند سؤال می‌پرسد و AI اطلاعات مرتبط را از اسناد خصوصی داخلی بازیابی کرده و پاسخ می‌دهد. داده‌های خصوصی همیشه در داخل شرکت باقی می‌مانند و برای آموزش به تولیدکنندگان مدل ارسال نمی‌شوند؛ هم از قدرت درک LLM استفاده می‌شود و هم امنیت داده تضمین می‌گردد.

3. کاهش هزینه و افزایش کارایی

   • انگیزه: آموزش مجدد یا تنظیم دقیق یک مدل بزرگ برای جذب دانش جدید، مانند یادگیری دوباره کل کتابخانه است و نیاز به قدرت محاسباتی و هزینه هنگفت دارد.
   • ارزش: RAG تقریباً به هیچ آموزشی نیاز ندارد، فقط باید یک سیستم بازیابی راه‌اندازی کرد. هزینه ممکن است ۱٪ یا حتی کمتر از تنظیم دقیق باشد. همچنین با به‌روزرسانی پایگاه دانش، نتایج بازیابی نیز به‌روز می‌شوند، بدون نیاز به آموزش مجدد مدل، و این یعنی "به‌روزرسانی بلادرنگ".

4. ایجاد هوش مصنوعی که "آنچه می‌داند می‌گوید و آنچه نمی‌داند می‌گوید نمی‌دانم"

   • انگیزه: می‌خواهیم مدل مرزهای دانش خود را به وضوح بشناسد.
   • ارزش: سیستم RAG می‌تواند قاعده‌ای تعیین کند: اگر سند مرتبطی بازیابی نشد، مستقیماً پاسخ دهد "متأسفم، من اطلاعات مرتبطی در پایگاه دانش پیدا نکردم. لطفاً سؤال خود را بررسی کنید." این مکانیزم "شکست استناد"، عملکرد AI را قابل اعتمادتر و شفاف‌تر می‌کند.

خلاصه:

دلیل انجام پروژه RAG این است که ما هم به توانایی قدرتمند درک و بیان مدل زبان بزرگ نیاز داریم و هم می‌خواهیم آن را "صادق، قابل اعتماد، به‌روز و آشنا با کسب‌وکار خصوصی" کنیم. این مانند نصب یک فرمان دقیق و قابل کنترل و یک نقشه ناوبری به‌روز (سیستم بازیابی) بر روی یک موتور فوق‌العاده (LLM) است. RAG در حال حاضر یکی از مؤثرترین و اصلی‌ترین مسیرهای فنی برای پیاده‌سازی LLM در حوزه‌های جدی مانند سازمان‌ها، پزشکی، حقوق و امور مالی است.