AI தொடர் நேர்காணல் 8: RAG என்றால் என்ன? RAG திட்டம் ஏன் செய்ய வேண்டும்?

RAG என்றால் என்ன?

RAG என்பதன் முழு வடிவம் Retrieval-Augmented Generation ஆகும், தமிழில் மீட்டெடுப்பு-மேம்படுத்தப்பட்ட உருவாக்கம் எனப்படும்.

எளிமையாகச் சொன்னால், இது பெரிய மொழி மாதிரிக்கு "எப்போதும் பார்க்கக்கூடிய ஒரு குறிப்பு புத்தகத்தை" கொடுக்கும் தொழில்நுட்பமாகும்.

பெரிய மொழி மாதிரியை நினைவாற்றல் மிகுந்த, அறிவு நிறைந்த "சூப்பர் மாணவன்" என்று கற்பனை செய்யலாம். ஆனால் இந்த மாணவனுக்கு இரண்டு இயற்கையான "குறைபாடுகள்" உள்ளன:

1. அறிவு காலக்கெடு: அவன் கற்ற அறிவு பயிற்சி தரவுகளுடன் மட்டுமே நின்றுவிடும். 2023-க்குப் பிறகு நடந்த விஷயங்கள் அவனுக்குத் தெரியாது.
2. "கற்பனையாகப் பேசுதல்": அவனுக்குத் தெரியாத ஒரு கேள்வி வந்தால், "எனக்குத் தெரியாது" என்று சொல்லாமல், கற்பனையில் ஒரு நம்பத்தகுந்த பதிலை உருவாக்குவான் (இதுதான் AI மாயை).

RAG இந்த இரண்டு பிரச்சினைகளையும் தீர்க்கிறது. இதன் பணிப்பாய்வு மூன்று படிகளில் எளிமையானது:

1. மீட்டெடுப்பு: நீங்கள் ஒரு கேள்வி கேட்கும்போது, கணினி முதலில் ஒரு "வெளிப்புற அறிவுக் களஞ்சியத்தில்" (உங்கள் நிறுவனத்தின் அனைத்து ஆவணங்கள், சமீபத்திய விக்கிபீடியா அல்லது சட்டப்பிரிவுகள்) விரைவாகத் தேடி, மிகவும் தொடர்புடைய சில பகுதிகளைக் கண்டறியும். இது மாணவன் கேள்விக்குப் பதில் புத்தகத்தைப் பார்ப்பது போன்றது.
2. மேம்படுத்தல்: கணினி "நீங்கள் கேட்ட கேள்வி" மற்றும் "மீட்டெடுக்கப்பட்ட தொடர்புடைய பகுதிகள்" ஆகியவற்றை ஒன்றாக இணைத்து, ஒரு "மேம்படுத்தப்பட்ட" தூண்டுதலை உருவாக்கும். இது மாணவனுக்கு ஒரு குறிப்பு உதவியைக் கொடுப்பது போன்றது.
3. உருவாக்கம்: பெரிய மொழி மாதிரி இந்த "மேம்படுத்தப்பட்ட" தூண்டுதலை அடிப்படையாகக் கொண்டு இறுதி பதிலை உருவாக்கும். அது தனது "நினைவில்" உள்ள பழைய அறிவை மட்டும் நம்பாமல், நீங்கள் வழங்கிய "குறிப்புகளை" முக்கியமாகப் பயன்படுத்தும். இது மாணவன் புத்தகத்தைப் பார்த்துப் பதில் சொல்வது போன்றது, கற்பனை செய்வது அல்ல.

ஒரு எளிய உவமை:
- பாரம்பரிய LLM: "என் XX மாடல் சைக்கிளை எப்படி சரிசெய்வது?" → மாதிரி நினைவிலிருந்து பதில் சொல்லும், தவறாகவோ அல்லது காலாவதியாகவோ இருக்கலாம்.
- RAG: "என் XX மாடல் சைக்கிளை எப்படி சரிசெய்வது?" → முதலில் சமீபத்திய அதிகாரப்பூர்வ பழுதுபார்க்கும் கையேட்டைத் தேடு → பின்னர் உருவாக்கு: "2024 பதிப்பு பழுதுபார்க்கும் கையேட்டின் படி, அத்தியாயம் 3-ல், நீங்கள் முதலில்..."

RAG திட்டம் ஏன் செய்ய வேண்டும்?

RAG திட்டம் செய்வது, அடிப்படையில் பலங்களைப் பயன்படுத்தி பலவீனங்களைச் சரிசெய்து, பெரிய மொழி மாதிரியின் உண்மையான திறனை வெளிப்படுத்துவதாகும். முக்கிய இயக்கிகள் பின்வருமாறு:

1. "காலாவதியான அறிவு" மற்றும் "மாயை" பிரச்சினைகளைத் தீர்ப்பது
2. நோக்கம்: LLM சமீபத்திய நிகழ்வுகள், உள் தரவு, தனியார் ஆவணங்கள் பற்றிய கேள்விகளுக்கு பதிலளிக்கவும், பதில்கள் ஆதாரத்துடன் இருப்பதை உறுதி செய்யவும் வேண்டும்.

3. மதிப்பு: RAG திறன் கொண்ட ஒரு மருத்துவ வினா-விடை அமைப்பு, சமீபத்திய மருத்துவ இதழ்களை மேற்கோள் காட்டி "கோவிட்-19 புதிய வகை அறிகுறிகள்" பற்றி பதிலளிக்க முடியும், 2021-ன் காலாவதியான தகவலைக் கொடுக்காமல், மேற்கோள் மூலத்தையும் இணைத்து, "தற்செயலாகப் பேசும்" ஆபத்தைக் குறைக்கும்.

4. AI "தனியார் தரவை" கையாளவும், பாதுகாப்பை உறுதி செய்யவும்

5. நோக்கம்: ஒவ்வொரு நிறுவனத்திற்கும் அதன் சொந்த அறிவுக் களஞ்சியம் உள்ளது (ஒப்பந்தங்கள், குறியீடு, வாடிக்கையாளர் பதிவுகள் போன்றவை). இந்தத் தரவை மறுபயிற்சி செய்யவோ அல்லது மாதிரியை நுண்ணியமாக மாற்றவோ முடியாது (செலவு அதிகம், தொழில்நுட்ப ரீதியாக கடினம், தரவு கசிவு ஆபத்து).

6. மதிப்பு: RAG மூலம், நீங்கள் ஒரு நிறுவனத்தின் உள் "AI வினா-விடை உதவியாளரை" உருவாக்கலாம். ஊழியர்கள் கேள்வி கேட்கும்போது, AI நிறுவனத்தின் உள் தனியார் ஆவணங்களிலிருந்து தொடர்புடைய தகவலை மீட்டெடுத்துப் பதிலளிக்கும். தனியார் தரவு நிறுவனத்திற்குள்ளேயே இருக்கும், மாதிரி உற்பத்தியாளருக்குப் பயிற்சிக்கு அனுப்பப்படாது, இது LLM-ன் புரிதல் திறனைப் பயன்படுத்தி, தரவுப் பாதுகாப்பை உறுதி செய்கிறது.

7. செலவைக் குறைத்து, திறனை அதிகரிப்பது

8. நோக்கம்: ஒரு பெரிய மாதிரியை மறுபயிற்சி செய்து புதிய அறிவை உள்வாங்க, முழு நூலகத்தையும் மீண்டும் படிப்பது போன்றது, மிகப்பெரிய கணக்கீட்டு சக்தி மற்றும் செலவு தேவைப்படும்.

9. மதிப்பு: RAG க்கு கிட்டத்தட்ட பயிற்சி தேவையில்லை, மீட்டெடுப்பு அமைப்பை நிறுவினால் போதும். செலவு நுண்ணிய மாற்றத்தின் 1% அல்லது அதற்கும் குறைவாக இருக்கலாம். மேலும் அறிவுக் களஞ்சியம் புதுப்பிக்கப்பட்டால், மீட்டெடுப்பு முடிவுகள் தானாகவே புதுப்பிக்கப்படும், மாதிரியை மறுபயிற்சி செய்யத் தேவையில்லை, "நிகழ்நேர புதுப்பிப்பு" சாத்தியமாகும்.

10. AI "தெரிந்ததைச் சொல்ல, தெரியாததைச் சொல்லாது" என்று ஆக்குவது

11. நோக்கம்: மாதிரி தனது அறிவின் எல்லையைத் தெளிவாக அறிய விரும்புகிறது.
12. மதிப்பு: RAG அமைப்பில் ஒரு விதியை அமைக்கலாம்: தொடர்புடைய ஆவணம் மீட்டெடுக்கப்படவில்லை என்றால், நேரடியாக "மன்னிக்கவும், அறிவுக் களஞ்சியத்தில் தொடர்புடைய தகவலை நான் காணவில்லை. தயவுசெய்து உங்கள் கேள்வியை உறுதிப்படுத்தவும்" என்று பதில் சொல்லும். இந்த "மேற்கோள் தோல்வி" பொறிமுறை AI-யின் செயல்பாட்டை மேலும் நம்பகமாகவும் வெளிப்படையாகவும் ஆக்குகிறது.

சுருக்கமாக:

RAG திட்டம் செய்ய நினைப்பதற்குக் காரணம், பெரிய மொழி மாதிரியின் வலிமையான புரிதல் மற்றும் வெளிப்பாட்டுத் திறனையும், அதே நேரத்தில் அதை "நேர்மையாக, நம்பகமானதாக, காலத்திற்கேற்ப புதுப்பிக்கப்பட்டதாக, தனியார் தொழிலைப் புரிந்துகொள்வதாக" ஆக்குவதும் ஆகும். இது சூப்பர் இன்ஜினுக்கு (LLM) துல்லியமான கட்டுப்பாட்டு சக்கரம் மற்றும் நிகழ்நேர புதுப்பிக்கப்பட்ட வழிகாட்டி வரைபடத்தை (மீட்டெடுப்பு அமைப்பு) பொருத்துவது போன்றது, தற்போது LLM-ஐ நிறுவனம், மருத்துவம், சட்டம், நிதி போன்ற தீவிர துறைகளில் செயல்படுத்த மிகவும் பயனுள்ள மற்றும் முதன்மையான தொழில்நுட்ப வழிகளில் ஒன்றாகும்.