AI தொடர் நேர்காணல் 9: அறிவு வினா-விடை அமைப்பின் துல்லியத்தை எப்படிப் பார்க்கலாம்?

துல்லியம் என்பது அறிவு வினா-விடை அமைப்பின் மைய உயிர்நாடியாகும், குறிப்பாக அதை தீவிரமான சூழல்களில் (மருத்துவம், சட்டம், நிறுவன உள் ஆதரவு போன்றவை) பயன்படுத்த முயற்சிக்கும் போது. எனது பார்வையை சுருக்கமாகச் சொன்னால்: துல்லியம் என்பது பல பரிமாணங்களைக் கொண்ட ஒரு கருத்து; ஒரு எண்ணை மட்டும் பார்க்காமல், அமைப்பின் திறன், பணியின் சிரமம் மற்றும் தவறுகளின் செலவு ஆகியவற்றை ஒருங்கிணைத்து மதிப்பீடு செய்ய வேண்டும்.

கீழே நான்கு நிலைகளில் விரிவாகப் பார்க்கலாம்:

ஒன்று: துல்லியம் என்பது "சரி/தவறு" என்று மட்டும் இல்லை

பாரம்பரிய வகைப்பாடு பிரச்சினைகளில் (எ.கா. பட அடையாளம்) துல்லியம் தெளிவானது. ஆனால் அறிவு வினா-விடை அமைப்புகளில், பொதுவான நுண் பரிமாணங்கள் பின்வருமாறு:

பரிமாணம்	பொருள்	மதிப்பீட்டு உதாரணம்
தேடல் தாக்க விகிதம்	அமைப்பு அறிவுத் தளத்தில் இருந்து சரியான பதிலைக் கொண்ட ஆவணத் துண்டை மீட்டெடுக்க முடிகிறதா?	பயனர் "A நிறுவனத்தின் 2024 வருமானம்" என்று கேட்கும்போது, அமைப்பு அந்தத் தரவைக் கொண்ட வருமான அறிக்கைப் பகுதியைத் தேட முடிகிறதா?
உருவாக்க நம்பகத்தன்மை	மாதிரி உருவாக்கிய பதில் மீட்டெடுக்கப்பட்ட உள்ளடக்கத்தை மட்டுமே அடிப்படையாகக் கொண்டதா, அல்லது அது கற்பனை செய்வதா?	தேடிய தரவில் "வளர்ச்சி விகிதம்" குறிப்பிடப்படவில்லை, ஆனால் மாதிரி "5% வளர்ச்சி" என்று சொன்னால் → நம்பத்தகாதது
பதிலின் சரியான தன்மை	இறுதிப் பதில் உண்மை (அல்லது குறிப்பு பதில்) உடன் ஒத்துப்போகிறதா?	சரியான பதில் "42 பில்லியன்", மாதிரி "42 பில்லியன்" அல்லது "சுமார் 42 பில்லியன் யுவான்" என்று சொன்னாலும் சரி என்று கருதப்படும்
மறுப்பு விகிதம்	அறிவுத் தளத்தில் தொடர்புடைய தகவல் இல்லாதபோது, அமைப்பு "தெரியாது" என்று சொல்ல முடியுமா, அல்லது யூகிக்கிறதா?	தேடல் காலியாக அல்லது நம்பிக்கை குறைவாக இருந்தால், "மன்னிக்கவும், தொடர்புடைய தகவல் கிடைக்கவில்லை" என்று வெளியிடுகிறது

ஒரு அமைப்பு தேடல் தாக்க விகிதத்தில் அதிகமாக இருக்கலாம் (எப்போதும் தொடர்புடைய பகுதியைக் கண்டுபிடிக்கும்), ஆனால் உருவாக்க நம்பகத்தன்மை மிகக் குறைவாக இருக்கலாம் (எப்போதும் மிகையாகச் சேர்க்கும்), இதன் விளைவாக இறுதி துல்லியம் இன்னும் மோசமாக இருக்கும். எனவே, துல்லியத்தைப் பார்க்கும்போது, நீங்கள் எந்த நிலையை அளவிடுகிறீர்கள் என்பதை முதலில் தெளிவுபடுத்த வேண்டும்.

இரண்டு: தற்போதைய தொழில்நுட்ப நிலைமையில், RAG அமைப்புகளின் துல்லியம் எவ்வளவு?

ஒருங்கிணைந்த எண் இல்லை, ஆனால் சில பொது ஆய்வுகள் மற்றும் நடைமுறைகளைக் குறிப்பிடலாம்:

எளிய உண்மை சார்ந்த வினாக்கள் (ஒற்றைத் தாவல், பதில் நேரடியாக ஒரு ஆவணப் பகுதியில் தோன்றும்):
தேடல் தாக்க விகிதம் 90-98% வரை இருக்கலாம் (அறிவுத் தளத்தின் தரம் மற்றும் தேடல் பொறியைப் பொறுத்து), மற்றும் நன்கு வடிவமைக்கப்பட்ட குறிப்புகளுடன் உருவாக்க நம்பகத்தன்மை 95%+ ஆக இருக்கலாம், ஒட்டுமொத்த துல்லியம் 85-95% இடையே இருக்கலாம்.
பல-தாவல் ஊகம் (இரண்டுக்கும் மேற்பட்ட வெவ்வேறு ஆவணங்களில் இருந்து தகவல்களை இணைக்க வேண்டும்):
தேடல் துல்லியம் 50-70% ஆக வீழ்ச்சியடைகிறது, பதிலின் சரியான தன்மை 40-60% மட்டுமே இருக்கலாம். இதுவே தற்போதைய RAG-இன் முக்கிய சவாலாகும்.
திறந்த களம் + சத்தமான அறிவுத் தளம் (எ.கா. பரந்த இணையப் பக்கங்கள்):
துல்லியம் கணிசமாகக் குறையும், ஏனெனில் தேடல் சத்தத்தை அறிமுகப்படுத்தலாம், மாதிரி அதில் பாதிக்கப்படும்.

முடிவு: கட்டுப்படுத்தப்பட்ட சூழலில் (சுத்தமான, கட்டமைக்கப்பட்ட, பொருத்தமான ஆவண துணுக்கு அளவு), RAG 90% க்கும் மேற்பட்ட துல்லியத்தை அடைய முடியும்; ஆனால் சிக்கலான, திறந்த, பல-தாவல் ஊகம் தேவைப்படும் சூழல்களில், துல்லியம் பெரும்பாலும் திருப்திகரமாக இல்லை, அதிக மேம்பாடு தேவைப்படுகிறது.

மூன்று: துல்லியத்தைப் பாதிக்கும் மைய காரணிகள்

உங்கள் RAG அமைப்பின் துல்லியம் திருப்திகரமாக இல்லை என்றால், பின்வரும் நான்கு நிலைகளைப் பரிசோதிக்கலாம்:

அறிவுத் தளமே
தரவு காலாவதியானதா, முழுமையற்றதா, அல்லது பிழைகள் உள்ளதா?
ஆவணங்கள் குழப்பமாக உள்ளதா (எ.கா. வருடல் படங்கள் OCR இல்லாமல், அட்டவணைகள் குழப்பமான எழுத்துக்களாக உடைக்கப்பட்டு)?
பிரிப்பு மற்றும் குறியீடு
உரைத் துண்டுகள் மிகவும் சிறியதாக வெட்டப்பட்டதா → சூழலை இழத்தல்; மிகவும் பெரியதாக வெட்டப்பட்டதா → சத்தம் கலத்தல்.
உட்பொதிப்பு மாதிரி உங்கள் துறைக்கு பொருத்தமானதா (பொது மாதிரிகள் சட்டச் சொற்களில் மோசமாக செயல்படலாம்)?
தேடல் உத்தி
திசையன் தேடலை மட்டும் பயன்படுத்தினால் துல்லியமான முக்கிய வார்த்தைகளை (எ.கா. தயாரிப்பு மாதிரி எண்) காணாமல் போகலாம்.
மறு-தரவரிசை செய்யாததால் முன் வரிசையில் தொடர்பில்லாத உள்ளடக்கம் கலக்கலாம்.
உருவாக்க நிலை
குறிப்புகளில் "வழங்கப்பட்ட தரவின் அடிப்படையில் மட்டுமே பதில் சொல், போதுமில்லை என்றால் மறு" என்று தெளிவாகக் கேட்டுள்ளீர்களா?
மாதிரியின் திறன் போதுமானதா (சிறிய மாதிரிகள் நீண்ட சூழலில் விவரங்களை விட்டுவிட வாய்ப்புள்ளது)?

ஒரு பொதுவான தவறு: குறைந்த துல்லியத்தை நேரடியாக LLM-இன் திறன் குறைவு என்று கூறுவது, ஆனால் உண்மையில் பெரும்பாலான பிரச்சினைகள் "தேடல்" மற்றும் "குறிப்பு வடிவமைப்பு" ஆகியவற்றில் உள்ளன.

நான்கு: துல்லியத்தை சரியாக "பார்ப்பது" எப்படி – நடைமுறையில் சில முக்கிய அணுகுமுறைகள்

1. நியாயமான அடிப்படை மற்றும் எதிர்பார்ப்புகளை அமைக்கவும்

அதிக ஆபத்துள்ள துறைகளில் (மருத்துவ நோயறிதல், சட்ட ஆலோசனை), 90% துல்லியம் கூட போதுமானதல்ல; மனித மதிப்பாய்வு அல்லது பல சரிபார்ப்புகள் தேவை.
குறைந்த ஆபத்துள்ள சூழ்நிலைகளுக்கு (வாடிக்கையாளர் சேவை ஆதரவு, உள் அறிவு தேடல்), 80% துல்லியம் மற்றும் நட்பான "தெரியாது" பதில் போதுமானதாக இருக்கலாம், செயல்திறனை வெகுவாக அதிகரிக்கும்.

2. 100% துல்லியத்தைத் துரத்தாதீர்கள், "சரிபார்க்கக்கூடிய துல்லியத்தை" துரத்துங்கள்

அமைப்பு தானாக மேற்கோள்களை இணைக்கட்டும் (எந்தக் கட்டுரை, எந்தப் பகுதியைப் பயன்படுத்தியது).
பயனர் மூலத்தைப் பார்த்து சரிபார்க்கலாம், பதில் எப்போதாவது தவறாக இருந்தாலும், வெளிப்படைத்தன்மை நம்பிக்கையை வளர்க்கும்.
நம்பிக்கை மதிப்பெண் சேர்க்கவும், குறைந்த மதிப்பெண்ணில் "இந்தப் பதில் குறைந்த நம்பிக்கை கொண்டது, மூல ஆவணத்தைப் பார்க்க பரிந்துரைக்கிறோம்" என்று தானாகக் காட்டவும்.

3. துல்லியத்தை ஒரு முறை மட்டுமே முடிவு செய்யும் இலக்காக அல்ல, தொடர்ந்து மேம்படுத்தும் பொருளாகக் கருதுங்கள்

மதிப்பீட்டுக் குழாய்வழி அமைக்கவும்: கையால் குறியிடப்பட்ட கேள்விகளின் ஒரு தொகுப்பை அவ்வப்போது எடுத்து, தேடல் தாக்க விகிதம் மற்றும் உருவாக்க நம்பகத்தன்மையைத் தானியங்கியாக மதிப்பீடு செய்யவும்.
RAGAS, TruLens போன்ற கருவிகளைப் பயன்படுத்தி முறையான மதிப்பீடு செய்யவும், ஒரு சில வழக்குகளை வைத்து தீர்மானிக்க வேண்டாம்.
பிழை வழக்குகளை அடிப்படையாகக் கொண்டு தொடர்ந்து சரிசெய்யவும்: பிரிப்பு முறை, தேடல் அளவுருக்கள், மறு-தரவரிசை மாதிரி, குறிப்புகள்.

4. "அமைப்புப் பிழை" மற்றும் "மனித தரத்தில் முரண்பாடு" ஆகியவற்றை வேறுபடுத்துங்கள்

சில நேரங்களில் அமைப்பு பயனரின் எதிர்பார்ப்பிலிருந்து வேறுபட்ட பதிலைத் தரும், ஆனால் அறிவுத் தளத்தில் உள்ள தகவல்களின் அடிப்படையில் அது சரியாக இருக்கலாம் (ஏனெனில் அறிவுத் தளமே வரம்புகள் அல்லது சர்ச்சைகளைக் கொண்டிருக்கலாம்).
இங்கே தெளிவுபடுத்த வேண்டும்: துல்லியம் "அறிவுத் தள உண்மை"யின் அடிப்படையில் அளவிடப்படுகிறதா, அல்லது "வெளி ஒப்புக்கொள்ளப்பட்ட உண்மை"யின் அடிப்படையில்?

இறுதி சுருக்கம்

அறிவு வினா-விடை அமைப்பின் துல்லியம் என்பது நிலையான முழு மதிப்பெண் குறியீடு அல்ல, மாறாக "அறிவு உள்ளடக்கம் + தேடல் துல்லியம் + உருவாக்க நம்பகத்தன்மை + மறுப்புத் திறன்" ஆகியவற்றைப் பிரதிபலிக்கும் ஒரு ஒருங்கிணைந்த திறன் மதிப்பு ஆகும். அதைப் பார்க்கும்போது, தற்போதைய தொழில்நுட்பம் முழுமையடையவில்லை என்பதை உணர்ந்து, மேற்கோள் தேடல், நம்பிக்கை குறிப்புகள், மனித-இயந்திர ஒத்துழைப்பு போன்ற வடிவமைப்புகள் மூலம் வணிகத்தில் உண்மையான மதிப்பை உருவாக்குவதும் அவசியம்.