AI сериясы сұхбат 12: Prompt қалай оңтайландыруға болады?

Prompt оңтайландыру (Prompt Engineering / Optimization) – үлкен тілдік модельдерді «тыңдауға» мәжбүрлеудің негізгі дағдысы, әсіресе RAG жүйелерінде модельдің ізделген мазмұнға адал болуын, галлюцинациядан аулақ болуын және шығыс пішімін сақтауын тікелей анықтайды.

1. Prompt оңтайландырудың негізгі принциптері

Айқындық > Күрделілік: Қарапайым тікелей нұсқаулар көбінесе әдемі ой тізбегінен тиімдірек.
Жеткілікті шектеулер: Модельге «не істеуге болады, не істеуге болмайды» нақты айтыңыз.
Мысалдар келтіру: Few-shot Zero-shot-қа қарағанда тұрақтырақ.
Тексерілуі: Модельге сілтемелер немесе сенімділік деңгейін шығаруды тапсырыңыз, бұл кейінгі талдауды жеңілдетеді.
Итеративті оңтайландыру: Базалық нұсқадан бастап, әр жолы бір айнымалыны өзгертіп, нәтижелерді салыстырыңыз.

2. Нақты оңтайландыру әдістері (жеңілден қиынға)

1. Рөлді орнату (System Prompt)

Сіз кәсіби қолдау қызметкерісіз. Төмендегі 【Анықтамалық материалдар】 негізінде ғана жауап беріңіз.
Егер жауапты білмесеңіз, тікелей «Анықтамалық материалдарда бұл туралы ақпарат жоқ» деп айтыңыз, өзіңіз ойлап таппаңыз.

Әсері: Шекаралар мен үндеу стилін белгілейді.
Оңтайландыру нүктелері: Үндеу стилі (кәсіби/мейірімді), шектеу күші (қатаң/бос).

2. Нақты нұсқау

❌ Жаман: «Пайдаланушы сұрағына жауап бер.»
✅ Жақсы: «Тек төмендегі 【Анықтамалық материалдарға】 сүйеніп жауап бер. Егер анықтамалық материалдарда жауап болмаса, «Мен бұл сұраққа жауап бере алмаймын» деп жауап бер.»

3. Шығыс пішімін бақылау

Келесі JSON пішімінде шығарыңыз:
{
  "answer": "Сіздің жауабыңыз",
  "confidence": "жоғары/орташа/төмен",
  "sources": [1, 3]
}

Қолданысы: Кейінгі өңдеу, сілтеме, жөндеу үшін ыңғайлы.

4. Few-shot мысалдары (өте тиімді)

Мысал 1:
Сұрақ: Демалыс күндері қанша?
Анықтамалық материалдар: Демалыс ережелері: 1 жылдан кейін 5 күн, 10 жылдан кейін 10 күн.
Жауап: 1 жылдан кейін 5 күн, 10 жылдан кейін 10 күн.

Мысал 2:
Сұрақ: Үстемеақы қалай есептеледі?
Анықтамалық материалдар: Жұмыс күндері үстемеақы 1.5 есе, демалыс күндері 2 есе.
Жауап: Жұмыс күндері 1.5 есе, демалыс күндері 2 есе.

Енді жауап беріңіз:
Сұрақ: {пайдаланушы сұрағы}
Анықтамалық материалдар: {ізделген мазмұн}
Жауап:

Кеңес: Мысалдар әртүрлі қиындық деңгейін қамтуы керек, ең дұрысы «жауап бере алмайтын» мысалды қосу.

5. Мәжбүрлі сілтеме

Жауаптың соңында [citation:X] арқылы дереккөз нөмірін белгілеңіз. Мысалы: «Демалыс 5 күн [citation:1].»
Егер бірнеше дереккөзден алсаңыз, әрқайсысын жеке белгілеңіз.

6. Жауап беруден бас тарту шегін орнату

Қатаң шектеу: «Егер анықтамалық материалдар сұраққа мүлдем қатысы жоқ болса, «Материалдар сәйкес келмейді» деп жауап бер.»
Жұмсақ шектеу: Іздеу сенімділік ұпайын біріктіріп, шекті мәннен төмен болса автоматты түрде бас тарту тармағына өту.

7. Ой тізбегі (Chain-of-Thought) көп сатылы пайымдау үшін

Сұрақ: Жұматайдың басшысы кім?
Қадамдар: 1. Алдымен Жұматайдың бөлімін анықта. 2. Сол бөлімнің жетекшісін тап. 3. Соңғы жауапты бер.
Қадамдар бойынша ойланып, содан кейін шығар.

8. Теріс нұсқау (Negative Prompting)

Жауапты ойлап таппаңыз. «Мүмкін», «бәлкім» сияқты бұлыңғыр сөздерді қолданбаңыз. Анықтамалық материалдардан тыс ешқандай санды шығармаңыз.

3. Prompt сапасын қалай бағалауға болады?

Көрсеткіш	Мәні	Өлшеу әдісі
Адалдық	Жауаптың анықтамалық материалдарға қатаң сәйкестігі	Адам немесе RAGAS Faithfulness
Бас тарту дәлдігі	Қажет кезде бас тарту	Жауабы жоқ тест жинағында есептеу
Пішімді сақтау деңгейі	JSON/сілтеме талабына сәйкестік	Регулярлы өрнек
Пайдаланушы қанағаттануы	Жауаптың пайдалылығы	Онлайн пікір / A/B тест

Ұсыныс: Шағын тест жинағын (20-50 шеткі жағдай) дайындап, әр prompt өзгерісінен кейін оны іске қосып, өзгерістерді тіркеңіз.

4. Жиі кездесетін қателер және оңтайландыру бағыттары

Мәселе көрінісі	Ықтимал себебі	Оңтайландыру әдісі
Модель анықтамалық материалдарды елемей, өздігінен жауап береді	Нұсқау жеткілікті күшті емес	«Тек төмендегі материалдарға сүйен» деп өзгертіп, few-shot-та бас тартуды көрсет
Модель үнемі «білмеймін» дейді	Бас тарту шегі тым жоғары	Шекті төмендетіңіз немесе іздеу сапасын тексеріңіз
Шығыс пішімі бұзылған, JSON емес	Нұсқау анық емес	Қатаң пішім үлгісін қосыңыз немесе function calling қолданыңыз
Жауап тым ұзын/қысқа	Ұзындық көрсетілмеген	«3 сөйлемнен аспайтын жауап бер»
Көп сатылы пайымдау қатесі	Модельдің пайымдау қабілеті жеткіліксіз	Қадамдық пайымдауды талап етіңіз немесе күштірек модельге ауысыңыз
Галлюцинация (сан/күн)	Модель өз біліміне сүйенеді	«Өз жадыңыздағы сандарды қолданбаңыз, тек материалдарға қараңыз» деп атап көрсетіңіз