AI seeria intervjuu 12: Kuidas häälestada prompti?
Prompti häälestamine (Prompt Engineering / Optimization) on võtmeoskus, mis paneb suured keelemudelid „kuulekalt“ käituma. Eriti RAG-süsteemides määrab see otseselt, kas mudel järgib ustavalt otsingutulemusi, väldib hallutsinatsioone ja väljastab korrektses vormingus.
1. Prompti häälestamise põhiprintsiibid
- Selgus > Keerukus: Lihtsad ja otsesed juhised on sageli tõhusamad kui uhked mõtteahelad.
- Anna piisavalt piiranguid: Ütle mudelile selgelt, „mida tohib ja mida ei tohi teha“.
- Esita näiteid: Vähese näidisõppe (Few-shot) meetod on stabiilsem kui null-näidisõpe (Zero-shot).
- Kontrollitavus: Lase mudelil väljastada viiteid või usaldusväärsuse hinnanguid, et hõlbustada allavoolu otsustamist.
- Iteratiivne optimeerimine: Alusta baasversioonist ja muuda korraga ainult ühte muutujat, seejärel võrdle tulemusi.
2. Konkreetsed häälestustehnikad (lihtsast keeruliseni)
1. Rolli määramine (System Prompt)
Sa oled professionaalne klienditeenindaja. Sa võid vastata ainult allpool olevale [viitematerjalile] tuginedes.
Kui sa ei tea vastust, ütle otse: „Teabes pole asjakohast teavet“, ära ise midagi välja mõtle.
- Mõju: Määrab piirid ja tooni.
- Häälestuspunktid: Toon (professionaalne/sõbralik), piirangute tugevus (range/leebe).
2. Selged juhised
❌ Halb: „Vasta kasutaja küsimusele.“
✅ Hea: „Tugine ainult allpool olevale [viitematerjalile]. Kui viitematerjal ei sisalda vastust, vasta: „Ma ei oska sellele küsimusele vastata“.“
3. Väljundvormingu kontroll
Palun väljasta järgmises JSON-vormingus:
{
"answer": "sinu vastus",
"confidence": "kõrge/keskmine/madal",
"sources": [1, 3]
}
- Kasutus: Hõlbustab allavoolu analüüsi, viitamist ja silumist.
4. Vähese näidisõppe näited (väga tõhusad)
Näide 1:
Küsimus: Mitu päeva on põhipuhkust?
Viitematerjal: Põhipuhkuse reeglid: 1 aasta – 5 päeva, 10 aastat – 10 päeva.
Vastus: 1 aasta – 5 päeva, 10 aastat – 10 päeva.
Näide 2:
Küsimus: Kuidas arvestatakse ületunnitöö tasu?
Viitematerjal: Tööpäevadel ületunnid 1,5-kordsed, nädalavahetustel 2-kordsed.
Vastus: Tööpäevadel 1,5-kordsed, nädalavahetustel 2-kordsed.
Nüüd vasta:
Küsimus: {kasutaja küsimus}
Viitematerjal: {otsingutulemused}
Vastus:
- Näpunäide: Näited peaksid katma erineva raskusastmega juhtumeid, eelistatult ka üks „ei oska vastata“ näide.
5. Kohustuslik viitamine
Vastuse lõpus märgi allika number kujul [citation:X]. Näiteks: „Põhipuhkus on 5 päeva [citation:1].“
Kui kasutad mitut allikat, märgi igaüks eraldi.
6. Vastamisest keeldumise läve määramine
- Range piirang: „Kui viitematerjal pole küsimusega üldse seotud, vasta: „Materjal pole asjakohane“.“
- Pehme piirang: Kombineeri otsingu usaldusväärsuse skooriga; kui skoor on allpool läve, mine automaatselt keeldumisharusse.
7. Mõtteahel (Chain-of-Thought) mitmeastmeliseks arutluseks
Küsimus: Kes on Jaanuse ülemus?
Sammud: 1. Kõigepealt leia Jaanuse osakond. 2. Seejärel leia selle osakonna juhataja. 3. Anna lõplik vastus.
Palun mõtle samm-sammult ja seejärel väljasta vastus.
8. Eitavad juhised (Negative Prompting)
Ära mõtle vastuseid välja. Ära kasuta ebamääraseid sõnu nagu „võib-olla“, „ehk“. Ära väljasta ühtegi numbrit, mis pole viitematerjalis.
3. Kuidas hinnata prompti headust?
| Mõõdik | Tähendus | Kuidas mõõta |
|---|---|---|
| Truudus | Kas vastus põhineb rangelt viitematerjalil | Käsitsi või RAGAS-i Faithfulness mõõdikuga |
| Keeldumise täpsus | Kas mudel keeldub vastamast siis, kui peaks | Arvuta testkomplektil, kus vastust pole |
| Vormingu järgimise määr | Kas väljund vastab nõutud JSON-ile/viidetele | Regulaaravaldisega sobitamine |
| Kasutajate rahulolu | Kas vastus on kasulik | Veebipõhine tagasiside / A/B testid |
Soovitus: Koosta väike testkomplekt (20–50 äärejuhtumit), käivita see pärast iga prompti muutmist ja märgi muudatused üles.
4. Levinud lõksud ja häälestussuunad
| Probleem | Võimalik põhjus | Häälestusmeetod |
|---|---|---|
| Mudel ignoreerib viitematerjali ja vastab ise | Juhised pole piisavalt ranged | Muuda sõnastuseks „ainult allolevale materjalile“ ja lisa few-shot keeldumise näide |
| Mudel ütleb alati „ei tea“ | Keeldumislävi liiga kõrge | Alanda läve või kontrolli otsingu kvaliteeti |
| Väljundvorming on segi, mitte JSON | Juhised ebaselged | Lisa range vormingunäide või kasuta funktsiooni väljakutset (function calling) |
| Vastus liiga pikk/lühike | Pikkust pole määratud | „Vasta mitte rohkem kui 3 lausega“ |
| Mitmeastmeline arutlus ebaõnnestub | Mudeli arutlusvõime on nõrk | Nõua samm-sammult arutluskäiku või kasuta tugevamat mudelit |
| Ilmuvad hallutsinatsioonid (numbrid/kuupäevad) | Mudel tugineb oma teadmistele | Rõhuta: „Ära kasuta ühtegi enda teada olevat numbrit, vaata ainult materjali“ |
评论
暂无已展示的评论。
发表评论(匿名)