Siri Temuduga AI 12: Bagaimana Menala Prompt?

Penalaan Prompt (Kejuruteraan Prompt / Pengoptimuman) adalah kemahiran utama untuk membuat model bahasa besar 'patuh', terutamanya dalam sistem RAG, ia menentukan secara langsung sama ada model bersedia untuk mematuhi kandungan yang diambil, mengelakkan halusinasi, dan mengeluarkan format yang standard.

Satu, Prinsip Teras Penalaan Prompt

Kejelasan > Kerumitan: Arahan mudah yang terus terang selalunya lebih berkesan daripada rantai pemikiran yang rumit.
Beri Sekatan yang Mencukupi: Beritahu model dengan jelas 'apa yang boleh dilakukan, apa yang tidak boleh dilakukan'.
Sediakan Contoh: Few-shot lebih stabil daripada Zero-shot.
Boleh Disahkan: Biarkan model mengeluarkan rujukan atau keyakinan, memudahkan penilaian hiliran.
Pengoptimuman Berulang: Mulakan dari garis dasar, ubah hanya satu pembolehubah setiap kali, bandingkan kesan.

Dua, Teknik Penalaan Khusus (Dari Mudah ke Sukar)

1. Penetapan Peranan (System Prompt)

Anda adalah pembantu perkhidmatan pelanggan profesional. Anda hanya boleh menjawab soalan berdasarkan [Bahan Rujukan] yang disediakan di bawah.
Jika anda tidak tahu jawapannya, sila katakan 'Tiada maklumat berkaitan dalam bahan', jangan cipta sendiri.

Kesan: Menetapkan sempadan dan nada.
Titik Penalaan: Nada (profesional/ramah), kekuatan sekatan (ketat/ longgar).

2. Arahan yang Jelas

❌ Buruk: 'Jawab soalan pengguna.'
✅ Baik: 'Hanya berdasarkan [Bahan Rujukan] di bawah untuk menjawab. Jika bahan rujukan tidak mengandungi jawapan, sila jawab 'Saya tidak dapat menjawab soalan ini'.'

3. Kawalan Format Output

Sila output dalam format JSON berikut:
{
  "answer": "Jawapan anda",
  "confidence": "Tinggi/Sederhana/Rendah",
  "sources": [1, 3]
}

Kegunaan: Memudahkan penghuraian, rujukan, dan penyahpepijatan hiliran.

4. Contoh Few-shot (Sangat Berkesan)

Contoh 1:
Soalan: Berapa hari cuti tahunan?
Bahan Rujukan: Peraturan cuti tahunan: 5 hari untuk 1 tahun, 10 hari untuk 10 tahun.
Jawapan: 5 hari untuk 1 tahun, 10 hari untuk 10 tahun.

Contoh 2:
Soalan: Bagaimana kiraan bayaran lebih masa?
Bahan Rujukan: Lebih masa hari kerja 1.5 kali, hujung minggu 2 kali.
Jawapan: 1.5 kali untuk hari kerja, 2 kali untuk hujung minggu.

Sekarang sila jawab:
Soalan: {soalan pengguna}
Bahan Rujukan: {kandungan yang diambil}
Jawapan:

Teknik: Contoh harus merangkumi pelbagai kesukaran, sebaiknya sertakan satu contoh 'tidak dapat menjawab'.

5. Rujukan Wajib

Pada akhir jawapan, tandakan nombor sumber dengan [citation:X]. Contoh: 'Cuti tahunan ialah 5 hari[citation:1].'
Jika menggabungkan pelbagai bahan, tandakan masing-masing.

6. Tetapkan Ambang Penolakan

Sekatan Keras: 'Jika bahan rujukan tidak berkaitan langsung dengan soalan, sila jawab 'Bahan tidak relevan'.'
Sekatan Lembut: Gabungkan skor keyakinan carian, apabila di bawah ambang, secara automatik pergi ke cabang penolakan.

7. Rantai Pemikiran (Chain-of-Thought) untuk Penaakulan Berbilang Lompatan

Soalan: Siapa bos Zhang San?
Langkah: 1. Cari dahulu jabatan Zhang San. 2. Kemudian cari ketua jabatan tersebut. 3. Berikan jawapan akhir.
Sila fikir mengikut langkah dan kemudian output.

8. Arahan Negatif (Negative Prompting)

Jangan cipta jawapan. Jangan gunakan perkataan kabur seperti 'mungkin', 'barangkali'. Jangan output sebarang nombor di luar bahan rujukan.

Tiga, Bagaimana Menilai Kualiti Prompt?

Metrik	Maksud	Cara Mengukur
Kesetiaan	Adakah jawapan berdasarkan bahan rujukan dengan ketat	Manual atau Faithfulness RAGAS
Ketepatan Penolakan	Adakah menolak apabila perlu	Kira pada set ujian tanpa jawapan
Kadar Pematuhan Format	Adakah output JSON / rujukan seperti yang dikehendaki	Padanan regex
Kepuasan Pengguna	Adakah jawapan berguna	Maklum balas dalam talian / Ujian A/B

Cadangan: Sediakan set ujian kecil (20-50 kes tepi), jalankan setiap kali prompt diubah, rekod perubahan.

Empat, Perangkap Biasa dan Arah Penalaan

Masalah yang Dipaparkan	Punca Mungkin	Kaedah Penalaan
Model mengabaikan bahan rujukan dan menjawab sendiri	Arahan tidak cukup tegas	Tukar kepada 'Hanya berdasarkan bahan berikut', dan gunakan few-shot untuk menunjukkan penolakan
Model selalu kata 'tidak tahu'	Ambang penolakan terlalu tinggi	Kurangkan ambang atau periksa kualiti carian
Format output kacau, tidak mengikut JSON	Arahan tidak jelas	Tambah contoh format yang ketat, atau gunakan function calling
Jawapan terlalu panjang/pendek	Tiada spesifikasi panjang	'Jawab dalam tidak lebih daripada 3 ayat'
Penaakulan berbilang lompatan tersilap	Keupayaan penaakulan model tidak mencukupi	Minta paparan penaakulan langkah demi langkah, atau tukar ke model yang lebih kuat
Halusinasi nombor/tarikh	Model bergantung pada pengetahuan sendiri	Tekankan 'Jangan gunakan sebarang nombor yang anda ingat, lihat hanya pada bahan'