AI Serisi Mülakat 12: Prompt Nasıl Optimize Edilir?

Prompt optimizasyonu (Prompt Engineering / Optimization), büyük dil modellerinin "itaatkar" olmasını sağlayan önemli bir beceridir, özellikle RAG sistemlerinde modelin alınan içeriğe sadık kalıp kalmayacağını, halüsinasyon yapıp yapmayacağını ve çıktı formatına uyup uymayacağını doğrudan belirler.

1. Prompt Optimizasyonunun Temel İlkeleri

Netlik > Karmaşıklık: Basit, doğrudan talimatlar genellikle süslü düşünce zincirlerinden daha etkilidir.
Yeterli Kısıtlama Sağlayın: Modele "ne yapabileceğini ve ne yapamayacağını" açıkça belirtin.
Örnekler Sunun: Few-shot, Zero-shot'tan daha kararlıdır.
Doğrulanabilirlik: Modelin alıntı veya güven düzeyi çıktısı vermesini sağlayarak sonraki adımlarda değerlendirmeyi kolaylaştırın.
Yinelemeli Optimizasyon: Bir temel çizgiden başlayarak her seferinde yalnızca bir değişkeni değiştirin ve sonuçları karşılaştırın.

2. Spesifik Optimizasyon İpuçları (Kolaydan Zora)

1. Rol Belirleme (System Prompt)

Sen profesyonel bir müşteri hizmetleri asistanısın. Yalnızca aşağıda verilen 【Referans Materyalleri】ne dayanarak soruları cevapla.
Eğer cevabı bilmiyorsan, doğrudan "Referans materyallerinde bu bilgi bulunmamaktadır" de, kendin uydurma.

Etkisi: Sınırları ve tonu belirler.
Optimizasyon Noktası: Ton (profesyonel/samimi), kısıtlama gücü (katı/esnek).

2. Net Talimatlar

❌ Kötü: "Kullanıcının sorusunu cevapla."
✅ İyi: "Yalnızca aşağıdaki 【Referans Materyalleri】ne dayanarak cevapla. Referans materyalleri cevabı içermiyorsa, 'Bu soruyu cevaplayamıyorum' yanıtını ver."

3. Çıktı Formatı Kontrolü

Lütfen aşağıdaki JSON formatında çıktı ver:
{
  "answer": "Senin cevabın",
  "confidence": "yüksek/orta/düşük",
  "sources": [1, 3]
}

Kullanımı: Sonraki işlemler, alıntı ve hata ayıklama için kolaylık sağlar.

4. Few-shot Örnekler (Çok Etkili)

Örnek 1:
Soru: Yıllık izin kaç gün?
Referans: Yıllık izin kuralı: 1 yıl için 5 gün, 10 yıl için 10 gün.
Cevap: 1 yıl için 5 gün, 10 yıl için 10 gün.

Örnek 2:
Soru: Fazla mesai ücreti nasıl hesaplanır?
Referans: Hafta içi fazla mesai 1.5 kat, hafta sonu 2 kat.
Cevap: Hafta içi 1.5 kat, hafta sonu 2 kat.

Şimdi cevapla:
Soru: {kullanıcı sorusu}
Referans: {alınan içerik}
Cevap:

İpucu: Örnekler farklı zorluk seviyelerini kapsamalı ve mümkünse bir "cevaplanamaz" örneği içermelidir.

5. Zorunlu Alıntı

Cevabın sonunda kaynak numarasını [citation:X] olarak belirt. Örneğin: "Yıllık izin 5 gündür[citation:1]."
Birden fazla kaynaktan yararlanılıyorsa, ayrı ayrı belirt.

6. Reddetme Eşiği Belirleme

Sert Kısıtlama: "Referans materyalleri soruyla tamamen ilgisizse, 'Materyal ilgili değil' yanıtını ver."
Yumuşak Kısıtlama: Arama güven puanı ile birleştirerek eşiğin altında kaldığında otomatik olarak reddetme dalına geç.

7. Düşünce Zinciri (Chain-of-Thought) Çok Adımlı Çıkarım İçin

Soru: Zhang San'ın patronu kim?
Adımlar: 1. Önce Zhang San'ın departmanını bul. 2. Ardından departman yöneticisini bul. 3. Nihai cevabı ver.
Lütfen adımları düşünerek çıktı ver.

8. Olumsuz Talimat (Negative Prompting)

Cevap uydurma. "olabilir", "belki" gibi belirsiz kelimeler kullanma. Referans materyalleri dışında herhangi bir sayı çıktısı verme.

3. Prompt'un Kalitesi Nasıl Değerlendirilir?

Metrik	Anlamı	Nasıl Ölçülür
Sadakat	Cevabın referans materyallerine sıkı sıkıya bağlı olması	İnsan değerlendirmesi veya RAGAS'ın Faithfulness metriği
Reddetme Doğruluğu	Reddetmesi gerektiğinde reddetme	Cevapsız test setinde hesaplama
Format Uyum Oranı	İstenen JSON/alıntı formatında çıktı verme	Regex eşleştirme
Kullanıcı Memnuniyeti	Cevabın yararlı olması	Çevrimiçi geri bildirim / A/B testi

Öneri: Küçük bir test seti (20-50 uç durum) hazırlayın ve her prompt değişikliğinden sonra çalıştırıp değişiklikleri kaydedin.

4. Yaygın Tuzaklar ve Optimizasyon Yönleri

Sorun	Olası Neden	Optimizasyon Yöntemi
Model referans materyallerini görmezden gelip kendisi cevaplar	Talimat yeterince zorlayıcı değil	"Yalnızca aşağıdaki materyallere dayan" olarak değiştirin ve few-shot ile reddetme gösterin
Model sürekli "bilmiyorum" der	Reddetme eşiği çok yüksek	Eşiği düşürün veya arama kalitesini kontrol edin
Çıktı formatı bozuk, JSON'a uymaz	Talimat net değil	Katı format örneği ekleyin veya function calling kullanın
Cevap çok uzun/kısa	Uzunluk belirtilmemiş	"En fazla 3 cümleyle cevapla"
Çok adımlı çıkarımda hata	Modelin çıkarım yeteneği yetersiz	Adım adım düşünmeyi talep edin veya daha güçlü model kullanın
Halüsinasyon sayı/tarih	Model kendi bilgisine güveniyor	"Hafızandaki hiçbir sayıyı kullanma, yalnızca materyale bak" vurgusu yapın

SEO anahtar kelimeleri: prompt mühendisliği, ipucu optimizasyonu, büyük model ince ayarı, talimat tasarımı, az örnekli öğrenme, düşünce zinciri, çıktı formatı kontrolü, yinelemeli test, bağlam penceresi, sıcaklık parametresi, top_p, sistematik ipucu, rol belirleme, sıfır örnek, ipucu şablonu, hiperparametre ayarı