AI-Serie Interview 12: Wéi optiméiert een Prompt?

Prompt-Optimiséierung (Prompt Engineering / Optimization) ass déi entscheedend Fäegkeet fir de grousse Sproochmodell "gehéiereg" ze kréien, besonnesch am RAG-System, bestëmmt direkt ob de Modell trei op d'Ofruff-Inhalter baséiert, Halluzinatiounen vermeit an d'Ausgabeformat respektéiert.

---

1. Kärprinzipie fir Prompt-Optimiséierung

1. Kloerheet > Komplexitéit: Einfach direkt Instruktioune si dacks méi effektiv wéi ausgeglach Gedankenketten.
2. Genuch Contrainten: So dem Modell kloer "wat e maache kann a wat net".
3. Beispiller ubidden: Few-shot ass méi stabil wéi Zero-shot.
4. Verifizéierbarkeet: Looss de Modell Referenzen oder Konfidenz ausginn fir d'Uerteel ze erliichteren.
5. Iterativ Optimiséierung: Fänk mat enger Basis un, änner all Kéier nëmmen eng Variabel a vergläich d'Effekter.

---

2. Spezifesch Optimiséierungstechniken (vun einfach bis schwéier)

1. Roll astellen (System Prompt)

Du bass e professionelle Client-Service-Assistent. Du kanns nëmmen op Basis vun de folgende [Referenzen] äntweren.
Wanns du d'Äntwert net weess, so "An de Referenzen ass keng relevant Informatioun" an erfind näischt.

• Funktioun: Setzt Grenzen an Toun.
• Optimiséierungspunkten: Toun (professionell/agreabel), Kontraintstäerkt (streng/liicht).

2. Kloer Instruktiounen

❌ Schlecht: "Beäntwert d'Fro vum Benotzer."
✅ Gutt: "Nëmmen op Basis vun der folgender [Referenz] äntweren. Wann d'Referenz keng Äntwert enthält, so 'Ech kann dës Fro net beäntweren.'"

3. Ausgabeformat kontrolléieren

Gitt d'Äntwert am folgende JSON-Format:
{
  "answer": "Deng Äntwert",
  "confidence": "héich/mëttel/niddereg",
  "sources": [1, 3]
}

• Notzung: Fir weider Veraarbechtung, Referenzen an Debugging.

4. Few-shot Beispiller (extrem effektiv)

Beispill 1:
Fro: Wéi vill Deeg Vakanz hunn ech?
Referenz: Vakanzregelen: 1 Joer: 5 Deeg, 10 Joer: 10 Deeg.
Äntwert: 1 Joer: 5 Deeg, 10 Joer: 10 Deeg.

Beispill 2:
Fro: Wéi gëtt d'Iwwerschaffesstonn berechent?
Referenz: Op Wierderdeeg Iwwerschaffesstonnen 1,5x, Weekend 2x.
Äntwert: Op Wierderdeeg 1,5x, Weekend 2x.

Elo beäntwert:
Fro: {Benotzerfro}
Referenz: {Ofruffinhalt}
Äntwert:

• Tipp: D'Beispiller solle verschidde Schwéiergraden ofdecken, am beschten och e "kann net beäntwert"-Beispill.

5. Zwangsreferenzen

Um Enn vun der Äntwert mat [citation:X] d'Quellnummer markéieren. Zum Beispill: "D'Vakanz ass 5 Deeg[citation:1]."
Wann multiple Quelle benotzt ginn, all eenzel markéieren.

6. Oflehnungsschwellwert setzen

• Haart Contraint: "Wann d'Referenz guer net zur Fro passt, so 'D'Referenz ass net relevant.'"
• Mëll Contraint: Kombinéiert mam Ofruffkonfidenzscore a geet automatesch an d'Oflehnungswiel wann en ënner dem Schwellwert ass.

7. Gedankenketten (Chain-of-Thought) fir Multi-Hop-Reesen

Fro: Wien ass dem Zhang säi Chef?
Schrëtt: 1. Fannen eraus dem Zhang seng Departement. 2. Fannen de Chef vun där Departement. 3. Ginn déi definitiv Äntwert.
Denk no a ginn dann d'Äntwert.

8. Negativ Instruktiounen (Negative Prompting)

Erfind keng Äntwerten. Benotz keng vage Wierder wéi "vläicht" oder "méiglecherweis". Ginn keng Zuelen ausserhalb vun de Referenzen.

---

3. Wéi evaluéiert een d'Qualitéit vun engem Prompt?

Indikator	Bedeitung	Wéi moossen
Treiträit	Ass d'Äntwert strikt op Basis vun der Referenz?	Manuell oder RAGAS seng Faithfulness
Oflehnungsgenauegkeet	Refuséiert en wann et soll?	Op Testset ouni Äntwert berechnen
Formatkonformitéit	Gëtt JSON/Referenzen wéi verlaangt ausginn?	Regex-Matching
Benotzerzefriddenheet	Ass d'Äntwert hëllefräich?	Online Feedback / A/B Testen

Empfehlung: Bereet e klenge Testset vir (20-50 Randfäll), laaft all Kéier no enger Prompt-Ännerung, dokumentéiert d'Ännerungen.

4. Heefeg Falen an Optimiséierungsrichtungen

Problem	Méiglech Ursaach	Optimiséierungsmethod
Modell ignoréiert Referenz, äntwert eegen	Instruktioun net forcéierend	Änneren op "Nëmmen op Basis vun", a weist Oflehnung mat Few-shot
Modell seet ëmmer "weess net"	Oflehnungsschwell ze héich	Schwell erofsetzen oder Ofruffqualitéit iwwerpréiwen
Format onregelméisseg, net JSON	Instruktioun net kloer	Streng Formatbeispiller bäifügen oder Function Calling notzen
Äntwert ze laang/ze kuerz	Kee Längt uginn	"Äntwert a maximal 3 Sätz"
Multi-Hop-Rees falsch	Net genuch Reesscapazitéit	Verlaangen datt een Schrëtt fir Schrëtt erkläert, oder e méi staarke Modell notzen
Halluzinatioun vun Zuelen/Datum	Modell vertrau op eegent Wëssen	Betounung: "Benotz keng Zuelen aus mengem Gedächtnis, kuck nëmmen d'Referenz"