Seria wywiadów AI 12: Jak dostroić Prompt?

Dostrajanie promptów (Prompt Engineering / Optimization) to kluczowa umiejętność, aby sprawić, że duży model językowy będzie „posłuszny”. Szczególnie w systemach RAG decyduje o tym, czy model będzie wiernie opierać się na pobranych treściach, unikać halucynacji i przestrzegać formatu wyjściowego.

I. Kluczowe zasady dostrajania promptów

Jasność > złożoność: Proste, bezpośrednie instrukcje są często skuteczniejsze niż wymyślne łańcuchy myśli.
Daj wystarczające ograniczenia: Wyraźnie powiedz modelowi, „co może, a czego nie może robić”.
Podaj przykłady: Few-shot jest bardziej stabilny niż zero-shot.
Weryfikowalność: Niech model podaje cytaty lub poziomy ufności, aby ułatwić ocenę dalszym procesom.
Optymalizacja iteracyjna: Zacznij od linii bazowej, zmieniaj tylko jedną zmienną na raz i porównuj wyniki.

II. Konkretne techniki dostrajania (od łatwych do trudnych)

1. Ustawienie roli (system prompt)

Jesteś profesjonalnym asystentem obsługi klienta. Możesz odpowiadać wyłącznie na podstawie podanych poniżej 【Materiałów źródłowych】.
Jeśli nie znasz odpowiedzi, po prostu powiedz „brak informacji w materiałach”, nie wymyślaj.

Funkcja: Ustawia granice i ton.
Punkty dostosowania: Ton (profesjonalny/przyjazny), siła ograniczeń (ścisła/luźna).

2. Jasne instrukcje

❌ Źle: „Odpowiedz na pytanie użytkownika.”
✅ Dobrze: „Odpowiadaj wyłącznie na podstawie poniższych 【Materiałów źródłowych】. Jeśli materiały nie zawierają odpowiedzi, odpowiedz: „Nie mogę odpowiedzieć na to pytanie”.”

3. Kontrola formatu wyjścia

Proszę o wyjście w następującym formacie JSON:
{
  "answer": "Twoja odpowiedź",
  "confidence": "wysoki/średni/niski",
  "sources": [1, 3]
}

Zastosowanie: Ułatwia dalsze parsowanie, cytowanie i debugowanie.

4. Przykłady Few-shot (bardzo skuteczne)

Przykład 1:
Pytanie: Ile dni urlopu wypoczynkowego?
Materiały: Zasady urlopu: po 1 roku - 5 dni, po 10 latach - 10 dni.
Odpowiedź: Po 1 roku - 5 dni, po 10 latach - 10 dni.

Przykład 2:
Pytanie: Jak obliczane są nadgodziny?
Materiały: Nadgodziny w dni powszednie - 1,5x, w weekendy - 2x.
Odpowiedź: W dni powszednie 1,5x, w weekendy 2x.

Teraz odpowiedz:
Pytanie: {pytanie użytkownika}
Materiały: {pobrane treści}
Odpowiedź:

Wskazówka: Przykłady powinny obejmować różne poziomy trudności, najlepiej zawierać przykład, w którym nie można odpowiedzieć.

5. Wymuszone cytowanie

Na końcu odpowiedzi oznacz numer źródła za pomocą [citation:X]. Na przykład: „Urlop wynosi 5 dni[citation:1].
Jeśli korzystasz z wielu materiałów, oznacz każdy osobno.

6. Ustawienie progu odmowy odpowiedzi

Twarde ograniczenie: „Jeśli materiały źródłowe są całkowicie niepowiązane z pytaniem, odpowiedz: „Materiały nie są powiązane”.”
Miękkie ograniczenie: W połączeniu z wynikiem ufności wyszukiwania, jeśli poniżej progu, automatycznie przejdź do gałęzi odmowy.

7. Łańcuch myśli (Chain-of-Thought) do wnioskowania wieloetapowego

Pytanie: Kim jest szef Zhang San?
Kroki: 1. Znajdź dział Zhang San. 2. Znajdź kierownika tego działu. 3. Podaj ostateczną odpowiedź.
Proszę myśleć krok po kroku i podać wynik.

8. Instrukcje negatywne (Negative Prompting)

Nie wymyślaj odpowiedzi. Nie używaj niejasnych słów, takich jak „może”, „być może”. Nie podawaj żadnych liczb spoza materiałów źródłowych.

III. Jak ocenić jakość promptu?

Wskaźnik	Znaczenie	Jak mierzyć
Wierność	Czy odpowiedź jest ściśle oparta na materiałach źródłowych	Ręcznie lub za pomocą metryki Faithfulness z RAGAS
Dokładność odmowy	Czy model odmawia odpowiedzi, gdy powinien	Obliczone na zbiorze testowym bez odpowiedzi
Zgodność formatu	Czy odpowiedź jest w wymaganym formacie JSON/cytowanie	Dopasowanie wyrażeń regularnych
Zadowolenie użytkownika	Czy odpowiedź jest użyteczna	Opinie online / testy A/B

Wskazówka: Przygotuj mały zestaw testowy (20-50 przypadków brzegowych), uruchom go po każdej zmianie promptu i zanotuj zmiany.

IV. Częste pułapki i kierunki dostrajania

Objaw	Możliwa przyczyna	Metoda dostosowania
Model ignoruje materiały źródłowe i odpowiada sam	Instrukcja nie jest wystarczająco silna	Zmień na „wyłącznie na podstawie poniższych materiałów” i użyj few-shot, aby pokazać odmowę
Model zawsze mówi „nie wiem”	Próg odmowy zbyt wysoki	Obniż próg lub sprawdź jakość wyszukiwania
Format wyjścia nieprawidłowy, nie JSON	Instrukcja niejasna	Dodaj ścisły przykład formatu lub użyj function calling
Odpowiedź zbyt długa/krótka	Brak określenia długości	„Odpowiedz w nie więcej niż 3 zdaniach”
Błędy w wnioskowaniu wieloetapowym	Niewystarczające zdolności rozumowania modelu	Wymagaj pokazania kroków rozumowania lub użyj silniejszego modelu
Halucynacje liczb/dat	Model polega na własnej wiedzy	Podkreśl: „Nie używaj żadnych liczb ze swojej pamięci, opieraj się tylko na materiałach”