Série de Entrevistas sobre IA 12: Como ajustar o Prompt?

Ajuste de Prompt (Prompt Engineering / Optimization) é a habilidade chave para fazer o modelo de linguagem grande "obedecer", especialmente em sistemas RAG, determinando diretamente se o modelo está disposto a seguir fielmente o conteúdo recuperado, evitar alucinações e gerar saída com formato padrão.

---

1. Princípios Centrais do Ajuste de Prompt

1. Clareza > Complexidade: Instruções simples e diretas muitas vezes são mais eficazes do que cadeias de pensamento rebuscadas.
2. Dê Restrições Suficientes: Diga claramente ao modelo "o que pode fazer, o que não pode fazer".
3. Forneça Exemplos: Few-shot é mais estável que Zero-shot.
4. Verificável: Faça o modelo gerar citações ou níveis de confiança para facilitar a avaliação downstream.
5. Otimização Iterativa: Comece com uma linha de base, altere apenas uma variável por vez e compare os efeitos.

---

2. Técnicas Específicas de Ajuste (do fácil ao difícil)

1. Definição de Papel (System Prompt)

Você é um assistente de atendimento ao cliente profissional. Você só pode responder com base nos [Materiais de Referência] fornecidos abaixo.
Se você não souber a resposta, diga diretamente "não há informações relevantes nos materiais", não invente.

• Função: Define limites e tom.
• Pontos de ajuste: Tom (profissional/amigável), força das restrições (rigoroso/flexível).

2. Instruções Claras

❌ Ruim: "Responda à pergunta do usuário."
✅ Bom: "Apenas com base nos [Materiais de Referência] abaixo. Se os materiais não contiverem a resposta, responda 'Não posso responder esta pergunta'."

3. Controle de Formato de Saída

Por favor, gere a saída no seguinte formato JSON:
{
  "answer": "sua resposta",
  "confidence": "alto/médio/baixo",
  "sources": [1, 3]
}

• Uso: Facilita análise, citação e depuração downstream.

4. Exemplos Few-shot (Muito Eficaz)

Exemplo 1:
Pergunta: Quantos dias de férias anuais?
Materiais de Referência: Regra de férias: 5 dias após 1 ano, 10 dias após 10 anos.
Resposta: 5 dias após 1 ano, 10 dias após 10 anos.

Exemplo 2:
Pergunta: Como é calculada a hora extra?
Materiais de Referência: Hora extra em dias úteis 1,5x, finais de semana 2x.
Resposta: 1,5x em dias úteis, 2x em finais de semana.

Agora responda:
Pergunta: {pergunta do usuário}
Materiais de Referência: {conteúdo recuperado}
Resposta:

• Dica: Os exemplos devem cobrir diferentes dificuldades, de preferência incluindo um exemplo de "não é possível responder".

5. Citação Obrigatória

No final da resposta, marque o número da fonte com [citation:X]. Por exemplo: "As férias anuais são de 5 dias[citation:1]."
Se combinar vários materiais, marque cada um.

6. Definir Limiar de Recusa

• Restrição rígida: "Se os materiais de referência não estiverem relacionados à pergunta, responda 'Materiais não relacionados'."
• Restrição flexível: Combine a pontuação de confiança da recuperação; quando abaixo do limiar, siga automaticamente o ramo de recusa.

7. Cadeia de Pensamento (Chain-of-Thought) para Raciocínio Multi-hop

Pergunta: Quem é o chefe de Zhang San?
Passos: 1. Primeiro descubra o departamento de Zhang San. 2. Depois descubra o responsável pelo departamento. 3. Dê a resposta final.
Pense passo a passo e depois forneça a saída.

8. Instruções Negativas (Negative Prompting)

Não invente respostas. Não use palavras vagas como "possivelmente", "talvez". Não gere números que não estejam nos materiais de referência.

---

3. Como Avaliar a Qualidade do Prompt?

Indicador	Significado	Como Medir
Fidelidade	Se a resposta é estritamente baseada nos materiais de referência	Manual ou RAGAS Faithfulness
Precisão de Recusa	Se recusa quando deveria	Calcular em conjunto de teste sem resposta
Taxa de Conformidade de Formato	Se gera JSON/citações conforme solicitado	Correspondência regex
Satisfação do Usuário	Se a resposta é útil	Feedback online / Teste A/B

Sugestão: Prepare um pequeno conjunto de teste (20-50 casos extremos), execute após cada alteração de prompt e registre as mudanças.

4. Armadilhas Comuns e Direções de Ajuste

Problema	Causa Possível	Método de Ajuste
Modelo ignora materiais de referência e responde por conta própria	Instrução não é forte o suficiente	Altere para "Apenas com base nos materiais abaixo" e use few-shot mostrando recusa
Modelo sempre diz "não sei"	Limiar de recusa muito alto	Reduza o limiar ou verifique a qualidade da recuperação
Formato de saída bagunçado, não segue JSON	Instrução pouco clara	Adicione exemplos de formato rigorosos ou use function calling
Resposta muito longa/curta	Não especificou comprimento	"Responda em no máximo 3 frases"
Erro em raciocínio multi-hop	Capacidade de raciocínio do modelo insuficiente	Peça para mostrar raciocínio passo a passo ou troque para um modelo mais forte
Alucinação com números/datas	Modelo depende de seu próprio conhecimento	Enfatize "não use nenhum número da sua memória, apenas olhe os materiais"