Este guia concentra-se em critérios de sucesso que são controláveis através da engenharia de prompts.
Nem todo critério de sucesso ou avaliação com falha é melhor resolvido pela engenharia de prompts. Por exemplo, latência e custo podem às vezes ser melhorados mais facilmente selecionando um modelo diferente.
A engenharia de prompts é muito mais rápida do que outros métodos de controle de comportamento do modelo, como o finetuning, e frequentemente pode produzir saltos no desempenho em muito menos tempo. Aqui estão alguns motivos para considerar a engenharia de prompts em vez do finetuning:
Eficiência de recursos: O fine-tuning requer GPUs de alta performance e grande memória, enquanto a engenharia de prompts precisa apenas de entrada de texto, tornando-a muito mais amigável em termos de recursos.
Custo-benefício: Para serviços de IA baseados em nuvem, o fine-tuning incorre em custos significativos. A engenharia de prompts usa o modelo base, que é tipicamente mais barato.
Manutenção de atualizações do modelo: Quando os provedores atualizam modelos, versões com fine-tuning podem precisar de retreinamento. Prompts geralmente funcionam entre versões sem alterações.
Economia de tempo: O fine-tuning pode levar horas ou até dias. Em contraste, a engenharia de prompts fornece resultados quase instantâneos, permitindo resolução rápida de problemas.
Necessidades mínimas de dados: O fine-tuning precisa de dados substanciais específicos da tarefa e rotulados, que podem ser escassos ou caros. A engenharia de prompts funciona com aprendizado few-shot ou mesmo zero-shot.
Flexibilidade e iteração rápida: Experimente rapidamente várias abordagens, ajuste prompts e veja resultados imediatos. Esta experimentação rápida é difícil com fine-tuning.
Adaptação de domínio: Adapte facilmente modelos a novos domínios fornecendo contexto específico do domínio em prompts, sem retreinamento.
Melhorias na compreensão: A engenharia de prompts é muito mais eficaz que o finetuning para ajudar os modelos a entender e utilizar melhor conteúdo externo, como documentos recuperados.
Preserva conhecimento geral: O fine-tuning arrisca esquecimento catastrófico, onde o modelo perde conhecimento geral. A engenharia de prompts mantém as capacidades amplas do modelo.
Transparência: Os prompts são legíveis por humanos, mostrando exatamente quais informações o modelo recebe. Esta transparência ajuda na compreensão e depuração.
As páginas de engenharia de prompts nesta seção foram organizadas das técnicas mais amplamente eficazes às técnicas mais especializadas. Ao solucionar problemas de desempenho, sugerimos que você experimente estas técnicas em ordem, embora o impacto real de cada técnica dependa do seu caso de uso.
