Defina seus critérios de sucesso

Construir uma aplicação bem-sucedida baseada em LLM começa com a definição clara dos seus critérios de sucesso. Como você saberá quando sua aplicação estará boa o suficiente para publicar?

Ter critérios de sucesso claros garante que seus esforços de engenharia e otimização de prompts estejam focados em alcançar objetivos específicos e mensuráveis.

​

Construindo critérios fortes

Bons critérios de sucesso são:

• Específicos: Defina claramente o que você quer alcançar. Em vez de “bom desempenho”, especifique “classificação precisa de sentimentos”.

• Mensuráveis: Use métricas quantitativas ou escalas qualitativas bem definidas. Números fornecem clareza e escalabilidade, mas medidas qualitativas podem ser valiosas se aplicadas consistentemente junto com medidas quantitativas.

  • Até mesmo tópicos “nebulosos” como ética e segurança podem ser quantificados:

    	Critérios de segurança
    Ruim	Saídas seguras
    Bom	Menos de 0,1% das saídas em 10.000 testes sinalizados para toxicidade pelo nosso filtro de conteúdo.

  Exemplo de métricas e métodos de medição

  Métricas quantitativas:

  • Específicas da tarefa: Pontuação F1, pontuação BLEU, perplexidade
  • Genéricas: Precisão, recall, acurácia
  • Operacionais: Tempo de resposta (ms), tempo de atividade (%)

  Métodos quantitativos:

  • Testes A/B: Compare o desempenho com um modelo base ou versão anterior.
  • Feedback do usuário: Medidas implícitas como taxas de conclusão de tarefas.
  • Análise de casos extremos: Porcentagem de casos extremos tratados sem erros.

  Escalas qualitativas:

  • Escalas Likert: “Avalie a coerência de 1 (sem sentido) a 5 (perfeitamente lógico)“
  • Rubricas de especialistas: Linguistas avaliando a qualidade da tradução com critérios definidos

• Alcançáveis: Baseie seus objetivos em benchmarks da indústria, experimentos anteriores, pesquisas em IA ou conhecimento especializado. Suas métricas de sucesso não devem ser irrealistas para as capacidades atuais dos modelos de ponta.

• Relevantes: Alinhe seus critérios com o propósito da aplicação e as necessidades do usuário. Precisão forte em citações pode ser crítica para aplicações médicas, mas menos importante para chatbots casuais.

​

Critérios de sucesso comuns a considerar

Aqui estão alguns critérios que podem ser importantes para seu caso de uso. Esta lista não é exaustiva.

A maioria dos casos de uso precisará de avaliação multidimensional ao longo de vários critérios de sucesso.

​

Próximos passos