Defina seus critérios de sucesso

Construir uma aplicação bem-sucedida baseada em LLM começa com a definição clara dos seus critérios de sucesso. Como você saberá quando sua aplicação estará boa o suficiente para ser publicada?

Ter critérios de sucesso claros garante que seus esforços de engenharia e otimização de prompt estejam focados em alcançar metas específicas e mensuráveis.

​

Construindo critérios fortes

Bons critérios de sucesso são:

• Específicos: Defina claramente o que você deseja alcançar. Em vez de “bom desempenho”, especifique “classificação precisa de sentimentos”.

• Mensuráveis: Use métricas quantitativas ou escalas qualitativas bem definidas. Números fornecem clareza e escalabilidade, mas medidas qualitativas podem ser valiosas se aplicadas consistentemente junto com medidas quantitativas.

  • Mesmo tópicos “nebulosos” como ética e segurança podem ser quantificados:

    	Critérios de segurança
    Ruim	Saídas seguras
    Bom	Menos de 0,1% das saídas de 10.000 testes sinalizadas como tóxicas por nosso filtro de conteúdo.

  Exemplos de métricas e métodos de medição

  Métricas quantitativas:

  • Específicas da tarefa: F1 score, BLEU score, perplexidade
  • Genéricas: Acurácia, precisão, recall
  • Operacionais: Tempo de resposta (ms), tempo de atividade (%)

  Métodos quantitativos:

  • Teste A/B: Compare o desempenho com um modelo de base ou versão anterior.
  • Feedback do usuário: Medidas implícitas como taxas de conclusão de tarefas.
  • Análise de casos extremos: Porcentagem de casos extremos tratados sem erros.

  Escalas qualitativas:

  • Escalas Likert: “Avalie a coerência de 1 (sem sentido) a 5 (perfeitamente lógico)”
  • Rubricas de especialistas: Linguistas avaliando a qualidade da tradução com critérios definidos

• Alcançáveis: Baseie suas metas em benchmarks do setor, experimentos anteriores, pesquisas de IA ou conhecimento especializado. Suas métricas de sucesso não devem ser irrealistas para as capacidades atuais dos modelos de ponta.

• Relevantes: Alinhe seus critérios com o propósito da sua aplicação e as necessidades do usuário. Uma forte precisão de citação pode ser crítica para aplicativos médicos, mas menos para chatbots casuais.

​

Critérios de sucesso comuns a considerar

Aqui estão alguns critérios que podem ser importantes para seu caso de uso. Esta lista não é exaustiva.

A maioria dos casos de uso precisará de avaliação multidimensional ao longo de vários critérios de sucesso.

​

Próximos passos