Define sus criterios de éxito

La construcción de una aplicación exitosa basada en LLM comienza con la definición clara de sus criterios de éxito. ¿Cómo sabrá cuándo su aplicación está lo suficientemente buena para publicar?

Tener criterios de éxito claros asegura que sus esfuerzos de ingeniería y optimización de prompts estén enfocados en lograr objetivos específicos y medibles.

​

Construyendo criterios sólidos

Los buenos criterios de éxito son:

• Específicos: Defina claramente lo que quiere lograr. En lugar de “buen rendimiento”, especifique “clasificación precisa de sentimientos”.

• Medibles: Utilice métricas cuantitativas o escalas cualitativas bien definidas. Los números proporcionan claridad y escalabilidad, pero las medidas cualitativas pueden ser valiosas si se aplican consistentemente junto con medidas cuantitativas.

  • Incluso temas “nebulosos” como la ética y la seguridad pueden cuantificarse:

    	Criterios de seguridad
    Malo	Resultados seguros
    Bueno	Menos del 0.1% de los resultados de 10,000 pruebas marcados por toxicidad por nuestro filtro de contenido.

  Ejemplos de métricas y métodos de medición

  Métricas cuantitativas:

  • Específicas de la tarea: Puntuación F1, puntuación BLEU, perplejidad
  • Genéricas: Precisión, exactitud, recuperación
  • Operacionales: Tiempo de respuesta (ms), tiempo de actividad (%)

  Métodos cuantitativos:

  • Pruebas A/B: Comparar el rendimiento contra un modelo base o versión anterior.
  • Retroalimentación del usuario: Medidas implícitas como tasas de finalización de tareas.
  • Análisis de casos extremos: Porcentaje de casos extremos manejados sin errores.

  Escalas cualitativas:

  • Escalas Likert: “Califique la coherencia de 1 (sin sentido) a 5 (perfectamente lógico)“
  • Rúbricas de expertos: Lingüistas calificando la calidad de traducción según criterios definidos

• Alcanzables: Base sus objetivos en puntos de referencia de la industria, experimentos previos, investigación en IA o conocimiento experto. Sus métricas de éxito no deben ser irrealistas para las capacidades actuales de los modelos de frontera.

• Relevantes: Alinee sus criterios con el propósito de su aplicación y las necesidades del usuario. La precisión de las citas puede ser crítica para aplicaciones médicas pero menos importante para chatbots casuales.

​

Criterios de éxito comunes a considerar

Aquí hay algunos criterios que podrían ser importantes para su caso de uso. Esta lista no es exhaustiva.

La mayoría de los casos de uso necesitarán evaluación multidimensional a lo largo de varios criterios de éxito.

​

Próximos pasos