Define tus criterios de éxito

Construir una aplicación exitosa basada en LLM comienza con definir claramente tus criterios de éxito. ¿Cómo sabrás cuándo tu aplicación es lo suficientemente buena para publicar?

Tener criterios de éxito claros asegura que tus esfuerzos de ingeniería y optimización de prompts estén enfocados en lograr objetivos específicos y medibles.

​

Construyendo criterios sólidos

Los buenos criterios de éxito son:

• Específicos: Define claramente lo que quieres lograr. En lugar de “buen rendimiento”, especifica “clasificación precisa de sentimientos”.

• Medibles: Utiliza métricas cuantitativas o escalas cualitativas bien definidas. Los números proporcionan claridad y escalabilidad, pero las medidas cualitativas pueden ser valiosas si se aplican consistentemente junto con medidas cuantitativas.

  • Incluso los temas “difusos” como la ética y la seguridad pueden cuantificarse:

    	Criterios de seguridad
    Malo	Salidas seguras
    Bueno	Menos del 0.1% de las salidas de 10,000 pruebas marcadas como tóxicas por nuestro filtro de contenido.

  Ejemplos de métricas y métodos de medición

  Métricas cuantitativas:

  • Específicas de la tarea: Puntaje F1, puntaje BLEU, perplejidad
  • Genéricas: Precisión, precisión, recall
  • Operacionales: Tiempo de respuesta (ms), tiempo de actividad (%)

  Métodos cuantitativos:

  • Pruebas A/B: Comparar el rendimiento con un modelo de referencia o una versión anterior.
  • Retroalimentación del usuario: Medidas implícitas como las tasas de finalización de tareas.
  • Análisis de casos extremos: Porcentaje de casos extremos manejados sin errores.

  Escalas cualitativas:

  • Escalas Likert: “Califica la coherencia de 1 (sin sentido) a 5 (perfectamente lógico)”
  • Rúbricas de expertos: Lingüistas que califican la calidad de la traducción según criterios definidos

• Alcanzables: Basa tus objetivos en puntos de referencia de la industria, experimentos anteriores, investigación de IA o conocimiento experto. Tus métricas de éxito no deben ser poco realistas para las capacidades actuales de los modelos de vanguardia.

• Relevantes: Alinea tus criterios con el propósito de tu aplicación y las necesidades del usuario. Una alta precisión de citas puede ser crítica para aplicaciones médicas, pero menos para chatbots casuales.

​

Criterios de éxito comunes a considerar

Aquí hay algunos criterios que podrían ser importantes para tu caso de uso. Esta lista no es exhaustiva.

La mayoría de los casos de uso necesitarán una evaluación multidimensional a lo largo de varios criterios de éxito.

​

Próximos pasos