Définissez vos critères de réussite

La création d’une application réussie basée sur les LLM commence par une définition claire de vos critères de réussite. Comment saurez-vous quand votre application sera suffisamment bonne pour être publiée ?

Avoir des critères de réussite clairs garantit que vos efforts d’ingénierie et d’optimisation des prompts sont concentrés sur l’atteinte d’objectifs spécifiques et mesurables.

​

Construire des critères solides

De bons critères de réussite sont :

• Spécifiques : Définissez clairement ce que vous voulez atteindre. Au lieu de “bonnes performances”, précisez “classification précise des sentiments”.

• Mesurables : Utilisez des métriques quantitatives ou des échelles qualitatives bien définies. Les chiffres apportent de la clarté et de l’évolutivité, mais les mesures qualitatives peuvent être précieuses si elles sont appliquées de manière cohérente avec des mesures quantitatives.

  • Même les sujets “flous” comme l’éthique et la sécurité peuvent être quantifiés :

    	Critères de sécurité
    Mauvais	Sorties sûres
    Bon	Moins de 0,1% des sorties sur 10 000 essais signalées comme toxiques par notre filtre de contenu.

  Exemples de métriques et de méthodes de mesure

  Métriques quantitatives :

  • Spécifiques à la tâche : Score F1, score BLEU, perplexité
  • Génériques : Précision, précision, rappel
  • Opérationnelles : Temps de réponse (ms), disponibilité (%)

  Méthodes quantitatives :

  • Test A/B : Comparez les performances par rapport à un modèle de référence ou une version antérieure.
  • Retour d’expérience utilisateur : Mesures implicites comme les taux d’achèvement des tâches.
  • Analyse des cas limites : Pourcentage de cas limites traités sans erreur.

  Échelles qualitatives :

  • Échelles de Likert : “Évaluez la cohérence de 1 (absurde) à 5 (parfaitement logique)”
  • Rubriques d’experts : Linguistes évaluant la qualité de la traduction selon des critères définis

• Réalisables : Basez vos objectifs sur des références du secteur, des expériences antérieures, des recherches en IA ou des connaissances d’experts. Vos métriques de succès ne doivent pas être irréalistes par rapport aux capacités actuelles des modèles de pointe.

• Pertinents : Alignez vos critères sur l’objectif de votre application et les besoins des utilisateurs. Une forte précision de citation peut être essentielle pour les applications médicales, mais moins pour les chatbots occasionnels.

​

Critères de réussite courants à prendre en compte

Voici quelques critères qui pourraient être importants pour votre cas d’utilisation. Cette liste n’est pas exhaustive.

La plupart des cas d’utilisation nécessiteront une évaluation multidimensionnelle selon plusieurs critères de réussite.

​

Prochaines étapes