Aperçu

Claude démontre de solides capacités multilingues, avec des performances particulièrement fortes dans les tâches sans apprentissage préalable (zero-shot) à travers les langues. Le modèle maintient une performance relative constante tant pour les langues largement parlées que pour celles disposant de moins de ressources, ce qui en fait un choix fiable pour les applications multilingues.

Notez que Claude est capable de traiter de nombreuses langues au-delà de celles évaluées ci-dessous. Nous vous encourageons à tester avec toutes les langues pertinentes pour vos cas d’utilisation spécifiques.

Données de performance

Ci-dessous sont présentés les scores d’évaluation zero-shot chain-of-thought pour les modèles Claude 3.5 dans différentes langues, exprimés en pourcentage relatif par rapport aux performances en anglais (100%) :

LangueClaude 3.5 Sonnet (Nouveau)Claude 3.5 Haiku
Anglais (référence, fixé à 100%)100%100%
Français96,2%95,3%
Espagnol96,9%94,6%
Portugais (Brésil)96,0%94,6%
Italien95,6%95,0%
Allemand94,0%92,5%
Chinois (Simplifié)92,8%90,9%
Indonésien94,0%91,2%
Japonais92,7%90,8%
Coréen92,8%89,1%
Arabe92,5%84,7%
Hindi89,3%80,1%
Bengali85,9%72,9%
Swahili83,9%64,7%
Yoruba64,9%46,1%
  • La plupart des langues européennes maintiennent une performance relative supérieure à 95% par rapport à l’anglais
  • Les langues d’Asie de l’Est (chinois, japonais, coréen) montrent une forte cohérence autour de 92-93% de performance relative

Ces métriques sont basées sur les ensembles de tests anglais MMLU (Massive Multitask Language Understanding) qui ont été traduits dans 14 langues supplémentaires par des traducteurs professionnels, comme documenté dans le dépôt simple-evals d’OpenAI. L’utilisation de traducteurs humains pour cette évaluation garantit des traductions de haute qualité, particulièrement importante pour les langues disposant de moins de ressources numériques.


Meilleures pratiques

Lorsque vous travaillez avec du contenu multilingue :

  1. Fournissez un contexte linguistique clair : Bien que Claude puisse détecter automatiquement la langue cible, le fait d’indiquer explicitement la langue d’entrée/sortie souhaitée améliore la fiabilité. Pour une meilleure fluidité, vous pouvez demander à Claude d’utiliser “un langage idiomatique comme s’il était un locuteur natif.”
  2. Utilisez les scripts natifs : Soumettez le texte dans son script d’origine plutôt qu’en translittération pour des résultats optimaux
  3. Tenez compte du contexte culturel : Une communication efficace nécessite souvent une conscience culturelle et régionale au-delà de la simple traduction

Nous suggérons également de suivre nos directives générales d’ingénierie des prompts pour améliorer les performances de Claude.


Considérations sur le support linguistique

  • Claude traite les entrées et génère des sorties dans la plupart des langues mondiales utilisant les caractères Unicode standard
  • Les performances varient selon la langue, avec des capacités particulièrement fortes dans les langues largement parlées
  • Même dans les langues disposant de moins de ressources numériques, Claude maintient des capacités significatives

Was this page helpful?