Descripción general

Claude demuestra sólidas capacidades multilingües, con un rendimiento particularmente fuerte en tareas zero-shot en diferentes idiomas. El modelo mantiene un rendimiento relativo consistente tanto en idiomas ampliamente hablados como en idiomas con menos recursos, lo que lo convierte en una opción confiable para aplicaciones multilingües.

Tenga en cuenta que Claude es capaz de manejar muchos idiomas más allá de los evaluados a continuación. Le recomendamos realizar pruebas con cualquier idioma relevante para sus casos de uso específicos.

Datos de rendimiento

A continuación se muestran las puntuaciones de evaluación zero-shot chain-of-thought para Claude 3.7 Sonnet y los modelos Claude 3.5 en diferentes idiomas, mostradas como porcentaje relativo al rendimiento en inglés (100%):

IdiomaClaude 3.7 Sonnet1Claude 3.5 Sonnet (Nuevo)Claude 3.5 Haiku
Inglés (referencia, fijado al 100%)100%100%100%
Español97.6%96.9%94.6%
Portugués (Brasil)97.3%96.0%94.6%
Italiano97.2%95.6%95.0%
Francés96.9%96.2%95.3%
Indonesio96.3%94.0%91.2%
Alemán96.2%94.0%92.5%
Árabe95.4%92.5%84.7%
Chino (Simplificado)95.3%92.8%90.9%
Coreano95.2%92.8%89.1%
Japonés95.0%92.7%90.8%
Hindi94.2%89.3%80.1%
Bengalí92.4%85.9%72.9%
Suajili89.2%83.9%64.7%
Yoruba76.7%64.9%46.1%

1 Con pensamiento extendido y 16,000 budget_tokens.

Estas métricas se basan en los conjuntos de prueba en inglés de MMLU (Massive Multitask Language Understanding) que fueron traducidos a 14 idiomas adicionales por traductores profesionales, como se documenta en el repositorio simple-evals de OpenAI. El uso de traductores humanos para esta evaluación garantiza traducciones de alta calidad, lo que es particularmente importante para idiomas con menos recursos digitales.


Mejores prácticas

Cuando se trabaja con contenido multilingüe:

  1. Proporcione un contexto claro del idioma: Aunque Claude puede detectar automáticamente el idioma objetivo, indicar explícitamente el idioma de entrada/salida deseado mejora la fiabilidad. Para mejorar la fluidez, puede indicarle a Claude que use “lenguaje idiomático como si fuera un hablante nativo”.
  2. Use escrituras nativas: Envíe texto en su escritura nativa en lugar de transliteración para obtener resultados óptimos
  3. Considere el contexto cultural: La comunicación efectiva a menudo requiere conciencia cultural y regional más allá de la traducción pura

También sugerimos seguir nuestras pautas generales de ingeniería de prompts para mejorar el rendimiento de Claude.


Consideraciones sobre el soporte de idiomas

  • Claude procesa entrada y genera salida en la mayoría de los idiomas del mundo que utilizan caracteres Unicode estándar
  • El rendimiento varía según el idioma, con capacidades particularmente sólidas en idiomas ampliamente hablados
  • Incluso en idiomas con menos recursos digitales, Claude mantiene capacidades significativas