Descripción general

Claude demuestra sólidas capacidades multilingües, con un rendimiento particularmente fuerte en tareas sin entrenamiento previo (zero-shot) en varios idiomas. El modelo mantiene un rendimiento relativo consistente tanto en idiomas ampliamente hablados como en idiomas con menos recursos, lo que lo convierte en una opción confiable para aplicaciones multilingües.

Tenga en cuenta que Claude es capaz de manejar muchos idiomas más allá de los evaluados a continuación. Le animamos a probar con cualquier idioma relevante para sus casos de uso específicos.

Datos de rendimiento

A continuación se muestran las puntuaciones de evaluación de razonamiento en cadena sin entrenamiento previo (zero-shot chain-of-thought) para los modelos Claude 3.5 en diferentes idiomas, mostradas como porcentaje relativo al rendimiento en inglés (100%):

IdiomaClaude 3.5 Sonnet (Nuevo)Claude 3.5 Haiku
Inglés (referencia, fijado al 100%)100%100%
Francés96.2%95.3%
Español96.9%94.6%
Portugués (Brasil)96.0%94.6%
Italiano95.6%95.0%
Alemán94.0%92.5%
Chino (Simplificado)92.8%90.9%
Indonesio94.0%91.2%
Japonés92.7%90.8%
Coreano92.8%89.1%
Árabe92.5%84.7%
Hindi89.3%80.1%
Bengalí85.9%72.9%
Suajili83.9%64.7%
Yoruba64.9%46.1%
  • La mayoría de los idiomas europeos mantienen un rendimiento relativo superior al 95% en comparación con el inglés
  • Los idiomas de Asia Oriental (chino, japonés, coreano) muestran una fuerte consistencia con un rendimiento relativo de alrededor del 92-93%

Estas métricas se basan en los conjuntos de prueba en inglés de MMLU (Massive Multitask Language Understanding) que fueron traducidos a 14 idiomas adicionales por traductores profesionales humanos, como se documenta en el repositorio simple-evals de OpenAI. El uso de traductores humanos para esta evaluación garantiza traducciones de alta calidad, lo que es particularmente importante para idiomas con menos recursos digitales.


Mejores prácticas

Cuando se trabaja con contenido multilingüe:

  1. Proporcionar contexto claro del idioma: Aunque Claude puede detectar automáticamente el idioma objetivo, indicar explícitamente el idioma de entrada/salida deseado mejora la fiabilidad. Para mejorar la fluidez, puede indicar a Claude que use “lenguaje idiomático como si fuera un hablante nativo.”
  2. Usar escrituras nativas: Enviar texto en su escritura nativa en lugar de transliteración para obtener resultados óptimos
  3. Considerar el contexto cultural: La comunicación efectiva a menudo requiere conciencia cultural y regional más allá de la traducción pura

También sugerimos seguir nuestras pautas generales de ingeniería de prompts para mejorar el rendimiento de Claude.


Consideraciones sobre el soporte de idiomas

  • Claude procesa entrada y genera salida en la mayoría de los idiomas del mundo que utilizan caracteres Unicode estándar
  • El rendimiento varía según el idioma, con capacidades particularmente sólidas en idiomas ampliamente hablados
  • Incluso en idiomas con menos recursos digitales, Claude mantiene capacidades significativas