Обзор

Claude демонстрирует надежные многоязычные возможности, с особенно сильной производительностью в задачах zero-shot на разных языках. Модель поддерживает стабильную относительную производительность как на широко распространенных, так и на менее ресурсных языках, что делает ее надежным выбором для многоязычных приложений.

Обратите внимание, что Claude способен работать со многими языками помимо тех, которые представлены в тестах ниже. Мы рекомендуем тестировать модель с любыми языками, которые актуальны для ваших конкретных случаев использования.

Данные о производительности

Ниже приведены оценки zero-shot chain-of-thought для моделей Claude 4, Claude 3.7 Sonnet и Claude 3.5 на разных языках, показанные в процентах относительно производительности на английском языке (100%):

ЯзыкClaude Opus 41Claude Sonnet 41Claude Sonnet 3.71Claude Sonnet 3.5 v2Claude Haiku 3.5
Английский (базовый, фиксированный на 100%)100%100%100%100%100%
Испанский98.0%97.5%97.6%96.9%94.6%
Португальский (Бразилия)97.3%97.2%97.3%96.0%94.6%
Итальянский97.5%97.3%97.2%95.6%95.0%
Французский97.7%97.1%96.9%96.2%95.3%
Индонезийский97.2%96.2%96.3%94.0%91.2%
Немецкий97.1%94.7%96.2%94.0%92.5%
Арабский96.9%96.1%95.4%92.5%84.7%
Китайский (упрощенный)96.7%95.9%95.3%92.8%90.9%
Корейский96.4%95.9%95.2%92.8%89.1%
Японский96.2%95.6%95.0%92.7%90.8%
Хинди96.7%95.8%94.2%89.3%80.1%
Бенгальский95.2%94.4%92.4%85.9%72.9%
Суахили89.5%87.1%89.2%83.9%64.7%
Йоруба78.9%76.4%76.7%64.9%46.1%

1 С расширенным мышлением.

Эти метрики основаны на MMLU (Massive Multitask Language Understanding) тестовых наборах на английском языке, которые были переведены на 14 дополнительных языков профессиональными переводчиками, как документировано в репозитории OpenAI simple-evals. Использование профессиональных переводчиков для этой оценки обеспечивает высокое качество переводов, что особенно важно для языков с меньшим количеством цифровых ресурсов.


Лучшие практики

При работе с многоязычным контентом:

  1. Предоставляйте четкий языковой контекст: Хотя Claude может автоматически определять целевой язык, явное указание желаемого языка ввода/вывода повышает надежность. Для улучшения беглости вы можете попросить Claude использовать “идиоматическую речь, как если бы он был носителем языка”.
  2. Используйте родные системы письма: Отправляйте текст в его родной системе письма, а не в транслитерации для оптимальных результатов
  3. Учитывайте культурный контекст: Эффективная коммуникация часто требует культурной и региональной осведомленности помимо чистого перевода

Мы также рекомендуем следовать нашим общим рекомендациям по инженерии промптов для улучшения производительности Claude.


Особенности языковой поддержки

  • Claude обрабатывает ввод и генерирует вывод на большинстве мировых языков, использующих стандартные символы Unicode
  • Производительность варьируется в зависимости от языка, с особенно сильными возможностями в широко распространенных языках
  • Даже в языках с меньшим количеством цифровых ресурсов Claude сохраняет значимые возможности