概要

Claudeは堅牢な多言語機能を実証しており、特に言語間のゼロショットタスクで優れた性能を発揮します。このモデルは、広く使用されている言語から低リソース言語まで、一貫した相対的な性能を維持しており、多言語アプリケーションに信頼できる選択肢となっています。

以下のベンチマークに含まれていない言語でもClaudeは対応可能です。特定のユースケースに関連する言語でのテストをお勧めします。

性能データ

以下は、Claude 3.5モデルの異なる言語におけるゼロショットチェーン・オブ・ソート評価スコアで、英語の性能(100%)に対する相対的なパーセンテージで示しています:

言語Claude 3.5 Sonnet (新)Claude 3.5 Haiku
英語(ベースライン、100%固定)100%100%
フランス語96.2%95.3%
スペイン語96.9%94.6%
ポルトガル語(ブラジル)96.0%94.6%
イタリア語95.6%95.0%
ドイツ語94.0%92.5%
中国語(簡体字)92.8%90.9%
インドネシア語94.0%91.2%
日本語92.7%90.8%
韓国語92.8%89.1%
アラビア語92.5%84.7%
ヒンディー語89.3%80.1%
ベンガル語85.9%72.9%
スワヒリ語83.9%64.7%
ヨルバ語64.9%46.1%
  • ほとんどのヨーロッパ言語は英語と比較して95%以上の相対的性能を維持
  • 東アジアの言語(中国語、日本語、韓国語)は約92-93%の相対的性能で強い一貫性を示す

これらの指標は、MMLU(Massive Multitask Language Understanding)の英語テストセットを、プロの人間翻訳者によって14の追加言語に翻訳したものに基づいています。これはOpenAIのsimple-evalsリポジトリに記載されています。この評価に人間の翻訳者を使用することで、特にデジタルリソースの少ない言語において、高品質な翻訳が保証されます。


ベストプラクティス

多言語コンテンツを扱う際の注意点:

  1. 明確な言語コンテキストを提供する:Claudeは対象言語を自動的に検出できますが、目的の入力/出力言語を明示的に指定することで信頼性が向上します。流暢さを高めるために、「ネイティブスピーカーのような慣用的な表現」を使用するようClaudeに指示することができます。
  2. ネイティブの文字体系を使用する:最適な結果を得るために、音訳ではなく、その言語本来の文字体系でテキストを入力する
  3. 文化的コンテキストを考慮する:効果的なコミュニケーションには、純粋な翻訳を超えた文化的・地域的な認識が必要です

また、Claudeの性能をさらに向上させるために、一般的なプロンプトエンジニアリングのガイドラインに従うことをお勧めします。


言語サポートに関する考慮事項

  • Claudeは標準的なUnicode文字を使用する世界のほとんどの言語で入力と出力を処理できます
  • 性能は言語によって異なり、特に広く使用されている言語で高い能力を発揮します
  • デジタルリソースの少ない言語でも、Claudeは意味のある能力を維持しています