概要

Claudeは堅牢な多言語機能を実証しており、特に言語間のゼロショットタスクで優れた性能を発揮します。広く使用されている言語から低リソース言語まで、一貫した相対的な性能を維持しており、多言語アプリケーションに信頼できる選択肢となっています。

以下のベンチマークに含まれていない言語でもClaudeは対応可能です。具体的なユースケースに関連する言語でのテストをお勧めします。

性能データ

以下は、Claude 3.7 SonnetとClaude 3.5モデルの異なる言語におけるゼロショットチェーンオブソート評価スコアで、英語の性能(100%)に対する相対的なパーセンテージで示しています:

言語Claude 3.7 Sonnet1Claude 3.5 Sonnet (New)Claude 3.5 Haiku
英語(ベースライン、100%固定)100%100%100%
スペイン語97.6%96.9%94.6%
ポルトガル語(ブラジル)97.3%96.0%94.6%
イタリア語97.2%95.6%95.0%
フランス語96.9%96.2%95.3%
インドネシア語96.3%94.0%91.2%
ドイツ語96.2%94.0%92.5%
アラビア語95.4%92.5%84.7%
中国語(簡体字)95.3%92.8%90.9%
韓国語95.2%92.8%89.1%
日本語95.0%92.7%90.8%
ヒンディー語94.2%89.3%80.1%
ベンガル語92.4%85.9%72.9%
スワヒリ語89.2%83.9%64.7%
ヨルバ語76.7%64.9%46.1%

1 拡張思考と16,000のbudget_tokensを使用。

これらの指標は、MMLU(Massive Multitask Language Understanding)の英語テストセットを、プロの翻訳者によって14の追加言語に翻訳したものに基づいています。これはOpenAIのsimple-evalsリポジトリに記載されています。この評価に人間の翻訳者を使用することで、特にデジタルリソースの少ない言語において、高品質な翻訳が保証されています。


ベストプラクティス

多言語コンテンツを扱う際の注意点:

  1. 明確な言語コンテキストを提供する:Claudeは対象言語を自動的に検出できますが、目的の入出力言語を明示的に指定することで信頼性が向上します。流暢さを高めるために、「ネイティブスピーカーのような慣用的な表現を使用する」ようClaudeに指示することができます。
  2. ネイティブの文字体系を使用する:最適な結果を得るために、音訳ではなく、その言語本来の文字体系でテキストを入力してください
  3. 文化的コンテキストを考慮する:効果的なコミュニケーションには、純粋な翻訳を超えて、文化的・地域的な認識が必要です

また、Claudeの性能をさらに向上させるために、一般的なプロンプトエンジニアリングのガイドラインに従うことをお勧めします。


言語サポートに関する考慮事項

  • Claudeは標準的なUnicode文字を使用する世界のほとんどの言語で入出力を処理できます
  • 性能は言語によって異なり、特に広く使用されている言語で高い能力を発揮します
  • デジタルリソースの少ない言語でも、Claudeは意味のある能力を維持しています

Was this page helpful?