Überblick

Claude demonstriert robuste mehrsprachige Fähigkeiten mit besonders starker Leistung bei Zero-Shot-Aufgaben in verschiedenen Sprachen. Das Modell behält eine konsistente relative Leistung sowohl bei weit verbreiteten als auch bei ressourcenärmeren Sprachen bei, was es zu einer zuverlässigen Wahl für mehrsprachige Anwendungen macht.

Beachten Sie, dass Claude in vielen Sprachen über die unten getesteten hinaus kompetent ist. Wir empfehlen Tests mit allen Sprachen, die für Ihre spezifischen Anwendungsfälle relevant sind.

Leistungsdaten

Nachfolgend sind die Zero-Shot-Chain-of-Thought-Bewertungsergebnisse für Claude 4, Claude 3.7 Sonnet und Claude 3.5 Modelle in verschiedenen Sprachen dargestellt, angegeben als Prozentsatz relativ zur englischen Leistung (100%):

SpracheClaude Opus 41Claude Sonnet 41Claude Sonnet 3.71Claude Sonnet 3.5 v2Claude Haiku 3.5
Englisch (Baseline, festgelegt auf 100%)100%100%100%100%100%
Spanisch98,0%97,5%97,6%96,9%94,6%
Portugiesisch (Brasilien)97,3%97,2%97,3%96,0%94,6%
Italienisch97,5%97,3%97,2%95,6%95,0%
Französisch97,7%97,1%96,9%96,2%95,3%
Indonesisch97,2%96,2%96,3%94,0%91,2%
Deutsch97,1%94,7%96,2%94,0%92,5%
Arabisch96,9%96,1%95,4%92,5%84,7%
Chinesisch (Vereinfacht)96,7%95,9%95,3%92,8%90,9%
Koreanisch96,4%95,9%95,2%92,8%89,1%
Japanisch96,2%95,6%95,0%92,7%90,8%
Hindi96,7%95,8%94,2%89,3%80,1%
Bengalisch95,2%94,4%92,4%85,9%72,9%
Suaheli89,5%87,1%89,2%83,9%64,7%
Yoruba78,9%76,4%76,7%64,9%46,1%

1 Mit erweitertem Denken.

Diese Metriken basieren auf MMLU (Massive Multitask Language Understanding) englischen Testsätzen, die von professionellen menschlichen Übersetzern in 14 weitere Sprachen übersetzt wurden, wie im OpenAI simple-evals Repository dokumentiert. Die Verwendung menschlicher Übersetzer für diese Bewertung gewährleistet hochwertige Übersetzungen, was besonders wichtig für Sprachen mit weniger digitalen Ressourcen ist.


Best Practices

Bei der Arbeit mit mehrsprachigen Inhalten:

  1. Klaren Sprachkontext bereitstellen: Obwohl Claude die Zielsprache automatisch erkennen kann, verbessert die explizite Angabe der gewünschten Eingabe-/Ausgabesprache die Zuverlässigkeit. Für eine verbesserte Sprachgewandtheit können Sie Claude auffordern, “idiomatische Sprache wie ein Muttersprachler” zu verwenden.
  2. Native Schriften verwenden: Reichen Sie Text in seiner nativen Schrift anstatt in Transliteration ein, um optimale Ergebnisse zu erzielen
  3. Kulturellen Kontext berücksichtigen: Effektive Kommunikation erfordert oft kulturelles und regionales Bewusstsein über die reine Übersetzung hinaus

Wir empfehlen außerdem, unsere allgemeinen Richtlinien zum Prompt Engineering zu befolgen, um Claudes Leistung weiter zu verbessern.


Überlegungen zur Sprachunterstützung

  • Claude verarbeitet Eingaben und generiert Ausgaben in den meisten Weltsprachen, die standardmäßige Unicode-Zeichen verwenden
  • Die Leistung variiert je nach Sprache, mit besonders starken Fähigkeiten in weit verbreiteten Sprachen
  • Selbst in Sprachen mit weniger digitalen Ressourcen behält Claude bedeutsame Fähigkeiten bei