Ikhtisar

Claude menunjukkan kemampuan multibahasa yang kuat, dengan performa yang sangat baik dalam tugas-tugas zero-shot di berbagai bahasa. Model ini mempertahankan performa relatif yang konsisten di seluruh bahasa yang banyak digunakan maupun bahasa dengan sumber daya lebih terbatas, menjadikannya pilihan yang andal untuk aplikasi multibahasa.

Perlu dicatat bahwa Claude mampu menggunakan banyak bahasa di luar yang diuji di bawah ini. Kami mendorong pengujian dengan bahasa apa pun yang relevan dengan kasus penggunaan spesifik Anda.

Data performa

Berikut adalah skor evaluasi zero-shot chain-of-thought untuk Claude 4, Claude 3.7 Sonnet dan model Claude 3.5 di berbagai bahasa, ditunjukkan sebagai persentase relatif terhadap performa bahasa Inggris (100%):

BahasaClaude Opus 41Claude Sonnet 41Claude Sonnet 3.71Claude Sonnet 3.5 v2Claude Haiku 3.5
Inggris (baseline, tetap 100%)100%100%100%100%100%
Spanyol98.0%97.5%97.6%96.9%94.6%
Portugis (Brasil)97.3%97.2%97.3%96.0%94.6%
Italia97.5%97.3%97.2%95.6%95.0%
Prancis97.7%97.1%96.9%96.2%95.3%
Indonesia97.2%96.2%96.3%94.0%91.2%
Jerman97.1%94.7%96.2%94.0%92.5%
Arab96.9%96.1%95.4%92.5%84.7%
Mandarin (Sederhana)96.7%95.9%95.3%92.8%90.9%
Korea96.4%95.9%95.2%92.8%89.1%
Jepang96.2%95.6%95.0%92.7%90.8%
Hindi96.7%95.8%94.2%89.3%80.1%
Bengali95.2%94.4%92.4%85.9%72.9%
Swahili89.5%87.1%89.2%83.9%64.7%
Yoruba78.9%76.4%76.7%64.9%46.1%

1 Dengan pemikiran diperpanjang.

Metrik ini didasarkan pada set tes MMLU (Massive Multitask Language Understanding) bahasa Inggris yang diterjemahkan ke 14 bahasa tambahan oleh penerjemah profesional, sebagaimana didokumentasikan dalam repositori simple-evals OpenAI. Penggunaan penerjemah manusia untuk evaluasi ini memastikan terjemahan berkualitas tinggi, yang sangat penting untuk bahasa dengan sumber daya digital yang lebih sedikit.


Praktik terbaik

Saat bekerja dengan konten multibahasa:

  1. Berikan konteks bahasa yang jelas: Meskipun Claude dapat mendeteksi bahasa target secara otomatis, menyatakan secara eksplisit bahasa input/output yang diinginkan meningkatkan keandalan. Untuk kelancaran yang lebih baik, Anda dapat meminta Claude untuk menggunakan “ucapan idiomatis seolah-olah itu adalah penutur asli.”
  2. Gunakan skrip asli: Kirimkan teks dalam skrip aslinya daripada transliterasi untuk hasil optimal
  3. Pertimbangkan konteks budaya: Komunikasi yang efektif sering membutuhkan kesadaran budaya dan regional di luar terjemahan murni

Kami juga menyarankan untuk mengikuti pedoman rekayasa prompt umum kami untuk lebih meningkatkan performa Claude.


Pertimbangan dukungan bahasa

  • Claude memproses input dan menghasilkan output dalam sebagian besar bahasa dunia yang menggunakan karakter Unicode standar
  • Performa bervariasi menurut bahasa, dengan kemampuan yang sangat kuat dalam bahasa yang banyak digunakan
  • Bahkan dalam bahasa dengan sumber daya digital yang lebih sedikit, Claude mempertahankan kemampuan yang bermakna