Dukungan multibahasa
Claude unggul dalam tugas-tugas lintas bahasa, mempertahankan performa lintas bahasa yang kuat relatif terhadap bahasa Inggris.
Ikhtisar
Claude menunjukkan kemampuan multibahasa yang kuat, dengan performa yang sangat baik dalam tugas-tugas zero-shot lintas bahasa. Model ini mempertahankan performa relatif yang konsisten di seluruh bahasa yang banyak digunakan maupun bahasa dengan sumber daya lebih terbatas, menjadikannya pilihan yang andal untuk aplikasi multibahasa.
Perlu dicatat bahwa Claude mampu menangani banyak bahasa di luar yang diuji di bawah ini. Kami mendorong pengujian dengan bahasa apa pun yang relevan dengan kasus penggunaan spesifik Anda.
Data performa
Di bawah ini adalah skor evaluasi zero-shot chain-of-thought untuk model Claude 3.5 dalam berbagai bahasa, ditunjukkan sebagai persentase relatif terhadap performa bahasa Inggris (100%):
| Bahasa | Claude 3.5 Sonnet (Baru) | Claude 3.5 Haiku |
|---|---|---|
| English (baseline, tetap 100%) | 100% | 100% |
| French | 96.2% | 95.3% |
| Spanish | 96.9% | 94.6% |
| Portuguese (Brazil) | 96.0% | 94.6% |
| Italian | 95.6% | 95.0% |
| German | 94.0% | 92.5% |
| Chinese (Simplified) | 92.8% | 90.9% |
| Indonesian | 94.0% | 91.2% |
| Japanese | 92.7% | 90.8% |
| Korean | 92.8% | 89.1% |
| Arabic | 92.5% | 84.7% |
| Hindi | 89.3% | 80.1% |
| Bengali | 85.9% | 72.9% |
| Swahili | 83.9% | 64.7% |
| Yoruba | 64.9% | 46.1% |
- Kebanyakan bahasa Eropa mempertahankan performa relatif di atas 95% dibandingkan dengan bahasa Inggris
- Bahasa-bahasa Asia Timur (China, Jepang, Korea) menunjukkan konsistensi yang kuat pada performa relatif sekitar 92-93%
Metrik ini didasarkan pada set tes bahasa Inggris MMLU (Massive Multitask Language Understanding) yang diterjemahkan ke 14 bahasa tambahan oleh penerjemah profesional, sebagaimana didokumentasikan dalam repositori simple-evals OpenAI. Penggunaan penerjemah manusia untuk evaluasi ini memastikan terjemahan berkualitas tinggi, yang sangat penting untuk bahasa-bahasa dengan sumber daya digital yang lebih sedikit.
Praktik terbaik
Saat bekerja dengan konten multibahasa:
- Berikan konteks bahasa yang jelas: Meskipun Claude dapat mendeteksi bahasa target secara otomatis, menyatakan bahasa input/output yang diinginkan secara eksplisit meningkatkan keandalan. Untuk meningkatkan kelancaran, Anda dapat meminta Claude untuk menggunakan “ucapan idiomatik seolah-olah adalah penutur asli.”
- Gunakan aksara asli: Kirimkan teks dalam aksara aslinya daripada transliterasi untuk hasil optimal
- Pertimbangkan konteks budaya: Komunikasi yang efektif sering membutuhkan kesadaran budaya dan regional di luar terjemahan murni
Kami juga menyarankan untuk mengikuti panduan rekayasa prompt umum kami untuk meningkatkan performa Claude.
Pertimbangan dukungan bahasa
- Claude memproses input dan menghasilkan output dalam sebagian besar bahasa dunia yang menggunakan karakter Unicode standar
- Performa bervariasi menurut bahasa, dengan kemampuan yang sangat kuat dalam bahasa-bahasa yang banyak digunakan
- Bahkan dalam bahasa dengan sumber daya digital yang lebih sedikit, Claude mempertahankan kemampuan yang berarti
Was this page helpful?