Panoramica

Claude dimostra solide capacità multilingue, con prestazioni particolarmente elevate in compiti zero-shot in diverse lingue. Il modello mantiene prestazioni relative costanti sia nelle lingue ampiamente parlate che in quelle con minori risorse, rendendolo una scelta affidabile per applicazioni multilingue.

Si noti che Claude è capace di operare in molte lingue oltre a quelle valutate di seguito. Vi incoraggiamo a testarlo con qualsiasi lingua rilevante per i vostri casi d’uso specifici.

Dati sulle prestazioni

Di seguito sono riportati i punteggi di valutazione zero-shot chain-of-thought per i modelli Claude 3.5 in diverse lingue, mostrati come percentuale relativa alle prestazioni in inglese (100%):

LinguaClaude 3.5 Sonnet (Nuovo)Claude 3.5 Haiku
English (riferimento, fisso al 100%)100%100%
French96.2%95.3%
Spanish96.9%94.6%
Portuguese (Brazil)96.0%94.6%
Italian95.6%95.0%
German94.0%92.5%
Chinese (Simplified)92.8%90.9%
Indonesian94.0%91.2%
Japanese92.7%90.8%
Korean92.8%89.1%
Arabic92.5%84.7%
Hindi89.3%80.1%
Bengali85.9%72.9%
Swahili83.9%64.7%
Yoruba64.9%46.1%
  • La maggior parte delle lingue europee mantiene prestazioni relative superiori al 95% rispetto all’inglese
  • Le lingue dell’Asia orientale (cinese, giapponese, coreano) mostrano una forte coerenza intorno al 92-93% di prestazioni relative

Queste metriche si basano su set di test MMLU (Massive Multitask Language Understanding) in inglese che sono stati tradotti in altre 14 lingue da traduttori professionisti, come documentato nel repository simple-evals di OpenAI. L’utilizzo di traduttori umani per questa valutazione garantisce traduzioni di alta qualità, particolarmente importante per le lingue con minori risorse digitali.


Migliori pratiche

Quando si lavora con contenuti multilingue:

  1. Fornire un chiaro contesto linguistico: Sebbene Claude possa rilevare automaticamente la lingua di destinazione, dichiarare esplicitamente la lingua di input/output desiderata migliora l’affidabilità. Per una maggiore fluidità, puoi suggerire a Claude di utilizzare “un linguaggio idiomatico come se fosse un madrelingua.”
  2. Utilizzare gli script nativi: Inviare il testo nel suo script nativo piuttosto che in traslitterazione per risultati ottimali
  3. Considerare il contesto culturale: Una comunicazione efficace spesso richiede consapevolezza culturale e regionale oltre alla pura traduzione

Suggeriamo inoltre di seguire le nostre linee guida generali per il prompt engineering per migliorare ulteriormente le prestazioni di Claude.


Considerazioni sul supporto linguistico

  • Claude elabora input e genera output nella maggior parte delle lingue mondiali che utilizzano caratteri Unicode standard
  • Le prestazioni variano in base alla lingua, con capacità particolarmente elevate nelle lingue ampiamente parlate
  • Anche nelle lingue con minori risorse digitali, Claude mantiene capacità significative