Visione
Le famiglie di modelli Claude 3 e 4 sono dotate di nuove capacità di visione che permettono a Claude di comprendere e analizzare immagini, aprendo possibilità entusiasmanti per l’interazione multimodale.
Questa guida descrive come lavorare con le immagini in Claude, incluse le migliori pratiche, esempi di codice e limitazioni da tenere a mente.
Come utilizzare la visione
Utilizza le capacità di visione di Claude tramite:
- claude.ai. Carica un’immagine come faresti con un file, o trascina e rilascia un’immagine direttamente nella finestra di chat.
- Il Console Workbench. Se selezioni un modello che accetta immagini (solo modelli Claude 3 e 4), appare un pulsante per aggiungere immagini in alto a destra di ogni blocco messaggio Utente.
- Richiesta API. Vedi gli esempi in questa guida.
Prima di caricare
Nozioni di base e limiti
Puoi includere più immagini in una singola richiesta (fino a 20 per claude.ai e 100 per le richieste API). Claude analizzerà tutte le immagini fornite quando formula la sua risposta. Questo può essere utile per confrontare o contrastare immagini.
Se invii un’immagine più grande di 8000x8000 px, verrà rifiutata. Se invii più di 20 immagini in una richiesta API, questo limite è 2000x2000 px.
Mentre l’API supporta 100 immagini per richiesta, c’è un limite di dimensione della richiesta di 32MB per gli endpoint standard.
Valutare la dimensione dell’immagine
Per prestazioni ottimali, raccomandiamo di ridimensionare le immagini prima del caricamento se sono troppo grandi. Se il lato lungo della tua immagine è più di 1568 pixel, o la tua immagine è più di ~1,600 token, verrà prima ridimensionata, preservando il rapporto d’aspetto, finché non rientra nei limiti di dimensione.
Se la tua immagine di input è troppo grande e deve essere ridimensionata, aumenterà la latenza del time-to-first-token, senza darti alcuna prestazione aggiuntiva del modello. Immagini molto piccole sotto i 200 pixel su qualsiasi lato possono degradare le prestazioni.
Per migliorare il time-to-first-token, raccomandiamo di ridimensionare le immagini a non più di 1,15 megapixel (e entro 1568 pixel in entrambe le dimensioni).
Ecco una tabella delle dimensioni massime delle immagini accettate dalla nostra API che non verranno ridimensionate per rapporti d’aspetto comuni. Con il modello Claude Sonnet 3.7, queste immagini utilizzano circa 1,600 token e circa $4,80/1K immagini.
Rapporto d’aspetto | Dimensione immagine |
---|---|
1:1 | 1092x1092 px |
3:4 | 951x1268 px |
2:3 | 896x1344 px |
9:16 | 819x1456 px |
1:2 | 784x1568 px |
Calcolare i costi delle immagini
Ogni immagine che includi in una richiesta a Claude conta verso il tuo utilizzo di token. Per calcolare il costo approssimativo, moltiplica il numero approssimativo di token dell’immagine per il prezzo per token del modello che stai utilizzando.
Se la tua immagine non ha bisogno di essere ridimensionata, puoi stimare il numero di token utilizzati attraverso questo algoritmo: token = (larghezza px * altezza px)/750
Ecco esempi di tokenizzazione approssimativa e costi per diverse dimensioni di immagini entro i vincoli di dimensione della nostra API basati sul prezzo per token di Claude Sonnet 3.7 di $3 per milione di token di input:
Dimensione immagine | # di Token | Costo / immagine | Costo / 1K immagini |
---|---|---|---|
200x200 px(0,04 megapixel) | ~54 | ~$0,00016 | ~$0,16 |
1000x1000 px(1 megapixel) | ~1334 | ~$0,004 | ~$4,00 |
1092x1092 px(1,19 megapixel) | ~1590 | ~$0,0048 | ~$4,80 |
Garantire la qualità dell’immagine
Quando fornisci immagini a Claude, tieni presente quanto segue per i migliori risultati:
- Formato immagine: Usa un formato immagine supportato: JPEG, PNG, GIF o WebP.
- Chiarezza dell’immagine: Assicurati che le immagini siano chiare e non troppo sfocate o pixelate.
- Testo: Se l’immagine contiene testo importante, assicurati che sia leggibile e non troppo piccolo. Evita di ritagliare il contesto visuale chiave solo per ingrandire il testo.
Esempi di prompt
Molte delle tecniche di prompting che funzionano bene per le interazioni basate su testo con Claude possono essere applicate anche ai prompt basati su immagini.
Questi esempi dimostrano le strutture di prompt delle migliori pratiche che coinvolgono immagini.
Proprio come con il posizionamento documento-query, Claude funziona meglio quando le immagini vengono prima del testo. Le immagini posizionate dopo il testo o interpolate con il testo funzioneranno comunque bene, ma se il tuo caso d’uso lo permette, raccomandiamo una struttura immagine-poi-testo.
Informazioni sugli esempi di prompt
I seguenti esempi dimostrano come utilizzare le capacità di visione di Claude usando vari linguaggi di programmazione e approcci. Puoi fornire immagini a Claude in tre modi:
- Come immagine codificata in base64 nei blocchi di contenuto
image
- Come riferimento URL a un’immagine ospitata online
- Utilizzando l’API Files (carica una volta, usa più volte)
Gli esempi di prompt base64 utilizzano queste variabili:
Di seguito sono riportati esempi di come includere immagini in una richiesta Messages API utilizzando immagini codificate in base64 e riferimenti URL:
Esempio di immagine codificata in base64
Esempio di immagine basata su URL
Esempio di immagine API Files
Per immagini che userai ripetutamente o quando vuoi evitare il sovraccarico di codifica, usa l’API Files:
Vedi esempi API Messages per più codice di esempio e dettagli sui parametri.
Limitazioni
Mentre le capacità di comprensione delle immagini di Claude sono all’avanguardia, ci sono alcune limitazioni di cui essere consapevoli:
- Identificazione di persone: Claude non può essere utilizzato per identificare (cioè, nominare) persone nelle immagini e si rifiuterà di farlo.
- Accuratezza: Claude può allucinare o commettere errori quando interpreta immagini di bassa qualità, ruotate, o molto piccole sotto i 200 pixel.
- Ragionamento spaziale: Le capacità di ragionamento spaziale di Claude sono limitate. Può avere difficoltà con compiti che richiedono localizzazione precisa o layout, come leggere il quadrante di un orologio analogico o descrivere posizioni esatte dei pezzi degli scacchi.
- Conteggio: Claude può dare conteggi approssimativi di oggetti in un’immagine ma potrebbe non essere sempre precisamente accurato, specialmente con grandi numeri di oggetti piccoli.
- Immagini generate da AI: Claude non sa se un’immagine è generata da AI e potrebbe essere scorretto se richiesto. Non fare affidamento su di esso per rilevare immagini false o sintetiche.
- Contenuto inappropriato: Claude non processerà immagini inappropriate o esplicite che violano la nostra Politica di Uso Accettabile.
- Applicazioni sanitarie: Mentre Claude può analizzare immagini mediche generali, non è progettato per interpretare scansioni diagnostiche complesse come TC o risonanze magnetiche. Gli output di Claude non dovrebbero essere considerati un sostituto per consigli medici professionali o diagnosi.
Rivedi sempre attentamente e verifica le interpretazioni delle immagini di Claude, specialmente per casi d’uso ad alto rischio. Non utilizzare Claude per compiti che richiedono precisione perfetta o analisi sensibili delle immagini senza supervisione umana.
FAQ
Approfondire la visione
Pronto per iniziare a costruire con le immagini usando Claude? Ecco alcune risorse utili:
- Cookbook multimodale: Questo cookbook ha consigli su come iniziare con le immagini e tecniche delle migliori pratiche per garantire le prestazioni di qualità più alta con le immagini. Vedi come puoi effettivamente fare prompt a Claude con immagini per svolgere compiti come interpretare e analizzare grafici o estrarre contenuto da moduli.
- Riferimento API: Visita la nostra documentazione per l’API Messages, inclusi esempi di chiamate API che coinvolgono immagini.
Se hai altre domande, sentiti libero di contattare il nostro team di supporto. Puoi anche unirti alla nostra comunità di sviluppatori per connetterti con altri creatori e ottenere aiuto dagli esperti di Anthropic.