Visione
La famiglia di modelli Claude 3 è dotata di nuove capacità di visione che permettono a Claude di comprendere e analizzare le immagini, aprendo possibilità entusiasmanti per l’interazione multimodale.
Questa guida descrive come lavorare con le immagini in Claude, incluse le migliori pratiche, esempi di codice e limitazioni da tenere a mente.
Come utilizzare la visione
Usa le capacità di visione di Claude tramite:
- claude.ai. Carica un’immagine come faresti con un file, o trascina e rilascia un’immagine direttamente nella finestra di chat.
- Il Console Workbench. Se selezioni un modello che accetta immagini (solo modelli Claude 3), apparirà un pulsante per aggiungere immagini in alto a destra di ogni blocco di messaggi Utente.
- Richiesta API. Vedi gli esempi in questa guida.
Prima di caricare
Nozioni di base e limiti
Puoi includere più immagini in una singola richiesta (fino a 20 per claude.ai e 100 per le richieste API). Claude analizzerà tutte le immagini fornite quando formulerà la sua risposta. Questo può essere utile per confrontare o mettere a confronto le immagini.
Se invii un’immagine più grande di 8000x8000 px, verrà rifiutata. Se invii più di 20 immagini in una richiesta API, questo limite è di 2000x2000 px.
Valutare la dimensione dell’immagine
Per prestazioni ottimali, consigliamo di ridimensionare le immagini prima del caricamento se sono troppo grandi. Se il lato lungo della tua immagine è più di 1568 pixel, o la tua immagine è più di ~1.600 token, verrà prima ridimensionata, preservando le proporzioni, fino a rientrare nei limiti di dimensione.
Se la tua immagine di input è troppo grande e necessita di essere ridimensionata, aumenterà la latenza del time-to-first-token, senza darti alcuna prestazione aggiuntiva del modello. Immagini molto piccole sotto i 200 pixel su qualsiasi lato potrebbero degradare le prestazioni.
Per migliorare il time-to-first-token, consigliamo di ridimensionare le immagini a non più di 1,15 megapixel (e entro 1568 pixel in entrambe le dimensioni).
Ecco una tabella delle dimensioni massime delle immagini accettate dalla nostra API che non verranno ridimensionate per i rapporti di aspetto comuni. Con il modello Claude 3.7 Sonnet, queste immagini utilizzano circa 1.600 token e circa $4,80/1K immagini.
Rapporto di aspetto | Dimensione immagine |
---|---|
1:1 | 1092x1092 px |
3:4 | 951x1268 px |
2:3 | 896x1344 px |
9:16 | 819x1456 px |
1:2 | 784x1568 px |
Calcolare i costi delle immagini
Ogni immagine che includi in una richiesta a Claude conta verso il tuo utilizzo di token. Per calcolare il costo approssimativo, moltiplica il numero approssimativo di token dell’immagine per il prezzo per token del modello che stai utilizzando.
Se la tua immagine non necessita di essere ridimensionata, puoi stimare il numero di token utilizzati attraverso questo algoritmo: token = (larghezza px * altezza px)/750
Ecco esempi di tokenizzazione approssimativa e costi per diverse dimensioni di immagini entro i vincoli di dimensione della nostra API basati sul prezzo per token di Claude 3.7 Sonnet di $3 per milione di token di input:
Dimensione immagine | # di Token | Costo / immagine | Costo / 1K immagini |
---|---|---|---|
200x200 px(0,04 megapixel) | ~54 | ~$0,00016 | ~$0,16 |
1000x1000 px(1 megapixel) | ~1334 | ~$0,004 | ~$4,00 |
1092x1092 px(1,19 megapixel) | ~1590 | ~$0,0048 | ~$4,80 |
Garantire la qualità dell’immagine
Quando fornisci immagini a Claude, tieni presente quanto segue per ottenere i migliori risultati:
- Formato immagine: Usa un formato immagine supportato: JPEG, PNG, GIF o WebP.
- Chiarezza dell’immagine: Assicurati che le immagini siano chiare e non troppo sfocate o pixelate.
- Testo: Se l’immagine contiene testo importante, assicurati che sia leggibile e non troppo piccolo. Evita di ritagliare il contesto visivo chiave solo per ingrandire il testo.
Esempi di prompt
Molte delle tecniche di prompting che funzionano bene per le interazioni basate su testo con Claude possono essere applicate anche ai prompt basati su immagini.
Questi esempi dimostrano le strutture di prompt delle migliori pratiche che coinvolgono le immagini.
Proprio come con il posizionamento delle query dei documenti, Claude funziona meglio quando le immagini vengono prima del testo. Le immagini posizionate dopo il testo o interpolate con il testo funzioneranno comunque bene, ma se il tuo caso d’uso lo permette, consigliamo una struttura immagine-poi-testo.
Informazioni sugli esempi di prompt
I seguenti esempi dimostrano come utilizzare le capacità di visione di Claude utilizzando vari linguaggi di programmazione e approcci. Puoi fornire immagini a Claude in due modi:
- Come immagine codificata in base64 nei blocchi di contenuto
image
- Come riferimento URL a un’immagine ospitata online
Gli esempi di prompt base64 utilizzano queste variabili:
Di seguito sono riportati esempi di come includere immagini in una richiesta Messages API utilizzando immagini codificate in base64 e riferimenti URL:
Esempio di immagine codificata in base64
Esempio di immagine basata su URL
Vedi Esempi API Messages per ulteriori esempi di codice e dettagli sui parametri.
Limitazioni
Mentre le capacità di comprensione delle immagini di Claude sono all’avanguardia, ci sono alcune limitazioni da tenere presente:
- Identificazione delle persone: Claude non può essere utilizzato per identificare (cioè, nominare) persone nelle immagini e si rifiuterà di farlo.
- Accuratezza: Claude potrebbe allucinare o commettere errori nell’interpretare immagini di bassa qualità, ruotate o molto piccole sotto i 200 pixel.
- Ragionamento spaziale: Le capacità di ragionamento spaziale di Claude sono limitate. Potrebbe avere difficoltà con compiti che richiedono localizzazione precisa o layout, come leggere un quadrante di orologio analogico o descrivere posizioni esatte di pezzi degli scacchi.
- Conteggio: Claude può dare conteggi approssimativi di oggetti in un’immagine ma potrebbe non essere sempre precisamente accurato, specialmente con grandi numeri di oggetti piccoli.
- Immagini generate dall’IA: Claude non sa se un’immagine è generata dall’IA e potrebbe essere scorretto se gli viene chiesto. Non fare affidamento su di esso per rilevare immagini false o sintetiche.
- Contenuti inappropriati: Claude non elaborerà immagini inappropriate o esplicite che violano la nostra Politica di Utilizzo Accettabile.
- Applicazioni sanitarie: Mentre Claude può analizzare immagini mediche generali, non è progettato per interpretare scansioni diagnostiche complesse come TC o RMN. Le uscite di Claude non dovrebbero essere considerate un sostituto del parere medico professionale o della diagnosi.
Rivedi sempre attentamente e verifica le interpretazioni delle immagini di Claude, specialmente per casi d’uso ad alto rischio. Non utilizzare Claude per compiti che richiedono precisione perfetta o analisi di immagini sensibili senza supervisione umana.
FAQ
Approfondisci la visione
Pronto per iniziare a costruire con le immagini usando Claude? Ecco alcune risorse utili:
- Ricettario multimodale: Questo ricettario ha suggerimenti su come iniziare con le immagini e tecniche delle migliori pratiche per garantire le prestazioni di massima qualità con le immagini. Vedi come puoi efficacemente dare prompt a Claude con le immagini per svolgere compiti come interpretare e analizzare grafici o estrarre contenuti da moduli.
- Riferimento API: Visita la nostra documentazione per l’API Messages, inclusi esempi di chiamate API che coinvolgono immagini.
Se hai altre domande, non esitare a contattare il nostro team di supporto. Puoi anche unirti alla nostra community di sviluppatori per connetterti con altri creatori e ottenere aiuto dagli esperti di Anthropic.