Conteggio dei token (beta)
Il conteggio dei token è in beta
Per accedere a questa funzionalità, includi l’header anthropic-beta: token-counting-2024-11-01 nelle tue richieste API, oppure usa client.beta.messages.count_tokens nelle tue chiamate SDK.
Continueremo a iterare su questa beta aperta nelle prossime settimane, quindi apprezziamo il tuo feedback. Condividi le tue idee e suggerimenti usando questo modulo.
Il conteggio dei token ti permette di determinare il numero di token in un messaggio prima di inviarlo a Claude, aiutandoti a prendere decisioni informate sui tuoi prompt e sull’utilizzo. Con il conteggio dei token, puoi:
- Gestire proattivamente i limiti di velocità e i costi
- Prendere decisioni intelligenti sul routing dei modelli
- Ottimizzare i prompt per una lunghezza specifica
Come contare i token dei messaggi
L’endpoint di conteggio dei token accetta la stessa lista strutturata di input per creare un messaggio, incluso il supporto per i prompt di sistema, strumenti, immagini e PDF. La risposta contiene il numero totale di token di input.
Il conteggio dei token deve essere considerato una stima. In alcuni casi, il numero effettivo di token di input utilizzati durante la creazione di un messaggio potrebbe differire di una piccola quantità.
Modelli supportati
L’endpoint di conteggio dei token supporta i seguenti modelli:
- Claude 3.5 Sonnet
- Claude 3.5 Haiku
- Claude 3 Haiku
- Claude 3 Opus
Conteggio dei token nei messaggi base
{ "input_tokens": 14 }
Conteggio dei token nei messaggi con strumenti
{ "input_tokens": 403 }
Conteggio dei token nei messaggi con immagini
{ "input_tokens": 1551 }
Conteggio dei token nei messaggi con PDF
{ "input_tokens": 2188 }
L’API di Conteggio dei Token supporta i PDF con le stesse limitazioni dell’API dei Messaggi.
Prezzi e limiti di velocità
Il conteggio dei token è gratuito da utilizzare ma soggetto a limiti di richieste al minuto basati sul tuo livello di utilizzo. Se hai bisogno di limiti più alti, contatta il reparto vendite attraverso la Console Anthropic.
| Livello di utilizzo | Richieste al minuto (RPM) |
|---|---|
| 1 | 100 |
| 2 | 2.000 |
| 3 | 4.000 |
| 4 | 8.000 |
Il conteggio dei token e la creazione dei messaggi hanno limiti di velocità separati e indipendenti — l’utilizzo di uno non conta rispetto ai limiti dell’altro.