Limiti di utilizzo

Abbiamo due tipi di limiti:

1. Limiti di spesa stabiliscono un costo mensile massimo che un’organizzazione può sostenere per l’utilizzo dell’API.
2. Limiti di frequenza stabiliscono il numero massimo di richieste API che un’organizzazione può effettuare in un determinato periodo di tempo.

Applichiamo limiti configurati dal servizio a livello di organizzazione, ma puoi anche impostare limiti configurabili dall’utente per gli spazi di lavoro della tua organizzazione.

Questi limiti si applicano sia all’utilizzo Standard che al Tier Prioritario. Per maggiori informazioni sul Tier Prioritario, che offre livelli di servizio migliorati in cambio di una spesa garantita, consulta Livelli di Servizio.

​

Informazioni sui nostri limiti

• I limiti sono progettati per prevenire l’abuso dell’API, minimizzando al contempo l’impatto sui modelli di utilizzo comuni dei clienti.
• I limiti sono definiti per livello di utilizzo, dove ogni livello è associato a un diverso insieme di limiti di spesa e di frequenza.
• La tua organizzazione aumenterà automaticamente di livello man mano che raggiungi determinate soglie durante l’utilizzo dell’API. I limiti sono impostati a livello di organizzazione. Puoi vedere i limiti della tua organizzazione nella pagina Limiti nella Console Anthropic.
• Potresti raggiungere i limiti di frequenza su intervalli di tempo più brevi. Ad esempio, una frequenza di 60 richieste al minuto (RPM) potrebbe essere applicata come 1 richiesta al secondo. Brevi raffiche di richieste ad alto volume possono superare il limite di frequenza e causare errori di limite di frequenza.
• I limiti descritti di seguito sono i nostri limiti standard per livello. Se stai cercando limiti personalizzati più elevati o il Tier Prioritario per livelli di servizio migliorati, contatta il reparto vendite tramite la Console Anthropic.
• Utilizziamo l’algoritmo token bucket per limitare la frequenza. Ciò significa che la tua capacità viene continuamente reintegrata fino al limite massimo, piuttosto che essere reimpostata a intervalli fissi.
• Tutti i limiti descritti qui rappresentano l’utilizzo massimo consentito, non minimi garantiti. Questi limiti sono destinati a ridurre la spesa eccessiva involontaria e garantire un’equa distribuzione delle risorse tra gli utenti.

​

Limiti di spesa

Ogni livello di utilizzo ha un limite su quanto puoi spendere sull’API ogni mese solare. Una volta raggiunto il limite di spesa del tuo livello, fino a quando non ti qualifichi per il livello successivo, dovrai attendere fino al mese successivo per poter utilizzare nuovamente l’API.

Per qualificarti per il livello successivo, devi soddisfare un requisito di deposito. Per minimizzare il rischio di finanziare eccessivamente il tuo account, non puoi depositare più del tuo limite di spesa mensile.

​

Requisiti per avanzare di livello

​

Limiti di frequenza

I nostri limiti di frequenza per l’API Messages sono misurati in richieste al minuto (RPM), token di input al minuto (ITPM) e token di output al minuto (OTPM) per ogni classe di modello. Se superi uno qualsiasi dei limiti di frequenza, riceverai un errore 429 che descrive quale limite di frequenza è stato superato, insieme a un’intestazione retry-after che indica quanto tempo attendere.

I limiti di frequenza ITPM vengono stimati all’inizio di ogni richiesta, e la stima viene adeguata durante la richiesta per riflettere il numero effettivo di token di input utilizzati. La regolazione finale conta input_tokens e cache_creation_input_tokens verso i limiti di frequenza ITPM, mentre cache_read_input_tokens non vengono conteggiati (anche se vengono comunque fatturati). In alcuni casi, cache_read_input_tokens vengono conteggiati verso i limiti di frequenza ITPM.

I limiti di frequenza OTPM vengono stimati in base a max_tokens all’inizio di ogni richiesta, e la stima viene adeguata alla fine della richiesta per riflettere il numero effettivo di token di output utilizzati. Se raggiungi i limiti OTPM prima del previsto, prova a ridurre max_tokens per approssimare meglio la dimensione dei tuoi completamenti.

I limiti di frequenza vengono applicati separatamente per ogni modello; pertanto puoi utilizzare diversi modelli fino ai rispettivi limiti contemporaneamente. Puoi controllare i tuoi attuali limiti di frequenza e comportamento nella Console Anthropic.

​

API Message Batches

L’API Message Batches ha il proprio set di limiti di frequenza che sono condivisi tra tutti i modelli. Questi includono un limite di richieste al minuto (RPM) per tutti gli endpoint API e un limite sul numero di richieste batch che possono essere nella coda di elaborazione contemporaneamente. Una “richiesta batch” qui si riferisce a parte di un Message Batch. Puoi creare un Message Batch contenente migliaia di richieste batch, ognuna delle quali conta verso questo limite. Una richiesta batch è considerata parte della coda di elaborazione quando deve ancora essere elaborata con successo dal modello.

​

Impostazione di limiti inferiori per gli Spazi di lavoro

Per proteggere gli Spazi di lavoro nella tua Organizzazione da potenziali utilizzi eccessivi, puoi impostare limiti di spesa e di frequenza personalizzati per Spazio di lavoro.

Esempio: Se il limite della tua Organizzazione è di 40.000 token di input al minuto e 8.000 token di output al minuto, potresti limitare uno Spazio di lavoro a 30.000 token totali al minuto. Questo protegge altri Spazi di lavoro da potenziali utilizzi eccessivi e garantisce una distribuzione più equa delle risorse nella tua Organizzazione. I token al minuto rimanenti non utilizzati (o di più, se quello Spazio di lavoro non utilizza il limite) sono quindi disponibili per l’utilizzo da parte di altri Spazi di lavoro.

Nota:

• Non puoi impostare limiti sullo Spazio di lavoro predefinito.
• Se non impostati, i limiti dello Spazio di lavoro corrispondono al limite dell’Organizzazione.
• I limiti a livello di Organizzazione si applicano sempre, anche se i limiti dello Spazio di lavoro sommati superano tale valore.
• Il supporto per i limiti di token di input e output verrà aggiunto agli Spazi di lavoro in futuro.

​

Intestazioni di risposta

La risposta API include intestazioni che mostrano il limite di frequenza applicato, l’utilizzo corrente e quando il limite verrà reimpostato.

Vengono restituite le seguenti intestazioni:

Le intestazioni anthropic-ratelimit-tokens-* mostrano i valori per il limite più restrittivo attualmente in vigore. Ad esempio, se hai superato il limite di token al minuto dello Spazio di lavoro, le intestazioni conterranno i valori del limite di frequenza dei token al minuto dello Spazio di lavoro. Se i limiti dello Spazio di lavoro non si applicano, le intestazioni restituiranno il totale dei token rimanenti, dove il totale è la somma dei token di input e output. Questo approccio garantisce che tu abbia visibilità sul vincolo più rilevante per il tuo attuale utilizzo dell’API.