Limiti di velocità

Abbiamo due tipi di limiti:

1. Limiti di spesa stabiliscono un costo mensile massimo che un’organizzazione può sostenere per l’utilizzo dell’API.
2. Limiti di velocità stabiliscono il numero massimo di richieste API che un’organizzazione può effettuare in un periodo di tempo definito.

Applichiamo limiti configurati dal servizio a livello di organizzazione, ma puoi anche impostare limiti configurabili dall’utente per gli spazi di lavoro della tua organizzazione.

Questi limiti si applicano sia all’utilizzo del Tier Standard che del Priority Tier. Per maggiori informazioni sul Priority Tier, che offre livelli di servizio migliorati in cambio di spesa impegnata, vedi Tier di Servizio.

​

Informazioni sui nostri limiti

• I limiti sono progettati per prevenire l’abuso dell’API, minimizzando l’impatto sui modelli di utilizzo comuni dei clienti.
• I limiti sono definiti per tier di utilizzo, dove ogni tier è associato a un diverso set di limiti di spesa e velocità.
• La tua organizzazione aumenterà automaticamente di tier quando raggiungi certe soglie mentre utilizzi l’API. I limiti sono impostati a livello di organizzazione. Puoi vedere i limiti della tua organizzazione nella pagina Limiti nella Console Anthropic.
• Potresti raggiungere i limiti di velocità in intervalli di tempo più brevi. Ad esempio, una velocità di 60 richieste al minuto (RPM) può essere applicata come 1 richiesta al secondo. Brevi raffiche di richieste ad alto volume possono superare il limite di velocità e risultare in errori di limite di velocità.
• I limiti delineati di seguito sono i nostri limiti tier standard. Se stai cercando limiti più alti e personalizzati o il Priority Tier per livelli di servizio migliorati, contatta le vendite attraverso la Console Anthropic.
• Utilizziamo l’algoritmo token bucket per fare il rate limiting. Questo significa che la tua capacità viene continuamente riempita fino al tuo limite massimo, piuttosto che essere resettata a intervalli fissi.
• Tutti i limiti descritti qui rappresentano l’utilizzo massimo consentito, non minimi garantiti. Questi limiti sono intesi per ridurre la spesa eccessiva involontaria e garantire una distribuzione equa delle risorse tra gli utenti.

​

Limiti di spesa

Ogni tier di utilizzo ha un limite su quanto puoi spendere sull’API ogni mese di calendario. Una volta raggiunto il limite di spesa del tuo tier, fino a quando non ti qualifichi per il tier successivo, dovrai aspettare fino al mese successivo per poter utilizzare nuovamente l’API.

Per qualificarti per il tier successivo, devi soddisfare un requisito di deposito. Per minimizzare il rischio di sovrafinanziare il tuo account, non puoi depositare più del tuo limite di spesa mensile.

​

Requisiti per avanzare di tier

​

Limiti di velocità

I nostri limiti di velocità per l’API Messages sono misurati in richieste al minuto (RPM), token di input al minuto (ITPM) e token di output al minuto (OTPM) per ogni classe di modello. Se superi qualsiasi limite di velocità riceverai un errore 429 che descrive quale limite di velocità è stato superato, insieme a un header retry-after che indica quanto tempo aspettare.

I limiti di velocità ITPM sono stimati all’inizio di ogni richiesta, e la stima viene aggiustata durante la richiesta per riflettere il numero effettivo di token di input utilizzati. L’aggiustamento finale conta input_tokens e cache_creation_input_tokens verso i limiti di velocità ITPM, mentre cache_read_input_tokens non lo sono (anche se vengono comunque fatturati). In alcune istanze, cache_read_input_tokens vengono contati verso i limiti di velocità ITPM.

I limiti di velocità OTPM sono stimati basandosi su max_tokens all’inizio di ogni richiesta, e la stima viene aggiustata alla fine della richiesta per riflettere il numero effettivo di token di output utilizzati. Se stai raggiungendo i limiti OTPM prima del previsto, prova a ridurre max_tokens per approssimare meglio la dimensione dei tuoi completamenti.

I limiti di velocità sono applicati separatamente per ogni modello; quindi puoi utilizzare diversi modelli fino ai loro rispettivi limiti simultaneamente. Puoi controllare i tuoi limiti di velocità attuali e il comportamento nella Console Anthropic.

​

API Message Batches

L’API Message Batches ha il suo proprio set di limiti di velocità che sono condivisi tra tutti i modelli. Questi includono un limite di richieste al minuto (RPM) per tutti gli endpoint API e un limite sul numero di richieste batch che possono essere nella coda di elaborazione allo stesso tempo. Una “richiesta batch” qui si riferisce a parte di un Message Batch. Puoi creare un Message Batch contenente migliaia di richieste batch, ognuna delle quali conta verso questo limite. Una richiesta batch è considerata parte della coda di elaborazione quando deve ancora essere elaborata con successo dal modello.

​

Impostazione di limiti più bassi per gli Spazi di Lavoro

Per proteggere gli Spazi di Lavoro nella tua Organizzazione da potenziale uso eccessivo, puoi impostare limiti di spesa e velocità personalizzati per Spazio di Lavoro.

Esempio: Se il limite della tua Organizzazione è 40,000 token di input al minuto e 8,000 token di output al minuto, potresti limitare uno Spazio di Lavoro a 30,000 token totali al minuto. Questo protegge altri Spazi di Lavoro da potenziale uso eccessivo e garantisce una distribuzione più equa delle risorse nella tua Organizzazione. I token rimanenti non utilizzati al minuto (o di più, se quello Spazio di Lavoro non usa il limite) sono quindi disponibili per altri Spazi di Lavoro da utilizzare.

Nota:

• Non puoi impostare limiti sullo Spazio di Lavoro predefinito.
• Se non impostati, i limiti dello Spazio di Lavoro corrispondono al limite dell’Organizzazione.
• I limiti a livello di Organizzazione si applicano sempre, anche se i limiti degli Spazi di Lavoro sommati superano.
• Il supporto per i limiti di token di input e output sarà aggiunto agli Spazi di Lavoro in futuro.

​

Header di risposta

La risposta API include header che ti mostrano il limite di velocità applicato, l’utilizzo attuale e quando il limite sarà resettato.

Vengono restituiti i seguenti header:

Gli header anthropic-ratelimit-tokens-* mostrano i valori per il limite più restrittivo attualmente in vigore. Ad esempio, se hai superato il limite di token al minuto dello Spazio di Lavoro, gli header conterranno i valori del limite di velocità dei token al minuto dello Spazio di Lavoro. Se i limiti dello Spazio di Lavoro non si applicano, gli header restituiranno i token totali rimanenti, dove totale è la somma dei token di input e output. Questo approccio garantisce che tu abbia visibilità sul vincolo più rilevante sul tuo utilizzo API attuale.