Limites de débit

Nous avons deux types de limites :

1. Limites de dépenses qui fixent un coût mensuel maximum qu’une organisation peut encourir pour l’utilisation de l’API.
2. Limites de débit qui fixent le nombre maximum de requêtes API qu’une organisation peut effectuer sur une période définie.

Nous appliquons des limites configurées par le service au niveau de l’organisation, mais vous pouvez également définir des limites configurables par l’utilisateur pour les espaces de travail de votre organisation.

​

À propos de nos limites

• Les limites sont conçues pour prévenir l’abus de l’API, tout en minimisant l’impact sur les modèles d’utilisation courants des clients.
• Les limites sont définies par niveau d’utilisation, où chaque niveau est associé à un ensemble différent de limites de dépenses et de débit.
• Votre organisation augmentera automatiquement de niveau lorsque vous atteindrez certains seuils lors de l’utilisation de l’API. Les limites sont définies au niveau de l’organisation. Vous pouvez voir les limites de votre organisation sur la page des limites dans la Console Anthropic.
• Vous pouvez atteindre les limites de débit sur des intervalles plus courts. Par exemple, un débit de 60 requêtes par minute (RPM) peut être appliqué comme 1 requête par seconde. Des rafales courtes de requêtes à haut volume peuvent dépasser la limite de débit et entraîner des erreurs de limite de débit.
• Les limites décrites ci-dessous sont nos limites standard. Si vous recherchez des limites personnalisées plus élevées, contactez les ventes via la Console Anthropic.
• Nous utilisons l’algorithme du seau à jetons pour effectuer la limitation de débit. Cela signifie que votre capacité est continuellement réapprovisionnée jusqu’à votre limite maximale, plutôt que d’être réinitialisée à intervalles fixes.
• Toutes les limites décrites ici représentent l’utilisation maximale autorisée, et non des minimums garantis. Ces limites sont conçues pour prévenir la surutilisation et assurer une distribution équitable des ressources entre les utilisateurs.

​

Limites de dépenses

Chaque niveau d’utilisation a une limite sur le montant que vous pouvez dépenser sur l’API chaque mois calendaire. Une fois que vous atteignez la limite de dépenses de votre niveau, jusqu’à ce que vous vous qualifiez pour le niveau suivant, vous devrez attendre le mois suivant pour pouvoir utiliser l’API à nouveau.

Pour vous qualifier pour le niveau suivant, vous devez satisfaire une exigence de dépôt et une période d’attente obligatoire. Les niveaux supérieurs nécessitent des périodes d’attente plus longues. Notez que pour minimiser le risque de surfinancement de votre compte, vous ne pouvez pas déposer plus que votre limite de dépenses mensuelle.

​

Exigences pour avancer de niveau

​

Limites de débit

Nos limites de débit pour l’API Messages sont mesurées en requêtes par minute (RPM), jetons d’entrée par minute (ITPM), et jetons de sortie par minute (OTPM) pour chaque classe de modèle. Si vous dépassez l’une des limites de débit, vous obtiendrez une erreur 429 décrivant quelle limite de débit a été dépassée, avec un en-tête retry-after indiquant combien de temps attendre.

Les limites ITPM sont estimées au début de chaque requête, et l’estimation est ajustée pendant la requête pour refléter le nombre réel de jetons d’entrée utilisés. L’ajustement final compte input_tokens et cache_creation_input_tokens vers les limites de débit ITPM, tandis que cache_read_input_tokens ne le sont pas (bien qu’ils soient toujours facturés). Dans certains cas, cache_read_input_tokens sont comptés vers les limites de débit ITPM.

Les limites OTPM sont estimées sur la base de max_tokens au début de chaque requête, et l’estimation est ajustée à la fin de la requête pour refléter le nombre réel de jetons de sortie utilisés. Si vous atteignez les limites OTPM plus tôt que prévu, essayez de réduire max_tokens pour mieux approximer la taille de vos complétions.

Les limites de débit sont appliquées séparément pour chaque modèle ; vous pouvez donc utiliser différents modèles jusqu’à leurs limites respectives simultanément. Vous pouvez vérifier vos limites de débit actuelles et leur comportement dans la Console Anthropic.

• Niveau 1
• Niveau 2
• Niveau 3
• Niveau 4
• Personnalisé

​

API de lots de messages

L’API de lots de messages a son propre ensemble de limites de débit qui sont partagées entre tous les modèles. Celles-ci incluent une limite de requêtes par minute (RPM) pour tous les points de terminaison de l’API et une limite sur le nombre de requêtes par lot qui peuvent être dans la file d’attente de traitement en même temps. Une “requête par lot” fait ici référence à une partie d’un lot de messages. Vous pouvez créer un lot de messages contenant des milliers de requêtes par lot, chacune comptant vers cette limite. Une requête par lot est considérée comme faisant partie de la file d’attente de traitement lorsqu’elle n’a pas encore été traitée avec succès par le modèle.

• Niveau 1
• Niveau 2
• Niveau 3
• Niveau 4
• Personnalisé

​

Définition de limites inférieures pour les espaces de travail

Afin de protéger les espaces de travail de votre organisation contre une surutilisation potentielle, vous pouvez définir des limites de dépenses et de débit personnalisées par espace de travail.

Exemple : Si la limite de votre organisation est de 40 000 jetons d’entrée par minute et 8 000 jetons de sortie par minute, vous pourriez limiter un espace de travail à 30 000 jetons totaux par minute. Cela protège les autres espaces de travail d’une surutilisation potentielle et assure une distribution plus équitable des ressources dans votre organisation. Les jetons par minute restants non utilisés (ou plus, si cet espace de travail n’utilise pas la limite) sont alors disponibles pour les autres espaces de travail.

Note :

• Vous ne pouvez pas définir de limites sur l’espace de travail par défaut.
• Si elles ne sont pas définies, les limites des espaces de travail correspondent à la limite de l’organisation.
• Les limites à l’échelle de l’organisation s’appliquent toujours, même si les limites des espaces de travail s’additionnent à plus.
• La prise en charge des limites de jetons d’entrée et de sortie sera ajoutée aux espaces de travail à l’avenir.

​

En-têtes de réponse

La réponse de l’API inclut des en-têtes qui vous montrent la limite de débit appliquée, l’utilisation actuelle et quand la limite sera réinitialisée.

Les en-têtes suivants sont renvoyés :

Les en-têtes anthropic-ratelimit-tokens-* affichent les valeurs pour la limite la plus restrictive actuellement en vigueur. Par exemple, si vous avez dépassé la limite de jetons par minute de l’espace de travail, les en-têtes contiendront les valeurs de limite de débit de jetons par minute de l’espace de travail. Si les limites d’espace de travail ne s’appliquent pas, les en-têtes renverront le total des jetons restants, où le total est la somme des jetons d’entrée et de sortie. Cette approche garantit que vous avez une visibilité sur la contrainte la plus pertinente sur votre utilisation actuelle de l’API.