Limites de débit

Nous avons deux types de limites :

1. Les limites de dépenses fixent un coût mensuel maximum qu’une organisation peut encourir pour l’utilisation de l’API.
2. Les limites de débit définissent le nombre maximum de requêtes API qu’une organisation peut effectuer sur une période définie.

Nous appliquons des limites configurées par le service au niveau de l’organisation, mais vous pouvez également définir des limites configurables par l’utilisateur pour les espaces de travail de votre organisation.

​

À propos de nos limites

• Les limites sont conçues pour prévenir l’abus de l’API, tout en minimisant l’impact sur les modèles d’utilisation courants des clients.
• Les limites sont définies par niveau d’utilisation, où chaque niveau est associé à un ensemble différent de limites de dépenses et de débit.
• Votre organisation augmentera automatiquement de niveau lorsque vous atteindrez certains seuils lors de l’utilisation de l’API.
• Les limites sont définies au niveau de l’organisation. Vous pouvez voir les limites de votre organisation sur la page des limites dans la Console Anthropic.
• Vous pouvez atteindre les limites de débit sur des intervalles plus courts. Par exemple, un débit de 60 requêtes par minute (RPM) peut être appliqué comme 1 requête par seconde. Des rafales courtes de requêtes à haut volume peuvent dépasser la limite de débit et entraîner des erreurs de limite de débit.
• Les limites décrites ci-dessous sont nos limites standard. Si vous recherchez des limites personnalisées plus élevées, contactez les ventes via la Console Anthropic.
• Nous utilisons l’algorithme du seau à jetons pour la limitation du débit. Cela signifie que votre capacité est continuellement réapprovisionnée jusqu’à votre limite maximale, plutôt que d’être réinitialisée à intervalles fixes.
• Toutes les limites décrites ici représentent l’utilisation maximale autorisée, et non des minimums garantis. Ces limites sont conçues pour prévenir la surutilisation et assurer une distribution équitable des ressources entre les utilisateurs.

​

Limites de dépenses

Chaque niveau d’utilisation a une limite sur le montant que vous pouvez dépenser sur l’API chaque mois calendaire. Une fois que vous atteignez la limite de dépenses de votre niveau, jusqu’à ce que vous vous qualifiiez pour le niveau suivant, vous devrez attendre le mois suivant pour pouvoir utiliser l’API à nouveau.

Pour vous qualifier pour le niveau suivant, vous devez satisfaire une exigence de dépôt et une période d’attente obligatoire. Les niveaux supérieurs nécessitent des périodes d’attente plus longues. Notez que pour minimiser le risque de surfinancement de votre compte, vous ne pouvez pas déposer plus que votre limite de dépenses mensuelle.

​

Exigences pour avancer de niveau

​

Limites de débit mises à jour

Nos limites de débit pour l’API Messages sont mesurées en requêtes par minute (RPM), jetons d’entrée par minute (ITPM), et jetons de sortie par minute (OTPM) pour chaque classe de modèle. Si vous dépassez l’une des limites de débit, vous obtiendrez une erreur 429.

Les limites de débit ITPM sont estimées en fonction de la longueur de l’invite au début de chaque requête, et l’estimation est ajustée à la fin de la requête pour refléter le nombre réel de jetons d’entrée utilisés. À partir du début de 2025, nous déployons progressivement un changement où seuls les input_tokens et cache_creation_input_tokens comptent pour les limites de débit ITPM, tandis que les cache_read_input_tokens ne comptent pas (bien qu’ils soient toujours facturés). Veuillez vérifier vos limites de débit actuelles et leur comportement dans la Console Anthropic.

Les limites de débit OTPM sont estimées en fonction de max_tokens au début de chaque requête, et l’estimation est ajustée à la fin de la requête pour refléter le nombre réel de jetons de sortie utilisés. Si vous atteignez les limites OTPM plus tôt que prévu, essayez de réduire max_tokens pour mieux approximer la taille de vos complétions.

Cliquez sur un niveau de limite de débit dans le tableau pour voir les limites pertinentes. Les limites de débit sont suivies par modèle ; par conséquent, les modèles du même niveau ne partagent pas une limite de débit.

[Les tableaux restent identiques car ils contiennent principalement des valeurs numériques et des noms de modèles qui ne doivent pas être traduits]

​

API de lots de messages

L’API de lots de messages a son propre ensemble de limites de débit qui sont partagées entre tous les modèles. Celles-ci incluent une limite de requêtes par minute (RPM) pour tous les points de terminaison de l’API et une limite sur le nombre de requêtes par lot qui peuvent être dans la file d’attente de traitement en même temps. Une “requête par lot” fait ici référence à une partie d’un lot de messages. Vous pouvez créer un lot de messages contenant des milliers de requêtes par lot, chacune comptant pour cette limite. Une requête par lot est considérée comme faisant partie de la file d’attente de traitement lorsqu’elle n’a pas encore été traitée avec succès par le modèle.

[Les tableaux de limites restent identiques]

​

Définition de limites inférieures pour les espaces de travail

Afin de protéger les espaces de travail de votre organisation contre une surutilisation potentielle, vous pouvez définir des limites de dépenses et de débit personnalisées par espace de travail.

Exemple : Si la limite de votre organisation est de 48 000 jetons par minute (40 000 jetons d’entrée et 8 000 jetons de sortie), vous pourriez limiter un espace de travail à 30 000 jetons totaux par minute. Cela protège les autres espaces de travail d’une surutilisation potentielle et assure une distribution plus équitable des ressources dans votre organisation. Les jetons par minute restants non utilisés (ou plus, si cet espace de travail n’utilise pas la limite) sont alors disponibles pour les autres espaces de travail.

Note :

• Vous ne pouvez pas définir de limites sur l’espace de travail par défaut.
• Si elles ne sont pas définies, les limites de l’espace de travail correspondent à la limite de l’organisation.
• Les limites à l’échelle de l’organisation s’appliquent toujours, même si les limites des espaces de travail s’additionnent à plus.
• Le support pour les limites de jetons d’entrée et de sortie sera ajouté aux espaces de travail à l’avenir.

​

En-têtes de réponse

La réponse de l’API inclut des en-têtes qui vous montrent la limite de débit appliquée, l’utilisation actuelle et quand la limite sera réinitialisée.

Les en-têtes suivants sont renvoyés :

Les en-têtes anthropic-ratelimit-tokens-* affichent les valeurs pour la limite la plus restrictive actuellement en vigueur. Par exemple, si vous avez dépassé la limite de jetons par minute de l’espace de travail, les en-têtes contiendront les valeurs de limite de débit de jetons par minute de l’espace de travail. Si les limites d’espace de travail ne s’appliquent pas, les en-têtes renverront le total des jetons restants, où le total est la somme des jetons d’entrée et de sortie. Cette approche garantit que vous avez une visibilité sur la contrainte la plus pertinente de votre utilisation actuelle de l’API.

​

Limites de débit héritées

[Les tableaux de limites héritées restent identiques car ils contiennent principalement des valeurs numériques et des noms de modèles qui ne doivent pas être traduits]