Límites de uso

Tenemos dos tipos de límites:

1. Límites de gasto establecen un costo mensual máximo que una organización puede incurrir por el uso de la API.
2. Límites de tasa establecen el número máximo de solicitudes a la API que una organización puede hacer durante un período de tiempo definido.

Aplicamos límites configurados por el servicio a nivel de organización, pero también puede establecer límites configurables por el usuario para los espacios de trabajo de su organización.

​

Acerca de nuestros límites

• Los límites están diseñados para prevenir el abuso de la API, mientras se minimiza el impacto en los patrones de uso comunes de los clientes.
• Los límites se definen por nivel de uso, donde cada nivel está asociado con un conjunto diferente de límites de gasto y tasa.
• Su organización aumentará de nivel automáticamente a medida que alcance ciertos umbrales mientras usa la API. Los límites se establecen a nivel de organización. Puede ver los límites de su organización en la página de Límites en la Consola de Anthropic.
• Puede alcanzar límites de tasa en intervalos más cortos. Por ejemplo, una tasa de 60 solicitudes por minuto (RPM) puede aplicarse como 1 solicitud por segundo. Ráfagas cortas de solicitudes a un alto volumen pueden superar el límite de tasa y resultar en errores de límite de tasa.
• Los límites descritos a continuación son nuestros límites estándar. Si busca límites personalizados más altos, contacte a ventas a través de la Consola de Anthropic.
• Usamos el algoritmo de cubo de tokens para hacer la limitación de tasa.
• Todos los límites descritos aquí representan el uso máximo permitido, no mínimos garantizados. Estos límites están diseñados para prevenir el uso excesivo y asegurar una distribución justa de recursos entre usuarios.

​

Límites de gasto

Cada nivel de uso tiene un límite en cuánto puede gastar en la API cada mes calendario. Una vez que alcance el límite de gasto de su nivel, hasta que califique para el siguiente nivel, tendrá que esperar hasta el próximo mes para poder usar la API nuevamente.

Para calificar para el siguiente nivel, debe cumplir con un requisito de depósito y un período de espera obligatorio. Los niveles más altos requieren períodos de espera más largos. Nota: para minimizar el riesgo de sobrefondear su cuenta, no puede depositar más que su límite de gasto mensual.

​

Requisitos para avanzar de nivel

​

Límites de tasa actualizados

Nuestros límites de tasa se medirán en solicitudes por minuto, tokens de entrada por minuto y tokens de salida por minuto para cada clase de modelo. Si excede cualquiera de los límites de tasa, recibirá un error 429. Haga clic en el nivel de límite de tasa para ver los límites relevantes.

Los límites de tasa se rastrean por modelo. Por lo tanto, los modelos dentro del mismo nivel no comparten un límite de tasa.

• Nivel 1
• Nivel 2
• Nivel 3
• Nivel 4
• Personalizado

​

Establecer límites más bajos para Espacios de Trabajo

Para proteger los Espacios de Trabajo en su Organización del posible uso excesivo, puede establecer límites personalizados de gasto y tasa por Espacio de Trabajo.

Ejemplo: Si el límite de su Organización es de 48,000 tokens por minuto (40,000 tokens de entrada y 8,000 tokens de salida), podría limitar un Espacio de Trabajo a 30,000 tokens totales por minuto. Esto protege a otros Espacios de Trabajo del posible uso excesivo y asegura una distribución más equitativa de recursos en su Organización. Los tokens por minuto restantes sin usar (o más, si ese Espacio de Trabajo no usa el límite) están entonces disponibles para que otros Espacios de Trabajo los usen.

Nota:

• No puede establecer límites en el Espacio de Trabajo predeterminado.
• Si no se establecen, los límites del Espacio de Trabajo coinciden con el límite de la Organización.
• Los límites a nivel de Organización siempre se aplican, incluso si los límites del Espacio de Trabajo suman más.
• El soporte para límites de tokens de entrada y salida se agregará a los Espacios de Trabajo en el futuro.

​

Encabezados de respuesta

La respuesta de la API incluye encabezados que muestran el límite de tasa aplicado, el uso actual y cuándo se restablecerá el límite.

Se devuelven los siguientes encabezados:

Los encabezados anthropic-ratelimit-tokens-* muestran los valores para el límite más restrictivo actualmente en efecto. Por ejemplo, si ha excedido el límite de tokens por minuto del Espacio de Trabajo, los encabezados contendrán los valores del límite de tasa de tokens por minuto del Espacio de Trabajo. Si los límites del Espacio de Trabajo no aplican, los encabezados devolverán el total de tokens restantes, donde el total es la suma de tokens de entrada y salida. Este enfoque asegura que tenga visibilidad de la restricción más relevante en su uso actual de la API.

​

Límites de tasa heredados

Nuestros límites de tasa se medían anteriormente en solicitudes por minuto, tokens por minuto y tokens por día para cada clase de modelo. Si excede cualquiera de los límites de tasa, recibirá un error 429. Haga clic en el nivel de límite de tasa para ver los límites relevantes.

Los límites de tasa se rastrean por modelo, por lo tanto los modelos dentro del mismo nivel no comparten un límite de tasa.

• Nivel 1
• Nivel 2
• Nivel 3
• Nivel 4
• Personalizado