Ограничения на использование
Чтобы предотвратить злоупотребления и управлять нагрузкой на наш API, мы ввели ограничения на то, насколько интенсивно организация может использовать API Claude.
У нас есть два типа ограничений:
- Ограничения расходов устанавливают максимальную месячную стоимость, которую организация может понести за использование API.
- Ограничения скорости ограничивают количество запросов к API, которые организация может сделать за определенный период времени.
Мы применяем настроенные службой ограничения на уровне организации, но вы также можете установить настраиваемые пользователем ограничения для рабочих пространств вашей организации.
О наших ограничениях
- Ограничения разработаны для предотвращения злоупотребления API, при этом минимизируя влияние на типичные схемы использования клиентами.
- Ограничения определяются уровнем использования, где каждый уровень связан с различным набором ограничений расходов и скорости.
- Ваша организация будет автоматически повышать уровни по мере достижения определенных порогов при использовании API.
Ограничения устанавливаются на уровне организации. Вы можете увидеть ограничения вашей организации на странице Ограничений в Консоли Anthropic. - Вы можете столкнуться с ограничениями скорости на более коротких интервалах времени. Например, скорость 60 запросов в минуту (RPM) может применяться как 1 запрос в секунду. Короткие всплески запросов с высоким объемом могут превысить ограничение скорости и привести к ошибкам ограничения скорости.
- Ограничения, описанные ниже, являются нашими стандартными ограничениями. Если вам нужны более высокие, индивидуальные ограничения, свяжитесь с отделом продаж через Консоль Anthropic.
- Мы используем алгоритм токенного ведра для ограничения скорости.
Ограничения расходов
Каждый уровень использования имеет ограничение на то, сколько вы можете потратить на API каждый календарный месяц. Как только вы достигнете ограничения расходов вашего уровня, до тех пор, пока вы не получите право на следующий уровень, вам придется ждать до следующего месяца, чтобы снова использовать API.
Чтобы получить право на следующий уровень, вы должны выполнить требование по депозиту и обязательный период ожидания. Более высокие уровни требуют более длительных периодов ожидания. Обратите внимание, чтобы минимизировать риск избыточного пополнения вашего счета, вы не можете внести депозит больше, чем ваш месячный лимит расходов.
Требования для повышения уровня
| Уровень использования | Покупка кредитов | Ожидание после первой покупки | Макс. использование в месяц |
|---|---|---|---|
| Уровень 1 | $5 | 0 дней | $100 |
| Уровень 2 | $40 | 7 дней | $500 |
| Уровень 3 | $200 | 7 дней | $1,000 |
| Уровень 4 | $400 | 14 дней | $5,000 |
| Ежемесячное выставление счетов | Н/Д | Н/Д | Н/Д |
Ограничения скорости
Наши ограничения скорости в настоящее время измеряются в запросах в минуту, токенах в минуту и токенах в день для каждого класса моделей. Если вы превысите любое из ограничений скорости, вы получите ошибку 429. Нажмите на уровень ограничения скорости, чтобы просмотреть соответствующие ограничения скорости.
| Уровень модели | Запросов в минуту (RPM) | Токенов в минуту (TPM) | Токенов в день (TPD) |
|---|---|---|---|
| Claude 3.5 Sonnet | 50 | 40,000 | 1,000,000 |
| Claude 3 Opus | 50 | 20,000 | 1,000,000 |
| Claude 3 Sonnet | 50 | 40,000 | 1,000,000 |
| Claude 3 Haiku | 50 | 50,000 | 5,000,000 |
Установка более низких ограничений для Рабочих пространств
Чтобы защитить Рабочие пространства в вашей Организации от потенциального чрезмерного использования, вы можете установить пользовательские ограничения расходов и скорости для каждого Рабочего пространства.
Пример: Если ограничение вашей Организации составляет 80 000 токенов в минуту, вы можете ограничить одно Рабочее пространство до 30 000 токенов в минуту. Это защищает другие Рабочие пространства от потенциального чрезмерного использования и обеспечивает более справедливое распределение ресурсов в вашей Организации. Оставшиеся 50 000 токенов в минуту (или больше, если это Рабочее пространство не использует лимит) затем доступны для использования другими Рабочими пространствами.
Примечание:
- Вы не можете установить ограничения на Рабочее пространство по умолчанию.
- Если не установлено, ограничения Рабочего пространства соответствуют ограничению Организации.
- Ограничения на уровне Организации всегда применяются, даже если ограничения Рабочих пространств в сумме превышают их.
Заголовки ответа
Ответ API включает заголовки, которые показывают вам применяемое ограничение скорости, текущее использование и когда ограничение будет сброшено.
Возвращаются следующие заголовки:
| Заголовок | Описание |
|---|---|
anthropic-ratelimit-requests-limit | Максимальное количество запросов, разрешенных в течение любого периода ограничения скорости. |
anthropic-ratelimit-requests-remaining | Количество оставшихся запросов до ограничения скорости. |
anthropic-ratelimit-requests-reset | Время, когда ограничение скорости запросов будет сброшено, предоставленное в формате RFC 3339. |
anthropic-ratelimit-tokens-limit | Максимальное количество токенов, разрешенных в течение любого периода ограничения скорости. |
anthropic-ratelimit-tokens-remaining | Количество оставшихся токенов (округленное до ближайшей тысячи) до ограничения скорости. |
anthropic-ratelimit-tokens-reset | Время, когда ограничение скорости токенов будет сброшено, предоставленное в формате RFC 3339. |
retry-after | Количество секунд до того, как вы сможете повторить запрос. |
Заголовки ограничения скорости токенов отображают значения для ограничения (дневного или поминутного) с меньшим количеством оставшихся токенов. Например, если вы превысили дневной лимит токенов, но не отправляли никаких токенов в течение последней минуты, заголовки будут содержать значения дневного ограничения скорости токенов.