API 사용하기
Rate limits
오용을 완화하고 API의 용량을 관리하기 위해 조직이 Claude API를 사용할 수 있는 한도를 구현했습니다.
우리는 두 가지 유형의 제한이 있습니다:
- 사용 제한은 조직이 API 사용에 대해 부과할 수 있는 최대 월간 비용을 설정합니다.
- 속도 제한은 조직이 정의된 기간 동안 만들 수 있는 API 요청 수를 제한합니다.
제한에 대하여
- 제한은 일반적인 고객 사용 패턴에 미치는 영향을 최소화하면서 API 남용을 방지하도록 설계되었습니다.
- 제한은 사용 계층별로 정의되며, 각 계층은 서로 다른 사용 및 속도 제한 세트와 연결됩니다.
- API를 사용하는 동안 특정 임계값에 도달하면 조직이 자동으로 계층이 증가합니다.
제한은 조직 수준에서 설정됩니다. Anthropic Console의 Plans and Billing에서 조직의 제한을 확인할 수 있습니다. - 더 짧은 시간 간격 동안 속도 제한에 도달할 수 있습니다. 예를 들어, 분당 60개의 요청(RPM) 속도는 초당 1개의 요청으로 적용될 수 있습니다. 높은 볼륨의 요청이 짧은 시간에 발생하면 속도 제한을 초과하여 속도 제한 오류가 발생할 수 있습니다.
- 아래에 설명된 제한은 표준 제한이며 “Build” API 플랜에 적용됩니다. 더 높은 사용자 정의 제한을 원하시면 Anthropic Console에서 “Select Plan”을 클릭하여 사용자 정의 “Scale” 플랜으로 이동하여 영업팀에 문의하십시오.
- 우리는 속도 제한을 위해 token bucket algorithm을 사용합니다.
사용 제한
각 사용 계층에는 매월 API를 사용할 수 있는 한도가 있습니다. 계층의 사용 한도에 도달하면 다음 계층에 적합할 때까지 다음 달까지 기다려야 API를 다시 사용할 수 있습니다.
다음 계층으로 넘어가려면 보증금 요건과 의무 대기 기간을 충족해야 합니다. 더 높은 계층은 더 긴 대기 기간이 필요합니다. 계정에 과도한 자금을 조달할 위험을 최소화하기 위해 월간 사용 한도보다 많은 금액을 예치할 수 없습니다.
계층 상향을 위한 요구 사항
사용 계층 | 크레딧 구매 | 첫 구매 후 대기 기간 | 월 최대 사용량 |
---|---|---|---|
무료 | 해당 없음 | 0일 | $10 |
Build Tier 1 | $5 | 0일 | $100 |
Build Tier 2 | $40 | 7일 | $500 |
Build Tier 3 | $200 | 7일 | $1,000 |
Build Tier 4 | $400 | 14일 | $5,000 |
Scale | 해당 없음 | 해당 없음 | 해당 없음 |
속도 제한
현재 속도 제한은 각 모델 클래스에 대해 분당 요청 수, 분당 토큰 수 및 일일 토큰 수로 측정됩니다. 속도 제한을 초과하면 429 오류가 발생합니다. 관련 속도 제한을 보려면 속도 제한 계층을 클릭하십시오.
모델 계층 | 분당 요청 수(RPM) | 분당 토큰 수(TPM) | 일일 토큰 수(TPD) |
---|---|---|---|
Claude 3.5 Sonnet | 5 | 20,000 | 300,000 |
Claude 3 Opus | 5 | 10,000 | 300,000 |
Claude 3 Sonnet | 5 | 20,000 | 300,000 |
Claude 3 Haiku | 5 | 25,000 | 300,000 |
응답 헤더
API 응답에는 적용된 속도 제한, 현재 사용량 및 제한이 재설정되는 시기를 보여주는 헤더가 포함됩니다.
다음 헤더가 반환됩니다:
헤더 | 설명 |
---|---|
anthropic-ratelimit-requests-limit | 모든 속도 제한 기간 내에 허용되는 최대 요청 수입니다. |
anthropic-ratelimit-requests-remaining | 속도 제한되기 전에 남은 요청 수입니다. |
anthropic-ratelimit-requests-reset | RFC 3339 형식으로 제공된 요청 속도 제한이 재설정되는 시간입니다. |
anthropic-ratelimit-tokens-limit | 모든 속도 제한 기간 내에 허용되는 최대 토큰 수입니다. |
anthropic-ratelimit-tokens-remaining | 속도 제한되기 전에 남은 토큰 수(가장 가까운 천 단위로 반올림)입니다. |
anthropic-ratelimit-tokens-reset | RFC 3339 형식으로 제공된 토큰 속도 제한이 재설정되는 시간입니다. |
retry-after | 요청을 다시 시도할 수 있을 때까지의 초 수입니다. |
토큰 속도 제한 헤더는 남은 토큰이 더 적은 제한(일일 또는 분당)에 대한 값을 표시합니다. 예를 들어, 일일 토큰 제한을 초과했지만 지난 1분 동안 토큰을 보내지 않은 경우 헤더에는 일일 토큰 속도 제한 값이 포함됩니다.