レート制限
APIの誤用を防ぎ、容量を管理するため、組織がClaude APIを使用できる量に制限を設けています。
私たちには2種類の制限があります:
- 支出制限は、組織がAPI使用に対して発生させることができる月間コストの上限を設定します。
- レート制限は、組織が一定期間内に行うことができるAPIリクエストの最大数を設定します。
サービスで設定された制限は組織レベルで適用されますが、組織のワークスペースに対してユーザーが設定可能な制限を設けることもできます。
制限について
- 制限は、一般的な顧客の使用パターンへの影響を最小限に抑えながら、APIの乱用を防ぐように設計されています。
- 制限は使用層(ティア)によって定義され、各ティアには異なる支出制限とレート制限が関連付けられています。
- APIを使用する中で特定のしきい値に達すると、組織は自動的にティアが上がります。 制限は組織レベルで設定されます。組織の制限はAnthropic Consoleの制限ページで確認できます。
- 短い時間間隔でレート制限に達する可能性があります。例えば、1分あたり60リクエスト(RPM)のレートは、1秒あたり1リクエストとして適用される場合があります。高いボリュームの短時間のリクエストバーストはレート制限を超過し、レート制限エラーが発生する可能性があります。
- 以下に示す制限は標準的な制限です。より高いカスタム制限を求める場合は、Anthropic Consoleを通じて営業部門にお問い合わせください。
- レート制限にはトークンバケットアルゴリズムを使用しています。これは、固定間隔でリセットされるのではなく、最大制限まで容量が継続的に補充されることを意味します。
- ここで説明するすべての制限は、保証された最小値ではなく、許可される最大使用量を表しています。これらの制限は、過剰使用を防ぎ、ユーザー間でリソースを公平に分配することを目的としています。
支出制限
各使用ティアには、毎月のAPIに使用できる金額の制限があります。ティアの支出制限に達すると、次のティアの資格を得るまで、翌月までAPIを使用することはできません。
次のティアの資格を得るには、預け入れ要件と必須の待機期間を満たす必要があります。より高いティアにはより長い待機期間が必要です。なお、アカウントの過剰入金のリスクを最小限に抑えるため、月間支出制限を超える預け入れはできません。
ティア昇格の要件
使用ティア | クレジット購入 | 初回購入後の待機期間 | 月間最大使用額 |
---|---|---|---|
ティア1 | $5 | 0日 | $100 |
ティア2 | $40 | 7日 | $500 |
ティア3 | $200 | 7日 | $1,000 |
ティア4 | $400 | 14日 | $5,000 |
月次請求 | 該当なし | 該当なし | 該当なし |
レート制限
メッセージAPIのレート制限は、各モデルクラスに対して1分あたりのリクエスト数(RPM)、1分あたりの入力トークン数(ITPM)、1分あたりの出力トークン数(OTPM)で測定されます。
レート制限を超過した場合、どのレート制限を超過したかを説明する429エラーが発生し、待機すべき時間を示すretry-after
ヘッダーが付与されます。
ITPMレート制限は各リクエストの開始時に見積もられ、実際に使用された入力トークン数を反映するようにリクエスト中に調整されます。
最終的な調整では、input_tokens
とcache_creation_input_tokens
がITPMレート制限にカウントされますが、cache_read_input_tokens
はカウントされません(ただし請求は発生します)。
場合によっては、cache_read_input_tokens
がITPMレート制限にカウントされることがあります。
OTPMレート制限は各リクエストの開始時にmax_tokens
に基づいて見積もられ、リクエストの終了時に実際に使用された出力トークン数を反映するように調整されます。
予想よりも早くOTPM制限に達する場合は、完了のサイズをより正確に近似するためにmax_tokens
を減らしてみてください。
レート制限は各モデルに対して個別に適用されるため、それぞれのモデルを同時にそれぞれの制限まで使用できます。 現在のレート制限と動作はAnthropic Consoleで確認できます。
モデル | 1分あたりの最大リクエスト数(RPM) | 1分あたりの最大入力トークン数(ITPM) | 1分あたりの最大出力トークン数(OTPM) |
---|---|---|---|
Claude 3.7 Sonnet | 50 | 20,000 | 8,000 |
Claude 3.5 Sonnet 2024-10-22 | 50 | 40,000* | 8,000 |
Claude 3.5 Sonnet 2024-06-20 | 50 | 40,000* | 8,000 |
Claude 3.5 Haiku | 50 | 50,000* | 10,000 |
Claude 3 Opus | 50 | 20,000* | 4,000 |
Claude 3 Sonnet | 50 | 40,000* | 8,000 |
Claude 3 Haiku | 50 | 50,000* | 10,000 |
アスタリスク(*)が付いた制限は、cache_read_input_tokens
をITPM使用量にカウントします。
メッセージバッチAPI
メッセージバッチAPIには、すべてのモデルで共有される独自のレート制限があります。これには、すべてのAPIエンドポイントに対する1分あたりのリクエスト数(RPM)制限と、同時に処理キューに入れることができるバッチリクエストの数の制限が含まれます。ここでの「バッチリクエスト」とは、メッセージバッチの一部を指します。数千のバッチリクエストを含むメッセージバッチを作成できますが、それぞれがこの制限にカウントされます。バッチリクエストは、モデルによって正常に処理されていない場合、処理キューの一部とみなされます。
1分あたりの最大リクエスト数(RPM) | 処理キュー内の最大バッチリクエスト数 | バッチあたりの最大バッチリクエスト数 |
---|---|---|
50 | 100,000 | 100,000 |
ワークスペースの制限値の設定
組織内のワークスペースの潜在的な過剰使用から保護するために、ワークスペースごとにカスタムの支出制限とレート制限を設定できます。
例:組織の制限が1分あたり40,000入力トークンと8,000出力トークンの場合、1つのワークスペースを1分あたり30,000トークン合計に制限することができます。これにより、他のワークスペースを潜在的な過剰使用から保護し、組織全体でリソースをより公平に分配することができます。残りの未使用のトークン(またはそのワークスペースが制限を使用しない場合はそれ以上)は、他のワークスペースが使用できるようになります。
注意:
- デフォルトのワークスペースには制限を設定できません。
- 設定されていない場合、ワークスペースの制限は組織の制限と一致します。
- ワークスペースの制限の合計が組織全体の制限を超えていても、組織全体の制限が常に適用されます。
- 入力トークンと出力トークンの制限のワークスペースへのサポートは将来追加される予定です。
レスポンスヘッダー
APIレスポンスには、適用されるレート制限、現在の使用状況、制限がリセットされる時期を示すヘッダーが含まれています。
以下のヘッダーが返されます:
ヘッダー | 説明 |
---|---|
retry-after | リクエストを再試行できるまでの待機秒数。それより早い再試行は失敗します。 |
anthropic-ratelimit-requests-limit | レート制限期間内で許可されるリクエストの最大数。 |
anthropic-ratelimit-requests-remaining | レート制限に達するまでの残りのリクエスト数。 |
anthropic-ratelimit-requests-reset | リクエストレート制限が完全に補充される時刻(RFC 3339形式)。 |
anthropic-ratelimit-tokens-limit | レート制限期間内で許可されるトークンの最大数。 |
anthropic-ratelimit-tokens-remaining | レート制限に達するまでの残りのトークン数(千単位で四捨五入)。 |
anthropic-ratelimit-tokens-reset | トークンレート制限が完全に補充される時刻(RFC 3339形式)。 |
anthropic-ratelimit-input-tokens-limit | レート制限期間内で許可される入力トークンの最大数。 |
anthropic-ratelimit-input-tokens-remaining | レート制限に達するまでの残りの入力トークン数(千単位で四捨五入)。 |
anthropic-ratelimit-input-tokens-reset | 入力トークンレート制限が完全に補充される時刻(RFC 3339形式)。 |
anthropic-ratelimit-output-tokens-limit | レート制限期間内で許可される出力トークンの最大数。 |
anthropic-ratelimit-output-tokens-remaining | レート制限に達するまでの残りの出力トークン数(千単位で四捨五入)。 |
anthropic-ratelimit-output-tokens-reset | 出力トークンレート制限が完全に補充される時刻(RFC 3339形式)。 |
anthropic-ratelimit-tokens-*
ヘッダーは、現在有効な最も制限的な制限の値を表示します。例えば、ワークスペースの1分あたりのトークン制限を超過した場合、ヘッダーにはワークスペースの1分あたりのトークンレート制限の値が含まれます。ワークスペースの制限が適用されない場合、ヘッダーは残りの合計トークン数を返します(合計は入力トークンと出力トークンの合計)。このアプローチにより、現在のAPI使用に関する最も関連性の高い制約が確認できます。