トークン効率的なツール使用(ベータ版)
アップグレードされたClaude 3.7 Sonnetモデルは、トークン効率的な方法でツールを呼び出すことができます。リクエストは平均して出力トークンを14%、最大70%節約でき、これによりレイテンシーも削減されます。正確なトークン削減とレイテンシーの改善は、全体的な応答の形状とサイズによって異なります。
トークン効率的なツール使用はベータ機能です。本番環境で使用する前に、必ず応答を評価してください。
このフォームを使用して、モデルの応答の品質、APIそのもの、またはドキュメントの品質についてフィードバックを提供してください。皆様からのご意見をお待ちしております!
この機能を試す場合は、Consoleのプロンプトインプルーバーを使用してプロンプトを改善することをお勧めします。
トークン効率的なツール使用は現在、disable_parallel_tool_use
では機能しません。
このベータ機能を使用するには、claude-3-7-sonnet-20250219
でツール使用リクエストにベータヘッダーtoken-efficient-tools-2025-02-19
を追加するだけです。SDKを使用している場合は、anthropic.beta.messages
でベータSDKを使用していることを確認してください。
APIでトークン効率的なツールを使用する例を以下に示します:
上記のリクエストは、平均して通常のリクエストよりも少ない入力トークンと出力トークンを使用するはずです。これを確認するには、同じリクエストを行い、ベータヘッダーリストからtoken-efficient-tools-2025-02-19
を削除してみてください。
プロンプトキャッシングの利点を維持するには、キャッシュしたいリクエストに対してベータヘッダーを一貫して使用してください。選択的に使用すると、プロンプトキャッシングは失敗します。
Was this page helpful?