メッセージを作成する際、"stream": trueを設定することで、server-sent events (SSE)を使用してレスポンスを段階的にストリーミングすることができます。

​
SDKsでのストリーミング

私たちのPythonとTypeScript SDKsは、複数のストリーミング方法を提供しています。Python SDKは同期と非同期の両方のストリームをサポートしています。詳細については、各SDKのドキュメントを参照してください。

​
イベントタイプ

各server-sent eventには、名前付きイベントタイプと関連するJSONデータが含まれます。各イベントはSSEイベント名（例：event: message_stop）を使用し、そのデータ内に一致するイベントtypeを含みます。

各ストリームは以下のイベントフローを使用します：

  1. message_start：空のcontentを持つMessageオブジェクトを含みます。
  2. 一連のコンテンツブロック。各ブロックにはcontent_block_start、1つ以上のcontent_block_deltaイベント、およびcontent_block_stopイベントがあります。各コンテンツブロックには、最終的なMessage content配列内のインデックスに対応するindexがあります。
  3. 1つ以上のmessage_deltaイベント。最終的なMessageオブジェクトのトップレベルの変更を示します。
  4. 最後のmessage_stopイベント。

​
Pingイベント

イベントストリームには任意の数のpingイベントが含まれる場合があります。

​
エラーイベント

イベントストリームでエラーが送信されることがあります。例えば、高負荷時にはoverloaded_errorを受け取る可能性があります。これは非ストリーミングのコンテキストではHTTP 529に相当します：

エラーの例
event: error
data: {"type": "error", "error": {"type": "overloaded_error", "message": "Overloaded"}}

​
その他のイベント

私たちのバージョニングポリシーに従って、新しいイベントタイプが追加される可能性があります。コードは未知のイベントタイプを適切に処理する必要があります。

​
デルタタイプ

各content_block_deltaイベントには、指定されたindexのコンテンツブロックを更新するdeltaが含まれています。

​
テキストデルタ

textコンテンツブロックデルタは以下のようになります：

テキストデルタ
event: content_block_delta
data: {"type": "content_block_delta","index": 0,"delta": {"type": "text_delta", "text": "ello frien"}}

​
入力JSONデルタ

tool_useコンテンツブロックのデルタは、ブロックのinputフィールドの更新に対応します。最大の粒度をサポートするため、デルタは_部分的なJSON文字列_であり、最終的なtool_use.inputは常に_オブジェクト_です。

Pydanticのようなライブラリを使用して部分的なJSONの解析を行うか、解析された増分値にアクセスするためのヘルパーを提供する私たちのSDKsを使用することで、文字列デルタを蓄積し、content_block_stopイベントを受信した時点でJSONを解析することができます。

tool_useコンテンツブロックデルタは以下のようになります：

入力JSONデルタ
event: content_block_delta
data: {"type": "content_block_delta","index": 1,"delta": {"type": "input_json_delta","partial_json": "{\"location\": \"San Fra"}}}

注意：現在のモデルは、inputから一度に1つの完全なキーと値のプロパティを出力することのみをサポートしています。そのため、ツールを使用する際には、モデルが処理を行っている間にストリーミングイベント間で遅延が発生する可能性があります。inputのキーと値が蓄積されると、将来のモデルで自動的により細かい粒度をサポートできるように、複数のcontent_block_deltaイベントとして分割された部分的なJSONとして出力されます。

​
生のHTTPストリームレスポンス

ストリーミングモードを使用する際は、私たちのクライアントSDKsの使用を強く推奨します。ただし、直接APIを統合する場合は、これらのイベントを自身で処理する必要があります。

ストリームレスポンスは以下で構成されています：

  1. message_startイベント
  2. 複数のコンテンツブロック（各ブロックには以下が含まれます）： a. content_block_startイベント b. 複数のcontent_block_deltaイベント c. content_block_stopイベント
  3. message_deltaイベント
  4. message_stopイベント

レスポンス全体にpingイベントが分散している場合もあります。フォーマットの詳細についてはイベントタイプを参照してください。

​
基本的なストリーミングリクエスト

リクエスト
curl https://api.anthropic.com/v1/messages \
     --header "anthropic-version: 2023-06-01" \
     --header "content-type: application/json" \
     --header "x-api-key: $ANTHROPIC_API_KEY" \
     --data \
'{
  "model": "claude-3-5-sonnet-20241022",
  "messages": [{"role": "user", "content": "Hello"}],
  "max_tokens": 256,
  "stream": true
}'
レスポンス
event: message_start
data: {"type": "message_start", "message": {"id": "msg_1nZdL29xx5MUA1yADyHTEsnR8uuvGzszyY", "type": "message", "role": "assistant", "content": [], "model": "claude-3-5-sonnet-20241022", "stop_reason": null, "stop_sequence": null, "usage": {"input_tokens": 25, "output_tokens": 1}}}

event: content_block_start
data: {"type": "content_block_start", "index": 0, "content_block": {"type": "text", "text": ""}}

event: ping
data: {"type": "ping"}

event: content_block_delta
data: {"type": "content_block_delta", "index": 0, "delta": {"type": "text_delta", "text": "Hello"}}

event: content_block_delta
data: {"type": "content_block_delta", "index": 0, "delta": {"type": "text_delta", "text": "!"}}

event: content_block_stop
data: {"type": "content_block_stop", "index": 0}

event: message_delta
data: {"type": "message_delta", "delta": {"stop_reason": "end_turn", "stop_sequence":null}, "usage": {"output_tokens": 15}}

event: message_stop
data: {"type": "message_stop"}

​
ツール使用を伴うストリーミングリクエスト

このリクエストでは、Claudeに天気を教えてもらうためにツールを使用するよう依頼します。

リクエスト
  curl https://api.anthropic.com/v1/messages \
    -H "content-type: application/json" \
    -H "x-api-key: $ANTHROPIC_API_KEY" \
    -H "anthropic-version: 2023-06-01" \
    -d '{
      "model": "claude-3-5-sonnet-20241022",
      "max_tokens": 1024,
      "tools": [
        {
          "name": "get_weather",
          "description": "Get the current weather in a given location",
          "input_schema": {
            "type": "object",
            "properties": {
              "location": {
                "type": "string",
                "description": "The city and state, e.g. San Francisco, CA"
              }
            },
            "required": ["location"]
          }
        }
      ],
      "tool_choice": {"type": "any"},
      "messages": [
        {
          "role": "user",
          "content": "What is the weather like in San Francisco?"
        }
      ],
      "stream": true
    }'
レスポンス
event: message_start
data: {"type":"message_start","message":{"id":"msg_014p7gG3wDgGV9EUtLvnow3U","type":"message","role":"assistant","model":"claude-3-haiku-20240307","stop_sequence":null,"usage":{"input_tokens":472,"output_tokens":2},"content":[],"stop_reason":null}}

event: content_block_start
data: {"type":"content_block_start","index":0,"content_block":{"type":"text","text":""}}

event: ping
data: {"type": "ping"}

event: content_block_delta
data: {"type":"content_block_delta","index":0,"delta":{"type":"text_delta","text":"Okay"}}

event: content_block_delta
data: {"type":"content_block_delta","index":0,"delta":{"type":"text_delta","text":","}}

event: content_block_delta
data: {"type":"content_block_delta","index":0,"delta":{"type":"text_delta","text":" let"}}

event: content_block_delta
data: {"type":"content_block_delta","index":0,"delta":{"type":"text_delta","text":"'s"}}

event: content_block_delta
data: {"type":"content_block_delta","index":0,"delta":{"type":"text_delta","text":" check"}}

event: content_block_delta
data: {"type":"content_block_delta","index":0,"delta":{"type":"text_delta","text":" the"}}

event: content_block_delta
data: {"type":"content_block_delta","index":0,"delta":{"type":"text_delta","text":" weather"}}

event: content_block_delta
data: {"type":"content_block_delta","index":0,"delta":{"type":"text_delta","text":" for"}}

event: content_block_delta
data: {"type":"content_block_delta","index":0,"delta":{"type":"text_delta","text":" San"}}

event: content_block_delta
data: {"type":"content_block_delta","index":0,"delta":{"type":"text_delta","text":" Francisco"}}

event: content_block_delta
data: {"type":"content_block_delta","index":0,"delta":{"type":"text_delta","text":","}}

event: content_block_delta
data: {"type":"content_block_delta","index":0,"delta":{"type":"text_delta","text":" CA"}}

event: content_block_delta
data: {"type":"content_block_delta","index":0,"delta":{"type":"text_delta","text":":"}}

event: content_block_stop
data: {"type":"content_block_stop","index":0}

event: content_block_start
data: {"type":"content_block_start","index":1,"content_block":{"type":"tool_use","id":"toolu_01T1x1fJ34qAmk2tNTrN7Up6","name":"get_weather","input":{}}}

event: content_block_delta
data: {"type":"content_block_delta","index":1,"delta":{"type":"input_json_delta","partial_json":""}}

event: content_block_delta
data: {"type":"content_block_delta","index":1,"delta":{"type":"input_json_delta","partial_json":"{\"location\":"}}

event: content_block_delta
data: {"type":"content_block_delta","index":1,"delta":{"type":"input_json_delta","partial_json":" \"San"}}

event: content_block_delta
data: {"type":"content_block_delta","index":1,"delta":{"type":"input_json_delta","partial_json":" Francisc"}}

event: content_block_delta
data: {"type":"content_block_delta","index":1,"delta":{"type":"input_json_delta","partial_json":"o,"}}

event: content_block_delta
data: {"type":"content_block_delta","index":1,"delta":{"type":"input_json_delta","partial_json":" CA\""}}

event: content_block_delta
data: {"type":"content_block_delta","index":1,"delta":{"type":"input_json_delta","partial_json":", "}}

event: content_block_delta
data: {"type":"content_block_delta","index":1,"delta":{"type":"input_json_delta","partial_json":"\"unit\": \"fah"}}

event: content_block_delta
data: {"type":"content_block_delta","index":1,"delta":{"type":"input_json_delta","partial_json":"renheit\"}"}}

event: content_block_stop
data: {"type":"content_block_stop","index":1}

event: message_delta
data: {"type":"message_delta","delta":{"stop_reason":"tool_use","stop_sequence":null},"usage":{"output_tokens":89}}

event: message_stop
data: {"type":"message_stop"}

Was this page helpful?

メッセージのトークン数をカウントテキスト補完からの移行