Streaming von Nachrichten

Bei der Erstellung einer Nachricht können Sie "stream": true setzen, um die Antwort inkrementell mithilfe von Server-Sent Events (SSE) zu streamen.

Streaming mit SDKs

Unsere Python und TypeScript SDKs bieten mehrere Möglichkeiten zum Streaming. Das Python SDK ermöglicht sowohl synchrone als auch asynchrone Streams. Details finden Sie in der Dokumentation der jeweiligen SDKs.

Ereignistypen

Jedes Server-Sent Event enthält einen benannten Ereignistyp und zugehörige JSON-Daten. Jedes Ereignis verwendet einen SSE-Ereignisnamen (z.B. event: message_stop) und enthält den entsprechenden Ereignis-type in seinen Daten.

Jeder Stream verwendet den folgenden Ereignisablauf:

message_start: enthält ein Message-Objekt mit leerem content.
Eine Reihe von Inhaltsblöcken, von denen jeder ein content_block_start, ein oder mehrere content_block_delta-Ereignisse und ein content_block_stop-Ereignis hat. Jeder Inhaltsblock hat einen index, der seinem Index im endgültigen Message content-Array entspricht.
Ein oder mehrere message_delta-Ereignisse, die Änderungen auf oberster Ebene am endgültigen Message-Objekt anzeigen.
Ein abschließendes message_stop-Ereignis.

Ping-Ereignisse

Event-Streams können auch eine beliebige Anzahl von ping-Ereignissen enthalten.

Fehlerereignisse

Gelegentlich können wir Fehler im Event-Stream senden. Zum Beispiel können Sie während Zeiten hoher Auslastung einen overloaded_error erhalten, der normalerweise einem HTTP 529 in einem nicht-streamenden Kontext entsprechen würde:

Beispiel-Fehler
event: error
data: {"type": "error", "error": {"type": "overloaded_error", "message": "Overloaded"}}

Andere Ereignisse

Gemäß unserer Versionierungsrichtlinie können wir neue Ereignistypen hinzufügen, und Ihr Code sollte unbekannte Ereignistypen problemlos verarbeiten können.

Delta-Typen

Jedes content_block_delta-Ereignis enthält ein delta eines Typs, der den content-Block an einem bestimmten index aktualisiert.

Text-Delta

Ein text-Inhaltsblock-Delta sieht wie folgt aus:

Text-Delta
event: content_block_delta
data: {"type": "content_block_delta","index": 0,"delta": {"type": "text_delta", "text": "ello frien"}}

Input-JSON-Delta

Die Deltas für tool_use-Inhaltsblöcke entsprechen Aktualisierungen für das input-Feld des Blocks. Um maximale Granularität zu unterstützen, sind die Deltas partielle JSON-Strings, während das endgültige tool_use.input immer ein Objekt ist.

Sie können die String-Deltas akkumulieren und das JSON parsen, sobald Sie ein content_block_stop-Ereignis erhalten, indem Sie eine Bibliothek wie Pydantic für partielles JSON-Parsing verwenden oder unsere SDKs nutzen, die Hilfsfunktionen für den Zugriff auf geparste inkrementelle Werte bereitstellen.

Ein tool_use-Inhaltsblock-Delta sieht wie folgt aus:

Input-JSON-Delta
event: content_block_delta
data: {"type": "content_block_delta","index": 1,"delta": {"type": "input_json_delta","partial_json": "{\"location\": \"San Fra"}}}

Hinweis: Unsere aktuellen Modelle unterstützen nur die Ausgabe einer vollständigen Schlüssel- und Werteigenschaft von input auf einmal. Daher kann es bei der Verwendung von Tools zu Verzögerungen zwischen Streaming-Ereignissen kommen, während das Modell arbeitet. Sobald ein input-Schlüssel und -Wert akkumuliert sind, geben wir sie als mehrere content_block_delta-Ereignisse mit gestückeltem partiellem JSON aus, sodass das Format automatisch eine feinere Granularität in zukünftigen Modellen unterstützen kann.

Raw HTTP Stream-Antwort

Wir empfehlen dringend, unsere Client-SDKs im Streaming-Modus zu verwenden. Wenn Sie jedoch eine direkte API-Integration erstellen, müssen Sie diese Ereignisse selbst verarbeiten.

Eine Stream-Antwort besteht aus:

Einem message_start-Ereignis
Möglicherweise mehreren Inhaltsblöcken, von denen jeder enthält: a. Ein content_block_start-Ereignis b. Möglicherweise mehrere content_block_delta-Ereignisse c. Ein content_block_stop-Ereignis
Einem message_delta-Ereignis
Einem message_stop-Ereignis

Es können auch ping-Ereignisse über die gesamte Antwort verteilt sein. Weitere Details zum Format finden Sie unter Ereignistypen.

Einfache Streaming-Anfrage

Anfrage
curl https://api.anthropic.com/v1/messages \
     --header "anthropic-version: 2023-06-01" \
     --header "content-type: application/json" \
     --header "x-api-key: $ANTHROPIC_API_KEY" \
     --data \
'{
  "model": "claude-3-5-sonnet-20241022",
  "messages": [{"role": "user", "content": "Hello"}],
  "max_tokens": 256,
  "stream": true
}'

Antwort
event: message_start
data: {"type": "message_start", "message": {"id": "msg_1nZdL29xx5MUA1yADyHTEsnR8uuvGzszyY", "type": "message", "role": "assistant", "content": [], "model": "claude-3-5-sonnet-20241022", "stop_reason": null, "stop_sequence": null, "usage": {"input_tokens": 25, "output_tokens": 1}}}

event: content_block_start
data: {"type": "content_block_start", "index": 0, "content_block": {"type": "text", "text": ""}}

event: ping
data: {"type": "ping"}

event: content_block_delta
data: {"type": "content_block_delta", "index": 0, "delta": {"type": "text_delta", "text": "Hello"}}

event: content_block_delta
data: {"type": "content_block_delta", "index": 0, "delta": {"type": "text_delta", "text": "!"}}

event: content_block_stop
data: {"type": "content_block_stop", "index": 0}

event: message_delta
data: {"type": "message_delta", "delta": {"stop_reason": "end_turn", "stop_sequence":null}, "usage": {"output_tokens": 15}}

event: message_stop
data: {"type": "message_stop"}

Streaming-Anfrage mit Tool-Verwendung

In dieser Anfrage bitten wir Claude, ein Tool zu verwenden, um uns das Wetter mitzuteilen.

Anfrage
  curl https://api.anthropic.com/v1/messages \
    -H "content-type: application/json" \
    -H "x-api-key: $ANTHROPIC_API_KEY" \
    -H "anthropic-version: 2023-06-01" \
    -d '{
      "model": "claude-3-5-sonnet-20241022",
      "max_tokens": 1024,
      "tools": [
        {
          "name": "get_weather",
          "description": "Get the current weather in a given location",
          "input_schema": {
            "type": "object",
            "properties": {
              "location": {
                "type": "string",
                "description": "The city and state, e.g. San Francisco, CA"
              }
            },
            "required": ["location"]
          }
        }
      ],
      "tool_choice": {"type": "any"},
      "messages": [
        {
          "role": "user",
          "content": "What is the weather like in San Francisco?"
        }
      ],
      "stream": true
    }'

Antwort
event: message_start
data: {"type":"message_start","message":{"id":"msg_014p7gG3wDgGV9EUtLvnow3U","type":"message","role":"assistant","model":"claude-3-haiku-20240307","stop_sequence":null,"usage":{"input_tokens":472,"output_tokens":2},"content":[],"stop_reason":null}}

event: content_block_start
data: {"type":"content_block_start","index":0,"content_block":{"type":"text","text":""}}

event: ping
data: {"type": "ping"}

event: content_block_delta
data: {"type":"content_block_delta","index":0,"delta":{"type":"text_delta","text":"Okay"}}

event: content_block_delta
data: {"type":"content_block_delta","index":0,"delta":{"type":"text_delta","text":","}}

event: content_block_delta
data: {"type":"content_block_delta","index":0,"delta":{"type":"text_delta","text":" let"}}

event: content_block_delta
data: {"type":"content_block_delta","index":0,"delta":{"type":"text_delta","text":"'s"}}

event: content_block_delta
data: {"type":"content_block_delta","index":0,"delta":{"type":"text_delta","text":" check"}}

event: content_block_delta
data: {"type":"content_block_delta","index":0,"delta":{"type":"text_delta","text":" the"}}

event: content_block_delta
data: {"type":"content_block_delta","index":0,"delta":{"type":"text_delta","text":" weather"}}

event: content_block_delta
data: {"type":"content_block_delta","index":0,"delta":{"type":"text_delta","text":" for"}}

event: content_block_delta
data: {"type":"content_block_delta","index":0,"delta":{"type":"text_delta","text":" San"}}

event: content_block_delta
data: {"type":"content_block_delta","index":0,"delta":{"type":"text_delta","text":" Francisco"}}

event: content_block_delta
data: {"type":"content_block_delta","index":0,"delta":{"type":"text_delta","text":","}}

event: content_block_delta
data: {"type":"content_block_delta","index":0,"delta":{"type":"text_delta","text":" CA"}}

event: content_block_delta
data: {"type":"content_block_delta","index":0,"delta":{"type":"text_delta","text":":"}}

event: content_block_stop
data: {"type":"content_block_stop","index":0}

event: content_block_start
data: {"type":"content_block_start","index":1,"content_block":{"type":"tool_use","id":"toolu_01T1x1fJ34qAmk2tNTrN7Up6","name":"get_weather","input":{}}}

event: content_block_delta
data: {"type":"content_block_delta","index":1,"delta":{"type":"input_json_delta","partial_json":""}}

event: content_block_delta
data: {"type":"content_block_delta","index":1,"delta":{"type":"input_json_delta","partial_json":"{\"location\":"}}

event: content_block_delta
data: {"type":"content_block_delta","index":1,"delta":{"type":"input_json_delta","partial_json":" \"San"}}

event: content_block_delta
data: {"type":"content_block_delta","index":1,"delta":{"type":"input_json_delta","partial_json":" Francisc"}}

event: content_block_delta
data: {"type":"content_block_delta","index":1,"delta":{"type":"input_json_delta","partial_json":"o,"}}

event: content_block_delta
data: {"type":"content_block_delta","index":1,"delta":{"type":"input_json_delta","partial_json":" CA\""}}

event: content_block_delta
data: {"type":"content_block_delta","index":1,"delta":{"type":"input_json_delta","partial_json":", "}}

event: content_block_delta
data: {"type":"content_block_delta","index":1,"delta":{"type":"input_json_delta","partial_json":"\"unit\": \"fah"}}

event: content_block_delta
data: {"type":"content_block_delta","index":1,"delta":{"type":"input_json_delta","partial_json":"renheit\"}"}}

event: content_block_stop
data: {"type":"content_block_stop","index":1}

event: message_delta
data: {"type":"message_delta","delta":{"stop_reason":"tool_use","stop_sequence":null},"usage":{"output_tokens":89}}

event: message_stop
data: {"type":"message_stop"}

Verwendung der API

Amazon Bedrock API

Vertex AI

Anthropic APIs

Streaming von Nachrichten

Streaming mit SDKs

Ereignistypen

Ping-Ereignisse

Fehlerereignisse

Andere Ereignisse

Delta-Typen

Text-Delta

Input-JSON-Delta

Raw HTTP Stream-Antwort

Einfache Streaming-Anfrage

Streaming-Anfrage mit Tool-Verwendung

Verwendung der API

Amazon Bedrock API

Vertex AI

Anthropic APIs

​Streaming mit SDKs

​Ereignistypen

​Ping-Ereignisse

​Fehlerereignisse

​Andere Ereignisse

​Delta-Typen

​Text-Delta

​Input-JSON-Delta

​Raw HTTP Stream-Antwort

​Einfache Streaming-Anfrage

​Streaming-Anfrage mit Tool-Verwendung

Streaming mit SDKs

Ereignistypen

Ping-Ereignisse

Fehlerereignisse

Andere Ereignisse

Delta-Typen

Text-Delta

Input-JSON-Delta

Raw HTTP Stream-Antwort

Einfache Streaming-Anfrage

Streaming-Anfrage mit Tool-Verwendung