Ao criar uma Mensagem, você pode definir "stream": true
para transmitir a resposta incrementalmente usando eventos enviados pelo servidor (SSE).
Nossos SDKs de Python e TypeScript oferecem múltiplas formas de streaming. O SDK Python permite streams síncronos e assíncronos. Veja a documentação em cada SDK para detalhes.
Tipos de eventos
Cada evento enviado pelo servidor inclui um tipo de evento nomeado e dados JSON associados. Cada evento usará um nome de evento SSE (por exemplo, event: message_stop
), e incluirá o type
de evento correspondente em seus dados.
Cada stream usa o seguinte fluxo de eventos:
message_start
: contém um objeto Message
com content
vazio.
- Uma série de blocos de conteúdo, cada um com um evento
content_block_start
, um ou mais eventos content_block_delta
, e um evento content_block_stop
. Cada bloco de conteúdo terá um index
que corresponde ao seu índice no array final content
da Mensagem.
- Um ou mais eventos
message_delta
, indicando mudanças de alto nível no objeto Message
final.
- Um evento final
message_stop
.
Eventos de ping
Os streams de eventos também podem incluir qualquer número de eventos ping
.
Eventos de erro
Ocasionalmente, podemos enviar erros no stream de eventos. Por exemplo, durante períodos de alto uso, você pode receber um overloaded_error
, que normalmente corresponderia a um HTTP 529 em um contexto sem streaming:
Outros eventos
De acordo com nossa política de versionamento, podemos adicionar novos tipos de eventos, e seu código deve lidar com tipos de eventos desconhecidos de forma adequada.
Tipos de delta
Cada evento content_block_delta
contém um delta
de um tipo que atualiza o bloco de content
em um determinado index
.
Delta de texto
Um delta de bloco de conteúdo text
se parece com:
Delta de JSON de entrada
Os deltas para blocos de conteúdo tool_use
correspondem a atualizações para o campo input
do bloco. Para suportar máxima granularidade, os deltas são strings JSON parciais, enquanto o tool_use.input
final é sempre um objeto.
Você pode acumular as strings delta e analisar o JSON depois de receber um evento content_block_stop
, usando uma biblioteca como Pydantic para fazer análise JSON parcial, ou usando nossos SDKs, que fornecem auxiliares para acessar valores incrementais analisados.
Um delta de bloco de conteúdo tool_use
se parece com:
Nota: Nossos modelos atuais só suportam emitir uma propriedade completa de chave e valor do input
por vez. Assim, ao usar ferramentas, pode haver atrasos entre eventos de streaming enquanto o modelo está trabalhando. Uma vez que uma chave e valor de input
são acumulados, nós os emitimos como múltiplos eventos content_block_delta
com json parcial em chunks para que o formato possa automaticamente suportar granularidade mais fina em modelos futuros.
Delta de pensamento
Ao usar pensamento estendido com streaming habilitado, você receberá conteúdo de pensamento via eventos thinking_delta
. Estes deltas correspondem ao campo thinking
dos blocos de conteúdo thinking
.
Para conteúdo de pensamento, um evento especial signature_delta
é enviado logo antes do evento content_block_stop
. Esta assinatura é usada para verificar a integridade do bloco de pensamento.
Um delta de pensamento típico se parece com:
O delta de assinatura se parece com:
Resposta de Stream HTTP bruta
Recomendamos fortemente que você use nossos SDKs de cliente ao usar o modo de streaming. No entanto, se você estiver construindo uma integração direta com a API, precisará lidar com esses eventos você mesmo.
Uma resposta de stream é composta por:
- Um evento
message_start
- Potencialmente múltiplos blocos de conteúdo, cada um contendo:
a. Um evento
content_block_start
b. Potencialmente múltiplos eventos content_block_delta
c. Um evento content_block_stop
- Um evento
message_delta
- Um evento
message_stop
Pode haver eventos ping
dispersos por toda a resposta também. Veja Tipos de eventos para mais detalhes sobre o formato.
Requisição básica de streaming
Nesta requisição, pedimos ao Claude para usar uma ferramenta para nos dizer o clima.
event: message_start
data: {"type":"message_start","message":{"id":"msg_014p7gG3wDgGV9EUtLvnow3U","type":"message","role":"assistant","model":"claude-3-haiku-20240307","stop_sequence":null,"usage":{"input_tokens":472,"output_tokens":2},"content":[],"stop_reason":null}}
event: content_block_start
data: {"type":"content_block_start","index":0,"content_block":{"type":"text","text":""}}
event: ping
data: {"type": "ping"}
event: content_block_delta
data: {"type":"content_block_delta","index":0,"delta":{"type":"text_delta","text":"Ok"}}
event: content_block_delta
data: {"type":"content_block_delta","index":0,"delta":{"type":"text_delta","text":","}}
event: content_block_delta
data: {"type":"content_block_delta","index":0,"delta":{"type":"text_delta","text":" vamos"}}
event: content_block_delta
data: {"type":"content_block_delta","index":0,"delta":{"type":"text_delta","text":" verificar"}}
event: content_block_delta
data: {"type":"content_block_delta","index":0,"delta":{"type":"text_delta","text":" o"}}
event: content_block_delta
data: {"type":"content_block_delta","index":0,"delta":{"type":"text_delta","text":" clima"}}
event: content_block_delta
data: {"type":"content_block_delta","index":0,"delta":{"type":"text_delta","text":" em"}}
event: content_block_delta
data: {"type":"content_block_delta","index":0,"delta":{"type":"text_delta","text":" San"}}
event: content_block_delta
data: {"type":"content_block_delta","index":0,"delta":{"type":"text_delta","text":" Francisco"}}
event: content_block_delta
data: {"type":"content_block_delta","index":0,"delta":{"type":"text_delta","text":","}}
event: content_block_delta
data: {"type":"content_block_delta","index":0,"delta":{"type":"text_delta","text":" CA"}}
event: content_block_delta
data: {"type":"content_block_delta","index":0,"delta":{"type":"text_delta","text":":"}}
event: content_block_stop
data: {"type":"content_block_stop","index":0}
event: content_block_start
data: {"type":"content_block_start","index":1,"content_block":{"type":"tool_use","id":"toolu_01T1x1fJ34qAmk2tNTrN7Up6","name":"get_weather","input":{}}}
event: content_block_delta
data: {"type":"content_block_delta","index":1,"delta":{"type":"input_json_delta","partial_json":""}}
event: content_block_delta
data: {"type":"content_block_delta","index":1,"delta":{"type":"input_json_delta","partial_json":"{\"location\":"}}
event: content_block_delta
data: {"type":"content_block_delta","index":1,"delta":{"type":"input_json_delta","partial_json":" \"San"}}
event: content_block_delta
data: {"type":"content_block_delta","index":1,"delta":{"type":"input_json_delta","partial_json":" Francisc"}}
event: content_block_delta
data: {"type":"content_block_delta","index":1,"delta":{"type":"input_json_delta","partial_json":"o,"}}
event: content_block_delta
data: {"type":"content_block_delta","index":1,"delta":{"type":"input_json_delta","partial_json":" CA\""}}
event: content_block_delta
data: {"type":"content_block_delta","index":1,"delta":{"type":"input_json_delta","partial_json":", "}}
event: content_block_delta
data: {"type":"content_block_delta","index":1,"delta":{"type":"input_json_delta","partial_json":"\"unit\": \"fah"}}
event: content_block_delta
data: {"type":"content_block_delta","index":1,"delta":{"type":"input_json_delta","partial_json":"renheit\"}"}}
event: content_block_stop
data: {"type":"content_block_stop","index":1}
event: message_delta
data: {"type":"message_delta","delta":{"stop_reason":"tool_use","stop_sequence":null},"usage":{"output_tokens":89}}
event: message_stop
data: {"type":"message_stop"}
Nesta requisição, habilitamos o pensamento estendido com streaming para ver o raciocínio passo a passo do Claude.
event: message_start
data: {"type": "message_start", "message": {"id": "msg_01...", "type": "message", "role": "assistant", "content": [], "model": "claude-3-7-sonnet-20250219", "stop_reason": null, "stop_sequence": null}}
event: content_block_start
data: {"type": "content_block_start", "index": 0, "content_block": {"type": "thinking", "thinking": ""}}
event: content_block_delta
data: {"type": "content_block_delta", "index": 0, "delta": {"type": "thinking_delta", "thinking": "Deixe-me resolver isso passo a passo:\n\n1. Primeiro decompor 27 * 453"}}
event: content_block_delta
data: {"type": "content_block_delta", "index": 0, "delta": {"type": "thinking_delta", "thinking": "\n2. 453 = 400 + 50 + 3"}}
event: content_block_delta
data: {"type": "content_block_delta", "index": 0, "delta": {"type": "thinking_delta", "thinking": "\n3. 27 * 400 = 10.800"}}
event: content_block_delta
data: {"type": "content_block_delta", "index": 0, "delta": {"type": "thinking_delta", "thinking": "\n4. 27 * 50 = 1.350"}}
event: content_block_delta
data: {"type": "content_block_delta", "index": 0, "delta": {"type": "thinking_delta", "thinking": "\n5. 27 * 3 = 81"}}
event: content_block_delta
data: {"type": "content_block_delta", "index": 0, "delta": {"type": "thinking_delta", "thinking": "\n6. 10.800 + 1.350 + 81 = 12.231"}}
event: content_block_delta
data: {"type": "content_block_delta", "index": 0, "delta": {"type": "signature_delta", "signature": "EqQBCgIYAhIM1gbcDa9GJwZA2b3hGgxBdjrkzLoky3dl1pkiMOYds..."}}
event: content_block_stop
data: {"type": "content_block_stop", "index": 0}
event: content_block_start
data: {"type": "content_block_start", "index": 1, "content_block": {"type": "text", "text": ""}}
event: content_block_delta
data: {"type": "content_block_delta", "index": 1, "delta": {"type": "text_delta", "text": "27 * 453 = 12.231"}}
event: content_block_stop
data: {"type": "content_block_stop", "index": 1}
event: message_delta
data: {"type": "message_delta", "delta": {"stop_reason": "end_turn", "stop_sequence": null}}
event: message_stop
data: {"type": "message_stop"}