Uso eficiente de tokens em ferramentas (beta)
O modelo Claude 3.7 Sonnet atualizado é capaz de chamar ferramentas de maneira eficiente em termos de tokens. As requisições economizam em média 14% em tokens de saída, chegando a até 70%, o que também reduz a latência. A redução exata de tokens e as melhorias de latência dependem da forma e do tamanho geral da resposta.
O uso eficiente de tokens em ferramentas é um recurso beta. Por favor, certifique-se de avaliar suas respostas antes de usá-las em produção.
Por favor, use este formulário para fornecer feedback sobre a qualidade das respostas do modelo, a API em si ou a qualidade da documentação—mal podemos esperar para ouvir você!
Se você decidir experimentar este recurso, recomendamos usar o Prompt Improver no Console para melhorar seu prompt.
O uso eficiente de tokens em ferramentas atualmente não funciona com disable_parallel_tool_use.
Para usar este recurso beta, simplesmente adicione o cabeçalho beta token-efficient-tools-2025-02-19 a uma requisição de uso de ferramenta com claude-3-7-sonnet-20250219. Se você estiver usando o SDK, certifique-se de que está usando o SDK beta com anthropic.beta.messages.
Aqui está um exemplo de como usar ferramentas com uso eficiente de tokens com a API:
A requisição acima deve, em média, usar menos tokens de entrada e saída do que uma requisição normal. Para confirmar isso, tente fazer a mesma requisição, mas remova token-efficient-tools-2025-02-19 da lista de cabeçalhos beta.
Para manter os benefícios do cache de prompts, use o cabeçalho beta consistentemente para as requisições que você deseja armazenar em cache. Se você usá-lo seletivamente, o cache de prompts falhará.
Was this page helpful?