Uso eficiente de tokens en herramientas (beta)
El modelo mejorado Claude 3.7 Sonnet es capaz de llamar a herramientas de una manera eficiente en cuanto al uso de tokens. Las solicitudes ahorran un promedio del 14% en tokens de salida, hasta un 70%, lo que también reduce la latencia. La reducción exacta de tokens y las mejoras en la latencia dependen de la forma y el tamaño general de la respuesta.
El uso eficiente de tokens en herramientas es una función beta. Por favor, asegúrese de evaluar sus respuestas antes de usarlas en producción.
Por favor, utilice este formulario para proporcionar comentarios sobre la calidad de las respuestas del modelo, la API en sí, o la calidad de la documentación—¡estamos ansiosos por escuchar sus opiniones!
Si decide experimentar con esta función, recomendamos usar el Mejorador de Prompts en la Consola para mejorar su prompt.
El uso eficiente de tokens en herramientas actualmente no funciona con disable_parallel_tool_use.
Para usar esta función beta, simplemente agregue el encabezado beta token-efficient-tools-2025-02-19 a una solicitud de uso de herramientas con claude-3-7-sonnet-20250219. Si está usando el SDK, asegúrese de estar usando el SDK beta con anthropic.beta.messages.
Aquí hay un ejemplo de cómo usar herramientas eficientes en tokens con la API:
La solicitud anterior debería, en promedio, usar menos tokens de entrada y salida que una solicitud normal. Para confirmarlo, intente hacer la misma solicitud pero elimine token-efficient-tools-2025-02-19 de la lista de encabezados beta.
Para mantener los beneficios del almacenamiento en caché de prompts, use el encabezado beta de manera consistente para las solicitudes que desee almacenar en caché. Si lo usa selectivamente, el almacenamiento en caché de prompts fallará.
Was this page helpful?