Conteo de tokens (beta)
El conteo de tokens está en beta
Para acceder a esta función, incluya el encabezado anthropic-beta: token-counting-2024-11-01
en sus solicitudes de API, o use client.beta.messages.count_tokens
en sus llamadas SDK.
Estaremos iterando en esta beta abierta durante las próximas semanas, por lo que agradecemos sus comentarios. Por favor, comparta sus ideas y sugerencias usando este formulario.
El conteo de tokens le permite determinar el número de tokens en un mensaje antes de enviarlo a Claude, ayudándole a tomar decisiones informadas sobre sus prompts y uso. Con el conteo de tokens, puede:
- Gestionar proactivamente los límites de tasa y costos
- Tomar decisiones inteligentes sobre el enrutamiento del modelo
- Optimizar los prompts para una longitud específica
Cómo contar tokens de mensajes
El endpoint de conteo de tokens acepta la misma lista estructurada de entradas para crear un mensaje, incluyendo soporte para prompts del sistema, herramientas, imágenes y PDFs. La respuesta contiene el número total de tokens de entrada.
El conteo de tokens debe considerarse una estimación. En algunos casos, el número real de tokens de entrada utilizados al crear un mensaje puede diferir en una pequeña cantidad.
Modelos soportados
El endpoint de conteo de tokens soporta los siguientes modelos:
- Claude 3.5 Sonnet
- Claude 3.5 Haiku
- Claude 3 Haiku
- Claude 3 Opus
Contar tokens en mensajes básicos
{ "input_tokens": 14 }
Contar tokens en mensajes con herramientas
{ "input_tokens": 403 }
Contar tokens en mensajes con imágenes
{ "input_tokens": 1551 }
Contar tokens en mensajes con PDFs
{ "input_tokens": 2188 }
La API de Conteo de Tokens soporta PDFs con las mismas limitaciones que la API de Mensajes.
Precios y límites de tasa
El conteo de tokens es gratuito de usar pero está sujeto a límites de solicitudes por minuto basados en su nivel de uso. Si necesita límites más altos, contacte con ventas a través de la Consola de Anthropic.
Nivel de uso | Solicitudes por minuto (RPM) |
---|---|
1 | 100 |
2 | 2,000 |
3 | 4,000 |
4 | 8,000 |
El conteo de tokens y la creación de mensajes tienen límites de tasa separados e independientes — el uso de uno no cuenta contra los límites del otro.