Подсчет токенов (бета)
Подсчет токенов находится в бета-версии
Чтобы получить доступ к этой функции, включите заголовок anthropic-beta: token-counting-2024-11-01 в ваши API-запросы или используйте client.beta.messages.count_tokens в вызовах SDK.
Мы будем улучшать эту открытую бета-версию в течение следующих недель, поэтому мы ценим ваши отзывы. Пожалуйста, делитесь своими идеями и предложениями, используя эту форму.
Подсчет токенов позволяет определить количество токенов в сообщении перед его отправкой в Claude, помогая вам принимать обоснованные решения о ваших запросах и использовании. С помощью подсчета токенов вы можете:
- Проактивно управлять лимитами и затратами
- Принимать разумные решения по маршрутизации моделей
- Оптимизировать запросы до определенной длины
Как подсчитать токены сообщений
Конечная точка подсчета токенов принимает тот же структурированный список входных данных для создания сообщения, включая поддержку системных подсказок, инструментов, изображений и PDF. Ответ содержит общее количество входных токенов.
Количество токенов следует рассматривать как оценку. В некоторых случаях фактическое количество входных токенов, используемых при создании сообщения, может немного отличаться.
Поддерживаемые модели
Конечная точка подсчета токенов поддерживает следующие модели:
- Claude 3.5 Sonnet
- Claude 3.5 Haiku
- Claude 3 Haiku
- Claude 3 Opus
Подсчет токенов в базовых сообщениях
Подсчет токенов в сообщениях с инструментами
Подсчет токенов в сообщениях с изображениями
Подсчет токенов в сообщениях с PDF
API подсчета токенов поддерживает PDF-файлы с теми же ограничениями, что и API сообщений.
Ценообразование и ограничения скорости
Подсчет токенов бесплатен для использования, но подчиняется ограничениям количества запросов в минуту в зависимости от вашего уровня использования. Если вам нужны более высокие лимиты, свяжитесь с отделом продаж через Консоль Anthropic.
| Уровень использования | Запросов в минуту (RPM) |
|---|---|
| 1 | 100 |
| 2 | 2,000 |
| 3 | 4,000 |
| 4 | 8,000 |
Подсчет токенов и создание сообщений имеют отдельные и независимые ограничения скорости — использование одного не учитывается в лимитах другого.