Подсчет токенов находится в бета-версии

Чтобы получить доступ к этой функции, включите заголовок anthropic-beta: token-counting-2024-11-01 в ваши API-запросы или используйте client.beta.messages.count_tokens в вызовах SDK.

Мы будем улучшать эту открытую бета-версию в течение следующих недель, поэтому мы ценим ваши отзывы. Пожалуйста, делитесь своими идеями и предложениями, используя эту форму.

Подсчет токенов позволяет определить количество токенов в сообщении перед его отправкой в Claude, помогая вам принимать обоснованные решения о ваших запросах и использовании. С помощью подсчета токенов вы можете:

  • Проактивно управлять лимитами и затратами
  • Принимать разумные решения по маршрутизации моделей
  • Оптимизировать запросы до определенной длины

Как подсчитать токены сообщений

Конечная точка подсчета токенов принимает тот же структурированный список входных данных для создания сообщения, включая поддержку системных подсказок, инструментов, изображений и PDF. Ответ содержит общее количество входных токенов.

Количество токенов следует рассматривать как оценку. В некоторых случаях фактическое количество входных токенов, используемых при создании сообщения, может немного отличаться.

Поддерживаемые модели

Конечная точка подсчета токенов поддерживает следующие модели:

  • Claude 3.5 Sonnet
  • Claude 3.5 Haiku
  • Claude 3 Haiku
  • Claude 3 Opus

Подсчет токенов в базовых сообщениях

JSON
{ "input_tokens": 14 }

Подсчет токенов в сообщениях с инструментами

JSON
{ "input_tokens": 403 }

Подсчет токенов в сообщениях с изображениями

JSON
{ "input_tokens": 1551 }

Подсчет токенов в сообщениях с PDF

JSON
{ "input_tokens": 2188 }

API подсчета токенов поддерживает PDF-файлы с теми же ограничениями, что и API сообщений.


Ценообразование и ограничения скорости

Подсчет токенов бесплатен для использования, но подчиняется ограничениям количества запросов в минуту в зависимости от вашего уровня использования. Если вам нужны более высокие лимиты, свяжитесь с отделом продаж через Консоль Anthropic.

Уровень использованияЗапросов в минуту (RPM)
1100
22,000
34,000
48,000

Подсчет токенов и создание сообщений имеют отдельные и независимые ограничения скорости — использование одного не учитывается в лимитах другого.