토큰 카운팅은 베타 버전입니다

이 기능에 접근하려면 API 요청에 anthropic-beta: token-counting-2024-11-01 헤더를 포함하거나, SDK 호출에서 client.beta.messages.count_tokens를 사용하세요.

앞으로 몇 주 동안 이 오픈 베타를 개선해 나갈 예정이므로, 여러분의 피드백을 환영합니다. 이 양식을 통해 아이디어와 제안을 공유해 주세요.

토큰 카운팅을 통해 Claude에 메시지를 보내기 전에 메시지의 토큰 수를 확인할 수 있어, 프롬프트와 사용량에 대해 정보에 기반한 결정을 내릴 수 있습니다. 토큰 카운팅으로 다음과 같은 작업이 가능합니다:

  • 속도 제한과 비용을 사전에 관리
  • 스마트한 모델 라우팅 결정
  • 프롬프트를 특정 길이로 최적화

메시지 토큰 카운팅 방법

토큰 카운팅 엔드포인트는 시스템 프롬프트, 도구, 이미지, PDF를 포함하여 메시지 생성을 위한 동일한 구조화된 입력 목록을 받습니다. 응답에는 총 입력 토큰 수가 포함됩니다.

토큰 수는 추정치로 간주해야 합니다. 경우에 따라 메시지를 생성할 때 실제 사용되는 입력 토큰의 수는 약간 다를 수 있습니다.

지원되는 모델

토큰 카운팅 엔드포인트는 다음 모델을 지원합니다:

  • Claude 3.5 Sonnet
  • Claude 3.5 Haiku
  • Claude 3 Haiku
  • Claude 3 Opus

기본 메시지의 토큰 카운팅

JSON
{ "input_tokens": 14 }

도구가 포함된 메시지의 토큰 카운팅

JSON
{ "input_tokens": 403 }

이미지가 포함된 메시지의 토큰 카운팅

JSON
{ "input_tokens": 1551 }

PDF가 포함된 메시지의 토큰 카운팅

JSON
{ "input_tokens": 2188 }

토큰 카운트 API는 메시지 API와 동일한 제한사항으로 PDF를 지원합니다.


가격 책정 및 속도 제한

토큰 카운팅은 무료로 사용할 수 있지만, 사용 등급에 따른 분당 요청 제한이 적용됩니다. 더 높은 제한이 필요한 경우 Anthropic Console을 통해 영업팀에 문의하세요.

사용 등급분당 요청 수 (RPM)
1100
22,000
34,000
48,000

토큰 카운팅과 메시지 생성은 별도의 독립적인 속도 제한을 가지고 있습니다 — 하나의 사용량이 다른 것의 제한에 영향을 미치지 않습니다.