토큰 카운팅 (베타)
토큰 카운팅은 베타 버전입니다
이 기능에 접근하려면 API 요청에 anthropic-beta: token-counting-2024-11-01
헤더를 포함하거나, SDK 호출에서 client.beta.messages.count_tokens
를 사용하세요.
앞으로 몇 주 동안 이 오픈 베타를 개선해 나갈 예정이므로, 여러분의 피드백을 환영합니다. 이 양식을 통해 아이디어와 제안을 공유해 주세요.
토큰 카운팅을 통해 Claude에 메시지를 보내기 전에 메시지의 토큰 수를 확인할 수 있어, 프롬프트와 사용량에 대해 정보에 기반한 결정을 내릴 수 있습니다. 토큰 카운팅으로 다음과 같은 작업이 가능합니다:
- 속도 제한과 비용을 사전에 관리
- 스마트한 모델 라우팅 결정
- 프롬프트를 특정 길이로 최적화
메시지 토큰 카운팅 방법
토큰 카운팅 엔드포인트는 시스템 프롬프트, 도구, 이미지, PDF를 포함하여 메시지 생성을 위한 동일한 구조화된 입력 목록을 받습니다. 응답에는 총 입력 토큰 수가 포함됩니다.
토큰 수는 추정치로 간주해야 합니다. 경우에 따라 메시지를 생성할 때 실제 사용되는 입력 토큰의 수는 약간 다를 수 있습니다.
지원되는 모델
토큰 카운팅 엔드포인트는 다음 모델을 지원합니다:
- Claude 3.5 Sonnet
- Claude 3.5 Haiku
- Claude 3 Haiku
- Claude 3 Opus
기본 메시지의 토큰 카운팅
도구가 포함된 메시지의 토큰 카운팅
이미지가 포함된 메시지의 토큰 카운팅
PDF가 포함된 메시지의 토큰 카운팅
토큰 카운트 API는 메시지 API와 동일한 제한사항으로 PDF를 지원합니다.
가격 책정 및 속도 제한
토큰 카운팅은 무료로 사용할 수 있지만, 사용 등급에 따른 분당 요청 제한이 적용됩니다. 더 높은 제한이 필요한 경우 Anthropic Console을 통해 영업팀에 문의하세요.
사용 등급 | 분당 요청 수 (RPM) |
---|---|
1 | 100 |
2 | 2,000 |
3 | 4,000 |
4 | 8,000 |
토큰 카운팅과 메시지 생성은 별도의 독립적인 속도 제한을 가지고 있습니다 — 하나의 사용량이 다른 것의 제한에 영향을 미치지 않습니다.
Was this page helpful?