Token-Zählung (Beta)
Token-Zählung ist in der Beta-Phase
Um auf diese Funktion zuzugreifen, fügen Sie den Header anthropic-beta: token-counting-2024-11-01
in Ihre API-Anfragen ein oder verwenden Sie client.beta.messages.count_tokens
in Ihren SDK-Aufrufen.
Wir werden diese offene Beta in den kommenden Wochen weiterentwickeln und schätzen daher Ihr Feedback. Bitte teilen Sie Ihre Ideen und Vorschläge über dieses Formular mit.
Die Token-Zählung ermöglicht es Ihnen, die Anzahl der Token in einer Nachricht zu bestimmen, bevor Sie sie an Claude senden, und hilft Ihnen dabei, fundierte Entscheidungen über Ihre Prompts und Nutzung zu treffen. Mit der Token-Zählung können Sie:
- Rate-Limits und Kosten proaktiv verwalten
- Intelligente Modell-Routing-Entscheidungen treffen
- Prompts auf eine bestimmte Länge optimieren
Wie man Nachrichten-Token zählt
Der Token-Zählungs-Endpunkt akzeptiert die gleiche strukturierte Liste von Eingaben wie beim Erstellen einer Nachricht, einschließlich der Unterstützung für System-Prompts, Tools, Bilder und PDFs. Die Antwort enthält die Gesamtzahl der Eingabe-Token.
Die Token-Anzahl sollte als Schätzung betrachtet werden. In einigen Fällen kann die tatsächliche Anzahl der verwendeten Eingabe-Token beim Erstellen einer Nachricht geringfügig abweichen.
Unterstützte Modelle
Der Token-Zählungs-Endpunkt unterstützt die folgenden Modelle:
- Claude 3.5 Sonnet
- Claude 3.5 Haiku
- Claude 3 Haiku
- Claude 3 Opus
Token in einfachen Nachrichten zählen
{ "input_tokens": 14 }
Token in Nachrichten mit Tools zählen
{ "input_tokens": 403 }
Token in Nachrichten mit Bildern zählen
{ "input_tokens": 1551 }
Token in Nachrichten mit PDFs zählen
{ "input_tokens": 2188 }
Die Token-Zählungs-API unterstützt PDFs mit den gleichen Einschränkungen wie die Messages-API.
Preisgestaltung und Rate-Limits
Die Token-Zählung ist kostenlos nutzbar, unterliegt jedoch Anfragen-pro-Minute-Beschränkungen basierend auf Ihrer Nutzungsstufe. Wenn Sie höhere Limits benötigen, kontaktieren Sie den Vertrieb über die Anthropic Console.
Nutzungsstufe | Anfragen pro Minute (RPM) |
---|---|
1 | 100 |
2 | 2.000 |
3 | 4.000 |
4 | 8.000 |
Token-Zählung und Nachrichtenerstellung haben separate und unabhängige Rate-Limits — die Nutzung des einen wird nicht auf die Limits des anderen angerechnet.