Nutzungsstufe | Anfragen pro Minute (RPM) |
---|---|
1 | 100 |
2 | 2.000 |
3 | 4.000 |
4 | 8.000 |
Verwendet die Token-Zählung Prompt-Caching?
cache_control
-Blöcke in Ihrer Token-Zählungsanfrage angeben können, erfolgt das Prompt-Caching nur während der tatsächlichen Nachrichtenerstellung.