Niveau d’utilisation | Requêtes par minute (RPM) |
---|---|
1 | 100 |
2 | 2 000 |
3 | 4 000 |
4 | 8 000 |
Le comptage de tokens utilise-t-il la mise en cache des prompts ?
cache_control
dans votre demande de comptage de tokens, la mise en cache des prompts ne se produit que lors de la création réelle du message.