Livello di utilizzo | Richieste al minuto (RPM) |
---|---|
1 | 100 |
2 | 2.000 |
3 | 4.000 |
4 | 8.000 |
Il conteggio dei token utilizza la cache dei prompt?
cache_control
nella tua richiesta di conteggio dei token, il caching dei prompt avviene solo durante l’effettiva creazione del messaggio.