Uso efficiente dei token per gli strumenti (beta)
Il modello Claude 3.7 Sonnet aggiornato è in grado di chiamare gli strumenti in modo efficiente dal punto di vista dei token. Le richieste risparmiano in media il 14% dei token in output, fino al 70%, riducendo anche la latenza. L’esatta riduzione dei token e i miglioramenti della latenza dipendono dalla forma e dalle dimensioni complessive della risposta.
L’uso efficiente dei token per gli strumenti è una funzionalità beta. Assicurati di valutare le tue risposte prima di utilizzarle in produzione.
Ti preghiamo di utilizzare questo modulo per fornire feedback sulla qualità delle risposte del modello, sull’API stessa o sulla qualità della documentazione: non vediamo l’ora di ricevere il tuo feedback!
Se scegli di sperimentare questa funzionalità, ti consigliamo di utilizzare il Prompt Improver nella Console per migliorare il tuo prompt.
L’uso efficiente dei token per gli strumenti attualmente non funziona con disable_parallel_tool_use.
Per utilizzare questa funzionalità beta, aggiungi semplicemente l’header beta token-efficient-tools-2025-02-19 a una richiesta di utilizzo dello strumento con claude-3-7-sonnet-20250219. Se stai utilizzando l’SDK, assicurati di utilizzare l’SDK beta con anthropic.beta.messages.
Ecco un esempio di come utilizzare gli strumenti efficienti dal punto di vista dei token con l’API:
La richiesta di cui sopra dovrebbe, in media, utilizzare meno token di input e output rispetto a una richiesta normale. Per confermarlo, prova a effettuare la stessa richiesta ma rimuovi token-efficient-tools-2025-02-19 dall’elenco degli header beta.
Per mantenere i benefici della cache dei prompt, usa l’header beta in modo coerente per le richieste che desideri memorizzare nella cache. Se lo usi selettivamente, la cache dei prompt non funzionerà.
Was this page helpful?