Обновленная модель Claude 3.7 Sonnet способна вызывать инструменты более эффективно с точки зрения использования токенов. Запросы в среднем экономят 14% выходных токенов, до 70%, что также снижает задержку. Точное сокращение токенов и улучшение задержки зависят от общей формы и размера ответа.

Токен-эффективное использование инструментов является бета-функцией. Пожалуйста, обязательно оцените ваши ответы перед использованием в продакшене.

Пожалуйста, используйте эту форму для предоставления обратной связи о качестве ответов модели, самом API или качестве документации — мы с нетерпением ждем ваших отзывов!

Если вы решите экспериментировать с этой функцией, мы рекомендуем использовать Prompt Improver в Console для улучшения вашего промпта.

Токен-эффективное использование инструментов в настоящее время не работает с disable_parallel_tool_use.

Чтобы использовать эту бета-функцию, просто добавьте бета-заголовок token-efficient-tools-2025-02-19 к запросу на использование инструмента с claude-3-7-sonnet-20250219. Если вы используете SDK, убедитесь, что используете бета-версию SDK с anthropic.beta.messages.

Вот пример использования токен-эффективных инструментов с API:

Вышеуказанный запрос должен в среднем использовать меньше входных и выходных токенов, чем обычный запрос. Чтобы подтвердить это, попробуйте сделать тот же запрос, но удалите token-efficient-tools-2025-02-19 из списка бета-заголовков.

Чтобы сохранить преимущества кэширования промптов, используйте бета-заголовок последовательно для запросов, которые вы хотите кэшировать. Если вы будете использовать его выборочно, кэширование промптов не сработает.

Was this page helpful?

ОбзорКэширование промптов