Токен-эффективное использование инструментов (бета)
Claude Sonnet 3.7 способен вызывать инструменты токен-эффективным способом. Запросы экономят в среднем 14% выходных токенов, до 70%, что также снижает задержку. Точное сокращение токенов и улучшение задержки зависят от общей формы и размера ответа.
Токен-эффективное использование инструментов — это бета-функция. Пожалуйста, обязательно оцените ваши ответы перед использованием в производственной среде.
Пожалуйста, используйте эту форму, чтобы предоставить отзыв о качестве ответов модели, самом API или качестве документации — мы с нетерпением ждем ваших комментариев!
Если вы решите экспериментировать с этой функцией, мы рекомендуем использовать Улучшитель промптов в Консоли для улучшения вашего промпта.
Токен-эффективное использование инструментов в настоящее время не работает с disable_parallel_tool_use
.
Модели Claude 4 (Opus и Sonnet) не поддерживают эту функцию. Бета-заголовок token-efficient-tools-2025-02-19
не нарушит API-запрос, но приведет к отсутствию действия (no-op).
Чтобы использовать эту бета-функцию, просто добавьте бета-заголовок token-efficient-tools-2025-02-19
к запросу на использование инструмента. Если вы используете SDK, убедитесь, что вы используете бета-SDK с anthropic.beta.messages
.
Вот пример использования токен-эффективных инструментов с API:
Вышеуказанный запрос должен, в среднем, использовать меньше входных и выходных токенов, чем обычный запрос. Чтобы подтвердить это, попробуйте сделать тот же запрос, но удалите token-efficient-tools-2025-02-19
из списка бета-заголовков.
Чтобы сохранить преимущества кэширования промптов, используйте бета-заголовок последовательно для запросов, которые вы хотите кэшировать. Если вы будете использовать его выборочно, кэширование промптов не сработает.