토큰 효율적인 도구 사용 (베타)
업그레이드된 Claude 3.7 Sonnet 모델은 토큰 효율적인 방식으로 도구를 호출할 수 있습니다. 요청은 평균적으로 출력 토큰을 14%, 최대 70%까지 절약하며, 이는 지연 시간도 감소시킵니다. 정확한 토큰 감소와 지연 시간 개선은 전반적인 응답의 형태와 크기에 따라 달라집니다.
토큰 효율적인 도구 사용은 베타 기능입니다. 프로덕션 환경에서 사용하기 전에 반드시 응답을 평가해 주시기 바랍니다.
이 양식을 사용하여 모델 응답의 품질, API 자체, 또는 문서의 품질에 대한 피드백을 제공해 주세요—여러분의 의견을 기다리고 있습니다!
토큰 효율적인 도구 사용은 현재 disable_parallel_tool_use
와 함께 작동하지 않습니다.
이 베타 기능을 사용하려면, claude-3-7-sonnet-20250219
로 도구 사용 요청을 할 때 베타 헤더 token-efficient-tools-2025-02-19
를 추가하기만 하면 됩니다. SDK를 사용하는 경우 anthropic.beta.messages
가 있는 베타 SDK를 사용하고 있는지 확인하세요.
다음은 API에서 토큰 효율적인 도구를 사용하는 방법의 예시입니다:
위의 요청은 평균적으로 일반 요청보다 더 적은 입력 및 출력 토큰을 사용해야 합니다. 이를 확인하려면 베타 헤더 목록에서 token-efficient-tools-2025-02-19
를 제거하고 동일한 요청을 해보세요.
프롬프트 캐싱의 이점을 유지하려면 캐시하고 싶은 요청에 대해 베타 헤더를 일관되게 사용하세요. 선택적으로 사용하면 프롬프트 캐싱이 실패합니다.