Создание с расширенным мышлением

Расширенное мышление предоставляет Claude 3.7 Sonnet улучшенные возможности рассуждения для сложных задач, одновременно обеспечивая прозрачность его пошагового мыслительного процесса перед предоставлением окончательного ответа.

​

Как работает расширенное мышление

Когда включено расширенное мышление, Claude создает блоки контента thinking, где он выводит свои внутренние рассуждения. Claude включает выводы из этих рассуждений перед формированием окончательного ответа.

Ответ API будет включать блоки контента как thinking, так и text.

В многоходовых разговорах только блоки мышления, связанные с сессией использования инструмента или ходом assistant в последней позиции сообщения, видны для Claude и тарифицируются как входные токены; блоки мышления, связанные с более ранними сообщениями assistant, не видны для Claude во время сэмплирования и не тарифицируются как входные токены.

​

Реализация расширенного мышления

Добавьте параметр thinking и указанный бюджет токенов для использования расширенного мышления в ваш API-запрос.

Параметр budget_tokens определяет максимальное количество токенов, которое Claude может использовать для своего внутреннего процесса рассуждения. Большие бюджеты могут улучшить качество ответа, позволяя проводить более тщательный анализ сложных проблем, хотя Claude может не использовать весь выделенный бюджет, особенно в диапазонах выше 32K.

Ваш budget_tokens всегда должен быть меньше указанного max_tokens.

API-ответ будет включать блоки контента как thinking, так и text:

{
    "content": [
        {
            "type": "thinking",
            "thinking": "To approach this, let's think about what we know about prime numbers...",
            "signature": "zbbJhbGciOiJFU8zI1NiIsImtakcjsu38219c0.eyJoYXNoIjoiYWJjMTIzIiwiaWFxxxjoxNjE0NTM0NTY3fQ...."
        },
        {
            "type": "text",
            "text": "Yes, there are infinitely many prime numbers such that..."
        }
    ]
}

​

Понимание блоков мышления

Блоки мышления представляют внутренний процесс мышления Claude. Чтобы позволить Claude работать над проблемами с минимальными внутренними ограничениями, сохраняя при этом наши стандарты безопасности и наши stateless API, мы реализовали следующее:

• Блоки мышления содержат поле signature. Это поле содержит криптографический токен, который подтверждает, что блок мышления был сгенерирован Claude, и проверяется при передаче блоков мышления обратно в API. При потоковой передаче ответов подпись добавляется через signature_delta внутри события content_block_delta непосредственно перед событием content_block_stop. Строго необходимо отправлять обратно блоки мышления только при использовании инструментов с расширенным мышлением. В противном случае вы можете опустить блоки мышления из предыдущих ходов или позволить API удалить их за вас, если вы передаете их обратно.
• Иногда внутренние рассуждения Claude будут помечены нашими системами безопасности. Когда это происходит, мы шифруем некоторые или все блоки thinking и возвращаем их вам как блок redacted_thinking. Эти отредактированные блоки мышления расшифровываются при передаче обратно в API, позволяя Claude продолжить свой ответ без потери контекста.

Вот пример, показывающий как нормальные, так и отредактированные блоки мышления:

{
  "content": [
    {
      "type": "thinking",
      "thinking": "Let me analyze this step by step...",
      "signature": "WaUjzkypQ2mUEVM36O2TxuC06KN8xyfbJwyem2dw3URve/op91XWHOEBLLqIOMfFG/UvLEczmEsUjavL...."
    },
    {
      "type": "redacted_thinking",
      "data": "EmwKAhgBEgy3va3pzix/LafPsn4aDFIT2Xlxh0L5L8rLVyIwxtE3rAFBa8cr3qpP..."
    },
    {
      "type": "text",
      "text": "Based on my analysis..."
    }
  ]
}

При передаче блоков thinking и redacted_thinking обратно в API в многоходовой беседе вы должны включить полный неизмененный блок обратно в API для последнего хода ассистента.

Это критически важно для поддержания потока рассуждений модели. Мы предлагаем всегда передавать обратно все блоки мышления в API. Для получения дополнительной информации см. раздел Сохранение блоков мышления ниже.

​

Рекомендации по обработке отредактированного мышления в продакшене

При создании клиентских приложений, использующих расширенное мышление:

• Помните, что блоки отредактированного мышления содержат зашифрованный контент, который не читается человеком
• Рассмотрите возможность предоставления простого объяснения, например: “Некоторые внутренние рассуждения Claude были автоматически зашифрованы в целях безопасности. Это не влияет на качество ответов.”
• Если показываете блоки мышления пользователям, вы можете отфильтровать отредактированные блоки, сохраняя при этом обычные блоки мышления
• Будьте прозрачны в том, что использование функций расширенного мышления может иногда приводить к шифрованию некоторых рассуждений
• Реализуйте соответствующую обработку ошибок для корректной работы с отредактированным мышлением без нарушения вашего пользовательского интерфейса

​

Потоковая передача расширенного мышления

Когда включена потоковая передача, вы будете получать контент мышления через события thinking_delta. Вот как обрабатывать потоковую передачу с мышлением:

Пример потокового вывода:

event: message_start
data: {"type": "message_start", "message": {"id": "msg_01...", "type": "message", "role": "assistant", "content": [], "model": "claude-3-7-sonnet-20250219", "stop_reason": null, "stop_sequence": null}}

event: content_block_start
data: {"type": "content_block_start", "index": 0, "content_block": {"type": "thinking", "thinking": ""}}

event: content_block_delta
data: {"type": "content_block_delta", "index": 0, "delta": {"type": "thinking_delta", "thinking": "Let me solve this step by step:\n\n1. First break down 27 * 453"}}

event: content_block_delta
data: {"type": "content_block_delta", "index": 0, "delta": {"type": "thinking_delta", "thinking": "\n2. 453 = 400 + 50 + 3"}}

// Additional thinking deltas...

event: content_block_delta
data: {"type": "content_block_delta", "index": 0, "delta": {"type": "signature_delta", "signature": "EqQBCgIYAhIM1gbcDa9GJwZA2b3hGgxBdjrkzLoky3dl1pkiMOYds..."}}

event: content_block_stop
data: {"type": "content_block_stop", "index": 0}

event: content_block_start
data: {"type": "content_block_start", "index": 1, "content_block": {"type": "text", "text": ""}}

event: content_block_delta
data: {"type": "content_block_delta", "index": 1, "delta": {"type": "text_delta", "text": "27 * 453 = 12,231"}}

// Additional text deltas...

event: content_block_stop
data: {"type": "content_block_stop", "index": 1}

event: message_delta
data: {"type": "message_delta", "delta": {"stop_reason": "end_turn", "stop_sequence": null}}

event: message_stop
data: {"type": "message_stop"}

event: message_start
data: {"type":"message_start","message":{"id":"msg_018J5iQyrGb5Xgy5CWx3iQFB","type":"message","role":"assistant","model":"claude-3-7-sonnet-20250219","content":[],"stop_reason":null,"stop_sequence":null,"usage":{"input_tokens":92,"cache_creation_input_tokens":0,"cache_read_input_tokens":0,"output_tokens":3}}       }

event: content_block_start
data: {"type":"content_block_start","index":0,"content_block":{"type":"redacted_thinking","data":"EvEBCoYBGAIiQAqN5Z4LumxzafxD2yf2zW+hVm/G2/Am05ChRXkU1Xe2wQLPLo0wnmoaVJI1WTkLpRYJAIz2UjzHblLwkJ59xeAqQNr5EWqMZkOr8yNcpbCO5PssXiUvEjhoaC0IN3qyhE3vumOOS9Qd0Ku4AYTgu8VjP4C6IJHnkuIexa0VrU/cFbISDJjPWOWQlyAx4y5FCRoMk55jLUCR8KCZrKrzIjDR8S3F/pCWlz/JA5RN0uprpWAI75HjgcY2NJkPX3sEC0Ew6fl6YEISNk1XsmzWtj4qGArQlCfAW9l8SDiKbXm0UZ4hQhh2ruPbaw=="}  }

event: ping
data: {"type": "ping"}

event: content_block_stop
data: {"type":"content_block_stop","index":0         }

event: content_block_start
data: {"type":"content_block_start","index":1,"content_block":{"type":"redacted_thinking","data":"EvMBCoYBGAIiQKZ6LAz+dCNWxvz0dmjI0gfqEInA9MLVAtFJTpolzOaIbUs28xuKyXVzEQsPWPvP12gN+hxVJ4mYzWT8DCIAxXIqQHwQZcGASLMxWCfHrUlYfFq0vF8IGhRgQKxpj1zxouNLuKdhpZrcHF9vKODIPCPW8EWD13aI6t+exz/UboOs/ZMSDA8tVDp4vkOEUc7sGBoMbiRhGYMqcmAOhb3nIjC/lewBt2l9P+VpJkV78YQ3LhvNh/q3KfsbGuJ2U+lIMPGf9wnzrRC/6xqdsHPe1B0qGozBPKnbBifhyb7xYyWcEWoi/qW9OdoFl1/w"}            }

event: content_block_stop
data: {"type":"content_block_stop","index":1             }

event: content_block_start
data: {"type":"content_block_start","index":2,"content_block":{"type":"redacted_thinking","data":"Eu8BCoYBGAIiQCXtUNB4QyT//Zww832Q+xjJ0oa7/PQZr74OvbS1+a7cRNywZfYMYGGte3RXXTMa6I0bFJOMmXXckcbLxR/L+msqQLhKGx9Bt2FnLpo7bp/PdMQBDDCo+jkbOctnxBQrHCuYbu33o30qPCh73AZ8O1xXXEZfzfLC0L6RoHzLxQSHN5gSDAxGSY7Ifg073BaUYBoMSWHLVrmZrydEfc7SIjAF1R+fYlyVPFwS4Sac/Dw9caskXNF/p+Yn7RNaW9+v/jL03qsqqvemuqRGltSBfZcqFrowQipxo/ftIkEC47Ua64RzSBIe27E="}   }

event: content_block_stop
data: {"type":"content_block_stop","index":2              }

event: content_block_start
data: {"type":"content_block_start","index":3,"content_block":{"type":"redacted_thinking","data":"Eu8BCoYBGAIiQEgE6WUvQO3d6fPpY3OaA95soqeWgZv/Nyi0X6iywTb5KqvUn9NxWySiZwSFZb+4S8ymtHRO4OBKA7eRWEXcBuQqQNudvV6YSFH5ErwaDME0HaEjtHcuy8SslL6RhLwhEJKGpYCzq7zWupcMBB1g57sR8vh/JwGjr7D9sfX9jmM7EsESDEatCbzVVczyZ0TERRoMenFOToj2qn0Xmh1LIjA1WgxaMqiHhb5T4k/++UCKNMH2SEseLzTlR7uIz20qZUXDWtoVck6wc+x7lSWRKXQqFiLoTO1oG0I/lbPz1n2FgC3MH7683FU="}     }

// Additional events...

event: content_block_start
data: {"type":"content_block_start","index":58,"content_block":{"type":"redacted_thinking","data":"EuoBCoYBGAIiQJ/SxkPAgqxhKok29YrpJHRUJ0OT8ahCHKAwyhmRuUhtdmDX9+mn4gDzKNv3fVpQdB01zEPMzNY3QuTCd+1bdtEqQK6JuKHqdndbwpr81oVWb4wxd1GqF/7Jkw74IlQa27oobX+KuRkopr9Dllt/RDe7Se0sI1IkU7tJIAQCoP46OAwSDF51P09q67xhHlQ3ihoM2aOVlkghq/X0w8NlIjBMNvXYNbjhyrOcIg6kPFn2ed/KK7Cm5prYAtXCwkb4Wr5tUSoSHu9T5hKdJRbr6WsqEc7Lle7FULqMLZGkhqXyc3BA"}        }

event: content_block_stop
data: {"type":"content_block_stop","index":58            }

event: content_block_start
data: {"type":"content_block_start","index":59,"content_block":{"type":"text","text":""}              }

event: content_block_delta
data: {"type":"content_block_delta","index":59,"delta":{"type":"text_delta","text":"I'm"}        }

event: content_block_delta
data: {"type":"content_block_delta","index":59,"delta":{"type":"text_delta","text":" not"}     }

event: content_block_delta
data: {"type":"content_block_delta","index":59,"delta":{"type":"text_delta","text":" sure"}    }

// Additional text deltas...

event: content_block_delta
data: {"type":"content_block_delta","index":59,"delta":{"type":"text_delta","text":" me know what you'"}          }

event: content_block_delta
data: {"type":"content_block_delta","index":59,"delta":{"type":"text_delta","text":"d like assistance with."}   }

event: content_block_stop
data: {"type":"content_block_stop","index":59               }

event: message_delta
data: {"type":"message_delta","delta":{"stop_reason":"end_turn","stop_sequence":null},"usage":{"output_tokens":184}  }

event: message_stop
data: {"type":"message_stop"          }

​

Важные соображения при использовании расширенного мышления

Работа с бюджетом мышления: Минимальный бюджет составляет 1,024 токена. Мы предлагаем начинать с минимума и постепенно увеличивать бюджет мышления, чтобы найти оптимальный диапазон для хорошей работы Claude в вашем случае использования. Более высокое количество токенов может позволить достичь более всестороннего и нюансированного рассуждения, но также может быть уменьшение отдачи в зависимости от задачи.

• Бюджет мышления является целевым показателем, а не строгим ограничением - фактическое использование токенов может варьироваться в зависимости от задачи.
• Будьте готовы к потенциально более длительному времени ответа из-за дополнительной обработки, необходимой для процесса рассуждения.
• Потоковая передача требуется, когда max_tokens больше 21,333.

Для бюджетов мышления выше 32K: Мы рекомендуем использовать пакетную обработку для рабочих нагрузок, где бюджет мышления установлен выше 32K, чтобы избежать проблем с сетью. Запросы, заставляющие модель думать выше 32K токенов, вызывают длительные запросы, которые могут столкнуться с системными таймаутами и ограничениями открытых соединений.

Совместимость мышления с другими функциями:

• Мышление несовместимо с модификациями temperature, top_p или top_k, а также с принудительным использованием инструментов.
• Вы не можете предварительно заполнять ответы, когда включено мышление.
• Изменения в бюджете мышления делают недействительными кэшированные префиксы промптов, которые включают сообщения. Однако кэшированные системные промпты и определения инструментов будут продолжать работать при изменении параметров мышления.

​

Ценообразование и использование токенов для расширенного мышления

Токены расширенного мышления учитываются в контекстном окне и тарифицируются как выходные токены. Поскольку токены мышления рассматриваются как обычные выходные токены, они также учитываются в ваших ограничениях скорости. Обязательно учитывайте это увеличенное использование токенов при планировании использования вашего API.

Для Claude 3.7 Sonnet цены следующие:

Пакетная обработка для расширенного мышления доступна со скидкой 50% от этих цен и часто завершается менее чем за 1 час.

​

Расширенные возможности вывода (бета)

Claude 3.7 Sonnet может создавать существенно более длинные ответы, чем предыдущие модели, с поддержкой до 128K выходных токенов (бета) - более чем в 15 раз длиннее, чем другие модели Claude. Эта расширенная возможность особенно эффективна для случаев использования расширенного мышления, включающих сложные рассуждения, богатую генерацию кода и всестороннее создание контента.

Эта функция может быть включена путем передачи заголовка anthropic-beta со значением output-128k-2025-02-19.

При использовании расширенного мышления с более длинными выводами вы можете выделить больший бюджет мышления для поддержки более тщательного рассуждения, при этом все еще имея достаточно токенов для окончательного ответа.

Мы предлагаем использовать потоковый режим или пакетный режим с этой расширенной возможностью вывода; для получения дополнительной информации см. наше руководство по вопросам надежности сети для длинных запросов.

​

Использование расширенного мышления с кэшированием промптов

Кэширование промптов с мышлением имеет несколько важных соображений:

Включение блоков мышления в кэшированные промпты

• Мышление включается только при генерации хода ассистента и не предназначено для кэширования.
• Блоки мышления предыдущих ходов игнорируются.
• Если мышление отключается, любой контент мышления, переданный в API, просто игнорируется.

Правила инвалидации кэша

• Изменения параметров мышления (включение/отключение или изменения бюджета) инвалидируют точки прерывания кэша, установленные в сообщениях.
• Системные промпты и инструменты сохраняют кэширование даже при изменении параметров мышления.

​

Примеры кэширования промптов с расширенным мышлением

First request - establishing cache
First response usage: { cache_creation_input_tokens: 1365, cache_read_input_tokens: 0, input_tokens: 44, output_tokens: 725 }

Second request - same thinking parameters (cache hit expected)
Second response usage: { cache_creation_input_tokens: 0, cache_read_input_tokens: 1365, input_tokens: 386, output_tokens: 765 }

Third request - different thinking budget (cache hit expected)
Third response usage: { cache_creation_input_tokens: 0, cache_read_input_tokens: 1365, input_tokens: 811, output_tokens: 542 }

First request - establishing cache
First response usage: { cache_creation_input_tokens: 1370, cache_read_input_tokens: 0, input_tokens: 17, output_tokens: 700 }

Second request - same thinking parameters (cache hit expected)

Second response usage: { cache_creation_input_tokens: 0, cache_read_input_tokens: 1370, input_tokens: 303, output_tokens: 874 }

Third request - different thinking budget (cache miss expected)
Third response usage: { cache_creation_input_tokens: 1370, cache_read_input_tokens: 0, input_tokens: 747, output_tokens: 619 }

​

Max tokens и размер контекстного окна с расширенным мышлением

В более старых моделях Claude (до Claude 3.7 Sonnet), если сумма токенов промпта и max_tokens превышала контекстное окно модели, система автоматически корректировала max_tokens, чтобы уместиться в пределах контекстного лимита. Это означало, что вы могли установить большое значение max_tokens, и система молча уменьшала его по мере необходимости.

С Claude 3.7 Sonnet, max_tokens (который включает ваш бюджет мышления, когда мышление включено) применяется как строгое ограничение. Система теперь будет возвращать ошибку валидации, если токены промпта + max_tokens превышают размер контекстного окна.

​

Как рассчитывается контекстное окно с расширенным мышлением

При расчете использования контекстного окна с включенным мышлением есть некоторые моменты, о которых следует помнить:

• Блоки мышления из предыдущих ходов удаляются и не учитываются в вашем контекстном окне
• Текущее мышление хода учитывается в вашем лимите max_tokens для этого хода

Диаграмма ниже демонстрирует специализированное управление токенами при включенном расширенном мышлении:

Эффективное контекстное окно рассчитывается как:

контекстное окно =
  (текущие входные токены - предыдущие токены мышления) +
  (токены мышления + отредактированные токены мышления + текстовые выходные токены)

Мы рекомендуем использовать API подсчета токенов для получения точного количества токенов для вашего конкретного случая использования, особенно при работе с многоходовыми разговорами, которые включают мышление.

​

Управление токенами с расширенным мышлением

Учитывая новое поведение контекстного окна и max_tokens с моделями расширенного мышления, такими как Claude 3.7 Sonnet, вам может потребоваться:

• Более активно отслеживать и управлять использованием токенов
• Корректировать значения max_tokens по мере изменения длины промпта
• Потенциально чаще использовать конечные точки подсчета токенов
• Помнить, что предыдущие блоки мышления не накапливаются в вашем контекстном окне

Это изменение было сделано для обеспечения более предсказуемого и прозрачного поведения, особенно поскольку максимальные лимиты токенов значительно увеличились.

​

Расширенное мышление с использованием инструментов

При использовании расширенного мышления с инструментами помните о следующем шаблоне поведения:

1. Первый ход ассистента: Когда вы отправляете начальное сообщение пользователя, ответ ассистента будет включать блоки мышления, за которыми следуют запросы на использование инструментов.

2. Ход с результатом инструмента: Когда вы передаете сообщение пользователя с блоками результатов инструмента, последующее сообщение ассистента не будет содержать дополнительных блоков мышления.

Если расширить здесь, нормальный порядок разговора с использованием инструментов с мышлением следует этим шагам:

1. Пользователь отправляет начальное сообщение
2. Ассистент отвечает блоками мышления и запросами инструментов
3. Пользователь отправляет сообщение с результатами инструментов
4. Ассистент отвечает либо дополнительными вызовами инструментов, либо просто текстом (без блоков мышления в этом ответе)
5. Если запрашиваются дополнительные инструменты, повторите шаги 3-4, пока разговор не будет завершен

Этот дизайн позволяет Claude показывать свой процесс рассуждения перед запросом инструментов, но не повторять процесс мышления после получения результатов инструментов. Claude не будет выводить другой блок мышления до следующего хода пользователя, не являющегося tool_result.

Диаграмма ниже иллюстрирует управление токенами контекстного окна при комбинировании расширенного мышления с использованием инструментов:

{
    "content": [
        {
            "type": "thinking",
            "thinking": "The user wants to know the current weather in Paris. I have access to a function `get_weather`...",
            "signature": "BDaL4VrbR2Oj0hO4XpJxT28J5TILnCrrUXoKiiNBZW9P+nr8XSj1zuZzAl4egiCCpQNvfyUuFFJP5CncdYZEQPPmLxYsNrcs...."
        },
        {
            "type": "text",
            "text": "I can help you get the current weather information for Paris. Let me check that for you"
        },
        {
            "type": "tool_use",
            "id": "toolu_01CswdEQBMshySk6Y9DFKrfq",
            "name": "get_weather",
            "input": {
                "location": "Paris"
            }
        }
    ]
}

{
    "content": [
        {
            "type": "text",
            "text": "Currently in Paris, the temperature is 88°F (31°C)"
        }
    ]
}

​

Сохранение блоков мышления

Во время использования инструментов вы должны передавать блоки thinking и redacted_thinking обратно в API, и вы должны включать полный неизмененный блок обратно в API. Это критически важно для поддержания потока рассуждений модели и целостности разговора.

​

Почему блоки мышления должны быть сохранены

Когда Claude вызывает инструменты, он приостанавливает построение ответа в ожидании внешней информации. Когда возвращаются результаты инструментов, Claude продолжит строить этот существующий ответ. Это требует сохранения блоков мышления во время использования инструментов по нескольким причинам:

1. Непрерывность рассуждений: Блоки мышления фиксируют пошаговые рассуждения Claude, которые привели к запросам инструментов. Когда вы отправляете результаты инструментов, включение исходного мышления гарантирует, что Claude может продолжить свои рассуждения с того места, где он остановился.

2. Поддержание контекста: Хотя результаты инструментов появляются как сообщения пользователя в структуре API, они являются частью непрерывного потока рассуждений. Сохранение блоков мышления поддерживает этот концептуальный поток через несколько вызовов API.

Важно: При предоставлении блоков thinking или redacted_thinking вся последовательность последовательных блоков thinking или redacted_thinking должна соответствовать выводам, сгенерированным моделью во время исходного запроса; вы не можете переупорядочивать или изменять последовательность этих блоков.

​

Советы по наилучшему использованию режима расширенного мышления

Чтобы получить максимальную отдачу от расширенного мышления:

1. Установите соответствующие бюджеты: Начните с больших бюджетов мышления (16,000+ токенов) для сложных задач и корректируйте в зависимости от ваших потребностей.

2. Экспериментируйте с бюджетами токенов мышления: Модель может работать по-разному при различных настройках максимального бюджета мышления. Увеличение максимального бюджета мышления может заставить модель думать лучше/усерднее, в обмен на увеличенную задержку. Для критических задач рассмотрите возможность тестирования различных настроек бюджета, чтобы найти оптимальный баланс между качеством и производительностью.

3. Вам не нужно самостоятельно удалять предыдущие блоки мышления: API Anthropic автоматически игнорирует блоки мышления из предыдущих ходов, и они не включаются при расчете использования контекста.

4. Отслеживайте использование токенов: Следите за использованием токенов мышления для оптимизации затрат и производительности.

5. Используйте расширенное мышление для особенно сложных задач: Включайте мышление для задач, которые выигрывают от пошагового рассуждения, таких как математика, программирование и анализ.

6. Учитывайте увеличенное время ответа: Учитывайте, что генерация блоков мышления может увеличить общее время ответа.

7. Правильно обрабатывайте потоковую передачу: При потоковой передаче будьте готовы обрабатывать как блоки мышления, так и текстовые блоки контента по мере их поступления.

8. Инженерия промптов: Ознакомьтесь с нашими советами по промптам для расширенного мышления, если вы хотите максимизировать возможности мышления Claude.

​

Следующие шаги