Claude 4 Opus и Sonnet, а также Claude Sonnet 3.7 и Claude Sonnet 3.5 (новый), способны взаимодействовать с инструментами, которые могут управлять средой рабочего стола компьютера. Модели Claude 4 используют обновленные версии инструментов, оптимизированные для новой архитектуры. Claude Sonnet 3.7 представляет дополнительные инструменты и позволяет включить режим мышления, давая вам больше информации о процессе рассуждения модели.

Использование компьютера — это функция в бета-версии. Пожалуйста, имейте в виду, что использование компьютера создает уникальные риски, которые отличаются от стандартных функций API или интерфейсов чата. Эти риски усиливаются при использовании компьютера для взаимодействия с интернетом. Чтобы минимизировать риски, рассмотрите возможность принятия таких мер предосторожности, как:

  1. Использование выделенной виртуальной машины или контейнера с минимальными привилегиями для предотвращения прямых атак на систему или несчастных случаев.
  2. Избегайте предоставления модели доступа к конфиденциальным данным, таким как информация для входа в учетную запись, чтобы предотвратить кражу информации.
  3. Ограничьте доступ в интернет списком разрешенных доменов, чтобы уменьшить воздействие вредоносного контента.
  4. Попросите человека подтвердить решения, которые могут привести к значительным последствиям в реальном мире, а также любые задачи, требующие явного согласия, такие как принятие файлов cookie, выполнение финансовых транзакций или согласие с условиями обслуживания.

В некоторых обстоятельствах Claude будет следовать командам, найденным в контенте, даже если это противоречит инструкциям пользователя. Например, инструкции Claude на веб-страницах или содержащиеся в изображениях могут переопределить инструкции или привести к ошибкам Claude. Мы предлагаем принять меры предосторожности, чтобы изолировать Claude от конфиденциальных данных и действий, чтобы избежать рисков, связанных с инъекцией промптов.

Мы обучили модель сопротивляться этим инъекциям промптов и добавили дополнительный уровень защиты. Если вы используете наши инструменты для работы с компьютером, мы автоматически запустим классификаторы для ваших промптов, чтобы отметить потенциальные случаи инъекций промптов. Когда эти классификаторы идентифицируют потенциальные инъекции промптов на скриншотах, они автоматически направят модель запросить подтверждение пользователя перед выполнением следующего действия. Мы понимаем, что эта дополнительная защита не будет идеальной для каждого случая использования (например, для случаев использования без участия человека), поэтому если вы хотите отказаться от нее и отключить ее, пожалуйста, свяжитесь с нами.

Мы все равно предлагаем принять меры предосторожности, чтобы изолировать Claude от конфиденциальных данных и действий, чтобы избежать рисков, связанных с инъекцией промптов.

Наконец, пожалуйста, информируйте конечных пользователей о соответствующих рисках и получайте их согласие перед включением функции использования компьютера в ваших собственных продуктах.

Эталонная реализация использования компьютера

Начните быстро с нашей эталонной реализацией использования компьютера, которая включает веб-интерфейс, Docker-контейнер, примеры реализации инструментов и цикл агента.

Примечание: Реализация была обновлена, чтобы включить новые инструменты как для Claude 4, так и для Claude Sonnet 3.7. Обязательно загрузите последнюю версию репозитория, чтобы получить доступ к этим новым функциям.

Пожалуйста, используйте эту форму, чтобы предоставить отзыв о качестве ответов модели, самом API или качестве документации — мы с нетерпением ждем ваших отзывов!

Вот пример того, как предоставить инструменты использования компьютера для Claude с помощью API Messages:

curl https://api.anthropic.com/v1/messages \
  -H "content-type: application/json" \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "anthropic-beta: computer-use-2025-01-24" \
  -d '{
    "model": "claude-opus-4-20250514",
    "max_tokens": 1024,
    "tools": [
      {
        "type": "computer_20250124",
        "name": "computer",
        "display_width_px": 1024,
        "display_height_px": 768,
        "display_number": 1
      },
      {
        "type": "text_editor_20250429",
        "name": "str_replace_based_edit_tool"
      },
      {
        "type": "bash_20250124",
        "name": "bash"
      }
    ],
    "messages": [
      {
        "role": "user",
        "content": "Save a picture of a cat to my desktop."
      }
    ],
    "thinking": {
      "type": "enabled",
      "budget_tokens": 1024
    }
  }'

​
Как работает использование компьютера

1. Предоставьте Claude инструменты использования компьютера и запрос пользователя

  • Добавьте инструменты использования компьютера, определенные Anthropic, в ваш API-запрос.
  • Включите запрос пользователя, который может потребовать эти инструменты, например, “Сохраните изображение кошки на мой рабочий стол”.

2. Claude решает использовать инструмент

  • Claude загружает сохраненные определения инструментов использования компьютера и оценивает, могут ли какие-либо инструменты помочь с запросом пользователя.
  • Если да, Claude создает правильно отформатированный запрос на использование инструмента.
  • Ответ API имеет stop_reason со значением tool_use, сигнализирующий о намерении Claude.

3. Извлеките входные данные инструмента, оцените инструмент на компьютере и верните результаты

  • На вашей стороне извлеките имя инструмента и входные данные из запроса Claude.
  • Используйте инструмент в контейнере или виртуальной машине.
  • Продолжите разговор с новым сообщением user, содержащим блок контента tool_result.

4. Claude продолжает вызывать инструменты использования компьютера, пока не выполнит задачу

  • Claude анализирует результаты инструмента, чтобы определить, нужно ли использовать больше инструментов или задача выполнена.
  • Если Claude решает, что ему нужен еще один инструмент, он отвечает с другим stop_reason со значением tool_use, и вы должны вернуться к шагу 3.
  • В противном случае он создает текстовый ответ пользователю.

Мы называем повторение шагов 3 и 4 без ввода пользователя “циклом агента” - то есть Claude отвечает запросом на использование инструмента, а ваше приложение отвечает Claude результатами оценки этого запроса.

​
Вычислительная среда

Использование компьютера требует изолированной вычислительной среды, где Claude может безопасно взаимодействовать с приложениями и веб-сайтами. Эта среда включает:

  1. Виртуальный дисплей: Виртуальный сервер дисплея X11 (с использованием Xvfb), который отображает интерфейс рабочего стола, который Claude будет видеть через скриншоты и управлять с помощью действий мыши/клавиатуры.

  2. Среда рабочего стола: Легкий пользовательский интерфейс с оконным менеджером (Mutter) и панелью (Tint2), работающий на Linux, который обеспечивает последовательный графический интерфейс для взаимодействия Claude.

  3. Приложения: Предустановленные приложения Linux, такие как Firefox, LibreOffice, текстовые редакторы и файловые менеджеры, которые Claude может использовать для выполнения задач.

  4. Реализации инструментов: Интеграционный код, который переводит абстрактные запросы инструментов Claude (например, “переместить мышь” или “сделать скриншот”) в фактические операции в виртуальной среде.

  5. Цикл агента: Программа, которая обрабатывает связь между Claude и средой, отправляя действия Claude в среду и возвращая результаты (скриншоты, выводы команд) обратно Claude.

Когда вы используете функцию использования компьютера, Claude не подключается напрямую к этой среде. Вместо этого ваше приложение:

  1. Получает запросы на использование инструментов от Claude
  2. Переводит их в действия в вашей вычислительной среде
  3. Захватывает результаты (скриншоты, выводы команд и т.д.)
  4. Возвращает эти результаты Claude

Для обеспечения безопасности и изоляции эталонная реализация запускает все это внутри Docker-контейнера с соответствующими сопоставлениями портов для просмотра и взаимодействия со средой.

​
Как реализовать использование компьютера

​
Начните с нашей эталонной реализации

Мы создали эталонную реализацию, которая включает все необходимое для быстрого начала работы с использованием компьютера:

​
Понимание цикла мультиагента

Основой использования компьютера является “цикл аг ента” - цикл, в котором Claude запрашивает действия инструментов, ваше приложение выполняет их и возвращает результаты Claude. Вот упрощенный пример:

async def sampling_loop(
    *,
    model: str,
    messages: list[dict],
    api_key: str,
    max_tokens: int = 4096,
    tool_version: str,
    thinking_budget: int | None = None,
    max_iterations: int = 10,  # Добавить ограничение итераций для предотвращения бесконечных циклов
):
    """
    Простой цикл агента для взаимодействия Claude с компьютером.

    Эта функция обрабатывает взаимодействие между:
    1. Отправкой сообщений пользователя Claude
    2. Claude запрашивает использование инструментов
    3. Ваше приложение выполняет эти инструменты
    4. Отправка результатов инструментов обратно Claude
    """
    # Настройка инструментов и параметров API
    client = Anthropic(api_key=api_key)
    beta_flag = "computer-use-2025-01-24" if "20250124" in tool_version else "computer-use-2024-10-22"

    # Настройка инструментов - вы должны уже инициализировать их в другом месте
    tools = [
        {"type": f"computer_{tool_version}", "name": "computer", "display_width_px": 1024, "display_height_px": 768},
        {"type": f"text_editor_{tool_version}", "name": "str_replace_editor"},
        {"type": f"bash_{tool_version}", "name": "bash"}
    ]

    # Основной цикл агента (с ограничением итераций для предотвращения неконтролируемых затрат API)
    iterations = 0
    while True and iterations < max_iterations:
        iterations += 1
        # Настройка опционального параметра мышления (для Claude Sonnet 3.7)
        thinking = None
        if thinking_budget:
            thinking = {"type": "enabled", "budget_tokens": thinking_budget}

        # Вызов API Claude
        response = client.beta.messages.create(
            model=model,
            max_tokens=max_tokens,
            messages=messages,
            tools=tools,
            betas=[beta_flag],
            thinking=thinking
        )

        # Добавление ответа Claude в историю разговора
        response_content = response.content
        messages.append({"role": "assistant", "content": response_content})

        # Проверка, использовал ли Claude какие-либо инструменты
        tool_results = []
        for block in response_content:
            if block.type == "tool_use":
                # В реальном приложении вы бы выполнили инструмент здесь
                # Например: result = run_tool(block.name, block.input)
                result = {"result": "Инструмент успешно выполнен"}

                # Форматирование результата для Claude
                tool_results.append({
                    "type": "tool_result",
                    "tool_use_id": block.id,
                    "content": result
                })

        # Если инструменты не использовались, Claude закончил - верните окончательные сообщения
        if not tool_results:
            return messages

        # Добавление результатов инструментов в сообщения для следующей итерации с Claude
        messages.append({"role": "user", "content": tool_results})

Цикл продолжается до тех пор, пока либо Claude не ответит без запроса каких-либо инструментов (завершение задачи), либо не будет достигнут максимальный предел итераций. Эта защита предотвращает потенциальные бесконечные циклы, которые могут привести к неожиданным затратам на API.

Для каждой версии инструментов вы должны использовать соответствующий флаг бета в вашем API-запросе:

Мы рекомендуем попробовать эталонную реализацию перед чтением остальной части этой документации.

​
Оптимизация производительности модели с помощью промптов

Вот несколько советов о том, как получить наилучшее качество выходных данных:

  1. Указывайте простые, четко определенные задачи и предоставляйте явные инструкции для каждого шага.
  2. Claude иногда предполагает результаты своих действий, не проверяя их явно. Чтобы предотвратить это, вы можете дать Claude промпт: После каждого шага сделай скриншот и тщательно оцени, достиг ли ты правильного результата. Явно покажи свои размышления: "Я оценил шаг X..." Если результат неверен, попробуй еще раз. Только когда ты подтвердишь, что шаг был выполнен правильно, переходи к следующему.
  3. Некоторые элементы пользовательского интерфейса (например, выпадающие списки и полосы прокрутки) могут быть сложными для Claude для манипуляции с помощью движений мыши. Если вы столкнетесь с этим, попробуйте дать модели промпт использовать сочетания клавиш.
  4. Для повторяющихся задач или взаимодействий с пользовательским интерфейсом включите в свой промпт примеры скриншотов и вызовов инструментов успешных результатов.
  5. Если вам нужно, чтобы модель вошла в систему, предоставьте ей имя пользователя и пароль в вашем промпте внутри XML-тегов, например <robot_credentials>. Использование компьютера в приложениях, требующих входа в систему, увеличивает риск плохих результатов в результате инъекции промптов. Пожалуйста, ознакомьтесь с нашим руководством по смягчению инъекций промптов перед предоставлением модели учетных данных для входа.

Если вы неоднократно сталкиваетесь с четким набором проблем или заранее знаете задачи, которые Claude нужно будет выполнить, используйте системный промпт, чтобы предоставить Claude явные советы или инструкции о том, как успешно выполнить задачи.

​
Системные промпты

Когда один из инструментов, определенных Anthropic, запрашивается через API Anthropic, генерируется системный промпт, специфичный для использования компьютера. Он похож на системный промпт для использования инструментов, но начинается с:

У вас есть доступ к набору функций, которые вы можете использовать для ответа на вопрос пользователя. Это включает доступ к изолированной вычислительной среде. В настоящее время у вас НЕТ возможности проверять файлы или взаимодействовать с внешними ресурсами, кроме как путем вызова следующих функций.

Как и при обычном использовании инструментов, поле system_prompt, предоставленное пользователем, по-прежнему учитывается и используется при создании комбинированного системного промпта.

​
Понимание инструментов, определенных Anthropic

Поскольку это бета-версия, эти определения инструментов могут изменяться.

Мы предоставили набор инструментов, которые позволяют Claude эффективно использовать компьютеры. При указании инструмента, определенного Anthropic, поля description и tool_schema не нужны и не разрешены.

Инструменты, определенные Anthropic, выполняются пользователем

Инструменты, определенные Anthropic, определяются Anthropic, но вы должны явно оценивать результаты инструмента и возвращать tool_results Claude. Как и с любым инструментом, модель не выполняет инструмент автоматически.

Мы предоставляем набор инструментов, определенных Anthropic, причем каждый инструмент имеет версии, оптимизированные для Claude 4, Claude Sonnet 3.7 и Claude Sonnet 3.5:

Поле type идентифицирует инструмент и его параметры для целей проверки, поле name - это имя инструмента, предоставляемое модели.

Если вы хотите дать модели промпт использовать один из этих инструментов, вы можете явно сослаться на инструмент по полю name. Поле name должно быть уникальным в списке инструментов; вы не можете определить инструмент с тем же именем, что и инструмент, определенный Anthropic, в том же вызове API.

Мы не рекомендуем определять инструменты с именами инструментов, определенных Anthropic. Хотя вы все еще можете переопределить инструменты с этими именами (если имя инструмента уникально в вашем блоке tools), это может привести к ухудшению производительности модели.

​
Включение возможности мышления в Claude 4 и Claude Sonnet 3.7

Claude Sonnet 3.7 представил новую возможность “мышления”, которая позволяет вам видеть процесс рассуждения модели при работе над сложными задачами. Эта функция помогает вам понять, как Claude подходит к проблеме, и может быть особенно ценной для отладки или образовательных целей.

Чтобы включить мышление, добавьте параметр thinking в ваш API-запрос:

"thinking": {
  "type": "enabled",
  "budget_tokens": 1024
}

Параметр budget_tokens указывает, сколько токенов Claude может использовать для мышления. Это вычитается из вашего общего бюджета max_tokens.

Когда мышление включено, Claude вернет свой процесс рассуждения как часть ответа, что может помочь вам:

  1. Понять процесс принятия решений модели
  2. Выявить потенциальные проблемы или заблуждения
  3. Учиться на подходе Claude к решению проблем
  4. Получить больше видимости в сложных многоэтапных операциях

Вот пример того, как может выглядеть вывод мышления:

[Thinking]
Мне нужно сохранить изображение кошки на рабочий стол. Давайте разобьем это на шаги:

1. Сначала я сделаю скриншот, чтобы увидеть, что есть на рабочем столе
2. Затем я поищу веб-браузер для поиска изображений кошек
3. После нахождения подходящего изображения мне нужно будет сохранить его на рабочий стол

Давайте начнем с создания скриншота, чтобы увидеть, что доступно...

​
Комбинирование использования компьютера с другими инструментами

Вы можете комбинировать обычное использование инструментов с инструментами, определенными Anthropic, для использования компьютера.

curl https://api.anthropic.com/v1/messages \
  -H "content-type: application/json" \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "anthropic-beta: computer-use-2025-01-24" \
  -d '{
    "model": "claude-opus-4-20250514",
    "max_tokens": 1024,
    "tools": [
      {
        "type": "computer_20250124",
        "name": "computer",
        "display_width_px": 1024,
        "display_height_px": 768,
        "display_number": 1
      },
      {
        "type": "text_editor_20250124",
        "name": "str_replace_editor"
      },
      {
        "type": "bash_20250124",
        "name": "bash"
      },
      {
        "name": "get_weather",
        "description": "Get the current weather in a given location",
        "input_schema": {
          "type": "object",
          "properties": {
            "location": {
              "type": "string",
              "description": "The city and state, e.g. San Francisco, CA"
            },
            "unit": {
              "type": "string",
              "enum": ["celsius", "fahrenheit"],
              "description": "The unit of temperature, either 'celsius' or 'fahrenheit'"
            }
          },
          "required": ["location"]
        }
      }
    ],
    "messages": [
      {
        "role": "user",
        "content": "Find flights from San Francisco to a place with warmer weather."
      }
    ],
    "thinking": {
      "type": "enabled",
      "budget_tokens": 1024
    }
  }'

​
Создание пользовательской среды использования компьютера

Эталонная реализация предназначена для того, чтобы помочь вам начать работу с использованием компьютера. Она включает все компоненты, необходимые для того, чтобы Claude мог использовать компьютер. Однако вы можете создать свою собственную среду для использования компьютера в соответствии с вашими потребностями. Вам понадобится:

  • Виртуализированная или контейнеризированная среда, подходящая для использования компьютера с Claude
  • Реализация по крайней мере одного из инструментов использования компьютера, определенных Anthropic
  • Цикл агента, который взаимодействует с API Anthropic и выполняет результаты tool_use, используя ваши реализации инструментов
  • API или пользовательский интерфейс, который позволяет пользовательский ввод для запуска цикла агента

​
Понимание ограничений использования компьютера

Функциональность использования компьютера находится в бета-версии. Хотя возможности Claude являются передовыми, разработчики должны знать о его ограничениях:

  1. Задержка: текущая задержка использования компьютера для взаимодействия человека и ИИ может быть слишком медленной по сравнению с обычными действиями компьютера, направляемыми человеком. Мы рекомендуем сосредоточиться на случаях использования, где скорость не критична (например, фоновый сбор информации, автоматизированное тестирование программного обеспечения) в доверенных средах.
  2. Точность и надежность компьютерного зрения: Claude может делать ошибки или галлюцинировать при выводе конкретных координат при генерации действий. Claude Sonnet 3.7 представляет возможность мышления, которая может помочь вам понять рассуждения модели и выявить потенциальные проблемы.
  3. Точность и надежность выбора инструмента: Claude может делать ошибки или галлюцинировать при выборе инструментов при генерации действий или предпринимать неожиданные действия для решения проблем. Кроме того, надежность может быть ниже при взаимодействии с нишевыми приложениями или несколькими приложениями одновременно. Мы рекомендуем пользователям тщательно формулировать запросы к модели при запросе сложных задач.
  4. Надежность прокрутки: Хотя Claude Sonnet 3.5 (новый) имел ограничения с прокруткой, Claude Sonnet 3.7 представляет специальные действия прокрутки с контролем направления, что улучшает надежность. Теперь модель может явно прокручивать в любом направлении (вверх/вниз/влево/вправо) на указанное количество.
  5. Взаимодействие с электронными таблицами: Щелчки мышью для взаимодействия с электронными таблицами улучшились в Claude Sonnet 3.7 с добавлением более точных действий управления мышью, таких как left_mouse_down, left_mouse_up, и новой поддержки модификаторов клавиш. Выбор ячеек может быть более надежным при использовании этих детализированных элементов управления и комбинировании модификаторов клавиш с щелчками.
  6. Создание учетных записей и генерация контента на социальных платформах и платформах связи: Хотя Claude будет посещать веб-сайты, мы ограничиваем его способность создавать учетные записи или генерировать и делиться контентом или иным образом заниматься имитацией человека в социальных сетях и платформах. Мы можем обновить эту возможность в будущем.
  7. Уязвимости: Уязвимости, такие как джейлбрейкинг или инъекция промптов, могут сохраняться в передовых системах ИИ, включая бета-API использования компьютера. В некоторых обстоятельствах Claude будет следовать командам, найденным в контенте, иногда даже в противоречии с инструкциями пользователя. Например, инструкции Claude на веб-страницах или содержащиеся в изображениях могут переопределить инструкции или привести к ошибкам Claude. Мы рекомендуем: а. Ограничить использование компьютера доверенными средами, такими как виртуальные машины или контейнеры с минимальными привилегиями б. Избегать предоставления доступа к использованию компьютера к конфиденциальным учетным записям или данным без строгого надзора в. Информировать конечных пользователей о соответствующих рисках и получать их согласие перед включением или запросом разрешений, необходимых для функций использования компьютера в ваших приложениях
  8. Неприемлемые или незаконные действия: Согласно условиям обслуживания Anthropic, вы не должны использовать компьютер для нарушения каких-либо законов или нашей Политики приемлемого использования.

Всегда тщательно проверяйте действия и журналы использования компьютера Claude. Не используйте Claude для задач, требующих идеальной точности или конфиденциальной информации пользователя, без надзора человека.

​
Ценообразование

См. документацию по ценообразованию использования инструментов для подробного объяснения того, как оцениваются запросы API Claude Tool Use.

Как подмножество запросов на использование инструментов, запросы на использование компьютера оцениваются так же, как и любой другой запрос API Claude.

Мы также автоматически включаем специальный системный промпт для модели, который включает использование компьютера.

МодельВыбор инструментаКоличество токенов системного промпта
Claude 4 Opus & Sonnetauto
any, tool		466 токенов
499 токенов
Claude Sonnet 3.7auto
any, tool		466 токенов
499 токенов
Claude Sonnet 3.5 (новый)auto
any, tool		466 токенов
499 токенов

В дополнение к базовым токенам, следующие дополнительные входные токены необходимы для инструментов, определенных Anthropic:

ИнструментДополнительные входные токены
computer_20250124 (Claude 4)735 токенов
computer_20250124 (Claude Sonnet 3.7)735 токенов
computer_20241022 (Claude Sonnet 3.5)683 токена
text_editor_20250429 (Claude 4)700 токенов
text_editor_20250124 (Claude Sonnet 3.7)700 токенов
text_editor_20241022 (Claude Sonnet 3.5)700 токенов
bash_20250124 (Claude 4)245 токенов
bash_20250124 (Claude Sonnet 3.7)245 токенов
bash_20241022 (Claude Sonnet 3.5)245 токенов

Если вы включите мышление с Claude 4 или Claude Sonnet 3.7, токены, используемые для мышления, будут учитываться в вашем бюджете max_tokens на основе budget_tokens, которые вы указываете в параметре мышления.