Инструмент использования компьютера

Claude может взаимодействовать с компьютерными средами через инструмент использования компьютера, который предоставляет возможности создания скриншотов и управления мышью/клавиатурой для автономного взаимодействия с рабочим столом.

​

Обзор

Использование компьютера - это бета-функция, которая позволяет Claude взаимодействовать со средами рабочего стола. Этот инструмент предоставляет:

• Захват скриншотов: Видеть то, что в настоящее время отображается на экране
• Управление мышью: Кликать, перетаскивать и перемещать курсор
• Ввод с клавиатуры: Печатать текст и использовать сочетания клавиш
• Автоматизация рабочего стола: Взаимодействовать с любым приложением или интерфейсом

Хотя использование компьютера может быть дополнено другими инструментами, такими как bash и текстовый редактор, для более комплексных рабочих процессов автоматизации, использование компьютера конкретно относится к способности инструмента использования компьютера видеть и управлять средами рабочего стола.

​

Совместимость моделей

Использование компьютера доступно для следующих моделей Claude:

​

Соображения безопасности

​

Быстрый старт

Вот как начать работу с использованием компьютера:

import anthropic

client = anthropic.Anthropic()

response = client.beta.messages.create(
    model="claude-sonnet-4-20250514",  # или другая совместимая модель
    max_tokens=1024,
    tools=[
        {
          "type": "computer_20250124",
          "name": "computer",
          "display_width_px": 1024,
          "display_height_px": 768,
          "display_number": 1,
        },
        {
          "type": "text_editor_20250124",
          "name": "str_replace_editor"
        },
        {
          "type": "bash_20250124",
          "name": "bash"
        }
    ],
    messages=[{"role": "user", "content": "Сохрани картинку кота на мой рабочий стол."}],
    betas=["computer-use-2025-01-24"]
)
print(response)

​

Как работает использование компьютера

Мы называем повторение шагов 3 и 4 без пользовательского ввода “циклом агента” - то есть Claude отвечает запросом на использование инструмента, а ваше приложение отвечает Claude результатами оценки этого запроса.

​

Вычислительная среда

Использование компьютера требует изолированной вычислительной среды, где Claude может безопасно взаимодействовать с приложениями и веб. Эта среда включает:

1. Виртуальный дисплей: Виртуальный сервер дисплея X11 (использующий Xvfb), который отображает интерфейс рабочего стола, который Claude будет видеть через скриншоты и управлять действиями мыши/клавиатуры.

2. Среда рабочего стола: Легкий пользовательский интерфейс с менеджером окон (Mutter) и панелью (Tint2), работающий на Linux, который предоставляет последовательный графический интерфейс для взаимодействия Claude.

3. Приложения: Предустановленные приложения Linux, такие как Firefox, LibreOffice, текстовые редакторы и файловые менеджеры, которые Claude может использовать для выполнения задач.

4. Реализации инструментов: Код интеграции, который переводит абстрактные запросы инструментов Claude (такие как “переместить мышь” или “сделать скриншот”) в фактические операции в виртуальной среде.

5. Цикл агента: Программа, которая обрабатывает связь между Claude и средой, отправляя действия Claude в среду и возвращая результаты (скриншоты, выводы команд) обратно Claude.

Когда вы используете использование компьютера, Claude не подключается напрямую к этой среде. Вместо этого ваше приложение:

1. Получает запросы на использование инструментов Claude
2. Переводит их в действия в вашей вычислительной среде
3. Захватывает результаты (скриншоты, выводы команд и т.д.)
4. Возвращает эти результаты Claude

Для безопасности и изоляции эталонная реализация запускает все это внутри Docker-контейнера с соответствующими сопоставлениями портов для просмотра и взаимодействия со средой.

​

Как реализовать использование компьютера

​

Начните с нашей эталонной реализации

Мы создали эталонную реализацию, которая включает все необходимое для быстрого начала работы с использованием компьютера:

• Контейнеризованная среда, подходящая для использования компьютера с Claude
• Реализации инструментов использования компьютера
• Цикл агента, который взаимодействует с Anthropic API и выполняет инструменты использования компьютера
• Веб-интерфейс для взаимодействия с контейнером, циклом агента и инструментами.

​

Понимание многоагентного цикла

Ядром использования компьютера является “цикл агента” - цикл, где Claude запрашивает действия инструментов, ваше приложение выполняет их и возвращает результаты Claude. Вот упрощенный пример:

async def sampling_loop(
    *,
    model: str,
    messages: list[dict],
    api_key: str,
    max_tokens: int = 4096,
    tool_version: str,
    thinking_budget: int | None = None,
    max_iterations: int = 10,  # Добавить лимит итераций для предотвращения бесконечных циклов
):
    """
    Простой цикл агента для взаимодействий Claude с использованием компьютера.

    Эта функция обрабатывает взаимодействие между:
    1. Отправкой пользовательских сообщений Claude
    2. Claude запрашивает использование инструментов
    3. Ваше приложение выполняет эти инструменты
    4. Отправкой результатов инструментов обратно Claude
    """
    # Настройка инструментов и параметров API
    client = Anthropic(api_key=api_key)
    beta_flag = "computer-use-2025-01-24" if "20250124" in tool_version else "computer-use-2024-10-22"

    # Настройка инструментов - вы должны уже инициализировать их где-то еще
    tools = [
        {"type": f"computer_{tool_version}", "name": "computer", "display_width_px": 1024, "display_height_px": 768},
        {"type": f"text_editor_{tool_version}", "name": "str_replace_editor"},
        {"type": f"bash_{tool_version}", "name": "bash"}
    ]

    # Основной цикл агента (с лимитом итераций для предотвращения неконтролируемых затрат API)
    iterations = 0
    while True and iterations < max_iterations:
        iterations += 1
        # Настройка опционального параметра мышления (для Claude Sonnet 3.7)
        thinking = None
        if thinking_budget:
            thinking = {"type": "enabled", "budget_tokens": thinking_budget}

        # Вызов Claude API
        response = client.beta.messages.create(
            model=model,
            max_tokens=max_tokens,
            messages=messages,
            tools=tools,
            betas=[beta_flag],
            thinking=thinking
        )

        # Добавить ответ Claude в историю разговора
        response_content = response.content
        messages.append({"role": "assistant", "content": response_content})

        # Проверить, использовал ли Claude какие-либо инструменты
        tool_results = []
        for block in response_content:
            if block.type == "tool_use":
                # В реальном приложении вы бы выполнили инструмент здесь
                # Например: result = run_tool(block.name, block.input)
                result = {"result": "Инструмент выполнен успешно"}

                # Отформатировать результат для Claude
                tool_results.append({
                    "type": "tool_result",
                    "tool_use_id": block.id,
                    "content": result
                })

        # Если инструменты не использовались, Claude закончил - вернуть финальные сообщения
        if not tool_results:
            return messages

        # Добавить результаты инструментов в сообщения для следующей итерации с Claude
        messages.append({"role": "user", "content": tool_results})

Цикл продолжается до тех пор, пока либо Claude не ответит без запроса каких-либо инструментов (завершение задачи), либо не будет достигнут максимальный лимит итераций. Эта защита предотвращает потенциальные бесконечные циклы, которые могут привести к неожиданным затратам API.

Мы рекомендуем попробовать эталонную реализацию перед чтением остальной части этой документ

​

Оптимизация производительности модели с помощью промптинга

Вот несколько советов о том, как получить лучшие качественные выходы:

1. Указывайте простые, четко определенные задачи и предоставляйте явные инструкции для каждого шага.
2. Claude иногда предполагает результаты своих действий, не проверяя их результаты явно. Чтобы предотвратить это, вы можете подсказать Claude: После каждого шага делайте скриншот и тщательно оценивайте, достигли ли вы правильного результата. Явно покажите свое мышление: "Я оценил шаг X..." Если не правильно, попробуйте снова. Только когда вы подтвердите, что шаг был выполнен правильно, следует переходить к следующему.
3. Некоторые элементы пользовательского интерфейса (такие как выпадающие списки и полосы прокрутки) могут быть сложными для Claude для манипулирования с помощью движений мыши. Если вы столкнетесь с этим, попробуйте подсказать модели использовать сочетания клавиш.
4. Для повторяемых задач или взаимодействий с пользовательским интерфейсом включите примеры скриншотов и вызовов инструментов успешных результатов в ваш промпт.
5. Если вам нужно, чтобы модель вошла в систему, предоставьте ей имя пользователя и пароль в вашем промпте внутри xml-тегов, таких как <robot_credentials>. Использование использования компьютера в приложениях, которые требуют входа в систему, увеличивает риск плохих результатов в результате инъекции промптов. Пожалуйста, ознакомьтесь с нашим руководством по смягчению инъекций промптов перед предоставлением модели учетных данных для входа.

​

Системные промпты

Когда один из инструментов, определенных Anthropic, запрашивается через Anthropic API, генерируется системный промпт, специфичный для использования компьютера. Он похож на системный промпт использования инструментов, но начинается с:

У вас есть доступ к набору функций, которые вы можете использовать для ответа на вопрос пользователя. Это включает доступ к изолированной вычислительной среде. В настоящее время у вас НЕТ возможности проверять файлы или взаимодействовать с внешними ресурсами, кроме как путем вызова нижеприведенных функций.

Как и при обычном использовании инструментов, предоставленное пользователем поле system_prompt все еще учитывается и используется при построении объединенного системного промпта.

​

Доступные действия

Инструмент использования компьютера поддерживает эти действия:

Базовые действия (все версии)

• screenshot - Захватить текущий дисплей
• left_click - Кликнуть по координатам [x, y]
• type - Напечатать текстовую строку
• key - Нажать клавишу или комбинацию клавиш (например, “ctrl+s”)
• mouse_move - Переместить курсор к координатам

Расширенные действия (computer_20250124) Доступно в Claude 4 и Claude Sonnet 3.7:

• scroll - Прокручивать в любом направлении с контролем количества
• left_click_drag - Кликнуть и перетащить между координатами
• right_click, middle_click - Дополнительные кнопки мыши
• double_click, triple_click - Множественные клики
• left_mouse_down, left_mouse_up - Тонкий контроль кликов
• hold_key - Удерживать клавишу при выполнении других действий
• wait - Пауза между действиями

​

Параметры инструмента

​

Включение возможности мышления в Claude 4 и Claude Sonnet 3.7

Claude Sonnet 3.7 представил новую возможность “мышления”, которая позволяет вам видеть процесс рассуждения модели при работе над сложными задачами. Эта функция помогает вам понять, как Claude подходит к проблеме, и может быть особенно ценной для отладки или образовательных целей.

Чтобы включить мышление, добавьте параметр thinking в ваш API-запрос:

"thinking": {
  "type": "enabled",
  "budget_tokens": 1024
}

Параметр budget_tokens указывает, сколько токенов Claude может использовать для мышления. Это вычитается из вашего общего бюджета max_tokens.

Когда мышление включено, Claude вернет свой процесс рассуждения как часть ответа, что может помочь вам:

1. Понять процесс принятия решений модели
2. Выявить потенциальные проблемы или заблуждения
3. Учиться на подходе Claude к решению проблем
4. Получить больше видимости в сложные многошаговые операции

Вот пример того, как может выглядеть вывод мышления:

[Мышление]
Мне нужно сохранить картинку кота на рабочий стол. Позвольте мне разбить это на шаги:

1. Сначала я сделаю скриншот, чтобы увидеть, что на рабочем столе
2. Затем я поищу веб-браузер для поиска изображений котов
3. После нахождения подходящего изображения мне нужно будет сохранить его на рабочий стол

Позвольте мне начать с создания скриншота, чтобы увидеть, что доступно...

​

Дополнение использования компьютера другими инструментами

Инструмент использования компьютера может быть объединен с другими инструментами для создания более мощных рабочих процессов автоматизации. Это особенно полезно, когда вам нужно:

• Выполнять системные команды (инструмент bash)
• Редактировать конфигурационные файлы или скрипты (инструмент текстового редактора)
• Интегрироваться с пользовательскими API или сервисами (пользовательские инструменты)

curl https://api.anthropic.com/v1/messages \
  -H "content-type: application/json" \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "anthropic-beta: computer-use-2025-01-24" \
  -d '{
    "model": "claude-opus-4-20250514",
    "max_tokens": 2000,
    "tools": [
      {
        "type": "computer_20250124",
        "name": "computer",
        "display_width_px": 1024,
        "display_height_px": 768,
        "display_number": 1
      },
      {
        "type": "text_editor_20250124",
        "name": "str_replace_editor"
      },
      {
        "type": "bash_20250124",
        "name": "bash"
      },
      {
        "name": "get_weather",
        "description": "Получить текущую погоду в заданном месте",
        "input_schema": {
          "type": "object",
          "properties": {
            "location": {
              "type": "string",
              "description": "Город и штат, например Сан-Франциско, Калифорния"
            },
            "unit": {
              "type": "string",
              "enum": ["celsius", "fahrenheit"],
              "description": "Единица температуры, либо 'celsius', либо 'fahrenheit'"
            }
          },
          "required": ["location"]
        }
      }
    ],
    "messages": [
      {
        "role": "user",
        "content": "Найди рейсы из Сан-Франциско в место с более теплой погодой."
      }
    ],
    "thinking": {
      "type": "enabled",
      "budget_tokens": 1024
    }
  }'

​

Создание пользовательской среды использования компьютера

Эталонная реализация предназначена для того, чтобы помочь вам начать работу с использованием компьютера. Она включает все компоненты, необходимые для того, чтобы Claude использовал компьютер. Однако вы можете создать свою собственную среду для использования компьютера в соответствии с вашими потребностями. Вам понадобится:

• Виртуализированная или контейнеризованная среда, подходящая для использования компьютера с Claude
• Реализация по крайней мере одного из инструментов использования компьютера, определенных Anthropic
• Цикл агента, который взаимодействует с Anthropic API и выполняет результаты tool_use с использованием ваших реализаций инструментов
• API или пользовательский интерфейс, который позволяет пользовательский ввод для запуска цикла агента

​

Реализация инструмента использования компьютера

Инструмент использования компьютера реализован как инструмент без схемы. При использовании этого инструмента вам не нужно предоставлять входную схему, как с другими инструментами; схема встроена в модель Claude и не может быть изменена.

def handle_computer_action(action_type, params):
    if action_type == "screenshot":
        return capture_screenshot()
    elif action_type == "left_click":
        x, y = params["coordinate"]
        return click_at(x, y)
    elif action_type == "type":
        return type_text(params["text"])
    # ... обработать другие действия

for content in response.content:
    if content.type == "tool_use":
        action = content.input["action"]
        result = handle_computer_action(action, content.input)
        
        # Вернуть результат Claude
        tool_result = {
            "type": "tool_result",
            "tool_use_id": content.id,
            "content": result
        }

while True:
    response = client.beta.messages.create(...)
    
    # Проверить, использовал ли Claude какие-либо инструменты
    tool_results = process_tool_calls(response)
    
    if not tool_results:
        # Больше нет использования инструментов, задача завершена
        break
        
    # Продолжить разговор с результатами инструментов
    messages.append({"role": "user", "content": tool_results})

​

Обработка ошибок

При реализации инструмента использования компьютера могут возникнуть различные ошибки. Вот как их обрабатывать:

​

Следуйте лучшим практикам реализации

​

Понимание ограничений использования компьютера

Функциональность использования компьютера находится в бета-версии. Хотя возможности Claude являются передовыми, разработчики должны знать о его ограничениях:

1. Задержка: текущая задержка использования компьютера для взаимодействий человек-ИИ может быть слишком медленной по сравнению с обычными действиями компьютера, направляемыми человеком. Мы рекомендуем сосредоточиться на случаях использования, где скорость не критична (например, сбор фоновой информации, автоматизированное тестирование программного обеспечения) в доверенных средах.
2. Точность и надежность компьютерного зрения: Claude может совершать ошибки или галлюцинировать при выводе конкретных координат при генерации действий. Claude Sonnet 3.7 вводит возможность мышления, которая может помочь вам понять рассуждения модели и выявить потенциальные проблемы.
3. Точность и надежность выбора инструментов: Claude может совершать ошибки или галлюцинировать при выборе инструментов при генерации действий или предпринимать неожиданные действия для решения проблем. Кроме того, надежность может быть ниже при взаимодействии с нишевыми приложениями или несколькими приложениями одновременно. Мы рекомендуем пользователям тщательно подсказывать модели при запросе сложных задач.
4. Надежность прокрутки: Хотя Claude Sonnet 3.5 (новый) имел ограничения с прокруткой, Claude Sonnet 3.7 вводит выделенные действия прокрутки с контролем направления, что улучшает надежность. Модель теперь может явно прокручивать в любом направлении (вверх/вниз/влево/вправо) на указанное количество.
5. Взаимодействие с электронными таблицами: Клики мыши для взаимодействия с электронными таблицами улучшились в Claude Sonnet 3.7 с добавлением более точных действий управления мышью, таких как left_mouse_down, left_mouse_up и новая поддержка клавиш-модификаторов. Выбор ячеек может быть более надежным при использовании этих тонких элементов управления и комбинировании клавиш-модификаторов с кликами.
6. Создание аккаунтов и генерация контента на социальных и коммуникационных платформах: Хотя Claude будет посещать веб-сайты, мы ограничиваем его способность создавать аккаунты или генерировать и делиться контентом или иным образом участвовать в имитации человека на веб-сайтах и платформах социальных сетей. Мы можем обновить эту возможность в будущем.
7. Уязвимости: Уязвимости, такие как джейлбрейкинг или инъекция промптов, могут сохраняться в передовых системах ИИ, включая бета-API использования компьютера. В некоторых обстоятельствах Claude будет следовать командам, найденным в контенте, иногда даже в конфликте с инструкциями пользователя. Например, инструкции Claude на веб-страницах или содержащиеся в изображениях могут переопределить инструкции или заставить Claude совершить ошибки. Мы рекомендуем: a. Ограничить использование компьютера доверенными средами, такими как виртуальные машины или контейнеры с минимальными привилегиями b. Избегать предоставления использованию компьютера доступа к конфиденциальным аккаунтам или данным без строгого надзора c. Информировать конечных пользователей о соответствующих рисках и получать их согласие перед включением или запросом разрешений, необходимых для функций использования компьютера в ваших приложениях
8. Неподходящие или незаконные действия: Согласно условиям обслуживания Anthropic, вы не должны использовать использование компьютера для нарушения каких-либо законов или нашей Политики допустимого использования.

Всегда тщательно проверяйте и верифицируйте действия и журналы использования компьютера Claude. Не используйте Claude для задач, требующих идеальной точности или конфиденциальной пользовательской информации без человеческого надзора.

​

Ценообразование

Computer use follows the standard tool use pricing. When using the computer use tool:

System prompt overhead: The computer use beta adds 466-499 tokens to the system prompt

Computer use tool token usage:

Additional token consumption:

• Screenshot images (see Vision pricing)
• Tool execution results returned to Claude

​

Следующие шаги