Инструмент использования компьютера

​

Обзор

• Захват скриншотов: Видеть, что в данный момент отображается на экране
• Управление мышью: Кликать, перетаскивать и перемещать курсор
• Ввод с клавиатуры: Печатать текст и использовать сочетания клавиш
• Автоматизация рабочего стола: Взаимодействовать с любым приложением или интерфейсом

​

Совместимость моделей

​

Соображения безопасности

​

Быстрый старт

import anthropic

client = anthropic.Anthropic()

response = client.beta.messages.create(
    model="claude-sonnet-4-20250514",  # или другая совместимая модель
    max_tokens=1024,
    tools=[
        {
          "type": "computer_20250124",
          "name": "computer",
          "display_width_px": 1024,
          "display_height_px": 768,
          "display_number": 1,
        },
        {
          "type": "text_editor_20250124",
          "name": "str_replace_editor"
        },
        {
          "type": "bash_20250124",
          "name": "bash"
        }
    ],
    messages=[{"role": "user", "content": "Сохрани картинку кота на мой рабочий стол."}],
    betas=["computer-use-2025-01-24"]
)
print(response)

​

Как работает использование компьютера

​

Вычислительная среда

1. Виртуальный дисплей: Виртуальный X11-сервер дисплея (использующий Xvfb), который отображает интерфейс рабочего стола, который Claude будет видеть через скриншоты и управлять действиями мыши/клавиатуры.
2. Среда рабочего стола: Легкий UI с менеджером окон (Mutter) и панелью (Tint2), работающий на Linux, который обеспечивает согласованный графический интерфейс для взаимодействия Claude.
3. Приложения: Предустановленные Linux-приложения, такие как Firefox, LibreOffice, текстовые редакторы и файловые менеджеры, которые Claude может использовать для выполнения задач.
4. Реализации инструментов: Интеграционный код, который переводит абстрактные запросы инструментов Claude (такие как “переместить мышь” или “сделать скриншот”) в фактические операции в виртуальной среде.
5. Агентский цикл: Программа, которая обрабатывает связь между Claude и средой, отправляя действия Claude в среду и возвращая результаты (скриншоты, выводы команд) обратно Claude.

1. Получает запросы на использование инструментов Claude
2. Переводит их в действия в вашей вычислительной среде
3. Захватывает результаты (скриншоты, выводы команд и т.д.)
4. Возвращает эти результаты Claude

​

Как реализовать использование компьютера

​

Начните с нашей эталонной реализации

• Контейнеризованная среда, подходящая для использования компьютера с Claude
• Реализации инструментов использования компьютера
• Агентский цикл, который взаимодействует с Anthropic API и выполняет инструменты использования компьютера
• Веб-интерфейс для взаимодействия с контейнером, агентским циклом и инструментами.

​

Понимание мульти-агентского цикла

async def sampling_loop(
    *,
    model: str,
    messages: list[dict],
    api_key: str,
    max_tokens: int = 4096,
    tool_version: str,
    thinking_budget: int | None = None,
    max_iterations: int = 10,  # Добавить лимит итераций для предотвращения бесконечных циклов
):
    """
    Простой агентский цикл для взаимодействий Claude с использованием компьютера.

    Эта функция обрабатывает обмен между:
    1. Отправкой пользовательских сообщений Claude
    2. Claude запрашивает использование инструментов
    3. Ваше приложение выполняет эти инструменты
    4. Отправкой результатов инструментов обратно Claude
    """
    # Настройка инструментов и параметров API
    client = Anthropic(api_key=api_key)
    beta_flag = "computer-use-2025-01-24" if "20250124" in tool_version else "computer-use-2024-10-22"

    # Настройка инструментов - вы должны уже инициализировать их где-то еще
    tools = [
        {"type": f"computer_{tool_version}", "name": "computer", "display_width_px": 1024, "display_height_px": 768},
        {"type": f"text_editor_{tool_version}", "name": "str_replace_editor"},
        {"type": f"bash_{tool_version}", "name": "bash"}
    ]

    # Основной агентский цикл (с лимитом итераций для предотвращения неконтролируемых затрат API)
    iterations = 0
    while True and iterations < max_iterations:
        iterations += 1
        # Настройка опционального параметра мышления (для Claude Sonnet 3.7)
        thinking = None
        if thinking_budget:
            thinking = {"type": "enabled", "budget_tokens": thinking_budget}

        # Вызов Claude API
        response = client.beta.messages.create(
            model=model,
            max_tokens=max_tokens,
            messages=messages,
            tools=tools,
            betas=[beta_flag],
            thinking=thinking
        )

        # Добавить ответ Claude в историю разговора
        response_content = response.content
        messages.append({"role": "assistant", "content": response_content})

        # Проверить, использовал ли Claude какие-либо инструменты
        tool_results = []
        for block in response_content:
            if block.type == "tool_use":
                # В реальном приложении вы бы выполнили инструмент здесь
                # Например: result = run_tool(block.name, block.input)
                result = {"result": "Инструмент выполнен успешно"}

                # Отформатировать результат для Claude
                tool_results.append({
                    "type": "tool_result",
                    "tool_use_id": block.id,
                    "content": result
                })

        # Если инструменты не использовались, Claude закончил - вернуть финальные сообщения
        if not tool_results:
            return messages

        # Добавить результаты инструментов в сообщения для следующей итерации с Claude
        messages.append({"role": "user", "content": tool_results})

​

Оптимизируйте производительность модели с помощью промптинга

1. Указывайте простые, четко определенные задачи и предоставляйте явные инструкции для каждого шага.
2. Claude иногда предполагает результаты своих действий, не проверяя их результаты явно. Чтобы предотвратить это, вы можете подсказать Claude: После каждого шага делай скриншот и тщательно оценивай, достиг ли ты правильного результата. Явно покажи свое мышление: "Я оценил шаг X..." Если не правильно, попробуй снова. Только когда ты подтвердишь, что шаг был выполнен правильно, следует переходить к следующему.
3. Некоторые элементы UI (такие как выпадающие списки и полосы прокрутки) могут быть сложными для Claude для манипулирования с помощью движений мыши. Если вы испытываете это, попробуйте подсказать модели использовать сочетания клавиш.
4. Для повторяемых задач или взаимодействий с UI включите примеры скриншотов и вызовов инструментов успешных результатов в ваш промпт.
5. Если вам нужно, чтобы модель вошла в систему, предоставьте ей имя пользователя и пароль в вашем промпте внутри xml-тегов, таких как <robot_credentials>. Использование использования компьютера в приложениях, которые требуют входа в систему, увеличивает риск плохих результатов в результате инъекции промптов. Пожалуйста, ознакомьтесь с нашим руководством по смягчению инъекций промптов перед предоставлением модели учетных данных для входа.

​

Системные промпты

У вас есть доступ к набору функций, которые вы можете использовать для ответа на вопрос пользователя. Это включает доступ к изолированной вычислительной среде. В настоящее время у вас НЕТ возможности проверять файлы или взаимодействовать с внешними ресурсами, кроме как путем вызова нижеприведенных функций.

​

Доступные действия

• screenshot - Захватить текущий дисплей
• left_click - Кликнуть по координатам [x, y]
• type - Напечатать текстовую строку
• key - Нажать клавишу или комбинацию клавиш (например, “ctrl+s”)
• mouse_move - Переместить курсор к координатам

• scroll - Прокручивать в любом направлении с контролем количества
• left_click_drag - Кликнуть и перетащить между координатами
• right_click, middle_click - Дополнительные кнопки мыши
• double_click, triple_click - Множественные клики
• left_mouse_down, left_mouse_up - Тонкий контроль кликов
• hold_key - Удерживать клавишу при выполнении других действий
• wait - Пауза между действиями

​

Параметры инструмента

​

Включите возможность мышления в моделях Claude 4 и Claude Sonnet 3.7

"thinking": {
  "type": "enabled",
  "budget_tokens": 1024
}

1. Понять процесс принятия решений модели
2. Выявить потенциальные проблемы или заблуждения
3. Учиться на подходе Claude к решению проблем
4. Получить больше видимости в сложные многошаговые операции

[Мышление]
Мне нужно сохранить картинку кота на рабочий стол. Позвольте мне разбить это на шаги:

1. Сначала я сделаю скриншот, чтобы увидеть, что на рабочем столе
2. Затем я поищу веб-браузер для поиска изображений котов
3. После нахождения подходящего изображения мне нужно будет сохранить его на рабочий стол

Позвольте мне начать с создания скриншота, чтобы увидеть, что доступно...

​

Дополнение использования компьютера другими инструментами

• Выполнять системные команды (bash инструмент)
• Редактировать конфигурационные файлы или скрипты (инструмент текстового редактора)
• Интегрироваться с пользовательскими API или сервисами (пользовательские инструменты)

curl https://api.anthropic.com/v1/messages \
  -H "content-type: application/json" \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "anthropic-beta: computer-use-2025-01-24" \
  -d '{
    "model": "claude-opus-4-1-20250805",
    "max_tokens": 2000,
    "tools": [
      {
        "type": "computer_20250124",
        "name": "computer",
        "display_width_px": 1024,
        "display_height_px": 768,
        "display_number": 1
      },
      {
        "type": "text_editor_20250124",
        "name": "str_replace_editor"
      },
      {
        "type": "bash_20250124",
        "name": "bash"
      },
      {
        "name": "get_weather",
        "description": "Получить текущую погоду в заданном месте",
        "input_schema": {
          "type": "object",
          "properties": {
            "location": {
              "type": "string",
              "description": "Город и штат, например Сан-Франциско, Калифорния"
            },
            "unit": {
              "type": "string",
              "enum": ["celsius", "fahrenheit"],
              "description": "Единица температуры, либо 'celsius', либо 'fahrenheit'"
            }
          },
          "required": ["location"]
        }
      }
    ],
    "messages": [
      {
        "role": "user",
        "content": "Найди рейсы из Сан-Франциско в место с более теплой погодой."
      }
    ],
    "thinking": {
      "type": "enabled",
      "budget_tokens": 1024
    }
  }'

​

Создайте пользовательскую среду использования компьютера

• Виртуализированная или контейнеризованная среда, подходящая для использования компьютера с Claude
• Реализация по крайней мере одного из определенных Anthropic инструментов использования компьютера
• Агентский цикл, который взаимодействует с Anthropic API и выполняет результаты tool_use с использованием ваших реализаций инструментов
• API или UI, который позволяет пользовательский ввод для запуска агентского цикла

​

Реализуйте инструмент использования компьютера

def handle_computer_action(action_type, params):
    if action_type == "screenshot":
        return capture_screenshot()
    elif action_type == "left_click":
        x, y = params["coordinate"]
        return click_at(x, y)
    elif action_type == "type":
        return type_text(params["text"])
    # ... обработать другие действия

for content in response.content:
    if content.type == "tool_use":
        action = content.input["action"]
        result = handle_computer_action(action, content.input)
        
        # Вернуть результат Claude
        tool_result = {
            "type": "tool_result",
            "tool_use_id": content.id,
            "content": result
        }

while True:
    response = client.beta.messages.create(...)
    
    # Проверить, использовал ли Claude какие-либо инструменты
    tool_results = process_tool_calls(response)
    
    if not tool_results:
        # Больше нет использования инструментов, задача завершена
        break
        
    # Продолжить разговор с результатами инструментов
    messages.append({"role": "user", "content": tool_results})

​

Обработка ошибок

​

Следуйте лучшим практикам реализации

​

Понимание ограничений использования компьютера

1. Задержка: текущая задержка использования компьютера для взаимодействий человек-ИИ может быть слишком медленной по сравнению с обычными действиями компьютера, направляемыми человеком. Мы рекомендуем сосредоточиться на случаях использования, где скорость не критична (например, фоновый сбор информации, автоматизированное тестирование программного обеспечения) в доверенных средах.
2. Точность и надежность компьютерного зрения: Claude может совершать ошибки или галлюцинировать при выводе конкретных координат при генерации действий. Claude Sonnet 3.7 вводит возможность мышления, которая может помочь вам понять рассуждения модели и выявить потенциальные проблемы.
3. Точность и надежность выбора инструментов: Claude может совершать ошибки или галлюцинировать при выборе инструментов при генерации действий или предпринимать неожиданные действия для решения проблем. Кроме того, надежность может быть ниже при взаимодействии с нишевыми приложениями или несколькими приложениями одновременно. Мы рекомендуем пользователям тщательно подсказывать модели при запросе сложных задач.
4. Надежность прокрутки: Хотя Claude Sonnet 3.5 v2 (устарел) имел ограничения с прокруткой, Claude Sonnet 3.7 вводит выделенные действия прокрутки с контролем направления, что улучшает надежность. Модель теперь может явно прокручивать в любом направлении (вверх/вниз/влево/вправо) на указанное количество.
5. Взаимодействие с электронными таблицами: Клики мыши для взаимодействия с электронными таблицами улучшились в Claude Sonnet 3.7 с добавлением более точных действий управления мышью, таких как left_mouse_down, left_mouse_up и новой поддержки клавиш-модификаторов. Выбор ячеек может быть более надежным при использовании этих тонких элементов управления и комбинировании клавиш-модификаторов с кликами.
6. Создание аккаунтов и генерация контента на социальных и коммуникационных платформах: Хотя Claude будет посещать веб-сайты, мы ограничиваем его способность создавать аккаунты или генерировать и делиться контентом или иным образом заниматься имитацией человека на веб-сайтах и платформах социальных сетей. Мы можем обновить эту возможность в будущем.
7. Уязвимости: Уязвимости, такие как джейлбрейкинг или инъекция промптов, могут сохраняться в передовых системах ИИ, включая бета-API использования компьютера. В некоторых обстоятельствах Claude будет следовать командам, найденным в контенте, иногда даже в конфликте с инструкциями пользователя. Например, инструкции Claude на веб-страницах или содержащиеся в изображениях могут переопределить инструкции или заставить Claude совершить ошибки. Мы рекомендуем: a. Ограничить использование компьютера доверенными средами, такими как виртуальные машины или контейнеры с минимальными привилегиями b. Избегать предоставления использованию компьютера доступа к конфиденциальным аккаунтам или данным без строгого надзора c. Информировать конечных пользователей о соответствующих рисках и получать их согласие перед включением или запросом разрешений, необходимых для функций использования компьютера в ваших приложениях
8. Неподходящие или незаконные действия: Согласно условиям обслуживания Anthropic, вы не должны использовать использование компьютера для нарушения каких-либо законов или нашей Политики допустимого использования.

​

Ценообразование

• Screenshot images (see Vision pricing)
• Tool execution results returned to Claude

​

Следующие шаги