Использование компьютера (бета)

curl https://api.anthropic.com/v1/messages \
  -H "content-type: application/json" \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "anthropic-beta: computer-use-2025-01-24" \
  -d '{
    "model": "claude-opus-4-20250514",
    "max_tokens": 1024,
    "tools": [
      {
        "type": "computer_20250124",
        "name": "computer",
        "display_width_px": 1024,
        "display_height_px": 768,
        "display_number": 1
      },
      {
        "type": "text_editor_20250429",
        "name": "str_replace_based_edit_tool"
      },
      {
        "type": "bash_20250124",
        "name": "bash"
      }
    ],
    "messages": [
      {
        "role": "user",
        "content": "Save a picture of a cat to my desktop."
      }
    ],
    "thinking": {
      "type": "enabled",
      "budget_tokens": 1024
    }
  }'

​

Как работает использование компьютера

​

Вычислительная среда

1. Виртуальный дисплей: Виртуальный сервер дисплея X11 (с использованием Xvfb), который отображает интерфейс рабочего стола, который Claude будет видеть через скриншоты и управлять с помощью действий мыши/клавиатуры.
2. Среда рабочего стола: Легкий пользовательский интерфейс с оконным менеджером (Mutter) и панелью (Tint2), работающий на Linux, который обеспечивает последовательный графический интерфейс для взаимодействия Claude.
3. Приложения: Предустановленные приложения Linux, такие как Firefox, LibreOffice, текстовые редакторы и файловые менеджеры, которые Claude может использовать для выполнения задач.
4. Реализации инструментов: Интеграционный код, который переводит абстрактные запросы инструментов Claude (например, “переместить мышь” или “сделать скриншот”) в фактические операции в виртуальной среде.
5. Цикл агента: Программа, которая обрабатывает связь между Claude и средой, отправляя действия Claude в среду и возвращая результаты (скриншоты, выводы команд) обратно Claude.

1. Получает запросы на использование инструментов от Claude
2. Переводит их в действия в вашей вычислительной среде
3. Захватывает результаты (скриншоты, выводы команд и т.д.)
4. Возвращает эти результаты Claude

​

Как реализовать использование компьютера

​

Начните с нашей эталонной реализации

• Контейнеризированная среда, подходящая для использования компьютера с Claude
• Реализации инструментов использования компьютера
• Цикл агента, который взаимодействует с API Anthropic и выполняет инструменты использования компьютера
• Веб-интерфейс для взаимодействия с контейнером, циклом агента и инструментами.

​

Понимание цикла мультиагента

async def sampling_loop(
    *,
    model: str,
    messages: list[dict],
    api_key: str,
    max_tokens: int = 4096,
    tool_version: str,
    thinking_budget: int | None = None,
    max_iterations: int = 10,  # Добавить ограничение итераций для предотвращения бесконечных циклов
):
    """
    Простой цикл агента для взаимодействия Claude с компьютером.

    Эта функция обрабатывает взаимодействие между:
    1. Отправкой сообщений пользователя Claude
    2. Claude запрашивает использование инструментов
    3. Ваше приложение выполняет эти инструменты
    4. Отправка результатов инструментов обратно Claude
    """
    # Настройка инструментов и параметров API
    client = Anthropic(api_key=api_key)
    beta_flag = "computer-use-2025-01-24" if "20250124" in tool_version else "computer-use-2024-10-22"

    # Настройка инструментов - вы должны уже инициализировать их в другом месте
    tools = [
        {"type": f"computer_{tool_version}", "name": "computer", "display_width_px": 1024, "display_height_px": 768},
        {"type": f"text_editor_{tool_version}", "name": "str_replace_editor"},
        {"type": f"bash_{tool_version}", "name": "bash"}
    ]

    # Основной цикл агента (с ограничением итераций для предотвращения неконтролируемых затрат API)
    iterations = 0
    while True and iterations < max_iterations:
        iterations += 1
        # Настройка опционального параметра мышления (для Claude Sonnet 3.7)
        thinking = None
        if thinking_budget:
            thinking = {"type": "enabled", "budget_tokens": thinking_budget}

        # Вызов API Claude
        response = client.beta.messages.create(
            model=model,
            max_tokens=max_tokens,
            messages=messages,
            tools=tools,
            betas=[beta_flag],
            thinking=thinking
        )

        # Добавление ответа Claude в историю разговора
        response_content = response.content
        messages.append({"role": "assistant", "content": response_content})

        # Проверка, использовал ли Claude какие-либо инструменты
        tool_results = []
        for block in response_content:
            if block.type == "tool_use":
                # В реальном приложении вы бы выполнили инструмент здесь
                # Например: result = run_tool(block.name, block.input)
                result = {"result": "Инструмент успешно выполнен"}

                # Форматирование результата для Claude
                tool_results.append({
                    "type": "tool_result",
                    "tool_use_id": block.id,
                    "content": result
                })

        # Если инструменты не использовались, Claude закончил - верните окончательные сообщения
        if not tool_results:
            return messages

        # Добавление результатов инструментов в сообщения для следующей итерации с Claude
        messages.append({"role": "user", "content": tool_results})

​

Оптимизация производительности модели с помощью промптов

1. Указывайте простые, четко определенные задачи и предоставляйте явные инструкции для каждого шага.
2. Claude иногда предполагает результаты своих действий, не проверяя их явно. Чтобы предотвратить это, вы можете дать Claude промпт: После каждого шага сделай скриншот и тщательно оцени, достиг ли ты правильного результата. Явно покажи свои размышления: "Я оценил шаг X..." Если результат неверен, попробуй еще раз. Только когда ты подтвердишь, что шаг был выполнен правильно, переходи к следующему.
3. Некоторые элементы пользовательского интерфейса (например, выпадающие списки и полосы прокрутки) могут быть сложными для Claude для манипуляции с помощью движений мыши. Если вы столкнетесь с этим, попробуйте дать модели промпт использовать сочетания клавиш.
4. Для повторяющихся задач или взаимодействий с пользовательским интерфейсом включите в свой промпт примеры скриншотов и вызовов инструментов успешных результатов.
5. Если вам нужно, чтобы модель вошла в систему, предоставьте ей имя пользователя и пароль в вашем промпте внутри XML-тегов, например <robot_credentials>. Использование компьютера в приложениях, требующих входа в систему, увеличивает риск плохих результатов в результате инъекции промптов. Пожалуйста, ознакомьтесь с нашим руководством по смягчению инъекций промптов перед предоставлением модели учетных данных для входа.

​

Системные промпты

У вас есть доступ к набору функций, которые вы можете использовать для ответа на вопрос пользователя. Это включает доступ к изолированной вычислительной среде. В настоящее время у вас НЕТ возможности проверять файлы или взаимодействовать с внешними ресурсами, кроме как путем вызова следующих функций.

​

Понимание инструментов, определенных Anthropic

​

Включение возможности мышления в Claude 4 и Claude Sonnet 3.7

"thinking": {
  "type": "enabled",
  "budget_tokens": 1024
}

1. Понять процесс принятия решений модели
2. Выявить потенциальные проблемы или заблуждения
3. Учиться на подходе Claude к решению проблем
4. Получить больше видимости в сложных многоэтапных операциях

[Thinking]
Мне нужно сохранить изображение кошки на рабочий стол. Давайте разобьем это на шаги:

1. Сначала я сделаю скриншот, чтобы увидеть, что есть на рабочем столе
2. Затем я поищу веб-браузер для поиска изображений кошек
3. После нахождения подходящего изображения мне нужно будет сохранить его на рабочий стол

Давайте начнем с создания скриншота, чтобы увидеть, что доступно...

​

Комбинирование использования компьютера с другими инструментами

curl https://api.anthropic.com/v1/messages \
  -H "content-type: application/json" \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "anthropic-beta: computer-use-2025-01-24" \
  -d '{
    "model": "claude-opus-4-20250514",
    "max_tokens": 1024,
    "tools": [
      {
        "type": "computer_20250124",
        "name": "computer",
        "display_width_px": 1024,
        "display_height_px": 768,
        "display_number": 1
      },
      {
        "type": "text_editor_20250124",
        "name": "str_replace_editor"
      },
      {
        "type": "bash_20250124",
        "name": "bash"
      },
      {
        "name": "get_weather",
        "description": "Get the current weather in a given location",
        "input_schema": {
          "type": "object",
          "properties": {
            "location": {
              "type": "string",
              "description": "The city and state, e.g. San Francisco, CA"
            },
            "unit": {
              "type": "string",
              "enum": ["celsius", "fahrenheit"],
              "description": "The unit of temperature, either 'celsius' or 'fahrenheit'"
            }
          },
          "required": ["location"]
        }
      }
    ],
    "messages": [
      {
        "role": "user",
        "content": "Find flights from San Francisco to a place with warmer weather."
      }
    ],
    "thinking": {
      "type": "enabled",
      "budget_tokens": 1024
    }
  }'

​

Создание пользовательской среды использования компьютера

• Виртуализированная или контейнеризированная среда, подходящая для использования компьютера с Claude
• Реализация по крайней мере одного из инструментов использования компьютера, определенных Anthropic
• Цикл агента, который взаимодействует с API Anthropic и выполняет результаты tool_use, используя ваши реализации инструментов
• API или пользовательский интерфейс, который позволяет пользовательский ввод для запуска цикла агента

​

Понимание ограничений использования компьютера

1. Задержка: текущая задержка использования компьютера для взаимодействия человека и ИИ может быть слишком медленной по сравнению с обычными действиями компьютера, направляемыми человеком. Мы рекомендуем сосредоточиться на случаях использования, где скорость не критична (например, фоновый сбор информации, автоматизированное тестирование программного обеспечения) в доверенных средах.
2. Точность и надежность компьютерного зрения: Claude может делать ошибки или галлюцинировать при выводе конкретных координат при генерации действий. Claude Sonnet 3.7 представляет возможность мышления, которая может помочь вам понять рассуждения модели и выявить потенциальные проблемы.
3. Точность и надежность выбора инструмента: Claude может делать ошибки или галлюцинировать при выборе инструментов при генерации действий или предпринимать неожиданные действия для решения проблем. Кроме того, надежность может быть ниже при взаимодействии с нишевыми приложениями или несколькими приложениями одновременно. Мы рекомендуем пользователям тщательно формулировать запросы к модели при запросе сложных задач.
4. Надежность прокрутки: Хотя Claude Sonnet 3.5 (новый) имел ограничения с прокруткой, Claude Sonnet 3.7 представляет специальные действия прокрутки с контролем направления, что улучшает надежность. Теперь модель может явно прокручивать в любом направлении (вверх/вниз/влево/вправо) на указанное количество.
5. Взаимодействие с электронными таблицами: Щелчки мышью для взаимодействия с электронными таблицами улучшились в Claude Sonnet 3.7 с добавлением более точных действий управления мышью, таких как left_mouse_down, left_mouse_up, и новой поддержки модификаторов клавиш. Выбор ячеек может быть более надежным при использовании этих детализированных элементов управления и комбинировании модификаторов клавиш с щелчками.
6. Создание учетных записей и генерация контента на социальных платформах и платформах связи: Хотя Claude будет посещать веб-сайты, мы ограничиваем его способность создавать учетные записи или генерировать и делиться контентом или иным образом заниматься имитацией человека в социальных сетях и платформах. Мы можем обновить эту возможность в будущем.
7. Уязвимости: Уязвимости, такие как джейлбрейкинг или инъекция промптов, могут сохраняться в передовых системах ИИ, включая бета-API использования компьютера. В некоторых обстоятельствах Claude будет следовать командам, найденным в контенте, иногда даже в противоречии с инструкциями пользователя. Например, инструкции Claude на веб-страницах или содержащиеся в изображениях могут переопределить инструкции или привести к ошибкам Claude. Мы рекомендуем: а. Ограничить использование компьютера доверенными средами, такими как виртуальные машины или контейнеры с минимальными привилегиями б. Избегать предоставления доступа к использованию компьютера к конфиденциальным учетным записям или данным без строгого надзора в. Информировать конечных пользователей о соответствующих рисках и получать их согласие перед включением или запросом разрешений, необходимых для функций использования компьютера в ваших приложениях
8. Неприемлемые или незаконные действия: Согласно условиям обслуживания Anthropic, вы не должны использовать компьютер для нарушения каких-либо законов или нашей Политики приемлемого использования.

​

Ценообразование