Использование компьютера (бета)

Claude 3.7 Sonnet и Claude 3.5 Sonnet (новый) способны взаимодействовать с инструментами, которые могут управлять средой рабочего стола компьютера. Claude 3.7 Sonnet представляет дополнительные инструменты и позволяет включить мышление, давая вам больше понимания процесса рассуждений модели.

Вот пример того, как предоставить инструменты для использования компьютера Claude с помощью API Messages:

​

Как работает использование компьютера

Мы называем повторение шагов 3 и 4 без ввода пользователя “циклом агента” - то есть, Claude отвечает запросом на использование инструмента, а ваше приложение отвечает Claude результатами выполнения этого запроса.

​

Вычислительная среда

Использование компьютера требует изолированной вычислительной среды, где Claude может безопасно взаимодействовать с приложениями и веб-сайтами. Эта среда включает:

1. Виртуальный дисплей: Виртуальный X11-сервер дисплея (использующий Xvfb), который отображает интерфейс рабочего стола, который Claude будет видеть через скриншоты и управлять с помощью действий мыши/клавиатуры.

2. Среда рабочего стола: Легкий пользовательский интерфейс с оконным менеджером (Mutter) и панелью (Tint2), работающий на Linux, который обеспечивает последовательный графический интерфейс для взаимодействия Claude.

3. Приложения: Предустановленные приложения Linux, такие как Firefox, LibreOffice, текстовые редакторы и файловые менеджеры, которые Claude может использовать для выполнения задач.

4. Реализации инструментов: Интеграционный код, который преобразует абстрактные запросы инструментов Claude (например, “переместить мышь” или “сделать скриншот”) в реальные операции в виртуальной среде.

5. Цикл агента: Программа, которая обрабатывает коммуникацию между Claude и средой, отправляя действия Claude в среду и возвращая результаты (скриншоты, выводы команд) обратно Claude.

Когда вы используете компьютер, Claude не подключается к этой среде напрямую. Вместо этого ваше приложение:

1. Получает запросы на использование инструментов от Claude
2. Преобразует их в действия в вашей вычислительной среде
3. Захватывает результаты (скриншоты, выводы команд и т.д.)
4. Возвращает эти результаты Claude

Для безопасности и изоляции эталонная реализация запускает все это внутри Docker-контейнера с соответствующими сопоставлениями портов для просмотра и взаимодействия со средой.

​

Как реализовать использование компьютера

​

Начните с нашей эталонной реализации

Мы создали эталонную реализацию, которая включает все необходимое для быстрого начала работы с использованием компьютера:

• Контейнеризованную среду, подходящую для использования компьютера с Claude
• Реализации инструментов для использования компьютера
• Цикл агента, который взаимодействует с API Anthropic и выполняет инструменты для использования компьютера
• Веб-интерфейс для взаимодействия с контейнером, циклом агента и инструментами.

​

Понимание цикла мульти-агента

Основой использования компьютера является “цикл агента” - цикл, где Claude запрашивает действия инструментов, ваше приложение выполняет их и возвращает результаты Claude. Вот упрощенный пример:

async def sampling_loop(
    *,
    model: str,
    messages: list[dict],
    api_key: str,
    max_tokens: int = 4096,
    tool_version: str,
    thinking_budget: int | None = None,
    max_iterations: int = 10,  # Добавить ограничение итераций для предотвращения бесконечных циклов
):
    """
    Простой цикл агента для взаимодействий Claude с компьютером.

    Эта функция обрабатывает обмен между:
    1. Отправкой сообщений пользователя Claude
    2. Claude запрашивает использование инструментов
    3. Ваше приложение выполняет эти инструменты
    4. Отправка результатов инструментов обратно Claude
    """
    # Настройка инструментов и параметров API
    client = Anthropic(api_key=api_key)
    beta_flag = "computer-use-2025-01-24" if "20250124" in tool_version else "computer-use-2024-10-22"

    # Настройка инструментов - вы должны уже иметь их инициализированными где-то еще
    tools = [
        {"type": f"computer_{tool_version}", "name": "computer", "display_width_px": 1024, "display_height_px": 768},
        {"type": f"text_editor_{tool_version}", "name": "str_replace_editor"},
        {"type": f"bash_{tool_version}", "name": "bash"}
    ]

    # Основной цикл агента (с ограничением итераций для предотвращения неожиданных затрат API)
    iterations = 0
    while True and iterations < max_iterations:
        iterations += 1
        # Настройка опционального параметра thinking (для Claude 3.7 Sonnet)
        thinking = None
        if thinking_budget:
            thinking = {"type": "enabled", "budget_tokens": thinking_budget}

        # Вызов API Claude
        response = client.beta.messages.create(
            model=model,
            max_tokens=max_tokens,
            messages=messages,
            tools=tools,
            betas=[beta_flag],
            thinking=thinking
        )

        # Добавление ответа Claude в историю разговора
        response_content = response.content
        messages.append({"role": "assistant", "content": response_content})

        # Проверка, использовал ли Claude какие-либо инструменты
        tool_results = []
        for block in response_content:
            if block.type == "tool_use":
                # В реальном приложении вы бы выполнили инструмент здесь
                # Например: result = run_tool(block.name, block.input)
                result = {"result": "Tool executed successfully"}

                # Форматирование результата для Claude
                tool_results.append({
                    "type": "tool_result",
                    "tool_use_id": block.id,
                    "content": result
                })

        # Если инструменты не использовались, Claude закончил - вернуть финальные сообщения
        if not tool_results:
            return messages

        # Добавление результатов инструментов в сообщения для следующей итерации с Claude
        messages.append({"role": "user", "content": tool_results})

Цикл продолжается до тех пор, пока либо Claude не ответит без запроса каких-либо инструментов (завершение задачи), либо не будет достигнут максимальный предел итераций. Эта защита предотвращает потенциальные бесконечные циклы, которые могли бы привести к неожиданным затратам API.

Мы рекомендуем попробовать эталонную реализацию перед чтением остальной документации.

​

Оптимизация производительности модели с помощью промптов

Вот несколько советов о том, как получить лучшее качество выходных данных:

1. Указывайте простые, четко определенные задачи и предоставляйте явные инструкции для каждого шага.
2. Claude иногда предполагает результаты своих действий, не проверяя их явно. Чтобы предотвратить это, вы можете дать Claude промпт: После каждого шага сделай скриншот и тщательно оцени, достиг ли ты правильного результата. Явно покажи свои размышления: "Я оценил шаг X..." Если результат неверный, попробуй снова. Только когда ты подтвердишь, что шаг был выполнен правильно, переходи к следующему.
3. Некоторые элементы пользовательского интерфейса (например, выпадающие списки и полосы прокрутки) могут быть сложными для манипуляции Claude с помощью движений мыши. Если вы столкнулись с этим, попробуйте дать модели промпт использовать сочетания клавиш.
4. Для повторяющихся задач или взаимодействий с пользовательским интерфейсом включите в ваш промпт примеры скриншотов и вызовов инструментов успешных результатов.
5. Если вам нужно, чтобы модель вошла в систему, предоставьте ей имя пользователя и пароль в вашем промпте внутри xml-тегов как <robot_credentials>. Использование компьютера в приложениях, требующих входа в систему, увеличивает риск плохих результатов из-за внедрения промптов. Пожалуйста, ознакомьтес с нашим руководством по смягчению внедрений промптов перед предоставлением модели учетных данных для входа.

​

Системные промпты

Когда один из определенных Anthropic инструментов запрашивается через API Anthropic, генерируется специфичный для использования компьютера системный промпт. Он похож на системный промпт для использования инструментов, но начинается с:

У вас есть доступ к набору функций, которые вы можете использовать для ответа на вопрос пользователя. Это включает доступ к изолированной вычислительной среде. У вас НЕТ в данный момент возможности проверять файлы или взаимодействовать с внешними ресурсами, кроме как путем вызова нижеперечисленных функций.

Как и при обычном использовании инструментов, предоставленное пользователем поле system_prompt по-прежнему учитывается и используется при построении комбинированного системного промпта.

​

Понимание инструментов, определенных Anthropic

Мы предоставили набор инструментов, которые позволяют Claude эффективно использовать компьютеры. При указании инструмента, определенного Anthropic, поля description и tool_schema не нужны и не разрешены.

Мы предоставляем набор инструментов, определенных Anthropic, причем каждый инструмент имеет версии, оптимизированные как для Claude 3.5 Sonnet (новый), так и для Claude 3.7 Sonnet:

Поле type идентифицирует инструмент и его параметры для целей валидации, поле name - это имя инструмента, предоставляемое модели.

Если вы хотите дать модели промпт использовать один из этих инструментов, вы можете явно сослаться на инструмент по полю name. Поле name должно быть уникальным в списке инструментов; вы не можете определить инструмент с тем же именем, что и определенный Anthropic инструмент в том же API-вызове.

Используйте мышь и клавиатуру для взаимодействия с компьютером и делайте скриншоты.
* Это интерфейс к графическому интерфейсу рабочего стола. У вас нет доступа к терминалу или меню приложений. Вы должны кликать на значки рабочего стола для запуска приложений.
* Некоторым приложениям может потребоваться время для запуска или обработки действий, поэтому вам может понадобиться подождать и сделать последовательные скриншоты, чтобы увидеть результаты ваших действий. Например, если вы кликнули на Firefox и окно не открылось, попробуйте сделать еще один скриншот.
* Разрешение экрана {{ display_width_px }}x{{ display_height_px }}.
* Номер дисплея {{ display_number }}
* Когда вы намереваетесь переместить курсор для клика по элементу, например значку, вы должны посмотреть на скриншот, чтобы определить координаты элемента перед перемещением курсора.
* Если вы попытались кликнуть на программу или ссылку, но она не загрузилась даже после ожидания, попробуйте настроить положение курсора так, чтобы кончик курсора визуально попадал на элемент, по которому вы хотите кликнуть.
* Убедитесь, что кликаете по любым кнопкам, ссылкам, значкам и т.д. кончиком курсора в центре элемента. Не кликайте по краям полей, если не просят.

{
    "properties": {
        "action": {
            "description": "Действие для выполнения. Доступные действия:\n"
            "* `key`: Нажать клавишу или комбинацию клавиш на клавиатуре.\n"
            "  - Поддерживает синтаксис `key` xdotool.\n"
            '  - Примеры: "a", "Return", "alt+Tab", "ctrl+s", "Up", "KP_0" (для клавиши 0 на цифровой клавиатуре).\n'
            "* `hold_key`: Удерживать клавишу или несколько клавиш в течение указанного времени (в секундах). Поддерживает тот же синтаксис, что и `key`.\n"
            "* `type`: Набрать строку текста на клавиатуре.\n"
            "* `cursor_position`: Получить текущую координату (x, y) курсора на экране в пикселях.\n"
            "* `mouse_move`: Переместить курсор в указанную координату (x, y) на экране в пикселях.\n"
            "* `left_mouse_down`: Нажать левую кнопку мыши.\n"
            "* `left_mouse_up`: Отпустить левую кнопку мыши.\n"
            "* `left_click`: Кликнуть левой кнопкой мыши в указанной координате (x, y) на экране в пикселях. Вы также можете включить комбинацию клавиш для удержания во время клика, используя параметр `text`.\n"
            "* `left_click_drag`: Кликнуть и перетащить курсор от `start_coordinate` к указанной координате (x, y) на экране в пикселях.\n"
            "* `right_click`: Кликнуть правой кнопкой мыши в указанной координате (x, y) на экране в пикселях.\n"
            "* `middle_click`: Кликнуть средней кнопкой мыши в указанной координате (x, y) на экране в пикселях.\n"
            "* `double_click`: Дважды кликнуть левой кнопкой мыши в указанной координате (x, y) на экране в пикселях.\n"
            "* `triple_click`: Трижды кликнуть левой кнопкой мыши в указанной координате (x, y) на экране в пикселях.\n"
            "* `scroll`: Прокрутить экран в указанном направлении на указанное количество щелчков колеса прокрутки в указанной координате (x, y). НЕ используйте PageUp/PageDown для прокрутки.\n"
            "* `wait`: Подождать указанное время (в секундах).\n"
            "* `screenshot`: Сделать скриншот экрана.",
            "enum": [
                "key",
                "hold_key",
                "type",
                "cursor_position",
                "mouse_move",
                "left_mouse_down",
                "left_mouse_up",
                "left_click",
                "left_click_drag",
                "right_click",
                "middle_click",
                "double_click",
                "triple_click",
                "scroll",
                "wait",
                "screenshot",
            ],
            "type": "string",
        },
        "coordinate": {
            "description": "(x, y): Координаты x (пиксели от левого края) и y (пиксели от верхнего края) для перемещения мыши. Требуется только для `action=mouse_move` и `action=left_click_drag`.",
            "type": "array",
        },
        "duration": {
            "description": "Продолжительность удержания клавиши. Требуется только для `action=hold_key` и `action=wait`.",
            "type": "integer",
        },
        "scroll_amount": {
            "description": "Количество 'щелчков' для прокрутки. Требуется только для `action=scroll`.",
            "type": "integer",
        },
        "scroll_direction": {
            "description": "Направление прокрутки экрана. Требуется только для `action=scroll`.",
            "enum": ["up", "down", "left", "right"],
            "type": "string",
        },
        "start_coordinate": {
            "description": "(x, y): Координаты x (пиксели от левого края) и y (пиксели от верхнего края) для начала перетаскивания. Требуется только для `action=left_click_drag`.",
            "type": "array",
        },
        "text": {
            "description": "Требуется только для `action=type`, `action=key` и `action=hold_key`. Также может использоваться действиями клика или прокрутки для удержания клавиш во время клика или прокрутки.",
            "type": "string",
        },
    },
    "required": ["action"],
    "type": "object",
}

{
    "properties": {
        "action": {
            "description": """Действие для выполнения. Доступные действия:
                * `key`: Нажать клавишу или комбинацию клавиш на клавиатуре.
                  - Поддерживает синтаксис `key` xdotool.
                  - Примеры: "a", "Return", "alt+Tab", "ctrl+s", "Up", "KP_0" (для клавиши 0 на цифровой клавиатуре).
                * `type`: Набрать строку текста на клавиатуре.
                * `cursor_position`: Получить текущую координату (x, y) курсора на экране в пикселях.
                * `mouse_move`: Переместить курсор в указанную координату (x, y) на экране в пикселях.
                * `left_click`: Кликнуть левой кнопкой мыши.
                * `left_click_drag`: Кликнуть и перетащить курсор к указанной координате (x, y) на экране в пикселях.
                * `right_click`: Кликнуть правой кнопкой мыши.
                * `middle_click`: Кликнуть средней кнопкой мыши.
                * `double_click`: Дважды кликнуть левой кнопкой мыши.
                * `screenshot`: Сделать скриншот экрана.""",
            "enum": [
                "key",
                "type",
                "mouse_move",
                "left_click",
                "left_click_drag",
                "right_click",
                "middle_click",
                "double_click",
                "screenshot",
                "cursor_position",
            ],
            "type": "string",
        },
        "coordinate": {
            "description": "(x, y): Координаты x (пиксели от левого края) и y (пиксели от верхнего края) для перемещения мыши. Требуется только для `action=mouse_move` и `action=left_click_drag`.",
            "type": "array",
        },
        "text": {
            "description": "Требуется только для `action=type` и `action=key`.",
            "type": "string",
        },
    },
    "required": ["action"],
    "type": "object",
}

Пользовательский инструмент редактирования для просмотра, создания и редактирования файлов
* Состояние сохраняется между вызовами команд и обсуждениями с пользователем
* Если `path` - это файл, `view` отображает результат применения `cat -n`. Если `path` - это директория, `view` перечисляет нескрытые файлы и директории до 2 уровней вложенности
* Команда `create` не может быть использована, если указанный `path` уже существует как файл
* Если `command` генерирует длинный вывод, он будет обрезан и помечен как `<response clipped>`
* Команда `undo_edit` отменит последнее редактирование, сделанное в файле по пути `path`

Примечания по использованию команды `str_replace`:
* Параметр `old_str` должен ТОЧНО соответствовать одной или нескольким последовательным строкам из исходного файла. Обратите внимание на пробелы!
* Если параметр `old_str` не уникален в файле, замена не будет выполнена. Убедитесь, что включили достаточно контекста в `old_str`, чтобы сделать его уникальным
* Параметр `new_str` должен содержать отредактированные строки, которые должны заменить `old_str`

{
    "properties": {
        "command": {
            "description": "Команды для выполнения. Разрешенные опции: `view`, `create`, `str_replace`, `insert`, `undo_edit`.",
            "enum": ["view", "create", "str_replace", "insert", "undo_edit"],
            "type": "string",
        },
        "file_text": {
            "description": "Обязательный параметр команды `create`, с содержимым файла для создания.",
            "type": "string",
        },
        "insert_line": {
            "description": "Обязательный параметр команды `insert`. `new_str` будет вставлен ПОСЛЕ строки `insert_line` в `path`.",
            "type": "integer",
        },
        "new_str": {
            "description": "Опциональный параметр команды `str_replace`, содержащий новую строку (если не указан, строка не будет добавлена). Обязательный параметр команды `insert`, содержащий строку для вставки.",
            "type": "string",
        },
        "old_str": {
            "description": "Обязательный параметр команды `str_replace`, содержащий строку в `path` для замены.",
            "type": "string",
        },
        "path": {
            "description": "Абсолютный путь к файлу или директории, например `/repo/file.py` или `/repo`.",
            "type": "string",
        },
        "view_range": {
            "description": "Опциональный параметр команды `view`, когда `path` указывает на файл. Если не указан, показывается весь файл. Если указан, файл будет показан в указанном диапазоне номеров строк, например [11, 12] покажет строки 11 и 12. Индексация начинается с 1. Установка `[start_line, -1]` показывает все строки от `start_line` до конца файла.",
            "items": {"type": "integer"},
            "type": "array",
        },
    },
    "required": ["command", "path"],
    "type": "object",
}

Запуск команд в оболочке bash
* При вызове этого инструмента содержимое параметра "command" НЕ нужно экранировать в XML.
* У вас есть доступ к зеркалу общих пакетов linux и python через apt и pip.
* Состояние сохраняется между вызовами команд и обсуждениями с пользователем.
* Чтобы проверить определенный диапазон строк файла, например строки 10-25, попробуйте 'sed -n 10,25p /path/to/the/file'.
* Пожалуйста, избегайте команд, которые могут производить очень большой объем вывода.
* Пожалуйста, запускайте долгоживущие команды в фоновом режиме, например 'sleep 10 &' или запускайте сервер в фоновом режиме.

{
    "properties": {
        "command": {
            "description": "Команда bash для выполнения. Обязательна, если инструмент не перезапускается.",
            "type": "string",
        },
        "restart": {
            "description": "Указание true перезапустит этот инструмент. В противном случае оставьте это неуказанным.",
            "type": "boolean",
        },
    }
}

​

Включение возможности мышления в Claude 3.7 Sonnet

Claude 3.7 Sonnet представляет новую возможность “мышления”, которая позволяет вам видеть процесс рассуждений модели при работе над сложными задачами. Эта функция помогает вам понять, как Claude подходит к проблеме, и может быть особенно ценной для отладки или образовательных целей.

Чтобы включить мышление, добавьте параметр thinking в ваш API-запрос:

"thinking": {
  "type": "enabled",
  "budget_tokens": 1024
}

Параметр budget_tokens указывает, сколько токенов Claude может использовать для мышления. Это вычитается из вашего общего бюджета max_tokens.

Когда мышление включено, Claude будет возвращать свой процесс рассуждений как часть ответа, что может помочь вам:

1. Понять процесс принятия решений модели
2. Выявить потенциальные проблемы или заблуждения
3. Учиться на подходе Claude к решению проблем
4. Получить больше видимости в сложных многошаговых операциях

Вот пример того, как может выглядеть вывод мышления:

[Thinking]
Мне нужно сохранить картинку кота на рабочий стол. Давайте разобьем это на шаги:

1. Сначала я сделаю скриншот, чтобы увидеть, что есть на рабочем столе
2. Затем я поищу веб-браузер для поиска изображений котов
3. После нахождения подходящего изображения мне нужно будет сохранить его на рабочий стол

Давайте начнем со скриншота, чтобы увидеть, что доступно...

​

Комбинирование использования компьютера с другими инструментами

Вы можете комбинировать обычное использование инструментов с инструментами, определенными Anthropic для использования компьютера.

​

Создание пользовательской среды использования компьютера

Эталонная реализация предназначена для того, чтобы помочь вам начать работу с использованием компьютера. Она включает все компоненты, необходимые для того, чтобы Claude использовал компьютер. Однако вы можете создать свою собственную среду для использования компьютера в соответствии с вашими потребностями. Вам понадобится:

• Виртуализированная или контейнеризованная среда, подходящая для использования компьютера с Claude
• Реализация как минимум одного из определенных Anthropic инструментов для использования компьютера
• Цикл агента, который взаимодействует с API Anthropic и выполняет результаты tool_use с помощью ваших реализаций инструментов
• API или пользовательский интерфейс, который позволяет пользовательский ввод для запуска цикла агента

​

Понимание ограничений использования компьютера

Функциональность использования компьютера находится в бета-версии. Хотя возможности Claude являются передовыми, разработчики должны знать о его ограничениях:

1. Задержка: текущая задержка использования компьютера для взаимодействий человека с ИИ может быть слишком медленной по сравнению с обычными действиями компьютера, направляемыми человеком. Мы рекомендуем сосредоточиться на случаях использования, где скорость не критична (например, фоновый сбор информации, автоматизированное тестирование программного обеспечения) в доверенных средах.
2. Точность и надежность компьютерного зрения: Claude может делать ошибки или галлюцинировать при выводе конкретных координат при генерации действий. Claude 3.7 Sonnet представляет возможность мышления, которая может помочь вам понять рассуждения модели и выявить потенциальные проблемы.
3. Точность и надежность выбора инструментов: Claude может делать ошибки или галлюцинировать при выборе инструментов при генерации действий или предпринимать неожиданные действия для решения проблем. Кроме того, надежность может быть ниже при взаимодействии с нишевыми приложениями или несколькими приложениями одновременно. Мы рекомендуем пользователям тщательно формулировать промпты для модели при запросе сложных задач.
4. Надежность прокрутки: Хотя Claude 3.5 Sonnet (новый) имел ограничения с прокруткой, Claude 3.7 Sonnet представляет специальные действия прокрутки с контролем направления, что улучшает надежность. Теперь модель может явно прокручивать в любом направлении (вверх/вниз/влево/вправо) на указанное количество.
5. Взаимодействие с электронными таблицами: Клики мышью для взаимодействия с электронными таблицами улучшились в Claude 3.7 Sonnet с добавлением более точных действий управления мышью, таких как left_mouse_down, left_mouse_up, и новой поддержки модификаторов клавиш. Выбор ячеек может быть более надежным при использовании этих точных элементов управления и комбинировании модификаторов клавиш с кликами.
6. Создание учетных записей и генерация контента на социальных платформах и платформах связи: Хотя Claude будет посещать веб-сайты, мы ограничиваем его способность создавать учетные записи или генерировать и делиться контентом или иным образом заниматься имитацией человека в социальных сетях и платформах. Мы можем обновить эту возможность в будущем.
7. Уязвимости: Уязвимости, такие как джейлбрейк или внедрение промптов, могут сохраняться в передовых системах ИИ, включая бета-версию API использования компьютера. В некоторых обстоятельствах Claude будет следовать командам, найденным в контенте, иногда даже в противоречии с инструкциями пользователя. Например, инструкции Claude на веб-страницах или содержащиеся в изображениях могут переопределить инструкции или привести к ошибкам Claude. Мы рекомендуем: a. Ограничить использование компьютера доверенными средами, такими как виртуальные машины или контейнеры с минимальными привилегиями b. Избегать предоставления доступа к использованию компьютера для конфиденциальных учетных записей или данных без строгого надзора c. Информировать конечных пользователей о соответствующих рисках и получать их согласие перед включением или запросом разрешений, необходимых для функций использования компьютера в ваших приложениях
8. Неприемлемые или незаконные действия: В соответствии с условиями обслуживания Anthropic, вы не должны использовать компьютер для нарушения каких-либо законов или нашей Политики приемлемого использования.

Всегда тщательно проверяйте действия и логи использования компьютера Claude. Не используйте Claude для задач, требующих идеальной точности или конфиденциальной информации пользователя без надзора человека.

​

Ценообразование

Как подмножество запросов на использование инструментов, запросы на использование компьютера оцениваются так же, как и любой другой запрос API Claude.

Мы также автоматически включаем специальный системный промпт для модели, который включает использование компьютера.

В дополнение к базовым токенам, следующие дополнительные входные токены необходимы для инструментов, определенных Anthropic:

Если вы включите мышление с Claude 3.7 Sonnet, токены, используемые для мышления, будут учитываться в вашем бюджете max_tokens на основе budget_tokens, который вы указываете в параметре мышления.