Использование компьютера (бета)

Вот пример того, как предоставить инструменты использования компьютера для Claude с использованием Messages API:

​

Как работает использование компьютера

Мы называем повторение шагов 3 и 4 без ввода пользователя “циклом агента” - т.е. Claude отвечает запросом на использование инструмента, а ваше приложение отвечает Claude результатами оценки этого запроса.

​

Как реализовать использование компьютера

​

Начните с нашей эталонной реализации

Мы создали эталонную реализацию, которая включает в себя все необходимое для быстрого начала работы с использованием компьютера:

• Контейнеризированная среда, подходящая для использования компьютера с Claude
• Реализации инструментов использования компьютера
• Цикл агента, который взаимодействует с Anthropic API и выполняет результаты tool_use с помощью реализаций ваших инструментов
• Веб-интерфейс для взаимодействия с контейнером, циклом агента и инструментами.

Мы рекомендуем попробовать эталонную реализацию, прежде чем читать остальную часть этой документации.

​

Оптимизируйте производительность модели с помощью подсказок

Вот несколько советов о том, как получить наилучшие результаты:

1. Указывайте простые, четко определенные задачи и предоставляйте явные инструкции для каждого шага.
2. Claude иногда предполагает результаты своих действий, не проверяя их явно. Чтобы предотвратить это, вы можете подсказать модели: После каждого шага делайте снимок экрана и внимательно оценивайте, достигли ли вы правильного результата. Явно покажите свои рассуждения: "Я оценил шаг X..." Если нет, попробуйте снова. Только после того, как вы подтвердите, что шаг был выполнен правильно, переходите к следующему.
3. Некоторые элементы пользовательского интерфейса (например, выпадающие списки и полосы прокрутки) могут быть сложными для Claude при манипулировании с помощью движений мыши. Если вы столкнетесь с этим, попробуйте подсказать модели использовать сочетания клавиш.
4. Для повторяющихся задач или взаимодействий с пользовательским интерфейсом включите в свою подсказку примеры снимков экрана и вызовов инструментов успешных результатов.
5. Если вам нужно, чтобы модель выполнила вход в систему, предоставьте ей имя пользователя и пароль в вашей подсказке внутри тегов xml, например <robot_credentials>. Использование компьютера в приложениях, требующих входа в систему, повышает риск получения нежелательных результатов в результате внедрения запросов. Пожалуйста, ознакомьтесь с нашим руководством по смягчению внедрения запросов перед предоставлением модели учетных данных для входа в систему.

​

Системные подсказки

Когда один из определенных Anthropic инструментов запрашивается через Anthropic API, генерируется специальная системная подсказка для использования компьютера. Она похожа на системную подсказку для использования инструментов, но начинается с:

У вас есть доступ к набору функций, которые вы можете использовать для ответа на вопрос пользователя. Это включает доступ к изолированной вычислительной среде. В настоящее время у вас НЕТ возможности просматривать файлы или взаимодействовать с внешними ресурсами, за исключением вызова приведенных ниже функций.

Как и при обычном использовании инструментов, по-прежнему учитывается предоставленное пользователем поле system_prompt и используется при построении комбинированной системной подсказки.

​

Понимание определенных Anthropic инструментов

Мы предоставили набор инструментов, которые позволяют Claude эффективно использовать компьютеры. При указании определенного Anthropic инструмента поля description и tool_schema не нужны и не допускаются.

В настоящее время мы предоставляем 3 определенных Anthropic инструмента:

• { "type": "computer_20241022", "name": "computer" }
• { "type": "text_editor_20241022", "name": "str_replace_editor" }
• { "type": "bash_20241022", "name": "bash" }

Поле type идентифицирует инструмент и его параметры для целей проверки, а поле name - это имя инструмента, предоставляемое модели.

Если вы хотите подсказать модели использовать один из этих инструментов, вы можете явно обратиться к инструменту по полю name. Поле name должно быть уникальным в списке инструментов; вы не можете определить инструмент с тем же именем, что и определенный Anthropic инструмент, в том же самом вызове API.

Используйте мышь и клавиатуру для взаимодействия с компьютером и делайте снимки экрана.
* Это интерфейс для графического пользовательского интерфейса рабочего стола. У вас нет доступа к терминалу или меню приложений. Вы должны щелкать по значкам на рабочем столе, чтобы запускать приложения.
* Некоторые приложения могут требовать времени для запуска или обработки действий, поэтому вам может потребоваться подождать и сделать несколько последовательных снимков экрана, чтобы увидеть результаты ваших действий. Например, если вы щелкнете по Firefox, а окно не откроется, попробуйте сделать еще один снимок экрана.
* Разрешение экрана составляет {{ display_width_px }}x{{ display_height_px }}.
* Номер дисплея - {{ display_number }}
* Каждый раз, когда вы намереваетесь переместить курсор, чтобы щелкнуть по элементу, такому как значок, вы должны проконсультироваться со снимком экрана, чтобы определить координаты элемента, прежде чем перемещать курсор.
* Если вы пытались щелкнуть по программе или ссылке, но она не загрузилась, даже после ожидания, попробуйте отрегулировать положение курсора так, чтобы кончик курсора визуально попадал на элемент, по которому вы хотите щелкнуть.
* Убедитесь, что вы щелкаете по любым кнопкам, ссылкам, значкам и т.д. кончиком курсора в центре элемента. Не щелкайте по краям рамок, если не просят.

{
    "properties": {
        "action": {
            "description": """Действие, которое нужно выполнить. Доступные действия:
                * `key`: Нажать клавишу или комбинацию клавиш на клавиатуре.
                  - Это поддерживает синтаксис `key` xdotool.
                  - Примеры: "a", "Return", "alt+Tab", "ctrl+s", "Up", "KP_0" (для клавиши 0 на цифровой клавиатуре).
                * `type`: Ввести строку текста на клавиатуре.
                * `cursor_position`: Получить текущие координаты (x, y) пикселя курсора на экране.
                * `mouse_move`: Переместить курсор в указанные координаты (x, y) пикселя на экране.
                * `left_click`: Щелкнуть левой кнопкой мыши.
                * `left_click_drag`: Щелкнуть и перетащить курсор в указанные координаты (x, y) пикселя на экране.
                * `right_click`: Щелкнуть правой кнопкой мыши.
                * `middle_click`: Щелкнуть средней кнопкой мыши.
                * `double_click`: Дважды щелкнуть левой кнопкой мыши.
                * `screenshot`: Сделать снимок экрана.""",
            "enum": [
                "key",
                "type",
                "mouse_move",
                "left_click",
                "left_click_drag",
                "right_click",
                "middle_click",
                "double_click",
                "screenshot",
                "cursor_position",
            ],
            "type": "string",
        },
        "coordinate": {
            "description": "(x, y): Координаты x (пиксели от левого края) и y (пиксели от верхнего края), куда нужно переместить мышь. Требуется только для `action=mouse_move` и `action=left_click_drag`.",
            "type": "array",
        },
        "text": {
            "description": "Требуется только для `action=type` и `action=key`.",
            "type": "string",
        },
    },
    "required": ["action"],
    "type": "object",
}

Пользовательский инструмент редактирования для просмотра, создания и редактирования файлов
* Состояние сохраняется при повторных вызовах команд и обсуждениях с пользователем
* Если `path` указывает на файл, `view` отображает результат применения `cat -n`. Если `path` указывает на каталог, `view` перечисляет невидимые файлы и каталоги до 2 уровней вложенности
* Команда `create` не может быть использована, если указанный `path` уже существует как файл
* Если команда генерирует длинный вывод, он будет обрезан и помечен как `<response clipped>`
* Команда `undo_edit` отменит последнее редактирование файла по пути `path`

Примечания по использованию команды `str_replace`:
* Параметр `old_str` должен в точности соответствовать одной или нескольким последовательным строкам из исходного файла. Обратите внимание на пробелы!
* Если параметр `old_str` не является уникальным в файле, замена не будет выполнена. Убедитесь, что вы включили достаточный контекст в `old_str`, чтобы сделать его уникальным
* Параметр `new_str` должен содержать отредактированные строки, которые должны заменить `old_str`

{
    "properties": {
        "command": {
            "description": "Команды для запуска. Допустимые варианты: `view`, `create`, `str_replace`, `insert`, `undo_edit`.",
            "enum": ["view", "create", "str_replace", "insert", "undo_edit"],
            "type": "string",
        },
        "file_text": {
            "description": "Обязательный параметр команды `create` с содержимым создаваемого файла.",
            "type": "string",
        },
        "insert_line": {
            "description": "Обязательный параметр команды `insert`. `new_str` будет вставлен ПОСЛЕ строки `insert_line` в `path`.",
            "type": "integer",
        },
        "new_str": {
            "description": "Необязательный параметр команды `str_replace`, содержащий новую строку (если не указано, строка не будет добавлена). Обязательный параметр команды `insert`, содержащий строку для вставки.",
            "type": "string",
        },
        "old_str": {
            "description": "Обязательный параметр команды `str_replace`, содержащий строку в `path` для замены.",
            "type": "string",
        },
        "path": {
            "description": "Абсолютный путь к файлу или каталогу, например `/repo/file.py` или `/repo`.",
            "type": "string",
        },
        "view_range": {
            "description": "Необязательный параметр команды `view`, когда `path` указывает на файл. Если не указано, будет показан весь файл. Если указано, файл будет показан в указанном диапазоне номеров строк, например, [11, 12] покажет строки 11 и 12. Нумерация начинается с 1. Установка `[start_line, -1]` покажет все строки от `start_line` до конца файла.",
            "items": {"type": "integer"},
            "type": "array",
        },
    },
    "required": ["command", "path"],
    "type": "object",
}

Запускайте команды в оболочке bash
* При вызове этого инструмента содержимое параметра "command" НЕ требует экранирования XML.
* У вас есть доступ к зеркалу распространенных пакетов linux и python через apt и pip.
* Состояние сохраняется при повторных вызовах команд и обсуждениях с пользователем.
* Чтобы просмотреть определенный диапазон строк файла, например, строки 10-25, попробуйте 'sed -n 10,25p /path/to/the/file'.
* Пожалуйста, избегайте команд, которые могут создать очень большой объем вывода.
* Пожалуйста, запускайте длительные команды в фоновом режиме, например, 'sleep 10 &' или запускайте сервер в фоновом режиме.

{
    "properties": {
        "command": {
            "description": "Команда bash для запуска. Обязательно, если инструмент не перезапускается.",
            "type": "string",
        },
        "restart": {
            "description": "Указание true перезапустит этот инструмент. В противном случае оставьте это поле пустым.",
            "type": "boolean",
        },
    }
}

​

Объедините использование компьютера с другими инструментами

Вы можете объединить обычное использование инструментов с определенными Anthropic инструментами для использования компьютера.

​

Создайте пользовательскую среду использования компьютера

Эталонная реализация предназначена для того, чтобы помочь вам начать работу с использованием компьютера. В нее входят все компоненты, необходимые для того, чтобы Claude использовал компьютер. Однако вы можете создать собственную среду для использования компьютера, чтобы удовлетворить ваши потребности. Вам понадобится:

• Виртуализированная или контейнеризированная среда, подходящая для использования компьютера с Claude
• Реализация по крайней мере одного из определенных Anthropic инструментов использования компьютера
• Цикл агента, который взаимодействует с Anthropic API и выполняет результаты tool_use с помощью ваших реализаций инструментов
• API или пользовательский интерфейс, который позволяет вводить пользовательский ввод для запуска цикла агента

​

Понимание ограничений использования компьютера

Функциональность использования компьютера находится в бета-версии. Хотя возможности Claude являются передовыми, разработчики должны быть осведомлены об ее ограничениях:

1. Задержка: текущая задержка при использовании компьютера для взаимодействия человека и ИИ может быть слишком большой по сравнению с обычными действиями, направляемыми человеком. Мы рекомендуем сосредоточиться на случаях использования, где скорость не является критической (например, сбор фоновой информации, автоматизированное тестирование программного обеспечения) в доверенных средах.
2. Точность и надежность компьютерного зрения: Claude может допускать ошибки или галлюцинации при выводе конкретных координат при генерации действий.
3. Точность и надежность выбора инструментов: Claude может допускать ошибки или галлюцинации при выборе инструментов во время генерации действий или предпринимать непредвиденные действия для решения проблем. Кроме того, надежность может быть ниже при взаимодействии с нишевыми приложениями или несколькими приложениями одновременно. Мы рекомендуем пользователям тщательно подсказывать модели при запросе сложных задач.
4. Надежность прокрутки: Прокрутка может быть ненадежной в текущем опыте, и модель может не надежно прокручивать до конца страницы. Поведение, подобное прокрутке, можно улучшить с помощью сочетаний клавиш (PgUp/PgDown).
5. Взаимодействие с электронными таблицами: Щелчки мышью для взаимодействия с электронными таблицами ненадежны. Выбор ячеек может не всегда работать как ожидалось. Это можно смягчить, подсказав модели использовать клавиши со стрелками.
6. Создание учетных записей и генерация контента в социальных сетях и платформах для общения: Хотя Claude будет посещать веб-сайты, мы ограничиваем его возможность создавать учетные записи или генерировать и распространять контент или иным образом имитировать человека в социальных сетях и платформах для общения. Мы можем обновить эту возможность в будущем.
7. Уязвимости: Уязвимости, такие как взлом или внедрение запросов, могут сохраняться в передовых системах ИИ, включая бета-версию API использования компьютера. В некоторых обстоятельствах Claude будет следовать командам, найденным в контенте, иногда даже в противоречии с инструкциями пользователя. Например, инструкции Claude на веб-страницах или содержащиеся в изображениях могут переопределить инструкции или вызвать ошибки Claude. Мы рекомендуем: а. Ограничить использование компьютера доверенными средами, такими как виртуальные машины или контейнеры с минимальными привилегиями б. Не давать использованию компьютера доступ к конфиденциальным учетным записям или данным без строгого надзора в. Информировать конечных пользователей о соответствующих рисках и получать их согласие перед включением или запросом разрешений, необходимых для функций использования компьютера в ваших приложениях
8. Неприемлемые или незаконные действия: В соответствии с Условиями обслуживания Anthropic, вы не должны использовать использование компьютера для нарушения каких-либо законов или нашей Политики приемлемого использования.

Всегда тщательно проверяйте и подтверждайте действия и журналы Claude при использовании компьютера. Не используйте Claude для задач, требующих идеальной точности или конфиденциальной информации пользователя, без контроля со стороны человека.

​

Ценообразование

Поскольку запросы на использование компьютера являются подмножеством запросов на использование инструментов, они оцениваются так же, как любой другой запрос к Claude API.

Мы также автоматически включаем специальную системную подсказку для модели, которая позволяет использовать компьютер.

В дополнение к базовым токенам, для определенных Anthropic инструментов требуются следующие дополнительные входные токены: