计算机使用 (测试版)

使用鼠标和键盘与计算机交互,并截取屏幕截图。
* 这是一个桌面 GUI 界面。您无法访问终端或应用程序菜单。您必须单击桌面图标才能启动应用程序。
* 某些应用程序可能需要一些时间才能启动或处理操作,因此您可能需要等待并连续截取屏幕截图才能看到您操作的结果。例如,如果您单击 Firefox 但窗口没有打开,请尝试再次截图。
* 屏幕分辨率为 {{ display_width_px }}x{{ display_height_px }}。
* 显示器编号为 {{ display_number }}
* 每当您打算将光标移动到某个元素(如图标)上单击时,您都应该查看屏幕截图以确定该元素的坐标,然后再移动光标。
* 如果您尝试单击某个程序或链接但加载失败,即使在等待后也是如此,请尝试调整光标位置,使光标尖端正好落在您想要单击的元素上。
* 确保用光标尖端在元素的中心单击任何按钮、链接、图标等。除非另有要求,否则不要单击边缘的框。

{
    "properties": {
        "action": {
            "description": """要执行的操作。可用操作包括:
                * `key`: 按下键盘上的一个键或组合键。
                  - 支持 xdotool 的 `key` 语法。
                  - 示例: "a"、"Return"、"alt+Tab"、"ctrl+s"、"Up"、"KP_0"(用于小键盘 0 键)。
                * `type`: 在键盘上输入一串文本。
                * `cursor_position`: 获取光标在屏幕上的当前(x, y)像素坐标。
                * `mouse_move`: 将光标移动到屏幕上指定的(x, y)像素坐标。
                * `left_click`: 单击鼠标左键。
                * `left_click_drag`: 单击并将光标拖动到屏幕上指定的(x, y)像素坐标。
                * `right_click`: 单击鼠标右键。
                * `middle_click`: 单击鼠标中键。
                * `double_click`: 双击鼠标左键。
                * `screenshot`: 截取屏幕截图。""",
            "enum": [
                "key",
                "type",
                "mouse_move",
                "left_click",
                "left_click_drag",
                "right_click",
                "middle_click",
                "double_click",
                "screenshot",
                "cursor_position",
            ],
            "type": "string",
        },
        "coordinate": {
            "description": "(x, y): 从左边缘开始的 x 像素和从上边缘开始的 y 像素坐标,用于移动鼠标。仅在 `action=mouse_move` 和 `action=left_click_drag` 时需要。",
            "type": "array",
        },
        "text": {
            "description": "仅在 `action=type` 和 `action=key` 时需要。",
            "type": "string",
        },
    },
    "required": ["action"],
    "type": "object",
}

自定义编辑工具,用于查看、创建和编辑文件
* 状态在命令调用和与用户的讨论中是持久的
* 如果 `path` 是一个文件,`view` 将显示应用 `cat -n` 的结果。如果 `path` 是一个目录,`view` 将列出最多两级深度的非隐藏文件和目录
* 如果指定的 `path` 已经存在为文件,则无法使用 `create` 命令
* 如果某个 `command` 生成了很长的输出,它将被截断并标记为 `<response clipped>`
* `undo_edit` 命令将撤消对 `path` 文件所做的最后一次编辑

使用 `str_replace` 命令的注意事项:
* `old_str` 参数应该与原始文件中一个或多个连续行完全匹配。请注意空格!
* 如果 `old_str` 参数在文件中不唯一,则不会执行替换。请确保在 `old_str` 中包含足够的上下文以使其唯一
* `new_str` 参数应该包含要替换 `old_str` 的编辑后的行

{
    "properties": {
        "command": {
            "description": "要运行的命令。允许的选项是: `view`、`create`、`str_replace`、`insert`、`undo_edit`。",
            "enum": ["view", "create", "str_replace", "insert", "undo_edit"],
            "type": "string",
        },
        "file_text": {
            "description": "`create` 命令的必需参数,包含要创建的文件的内容。",
            "type": "string",
        },
        "insert_line": {
            "description": "`insert` 命令的必需参数。`new_str` 将被插入到 `path` 的 `insert_line` 行之后。",
            "type": "integer",
        },
        "new_str": {
            "description": "`str_replace` 命令的可选参数,包含新字符串(如果未给出,则不会添加任何字符串)。`insert` 命令的必需参数,包含要插入的字符串。",
            "type": "string",
        },
        "old_str": {
            "description": "`str_replace` 命令的必需参数,包含要替换的 `path` 中的字符串。",
            "type": "string",
        },
        "path": {
            "description": "文件或目录的绝对路径,例如 `/repo/file.py` 或 `/repo`。",
            "type": "string",
        },
        "view_range": {
            "description": "`view` 命令的可选参数,当 `path` 指向文件时使用。如果未给出,将显示整个文件。如果提供了该参数,文件将在指定的行号范围内显示,例如 [11, 12] 将显示第 11 行和第 12 行。从 1 开始索引。将 `[start_line, -1]` 设置为从 `start_line` 到文件末尾显示所有行。",
            "items": {"type": "integer"},
            "type": "array",
        },
    },
    "required": ["command", "path"],
    "type": "object",
}

在 bash shell 中运行命令
* 调用此工具时,不需要对"command"参数的内容进行 XML 转义。
* 您可以通过 apt 和 pip 访问常见的 linux 和 python 包的镜像。
* 状态在命令调用和与用户的讨论中是持久的。
* 要检查文件的特定行范围,例如第 10-25 行,请尝试 'sed -n 10,25p /path/to/the/file'。
* 请避免执行可能产生大量输出的命令。
* 请在后台运行长期运行的命令,例如 'sleep 10 &' 或在后台启动服务器。

{
    "properties": {
        "command": {
            "description": "要运行的 bash 命令。除非要重新启动该工具,否则为必需项。",
            "type": "string",
        },
        "restart": {
            "description": "指定 true 将重新启动此工具。否则,请不要指定此项。",
            "type": "boolean",
        },
    }
}