電腦使用 (beta)

使用滑鼠和鍵盤與電腦互動,並拍攝螢幕截圖。
* 這是一個桌面 GUI 介面。您無法存取終端機或應用程式選單。您必須點擊桌面圖示啟動應用程式。
* 某些應用程式可能需要一些時間啟動或處理動作,因此您可能需要等待並拍攝連續的螢幕截圖才能看到您動作的結果。例如,如果您點擊 Firefox 但沒有開啟視窗,請嘗試再拍攝一次螢幕截圖。
* 螢幕解析度為 {{ display_width_px }}x{{ display_height_px }}。
* 顯示器編號為 {{ display_number }}
* 每當您打算移動游標以點擊元素(如圖示)時,您應該先查看螢幕截圖以確定該元素的座標,然後再移動游標。
* 如果您嘗試點擊某個程式或連結但無法載入,即使經過一段時間也是如此,請嘗試調整游標位置,使游標尖端正好落在您想要點擊的元素上。
* 請確保使用游標尖端的中心點擊任何按鈕、連結、圖示等。除非另有要求,否則不要點擊元素的邊緣。

{
    "properties": {
        "action": {
            "description": """要執行的動作。可用的動作包括:
                * `key`: 按下鍵盤上的按鍵或按鍵組合。
                  - 支援 xdotool 的 `key` 語法。
                  - 範例: "a"、"Return"、"alt+Tab"、"ctrl+s"、"Up"、"KP_0"(用於小鍵盤的 0 鍵)。
                * `type`: 在鍵盤上輸入一串文字。
                * `cursor_position`: 取得游標在螢幕上的目前 (x, y) 像素座標。
                * `mouse_move`: 將游標移動到螢幕上的指定 (x, y) 像素座標。
                * `left_click`: 點擊滑鼠左鍵。
                * `left_click_drag`: 點擊並將游標拖曳到螢幕上的指定 (x, y) 像素座標。
                * `right_click`: 點擊滑鼠右鍵。
                * `middle_click`: 點擊滑鼠中鍵。
                * `double_click`: 雙擊滑鼠左鍵。
                * `screenshot`: 拍攝螢幕截圖。""",
            "enum": [
                "key",
                "type",
                "mouse_move",
                "left_click",
                "left_click_drag",
                "right_click",
                "middle_click",
                "double_click",
                "screenshot",
                "cursor_position",
            ],
            "type": "string",
        },
        "coordinate": {
            "description": "(x, y): 要移動滑鼠的 x (從左邊緣開始的像素數) 和 y (從上邊緣開始的像素數) 座標。僅在 `action=mouse_move` 和 `action=left_click_drag` 時需要。",
            "type": "array",
        },
        "text": {
            "description": "僅在 `action=type` 和 `action=key` 時需要。",
            "type": "string",
        },
    },
    "required": ["action"],
    "type": "object",
}

自訂編輯工具,用於檢視、建立和編輯檔案
* 狀態會在命令呼叫和與使用者的討論之間持續
* 如果 `path` 是檔案,`view` 會顯示 `cat -n` 的結果。如果 `path` 是目錄,`view` 會列出最多兩層的非隱藏檔案和目錄
* 如果指定的 `path` 已存在為檔案,則無法使用 `create` 命令
* 如果命令產生很長的輸出,它將被截斷並標記為 `<response clipped>`
* `undo_edit` 命令將還原對 `path` 所指檔案的最後一次編輯

使用 `str_replace` 命令的注意事項:
* `old_str` 參數應該與原始檔案中的一或多行完全匹配。請注意空白字元!
* 如果 `old_str` 參數在檔案中不唯一,則不會執行替換。請在 `old_str` 中包含足夠的上下文以使其唯一
* `new_str` 參數應該包含要替換 `old_str` 的編輯後的行

{
    "properties": {
        "command": {
            "description": "要執行的命令。允許的選項為: `view`、`create`、`str_replace`、`insert`、`undo_edit`。",
            "enum": ["view", "create", "str_replace", "insert", "undo_edit"],
            "type": "string",
        },
        "file_text": {
            "description": "`create` 命令的必填參數,包含要建立的檔案內容。",
            "type": "string",
        },
        "insert_line": {
            "description": "`insert` 命令的必填參數。`new_str` 將插入在 `path` 的 `insert_line` 行之後。",
            "type": "integer",
        },
        "new_str": {
            "description": "`str_replace` 命令的選填參數,包含新字串(如果未給定,則不會添加任何字串)。`insert` 命令的必填參數,包含要插入的字串。",
            "type": "string",
        },
        "old_str": {
            "description": "`str_replace` 命令的必填參數,包含要在 `path` 中替換的字串。",
            "type": "string",
        },
        "path": {
            "description": "檔案或目錄的絕對路徑,例如 `/repo/file.py` 或 `/repo`。",
            "type": "string",
        },
        "view_range": {
            "description": "`view` 命令的選填參數,當 `path` 指向檔案時使用。如果未給定,將顯示整個檔案。如果提供,檔案將在指定的行號範圍內顯示,例如 [11, 12] 將顯示第 11 和第 12 行。從 1 開始索引。設置 `[start_line, -1]` 將從 `start_line` 顯示到檔案結尾。",
            "items": {"type": "integer"},
            "type": "array",
        },
    },
    "required": ["command", "path"],
    "type": "object",
}

在 bash shell 中執行命令
* 在調用此工具時,「command」參數的內容不需要進行 XML 轉義。
* 您可以透過 apt 和 pip 存取常見的 linux 和 python 套件的鏡像。
* 狀態會在命令呼叫和與使用者的討論之間持續。
* 要檢查檔案的特定行範圍,例如第 10-25 行,請嘗試 'sed -n 10,25p /path/to/the/file'。
* 請避免執行可能產生大量輸出的命令。
* 請在背景執行長期運行的命令,例如 'sleep 10 &' 或在背景啟動伺服器。

{
    "properties": {
        "command": {
            "description": "要執行的 bash 命令。除非要重新啟動此工具,否則為必填。",
            "type": "string",
        },
        "restart": {
            "description": "指定 true 將重新啟動此工具。否則請不要指定。",
            "type": "boolean",
        },
    }
}