電腦使用（測試版）

使用滑鼠和鍵盤與電腦互動，並進行截圖。
* 這是一個桌面 GUI 介面。您沒有存取終端機或應用程式選單。您必須點擊桌面圖示來啟動應用程式。
* 某些應用程式可能需要時間來啟動或處理動作，所以您可能需要等待並連續截圖以查看動作的結果。例如，如果您點擊 Firefox 而視窗沒有打開，請嘗試再次截圖。
* 螢幕的解析度是 {{ display_width_px }}x{{ display_height_px }}。
* 顯示器編號是 {{ display_number }}
* 當您打算移動游標點擊元素（如圖示）時，您應該查看截圖以確定元素的座標，然後再移動游標。
* 如果您嘗試點擊程式或連結但即使等待後仍未載入，請嘗試調整游標位置，使游標尖端視覺上落在您想點擊的元素上。
* 確保用游標尖端點擊按鈕、連結、圖示等的中心。除非被要求，否則不要點擊框的邊緣。

{
    "properties": {
        "action": {
            "description": "要執行的動作。可用的動作有：\n"
            "* `key`：在鍵盤上按下按鍵或按鍵組合。\n"
            "  - 支援 xdotool 的 `key` 語法。\n"
            '  - 示例：「a」、「Return」、「alt+Tab」、「ctrl+s」、「Up」、「KP_0」（用於數字鍵盤 0 鍵）。\n'
            "* `hold_key`：按住一個或多個按鍵指定的時間（以秒為單位）。支援與 `key` 相同的語法。\n"
            "* `type`：在鍵盤上輸入文字字串。\n"
            "* `cursor_position`：獲取游標在螢幕上的當前 (x, y) 像素座標。\n"
            "* `mouse_move`：將游標移動到螢幕上指定的 (x, y) 像素座標。\n"
            "* `left_mouse_down`：按下滑鼠左鍵。\n"
            "* `left_mouse_up`：釋放滑鼠左鍵。\n"
            "* `left_click`：在螢幕上指定的 (x, y) 像素座標點擊滑鼠左鍵。您還可以使用 `text` 參數包含在點擊時要按住的按鍵組合。\n"
            "* `left_click_drag`：從 `start_coordinate` 點擊並拖動游標到螢幕上指定的 (x, y) 像素座標。\n"
            "* `right_click`：在螢幕上指定的 (x, y) 像素座標點擊滑鼠右鍵。\n"
            "* `middle_click`：在螢幕上指定的 (x, y) 像素座標點擊滑鼠中鍵。\n"
            "* `double_click`：在螢幕上指定的 (x, y) 像素座標雙擊滑鼠左鍵。\n"
            "* `triple_click`：在螢幕上指定的 (x, y) 像素座標三擊滑鼠左鍵。\n"
            "* `scroll`：在指定的 (x, y) 像素座標，按指定的滾輪點擊次數向指定方向滾動螢幕。不要使用 PageUp/PageDown 來滾動。\n"
            "* `wait`：等待指定的時間（以秒為單位）。\n"
            "* `screenshot`：截取螢幕截圖。",
            "enum": [
                "key",
                "hold_key",
                "type",
                "cursor_position",
                "mouse_move",
                "left_mouse_down",
                "left_mouse_up",
                "left_click",
                "left_click_drag",
                "right_click",
                "middle_click",
                "double_click",
                "triple_click",
                "scroll",
                "wait",
                "screenshot",
            ],
            "type": "string",
        },
        "coordinate": {
            "description": "(x, y)：要移動滑鼠到的 x（距左邊緣的像素）和 y（距上邊緣的像素）座標。僅由 `action=mouse_move` 和 `action=left_click_drag` 需要。",
            "type": "array",
        },
        "duration": {
            "description": "按住按鍵的時間。僅由 `action=hold_key` 和 `action=wait` 需要。",
            "type": "integer",
        },
        "scroll_amount": {
            "description": "要滾動的「點擊」次數。僅由 `action=scroll` 需要。",
            "type": "integer",
        },
        "scroll_direction": {
            "description": "滾動螢幕的方向。僅由 `action=scroll` 需要。",
            "enum": ["up", "down", "left", "right"],
            "type": "string",
        },
        "start_coordinate": {
            "description": "(x, y)：開始拖動的 x（距左邊緣的像素）和 y（距上邊緣的像素）座標。僅由 `action=left_click_drag` 需要。",
            "type": "array",
        },
        "text": {
            "description": "僅由 `action=type`、`action=key` 和 `action=hold_key` 需要。也可以由點擊或滾動動作使用，以在點擊或滾動時按住按鍵。",
            "type": "string",
        },
    },
    "required": ["action"],
    "type": "object",
}

{
    "properties": {
        "action": {
            "description": """要執行的動作。可用的動作有：
                * `key`：在鍵盤上按下按鍵或按鍵組合。
                  - 支援 xdotool 的 `key` 語法。
                  - 示例：「a」、「Return」、「alt+Tab」、「ctrl+s」、「Up」、「KP_0」（用於數字鍵盤 0 鍵）。
                * `type`：在鍵盤上輸入文字字串。
                * `cursor_position`：獲取游標在螢幕上的當前 (x, y) 像素座標。
                * `mouse_move`：將游標移動到螢幕上指定的 (x, y) 像素座標。
                * `left_click`：點擊滑鼠左鍵。
                * `left_click_drag`：點擊並拖動游標到螢幕上指定的 (x, y) 像素座標。
                * `right_click`：點擊滑鼠右鍵。
                * `middle_click`：點擊滑鼠中鍵。
                * `double_click`：雙擊滑鼠左鍵。
                * `screenshot`：截取螢幕截圖。""",
            "enum": [
                "key",
                "type",
                "mouse_move",
                "left_click",
                "left_click_drag",
                "right_click",
                "middle_click",
                "double_click",
                "screenshot",
                "cursor_position",
            ],
            "type": "string",
        },
        "coordinate": {
            "description": "(x, y)：要移動滑鼠到的 x（距左邊緣的像素）和 y（距上邊緣的像素）座標。僅由 `action=mouse_move` 和 `action=left_click_drag` 需要。",
            "type": "array",
        },
        "text": {
            "description": "僅由 `action=type` 和 `action=key` 需要。",
            "type": "string",
        },
    },
    "required": ["action"],
    "type": "object",
}

用於查看、創建和編輯檔案的自定義編輯工具
* 狀態在命令呼叫和與使用者的討論中保持持久
* 如果 `path` 是檔案，`view` 顯示 `cat -n` 的結果。如果 `path` 是目錄，`view` 列出最多 2 層深的非隱藏檔案和目錄
* 如果指定的 `path` 已經存在為檔案，則不能使用 `create` 命令
* 如果 `command` 生成長輸出，它將被截斷並標記為 `<response clipped>`
* `undo_edit` 命令將恢復對 `path` 檔案的最後一次編輯

使用 `str_replace` 命令的注意事項：
* `old_str` 參數應該與原始檔案中的一行或多行連續行完全匹配。注意空格！
* 如果 `old_str` 參數在檔案中不是唯一的，則不會執行替換。確保在 `old_str` 中包含足夠的上下文使其唯一
* `new_str` 參數應該包含要替換 `old_str` 的編輯行

{
    "properties": {
        "command": {
            "description": "要運行的命令。允許的選項有：`view`、`create`、`str_replace`、`insert`、`undo_edit`。",
            "enum": ["view", "create", "str_replace", "insert", "undo_edit"],
            "type": "string",
        },
        "file_text": {
            "description": "`create` 命令的必需參數，包含要創建的檔案的內容。",
            "type": "string",
        },
        "insert_line": {
            "description": "`insert` 命令的必需參數。`new_str` 將被插入到 `path` 的 `insert_line` 行之後。",
            "type": "integer",
        },
        "new_str": {
            "description": "`str_replace` 命令的可選參數，包含新字串（如果未給出，則不會添加字串）。`insert` 命令的必需參數，包含要插入的字串。",
            "type": "string",
        },
        "old_str": {
            "description": "`str_replace` 命令的必需參數，包含 `path` 中要替換的字串。",
            "type": "string",
        },
        "path": {
            "description": "檔案或目錄的絕對路徑，例如 `/repo/file.py` 或 `/repo`。",
            "type": "string",
        },
        "view_range": {
            "description": "當 `path` 指向檔案時，`view` 命令的可選參數。如果未給出，則顯示完整檔案。如果提供，則將在指定的行號範圍內顯示檔案，例如 [11, 12] 將顯示第 11 和 12 行。從 1 開始索引。設置 `[start_line, -1]` 顯示從 `start_line` 到檔案末尾的所有行。",
            "items": {"type": "integer"},
            "type": "array",
        },
    },
    "required": ["command", "path"],
    "type": "object",
}

在 bash shell 中運行命令
* 調用此工具時，「command」參數的內容不需要 XML 轉義。
* 您可以通過 apt 和 pip 存取常見的 linux 和 python 套件鏡像。
* 狀態在命令呼叫和與使用者的討論中保持持久。
* 要檢查檔案的特定行範圍，例如第 10-25 行，請嘗試 'sed -n 10,25p /path/to/the/file'。
* 請避免可能產生大量輸出的命令。
* 請在背景運行長時間運行的命令，例如 'sleep 10 &' 或在背景啟動伺服器。

{
    "properties": {
        "command": {
            "description": "要運行的 bash 命令。除非工具正在重新啟動，否則為必需。",
            "type": "string",
        },
        "restart": {
            "description": "指定 true 將重新啟動此工具。否則，請不要指定此項。",
            "type": "boolean",
        },
    }
}