컴퓨터 사용 (베타)

마우스와 키보드를 사용하여 컴퓨터와 상호작용하고 스크린샷을 찍습니다.
* 이것은 데스크톱 GUI에 대한 인터페이스입니다. 터미널이나 애플리케이션 메뉴에 대한 접근 권한이 없습니다. 애플리케이션을 시작하려면 데스크톱 아이콘을 클릭해야 합니다.
* 일부 애플리케이션은 시작하거나 작업을 처리하는 데 시간이 걸릴 수 있으므로 작업 결과를 보기 위해 기다리고 연속적인 스크린샷을 찍어야 할 수 있습니다. 예를 들어 Firefox를 클릭했는데 창이 열리지 않으면 다른 스크린샷을 찍어보세요.
* 화면의 해상도는 {{ display_width_px }}x{{ display_height_px }}입니다.
* 디스플레이 번호는 {{ display_number }}입니다.
* 아이콘과 같은 요소를 클릭하기 위해 커서를 이동하려고 할 때마다 커서를 이동하기 전에 스크린샷을 참조하여 요소의 좌표를 확인해야 합니다.
* 프로그램이나 링크를 클릭했는데 기다려도 로드되지 않으면 클릭하려는 요소에 커서 끝이 시각적으로 떨어지도록 커서 위치를 조정해보세요.
* 요청받지 않는 한 가장자리가 아닌 요소의 중앙에 커서 끝을 두고 버튼, 링크, 아이콘 등을 클릭하세요.

{
    "properties": {
        "action": {
            "description": "수행할 작업. 사용 가능한 작업은 다음과 같습니다:\n"
            "* `key`: 키보드에서 키나 키 조합을 누릅니다.\n"
            "  - xdotool의 `key` 구문을 지원합니다.\n"
            '  - 예: "a", "Return", "alt+Tab", "ctrl+s", "Up", "KP_0" (숫자 패드 0 키).\n'
            "* `hold_key`: 지정된 시간(초) 동안 키나 여러 키를 누르고 있습니다. `key`와 동일한 구문을 지원합니다.\n"
            "* `type`: 키보드로 텍스트 문자열을 입력합니다.\n"
            "* `cursor_position`: 화면에서 커서의 현재 (x, y) 픽셀 좌표를 가져옵니다.\n"
            "* `mouse_move`: 화면의 지정된 (x, y) 픽셀 좌표로 커서를 이동합니다.\n"
            "* `left_mouse_down`: 왼쪽 마우스 버튼을 누릅니다.\n"
            "* `left_mouse_up`: 왼쪽 마우스 버튼을 놓습니다.\n"
            "* `left_click`: 화면의 지정된 (x, y) 픽셀 좌표에서 왼쪽 마우스 버튼을 클릭합니다. `text` 매개변수를 사용하여 클릭하는 동안 누를 키 조합을 포함할 수도 있습니다.\n"
            "* `left_click_drag`: `start_coordinate`에서 지정된 (x, y) 픽셀 좌표로 커서를 클릭하고 드래그합니다.\n"
            "* `right_click`: 화면의 지정된 (x, y) 픽셀 좌표에서 오른쪽 마우스 버튼을 클릭합니다.\n"
            "* `middle_click`: 화면의 지정된 (x, y) 픽셀 좌표에서 가운데 마우스 버튼을 클릭합니다.\n"
            "* `double_click`: 화면의 지정된 (x, y) 픽셀 좌표에서 왼쪽 마우스 버튼을 더블 클릭합니다.\n"
            "* `triple_click`: 화면의 지정된 (x, y) 픽셀 좌표에서 왼쪽 마우스 버튼을 트리플 클릭합니다.\n"
            "* `scroll`: 지정된 (x, y) 픽셀 좌표에서 지정된 방향으로 지정된 양의 스크롤 휠 클릭만큼 화면을 스크롤합니다. 스크롤하기 위해 PageUp/PageDown을 사용하지 마세요.\n"
            "* `wait`: 지정된 시간(초) 동안 기다립니다.\n"
            "* `screenshot`: 화면의 스크린샷을 찍습니다.",
            "enum": [
                "key",
                "hold_key",
                "type",
                "cursor_position",
                "mouse_move",
                "left_mouse_down",
                "left_mouse_up",
                "left_click",
                "left_click_drag",
                "right_click",
                "middle_click",
                "double_click",
                "triple_click",
                "scroll",
                "wait",
                "screenshot",
            ],
            "type": "string",
        },
        "coordinate": {
            "description": "(x, y): 마우스를 이동할 x(왼쪽 가장자리에서 픽셀) 및 y(위쪽 가장자리에서 픽셀) 좌표. `action=mouse_move` 및 `action=left_click_drag`에만 필요합니다.",
            "type": "array",
        },
        "duration": {
            "description": "키를 누르고 있을 시간. `action=hold_key` 및 `action=wait`에만 필요합니다.",
            "type": "integer",
        },
        "scroll_amount": {
            "description": "스크롤할 '클릭' 수. `action=scroll`에만 필요합니다.",
            "type": "integer",
        },
        "scroll_direction": {
            "description": "화면을 스크롤할 방향. `action=scroll`에만 필요합니다.",
            "enum": ["up", "down", "left", "right"],
            "type": "string",
        },
        "start_coordinate": {
            "description": "(x, y): 드래그를 시작할 x(왼쪽 가장자리에서 픽셀) 및 y(위쪽 가장자리에서 픽셀) 좌표. `action=left_click_drag`에만 필요합니다.",
            "type": "array",
        },
        "text": {
            "description": "`action=type`, `action=key`, `action=hold_key`에만 필요합니다. 클릭하거나 스크롤하는 동안 키를 누르고 있기 위해 클릭이나 스크롤 작업에서도 사용할 수 있습니다.",
            "type": "string",
        },
    },
    "required": ["action"],
    "type": "object",
}

{
    "properties": {
        "action": {
            "description": """수행할 작업. 사용 가능한 작업은 다음과 같습니다:
                * `key`: 키보드에서 키나 키 조합을 누릅니다.
                  - xdotool의 `key` 구문을 지원합니다.
                  - 예: "a", "Return", "alt+Tab", "ctrl+s", "Up", "KP_0" (숫자 패드 0 키).
                * `type`: 키보드로 텍스트 문자열을 입력합니다.
                * `cursor_position`: 화면에서 커서의 현재 (x, y) 픽셀 좌표를 가져옵니다.
                * `mouse_move`: 화면의 지정된 (x, y) 픽셀 좌표로 커서를 이동합니다.
                * `left_click`: 왼쪽 마우스 버튼을 클릭합니다.
                * `left_click_drag`: 지정된 (x, y) 픽셀 좌표로 커서를 클릭하고 드래그합니다.
                * `right_click`: 오른쪽 마우스 버튼을 클릭합니다.
                * `middle_click`: 가운데 마우스 버튼을 클릭합니다.
                * `double_click`: 왼쪽 마우스 버튼을 더블 클릭합니다.
                * `screenshot`: 화면의 스크린샷을 찍습니다.""",
            "enum": [
                "key",
                "type",
                "mouse_move",
                "left_click",
                "left_click_drag",
                "right_click",
                "middle_click",
                "double_click",
                "screenshot",
                "cursor_position",
            ],
            "type": "string",
        },
        "coordinate": {
            "description": "(x, y): 마우스를 이동할 x(왼쪽  가장자리에서 픽셀) 및 y(위쪽 가장자리에서 픽셀) 좌표. `action=mouse_move` 및 `action=left_click_drag`에만 필요합니다.",
            "type": "array",
        },
        "text": {
            "description": "`action=type` 및 `action=key`에만 필요합니다.",
            "type": "string",
        },
    },
    "required": ["action"],
    "type": "object",
}

파일을 보고, 생성하고 편집하기 위한 사용자 지정 편집 도구
* 상태는 명령 호출과 사용자와의 토론에서 지속됩니다
* `path`가 파일인 경우 `view`는 `cat -n`을 적용한 결과를 표시합니다. `path`가 디렉토리인 경우 `view`는 2단계 깊이까지의 숨겨지지 않은 파일과 디렉토리를 나열합니다
* 지정된 `path`가 이미 파일로 존재하는 경우 `create` 명령을 사용할 수 없습니다
* `command`가 긴 출력을 생성하면 잘리고 `<response clipped>`로 표시됩니다
* `undo_edit` 명령은 `path`의 파일에 대한 마지막 편집을 되돌립니다

`str_replace` 명령 사용 시 참고사항:
* `old_str` 매개변수는 원본 파일에서 하나 이상의 연속된 줄과 정확히 일치해야 합니다. 공백에 주의하세요!
* `old_str` 매개변수가 파일에서 고유하지 않으면 교체가 수행되지 않습니다. `old_str`을 고유하게 만들기 위해 충분한 컨텍스트를 포함하세요
* `new_str` 매개변수는 `old_str`을 대체할 편집된 줄을 포함해야 합니다

{
    "properties": {
        "command": {
            "description": "실행할 명령. 허용되는 옵션: `view`, `create`, `str_replace`, `insert`, `undo_edit`.",
            "enum": ["view", "create", "str_replace", "insert", "undo_edit"],
            "type": "string",
        },
        "file_text": {
            "description": "생성할 파일의 내용이 포함된 `create` 명령의 필수 매개변수.",
            "type": "string",
        },
        "insert_line": {
            "description": "`insert` 명령의 필수 매개변수. `new_str`은 `path`의 `insert_line` 줄 다음에 삽입됩니다.",
            "type": "integer",
        },
        "new_str": {
            "description": "새 문자열을 포함하는 `str_replace` 명령의 선택적 매개변수(제공되지 않으면 문자열이 추가되지 않음). 삽입할 문자열을 포함하는 `insert` 명령의 필수 매개변수.",
            "type": "string",
        },
        "old_str": {
            "description": "`path`에서 교체할 문자열을 포함하는 `str_replace` 명령의 필수 매개변수.",
            "type": "string",
        },
        "path": {
            "description": "파일이나 디렉토리의 절대 경로, 예: `/repo/file.py` 또는 `/repo`.",
            "type": "string",
        },
        "view_range": {
            "description": "`path`가 파일을 가리킬 때 `view` 명령의 선택적 매개변수. 제공되지 않으면 전체 파일이 표시됩니다. 제공되면 파일이 지정된 줄 번호 범위로 표시됩니다. 예: [11, 12]는 11줄과 12줄을 표시합니다. 1부터 시작하는 인덱싱. `[start_line, -1]`을 설정하면 `start_line`부터 파일 끝까지의 모든 줄을 표시합니다.",
            "items": {"type": "integer"},
            "type": "array",
        },
    },
    "required": ["command", "path"],
    "type": "object",
}

bash 셸에서 명령 실행
* 이 도구를 호출할 때 "command" 매개변수의 내용을 XML로 이스케이프할 필요가 없습니다.
* apt와 pip를 통해 일반적인 linux 및 python 패키지의 미러에 접근할 수 있습니다.
* 상태는 명령 호출과 사용자와의 토론에서 지속됩니다.
* 파일의 특정 줄 범위(예: 10-25줄)를 검사하려면 'sed -n 10,25p /path/to/the/file'을 시도하세요.
* 매우 많은 출력을 생성할 수 있는 명령은 피하세요.
* 'sleep 10 &'와 같이 오래 실행되는 명령을 백그라운드에서 실행하거나 서버를 백그라운드에서 시작하세요.

{
    "properties": {
        "command": {
            "description": "실행할 bash 명령. 도구가 재시작되지 않는 한 필수입니다.",
            "type": "string",
        },
        "restart": {
            "description": "true를 지정하면 이 도구를 재시작합니다. 그렇지 않으면 이를 지정하지 마세요.",
            "type": "boolean",
        },
    }
}