コンピューターの使用 (ベータ版)

マウスとキーボードを使ってコンピューターを操作し、スクリーンショットを撮ります。
* これはデスクトップGUIのインターフェースです。ターミナルやアプリケーションメニューにはアクセスできません。アプリケーションを起動するには、デスクトップのアイコンをクリックする必要があります。
* 一部のアプリケーションは起動したり、アクションを処理したりするのに時間がかかる場合があるので、アクションの結果を確認するにはスクリーンショットを次々と撮る必要があるかもしれません。例えば、Firefoxをクリックしてもウィンドウが開かない場合は、別のスクリーンショットを撮ってみてください。
* 画面の解像度は{{ display_width_px }}x{{ display_height_px }}です。
* ディスプレイ番号は{{ display_number }}です。
* アイコンなどの要素をクリックしようとするときは、必ずスクリーンショットを確認して、その要素の座標を確認してからカーソルを動かしてください。
* プログラムやリンクをクリックしても読み込まれない場合は、カーソルの位置を調整して、カーソルの先端が目的の要素の真ん中に来るようにしてください。
* ボタン、リンク、アイコンなどをクリックする際は、必ずカーソルの先端を要素の中心に合わせてください。指示がない限り、要素の端をクリックしないでください。

{
    "properties": {
        "action": {
            "description": """実行するアクションです。利用可能なアクションは以下の通りです。
                * `key`: キーボードでキーまたはキー組み合わせを押します。
                  - xdotoolの`key`構文をサポートしています。
                  - 例: "a"、"Return"、"alt+Tab"、"ctrl+s"、"Up"、"KP_0"(テンキーの0キー)。
                * `type`: キーボードで文字列を入力します。
                * `cursor_position`: 画面上のカーソルの現在の(x, y)ピクセル座標を取得します。
                * `mouse_move`: カーソルを指定された(x, y)ピクセル座標に移動します。
                * `left_click`: 左マウスボタンをクリックします。
                * `left_click_drag`: 左マウスボタンをクリックし、指定された(x, y)ピクセル座標までカーソルをドラッグします。
                * `right_click`: 右マウスボタンをクリックします。
                * `middle_click`: 中マウスボタンをクリックします。
                * `double_click`: 左マウスボタンをダブルクリックします。
                * `screenshot`: 画面のスクリーンショットを撮ります。""",
            "enum": [
                "key",
                "type",
                "mouse_move",
                "left_click",
                "left_click_drag",
                "right_click",
                "middle_click",
                "double_click",
                "screenshot",
                "cursor_position",
            ],
            "type": "string",
        },
        "coordinate": {
            "description": "(x, y): マウスを移動する(左端からのピクセル数)x座標と(上端からのピクセル数)y座標。`action=mouse_move`と`action=left_click_drag`の場合のみ必須です。",
            "type": "array",
        },
        "text": {
            "description": "`action=type`と`action=key`の場合のみ必須です。",
            "type": "string",
        },
    },
    "required": ["action"],
    "type": "object",
}

ファイルの表示、作成、編集用のカスタムエディターツール
* 状態はコマンド呼び出しとユーザーとの会話を通して永続化されます
* `path`がファイルの場合、`view`は`cat -n`の結果を表示します。`path`がディレクトリの場合、`view`は最大2レベル深さの非隠しファイルとディレクトリを一覧表示します
* 指定された`path`がすでにファイルとして存在する場合、`create`コマンドは使用できません
* `command`の出力が長い場合、出力は切り捨てられ、`<response clipped>`とマークされます
* `undo_edit`コマンドは、`path`のファイルに対して行われた最後の編集を元に戻します

`str_replace`コマンドを使用する際の注意点:
* `old_str`パラメーターは、元のファイルから連続する1行以上を完全に一致させる必要があります。空白にも注意してください!
* `old_str`パラメーターがファイル内で一意でない場合、置換は実行されません。`old_str`に十分な文脈を含めて、一意になるようにしてください
* `new_str`パラメーターには、`old_str`を置き換える編集済みの行を含める必要があります

{
    "properties": {
        "command": {
            "description": "実行するコマンドです。利用可能なオプションは `view`、`create`、`str_replace`、`insert`、`undo_edit` です。",
            "enum": ["view", "create", "str_replace", "insert", "undo_edit"],
            "type": "string",
        },
        "file_text": {
            "description": "`create`コマンドの必須パラメーター。作成するファイルの内容です。",
            "type": "string",
        },
        "insert_line": {
            "description": "`insert`コマンドの必須パラメーター。`new_str`は、この行番号の後に挿入されます。",
            "type": "integer",
        },
        "new_str": {
            "description": "`str_replace`コマンドのオプションパラメーター。置き換え後の新しい文字列です(指定されない場合は文字列は追加されません)。`insert`コマンドの必須パラメーター。挿入する文字列です。",
            "type": "string",
        },
        "old_str": {
            "description": "`str_replace`コマンドの必須パラメーター。`path`内の置換対象の文字列です。",
            "type": "string",
        },
        "path": {
            "description": "ファイルまたはディレクトリの絶対パス。例: `/repo/file.py`または`/repo`。",
            "type": "string",
        },
        "view_range": {
            "description": "`view`コマンドのオプションパラメーター。`path`がファイルを指す場合に使用します。指定されない場合は、ファイル全体が表示されます。指定された場合、指定された行番号範囲でファイルが表示されます(例: [11, 12]は11行目と12行目を表示します)。インデックスは1から始まります。`[start_line, -1]`を指定すると、`start_line`からファイル終端までの行が表示されます。",
            "items": {"type": "integer"},
            "type": "array",
        },
    },
    "required": ["command", "path"],
    "type": "object",
}

bashシェルでコマンドを実行します
* このツールを呼び出す際、"command"パラメーターの内容をXML エスケープする必要はありません。
* 一般的なlinuxおよびpythonパッケージのミラーにapt、pipを介してアクセスできます。
* 状態はコマンド呼び出しとユーザーとの会話を通して永続化されます。
* ファイルの特定の行範囲を検査する場合は、例えば10行目から25行目までなら、'sed -n 10,25p /path/to/the/file'を試してください。
* 大量の出力を生成するコマンドは避けてください。
* 長時間実行されるコマンドはバックグラウンドで実行してください(例: 'sleep 10 &'、サーバーをバックグラウンドで起動する)。

{
    "properties": {
        "command": {
            "description": "実行するbashコマンドです。ツールを再起動する場合は不要です。",
            "type": "string",
        },
        "restart": {
            "description": "trueを指定するとこのツールが再起動されます。それ以外の場合は指定しないでください。",
            "type": "boolean",
        },
    }
}