Penggunaan Komputer (beta)

Model Claude 3.5 Sonnet yang ditingkatkan mampu berinteraksi dengan alat yang dapat memanipulasi lingkungan desktop komputer.

Berikut adalah contoh cara menyediakan alat penggunaan komputer untuk Claude menggunakan API Pesan:

​

Cara kerja penggunaan komputer

Kami menyebut pengulangan langkah 3 dan 4 tanpa input pengguna sebagai “loop agen” - yaitu, Claude merespons dengan permintaan penggunaan alat dan aplikasi Anda merespons Claude dengan hasil dari evaluasi permintaan tersebut.

​

Cara mengimplementasikan penggunaan komputer

​

Mulai dengan implementasi referensi kami

Kami telah membangun implementasi referensi yang mencakup semua yang Anda butuhkan untuk memulai dengan cepat penggunaan komputer:

• Lingkungan terkontainer yang sesuai untuk penggunaan komputer dengan Claude
• Implementasi alat penggunaan komputer
• Loop agen yang berinteraksi dengan API Anthropic dan mengeksekusi hasil penggunaan alat komputer
• Antarmuka web untuk berinteraksi dengan kontainer, loop agen, dan alat.

Kami merekomendasikan untuk mencoba implementasi referensi sebelum membaca dokumentasi ini.

​

Optimalkan kinerja model dengan prompting

Berikut adalah beberapa tips untuk mendapatkan output berkualitas terbaik:

1. Spesifikasikan tugas yang sederhana dan terdefinisi dengan baik dan berikan instruksi eksplisit untuk setiap langkah.
2. Claude terkadang mengasumsikan hasil tindakannya tanpa secara eksplisit memeriksa hasilnya. Untuk mencegah ini, Anda dapat memberi prompt Claude dengan Setelah setiap langkah, ambil screenshot dan evaluasi dengan cermat apakah Anda telah mencapai hasil yang tepat. Tunjukkan pemikiran Anda secara eksplisit: "Saya telah mengevaluasi langkah X..." Jika tidak benar, coba lagi. Hanya ketika Anda mengonfirmasi langkah telah dieksekusi dengan benar, Anda harus melanjutkan ke langkah berikutnya.
3. Beberapa elemen UI (seperti dropdown dan bilah gulir) mungkin sulit bagi Claude untuk dimanipulasi menggunakan gerakan mouse. Jika Anda mengalami ini, cobalah memberi prompt model untuk menggunakan pintasan keyboard.
4. Untuk tugas atau interaksi UI yang dapat diulang, sertakan screenshot contoh dan panggilan alat dari hasil yang berhasil dalam prompt Anda.
5. Jika Anda perlu model untuk masuk, berikan nama pengguna dan kata sandi dalam prompt Anda di dalam tag xml seperti <robot_credentials>. Menggunakan penggunaan komputer dalam aplikasi yang memerlukan login meningkatkan risiko hasil yang buruk akibat injeksi prompt. Harap tinjau panduan kami tentang mitigasi injeksi prompt sebelum memberikan model kredensial login.

​

Prompt sistem

Ketika salah satu alat yang didefinisikan Anthropic diminta melalui API Anthropic, prompt sistem khusus penggunaan komputer akan dihasilkan. Mirip dengan prompt sistem penggunaan alat tetapi dimulai dengan:

Anda memiliki akses ke serangkaian fungsi yang dapat Anda gunakan untuk menjawab pertanyaan pengguna. Ini termasuk akses ke lingkungan komputasi terpasang. Anda SAAT INI tidak memiliki kemampuan untuk memeriksa file atau berinteraksi dengan sumber daya eksternal, kecuali dengan memanggil fungsi di bawah ini.

Seperti penggunaan alat biasa, bidang system_prompt yang disediakan pengguna masih dihormati dan digunakan dalam konstruksi prompt sistem gabungan.

​

Memahami alat yang didefinisikan Anthropic

Kami telah menyediakan serangkaian alat yang memungkinkan Claude untuk menggunakan komputer secara efektif. Saat menentukan alat yang didefinisikan Anthropic, bidang description dan tool_schema tidak diperlukan atau diizinkan.

Kami saat ini menyediakan 3 alat yang didefinisikan Anthropic:

• { "type": "computer_20241022", "name": "computer" }
• { "type": "text_editor_20241022", "name": "str_replace_editor" }
• { "type": "bash_20241022", "name": "bash" }

Bidang type mengidentifikasi alat dan parameternya untuk tujuan validasi, bidang name adalah nama alat yang diekspos ke model.

Jika Anda ingin memberi prompt model untuk menggunakan salah satu alat ini, Anda dapat secara eksplisit merujuk alat dengan bidang name. Bidang name harus unik dalam daftar alat; Anda tidak dapat mendefinisikan alat dengan nama yang sama dengan alat yang didefinisikan Anthropic dalam panggilan API yang sama.

Gunakan mouse dan keyboard untuk berinteraksi dengan komputer, dan mengambil screenshot.
* Ini adalah antarmuka ke GUI desktop. Anda tidak memiliki akses ke terminal atau menu aplikasi. Anda harus mengklik ikon desktop untuk memulai aplikasi.
* Beberapa aplikasi mungkin membutuhkan waktu untuk memulai atau memproses tindakan, jadi Anda mungkin perlu menunggu dan mengambil screenshot berturut-turut untuk melihat hasil tindakan Anda. Misalnya, jika Anda mengklik Firefox dan jendela tidak terbuka, cobalah mengambil screenshot lain.
* Resolusi layar adalah {{ display_width_px }}x{{ display_height_px }}.
* Nomor tampilan adalah {{ display_number }}
* Kapan pun Anda bermaksud untuk menggerakkan kursor untuk mengklik elemen seperti ikon, Anda harus berkonsultasi dengan screenshot untuk menentukan koordinat elemen sebelum menggerakkan kursor.
* Jika Anda mencoba mengklik program atau tautan tetapi gagal dimuat, bahkan setelah menunggu, cobalah menyesuaikan posisi kursor Anda sehingga ujung kursor secara visual jatuh pada elemen yang ingin Anda klik.
* Pastikan untuk mengklik tombol, tautan, ikon, dll dengan ujung kursor di tengah elemen. Jangan klik kotak di tepinya kecuali diminta.

{
    "properties": {
        "action": {
            "description": """Tindakan yang akan dilakukan. Tindakan yang tersedia adalah:
                * `key`: Tekan tombol atau kombinasi tombol pada keyboard.
                  - Ini mendukung sintaks `key` xdotool.
                  - Contoh: "a", "Return", "alt+Tab", "ctrl+s", "Up", "KP_0" (untuk tombol 0 numpad).
                * `type`: Ketik serangkaian teks pada keyboard.
                * `cursor_position`: Dapatkan koordinat piksel (x, y) saat ini dari kursor di layar.
                * `mouse_move`: Pindahkan kursor ke koordinat piksel (x, y) yang ditentukan di layar.
                * `left_click`: Klik tombol mouse kiri.
                * `left_click_drag`: Klik dan seret kursor ke koordinat piksel (x, y) yang ditentukan di layar.
                * `right_click`: Klik tombol mouse kanan.
                * `middle_click`: Klik tombol mouse tengah.
                * `double_click`: Klik dua kali tombol mouse kiri.
                * `screenshot`: Ambil screenshot layar.""",
            "enum": [
                "key",
                "type",
                "mouse_move",
                "left_click",
                "left_click_drag",
                "right_click",
                "middle_click",
                "double_click",
                "screenshot",
                "cursor_position",
            ],
            "type": "string",
        },
        "coordinate": {
            "description": "(x, y): Koordinat x (piksel dari tepi kiri) dan y (piksel dari tepi atas) untuk memindahkan mouse. Hanya diperlukan oleh `action=mouse_move` dan `action=left_click_drag`.",
            "type": "array",
        },
        "text": {
            "description": "Hanya diperlukan oleh `action=type` dan `action=key`.",
            "type": "string",
        },
    },
    "required": ["action"],
    "type": "object",
}

Alat pengeditan khusus untuk melihat, membuat, dan mengedit file
* Keadaan persisten di seluruh panggilan perintah dan diskusi dengan pengguna
* Jika `path` adalah file, `view` menampilkan hasil dari menerapkan `cat -n`. Jika `path` adalah direktori, `view` mendaftar file dan direktori non-tersembunyi hingga 2 tingkat kedalaman
* Perintah `create` tidak dapat digunakan jika `path` yang ditentukan sudah ada sebagai file
* Jika perintah `command` menghasilkan output yang panjang, itu akan dipotong dan ditandai dengan `<response clipped>`
* Perintah `undo_edit` akan mengembalikan pengeditan terakhir yang dilakukan pada file di `path`

Catatan untuk menggunakan perintah `str_replace`:
* Parameter `old_str` harus cocok PERSIS dengan satu atau lebih baris berturut-turut dari file asli. Perhatikan spasi!
* Jika parameter `old_str` tidak unik dalam file, penggantian tidak akan dilakukan. Pastikan untuk menyertakan cukup konteks dalam `old_str` agar menjadi unik
* Parameter `new_str` harus berisi baris yang diedit yang harus menggantikan `old_str`

{
    "properties": {
        "command": {
            "description": "Perintah yang akan dijalankan. Opsi yang diizinkan adalah: `view`, `create`, `str_replace`, `insert`, `undo_edit`.",
            "enum": ["view", "create", "str_replace", "insert", "undo_edit"],
            "type": "string",
        },
        "file_text": {
            "description": "Parameter wajib dari perintah `create`, dengan konten file yang akan dibuat.",
            "type": "string",
        },
        "insert_line": {
            "description": "Parameter wajib dari perintah `insert`. `new_str` akan disisipkan SETELAH baris `insert_line` dari `path`.",
            "type": "integer",
        },
        "new_str": {
            "description": "Parameter opsional dari perintah `str_replace` yang berisi string baru (jika tidak diberikan, tidak ada string yang akan ditambahkan). Parameter wajib dari perintah `insert` yang berisi string yang akan disisipkan.",
            "type": "string",
        },
        "old_str": {
            "description": "Parameter wajib dari perintah `str_replace` yang berisi string di `path` untuk diganti.",
            "type": "string",
        },
        "path": {
            "description": "Jalur absolut ke file atau direktori, misalnya `/repo/file.py` atau `/repo`.",
            "type": "string",
        },
        "view_range": {
            "description": "Parameter opsional dari perintah `view` ketika `path` menunjuk ke file. Jika tidak ada yang diberikan, file lengkap akan ditampilkan. Jika diberikan, file akan ditampilkan dalam rentang nomor baris yang ditunjukkan, misalnya [11, 12] akan menampilkan baris 11 dan 12. Indeks dimulai dari 1. Mengatur `[start_line, -1]` menampilkan semua baris dari `start_line` hingga akhir file.",
            "items": {"type": "integer"},
            "type": "array",
        },
    },
    "required": ["command", "path"],
    "type": "object",
}

Jalankan perintah dalam shell bash
* Saat memanggil alat ini, isi parameter "command" TIDAK perlu di-escape XML.
* Anda memiliki akses ke cermin paket linux dan python umum melalui apt dan pip.
* Keadaan persisten di seluruh panggilan perintah dan diskusi dengan pengguna.
* Untuk memeriksa rentang baris tertentu dari file, misalnya baris 10-25, coba 'sed -n 10,25p /path/to/the/file'.
* Harap hindari perintah yang mungkin menghasilkan output yang sangat besar.
* Harap jalankan perintah yang memakan waktu lama di latar belakang, misalnya 'sleep 10 &' atau mulai server di latar belakang.

{
    "properties": {
        "command": {
            "description": "Perintah bash yang akan dijalankan. Wajib kecuali alat sedang dimulai ulang.",
            "type": "string",
        },
        "restart": {
            "description": "Menentukan true akan memulai ulang alat ini. Jika tidak, biarkan tidak ditentukan.",
            "type": "boolean",
        },
    }
}

​

Gabungkan penggunaan komputer dengan alat lain

Anda dapat menggabungkan penggunaan alat biasa dengan alat yang didefinisikan Anthropic untuk penggunaan komputer.

​

Bangun lingkungan penggunaan komputer khusus

Implementasi referensi dimaksudkan untuk membantu Anda memulai dengan penggunaan komputer. Ini mencakup semua komponen yang dibutuhkan agar Claude dapat menggunakan komputer. Namun, Anda dapat membangun lingkungan Anda sendiri untuk penggunaan komputer untuk memenuhi kebutuhan Anda. Anda membutuhkan:

• Lingkungan virtual atau terkontainer yang sesuai untuk penggunaan komputer dengan Claude
• Implementasi setidaknya satu dari alat penggunaan komputer yang didefinisikan Anthropic
• Loop agen yang berinteraksi dengan API Anthropic dan mengeksekusi hasil tool_use menggunakan implementasi alat Anda
• API atau UI yang memungkinkan input pengguna untuk memulai loop agen

​

Memahami batasan penggunaan komputer

Fungsionalitas penggunaan komputer masih dalam tahap beta. Meskipun kemampuan Claude sangat mutakhir, pengembang harus menyadari keterbatasannya:

1. Latensi: latensi penggunaan komputer saat ini untuk interaksi manusia-AI mungkin terlalu lambat dibandingkan dengan tindakan komputer yang diarahkan manusia secara langsung. Kami merekomendasikan untuk fokus pada kasus penggunaan di mana kecepatan tidak terlalu penting (misalnya, pengumpulan informasi latar belakang, pengujian perangkat lunak otomatis) di lingkungan tepercaya.
2. Akurasi dan keandalan visi komputer: Claude mungkin membuat kesalahan atau menghayal saat mengeluarkan koordinat spesifik saat membuat tindakan.
3. Akurasi dan keandalan pemilihan alat: Claude mungkin membuat kesalahan atau menghayal saat memilih alat saat membuat tindakan atau mengambil tindakan yang tidak diharapkan untuk memecahkan masalah. Selain itu, keandalan mungkin lebih rendah saat berinteraksi dengan aplikasi nis atau beberapa aplikasi sekaligus. Kami merekomendasikan agar pengguna memberi prompt model dengan hati-hati saat meminta tugas yang kompleks.
4. Keandalan menggulir: Menggulir mungkin tidak andal dalam pengalaman saat ini, dan model mungkin tidak dapat menggulir ke bagian bawah halaman dengan andal. Perilaku seperti menggulir dapat ditingkatkan melalui pintasan keyboard (PgUp/PgDown).
5. Interaksi spreadsheet: Klik mouse untuk interaksi spreadsheet tidak andal. Pemilihan sel mungkin tidak selalu bekerja seperti yang diharapkan. Ini dapat dimitigasi dengan memberi prompt model untuk menggunakan tombol panah.
6. Pembuatan akun dan pembuatan konten di platform media sosial dan komunikasi: Meskipun Claude akan mengunjungi situs web, kami membatasi kemampuannya untuk membuat akun atau membuat dan membagikan konten atau terlibat dalam peniruan manusia di situs web dan platform media sosial. Kami mungkin memperbarui kemampuan ini di masa mendatang.
7. Kerentanan: Kerentanan seperti jailbreaking atau injeksi prompt mungkin tetap ada di seluruh sistem AI frontier, termasuk API penggunaan komputer beta. Dalam beberapa keadaan, Claude akan mengikuti perintah yang ditemukan dalam konten, terkadang bahkan bertentangan dengan instruksi pengguna. Misalnya, instruksi Claude di halaman web atau yang terkandung dalam gambar dapat mengganti instruksi atau menyebabkan Claude membuat kesalahan. Kami merekomendasikan: a. Membatasi penggunaan komputer pada lingkungan tepercaya seperti mesin virtual atau kontainer dengan hak akses minimal b. Menghindari memberikan akses penggunaan komputer ke akun atau data sensitif tanpa pengawasan ketat c. Menginformasikan kepada pengguna akhir tentang risiko yang relevan dan mendapatkan persetujuan mereka sebelum mengaktifkan atau meminta izin yang diperlukan untuk fitur penggunaan komputer di aplikasi Anda
8. Tindakan yang tidak pantas atau ilegal: Sesuai dengan Ketentuan Layanan Anthropic, Anda tidak boleh menggunakan penggunaan komputer untuk melanggar undang-undang atau Kebijakan Penggunaan yang Dapat Diterima kami.

Selalu tinjau dan verifikasi tindakan dan log penggunaan komputer Claude dengan cermat. Jangan gunakan Claude untuk tugas yang memerlukan presisi sempurna atau informasi pengguna sensitif tanpa pengawasan manusia.

​

Penentuan harga

Sebagai subset dari permintaan penggunaan alat, permintaan penggunaan komputer dihargai sama seperti permintaan API Claude lainnya.

Kami juga secara otomatis menyertakan prompt sistem khusus untuk model, yang memungkinkan penggunaan komputer.

Selain token dasar, token input tambahan berikut diperlukan untuk alat yang didefinisikan Anthropic: