Penggunaan komputer (beta)
Claude 3.7 Sonnet dan Claude 3.5 Sonnet (baru) mampu berinteraksi dengan alat yang dapat memanipulasi lingkungan desktop komputer. Claude 3.7 Sonnet memperkenalkan alat tambahan dan memungkinkan Anda mengaktifkan pemikiran, memberi Anda wawasan lebih dalam tentang proses penalaran model.
Penggunaan komputer adalah fitur beta. Harap perhatikan bahwa penggunaan komputer menimbulkan risiko unik yang berbeda dari fitur API standar atau antarmuka chat. Risiko ini meningkat saat menggunakan komputer untuk berinteraksi dengan internet. Untuk meminimalkan risiko, pertimbangkan untuk mengambil tindakan pencegahan seperti:
- Gunakan mesin virtual atau kontainer khusus dengan hak istimewa minimal untuk mencegah serangan sistem langsung atau kecelakaan.
- Hindari memberikan model akses ke data sensitif, seperti informasi login akun, untuk mencegah pencurian informasi.
- Batasi akses internet ke daftar putih domain untuk mengurangi paparan konten berbahaya.
- Minta konfirmasi manusia untuk keputusan yang dapat mengakibatkan konsekuensi dunia nyata yang berarti serta tugas apa pun yang memerlukan persetujuan afirmatif, seperti menerima cookie, melakukan transaksi keuangan, atau menyetujui persyaratan layanan.
Dalam beberapa keadaan, Claude akan mengikuti perintah yang ditemukan dalam konten bahkan jika bertentangan dengan instruksi pengguna. Misalnya, instruksi Claude di halaman web atau yang terdapat dalam gambar dapat mengesampingkan instruksi atau menyebabkan Claude membuat kesalahan. Kami menyarankan untuk mengambil tindakan pencegahan untuk mengisolasi Claude dari data dan tindakan sensitif untuk menghindari risiko terkait injeksi prompt.
Terakhir, harap informasikan pengguna akhir tentang risiko yang relevan dan dapatkan persetujuan mereka sebelum mengaktifkan penggunaan komputer dalam produk Anda sendiri.
Implementasi referensi penggunaan komputer
Mulai dengan cepat menggunakan implementasi referensi penggunaan komputer kami yang mencakup antarmuka web, kontainer Docker, implementasi alat contoh, dan loop agen.
Catatan: Implementasi telah diperbarui untuk menyertakan alat baru untuk Claude 3.7 Sonnet. Pastikan untuk menarik versi terbaru dari repo untuk mengakses fitur baru ini.
Silakan gunakan formulir ini untuk memberikan umpan balik tentang kualitas respons model, API itu sendiri, atau kualitas dokumentasi - kami tidak sabar untuk mendengar dari Anda!
Berikut adalah contoh cara menyediakan alat penggunaan komputer ke Claude menggunakan API Messages:
Cara kerja penggunaan komputer
1. Berikan Claude alat penggunaan komputer dan prompt pengguna
- Tambahkan alat penggunaan komputer yang ditentukan Anthropic ke permintaan API Anda.
- Sertakan prompt pengguna yang mungkin memerlukan alat ini, misalnya, “Simpan gambar kucing ke desktop saya.”
2. Claude memutuskan untuk menggunakan alat
- Claude memuat definisi alat penggunaan komputer yang tersimpan dan menilai apakah ada alat yang dapat membantu query pengguna.
- Jika ya, Claude membuat permintaan penggunaan alat yang diformat dengan benar.
- Respons API memiliki
stop_reason
berupatool_use
, yang menandakan maksud Claude.
3. Ekstrak input alat, evaluasi alat pada komputer, dan kembalikan hasilnya
- Di sisi Anda, ekstrak nama alat dan input dari permintaan Claude.
- Gunakan alat pada kontainer atau Mesin Virtual.
- Lanjutkan percakapan dengan pesan
user
baru yang berisi blok kontentool_result
.
4. Claude terus memanggil alat penggunaan komputer sampai tugasnya selesai
- Claude menganalisis hasil alat untuk menentukan apakah diperlukan penggunaan alat lebih lanjut atau tugas telah selesai.
- Jika Claude memutuskan membutuhkan alat lain, ia merespons dengan
stop_reason
tool_use
lain dan Anda harus kembali ke langkah 3. - Jika tidak, ia membuat respons teks untuk pengguna.
Kami menyebut pengulangan langkah 3 dan 4 tanpa input pengguna sebagai “loop agen” - yaitu, Claude merespons dengan permintaan penggunaan alat dan aplikasi Anda merespons Claude dengan hasil evaluasi permintaan tersebut.
Lingkungan komputasi
Penggunaan komputer memerlukan lingkungan komputasi yang terisolasi di mana Claude dapat berinteraksi dengan aplikasi dan web secara aman. Lingkungan ini mencakup:
-
Tampilan virtual: Server tampilan X11 virtual (menggunakan Xvfb) yang merender antarmuka desktop yang akan dilihat Claude melalui tangkapan layar dan dikontrol dengan tindakan mouse/keyboard.
-
Lingkungan desktop: UI ringan dengan pengelola jendela (Mutter) dan panel (Tint2) yang berjalan di Linux, yang menyediakan antarmuka grafis yang konsisten untuk digunakan Claude.
-
Aplikasi: Aplikasi Linux yang telah diinstal sebelumnya seperti Firefox, LibreOffice, editor teks, dan pengelola file yang dapat digunakan Claude untuk menyelesaikan tugas.
-
Implementasi alat: Kode integrasi yang menerjemahkan permintaan alat abstrak Claude (seperti “gerakkan mouse” atau “ambil tangkapan layar”) menjadi operasi nyata di lingkungan virtual.
-
Loop agen: Program yang menangani komunikasi antara Claude dan lingkungan, mengirim tindakan Claude ke lingkungan dan mengembalikan hasil (tangkapan layar, output perintah) kembali ke Claude.
Saat Anda menggunakan penggunaan komputer, Claude tidak terhubung langsung ke lingkungan ini. Sebaliknya, aplikasi Anda:
- Menerima permintaan penggunaan alat Claude
- Menerjemahkannya menjadi tindakan di lingkungan komputasi Anda
- Menangkap hasilnya (tangkapan layar, output perintah, dll.)
- Mengembalikan hasil ini ke Claude
Untuk keamanan dan isolasi, implementasi referensi menjalankan semua ini di dalam kontainer Docker dengan pemetaan port yang sesuai untuk melihat dan berinteraksi dengan lingkungan.
Cara mengimplementasikan penggunaan komputer
Mulai dengan implementasi referensi kami
Kami telah membangun implementasi referensi yang mencakup semua yang Anda butuhkan untuk memulai dengan cepat penggunaan komputer:
- Lingkungan dalam kontainer yang sesuai untuk penggunaan komputer dengan Claude
- Implementasi alat penggunaan komputer
- Loop agen yang berinteraksi dengan API Anthropic dan mengeksekusi alat penggunaan komputer
- Antarmuka web untuk berinteraksi dengan kontainer, loop agen, dan alat.
Memahami loop multi-agen
Inti dari penggunaan komputer adalah “loop agen” - siklus di mana Claude meminta tindakan alat, aplikasi Anda mengeksekusinya, dan mengembalikan hasil ke Claude. Berikut contoh yang disederhanakan:
Loop berlanjut sampai Claude merespons tanpa meminta alat apa pun (tugas selesai) atau batas iterasi maksimum tercapai. Pengaman ini mencegah kemungkinan loop tak terbatas yang dapat mengakibatkan biaya API yang tidak terduga.
Untuk setiap versi alat, Anda harus menggunakan flag beta yang sesuai dalam permintaan API Anda:
Kami menyarankan untuk mencoba implementasi referensi sebelum membaca sisa dokumentasi ini.
Optimalkan kinerja model dengan prompting
Berikut beberapa tips tentang cara mendapatkan output berkualitas terbaik:
- Tentukan tugas sederhana dan terdefinisi dengan baik serta berikan instruksi eksplisit untuk setiap langkah.
- Claude terkadang mengasumsikan hasil tindakannya tanpa secara eksplisit memeriksa hasilnya. Untuk mencegah ini, Anda dapat meminta Claude dengan
Setelah setiap langkah, ambil tangkapan layar dan evaluasi dengan cermat apakah Anda telah mencapai hasil yang benar. Tunjukkan pemikiran Anda secara eksplisit: "Saya telah mengevaluasi langkah X..." Jika tidak benar, coba lagi. Hanya ketika Anda mengonfirmasi suatu langkah telah dieksekusi dengan benar, Anda boleh melanjutkan ke langkah berikutnya.
- Beberapa elemen UI (seperti dropdown dan scrollbar) mungkin sulit dimanipulasi Claude menggunakan gerakan mouse. Jika Anda mengalami ini, coba minta model untuk menggunakan pintasan keyboard.
- Untuk tugas berulang atau interaksi UI, sertakan tangkapan layar dan panggilan alat dari hasil yang berhasil dalam prompt Anda.
- Jika Anda perlu model untuk login, berikan username dan password dalam prompt Anda di dalam tag xml seperti
<robot_credentials>
. Menggunakan penggunaan komputer dalam aplikasi yang memerlukan login meningkatkan risiko hasil buruk akibat injeksi prompt. Harap tinjau panduan kami tentang mitigasi injeksi prompt sebelum memberikan kredensial login ke model.
Jika Anda berulang kali menghadapi serangkaian masalah yang jelas atau tahu sebelumnya tugas yang perlu diselesaikan Claude, gunakan prompt sistem untuk memberikan Claude tips atau instruksi eksplisit tentang cara melakukan tugas dengan sukses.
Prompt sistem
Ketika salah satu alat yang ditentukan Anthropic diminta melalui API Anthropic, prompt sistem khusus penggunaan komputer dibuat. Ini mirip dengan prompt sistem penggunaan alat tetapi dimulai dengan:
Anda memiliki akses ke serangkaian fungsi yang dapat Anda gunakan untuk menjawab pertanyaan pengguna. Ini termasuk akses ke lingkungan komputasi yang terisolasi. Anda TIDAK saat ini memiliki kemampuan untuk memeriksa file atau berinteraksi dengan sumber daya eksternal, kecuali dengan memanggil fungsi di bawah ini.
Seperti halnya penggunaan alat biasa, bidang system_prompt
yang disediakan pengguna tetap dihormati dan digunakan dalam konstruksi prompt sistem gabungan.
Memahami alat yang ditentukan Anthropic
Kami telah menyediakan serangkaian alat yang memungkinkan Claude menggunakan komputer secara efektif. Saat menentukan alat yang ditentukan Anthropic, bidang description
dan tool_schema
tidak diperlukan atau tidak diizinkan.
Alat yang ditentukan Anthropic dieksekusi pengguna
Alat yang ditentukan Anthropic didefinisikan oleh Anthropic tetapi Anda harus secara eksplisit mengevaluasi hasil alat dan mengembalikan tool_results
ke Claude. Seperti halnya alat apa pun, model tidak secara otomatis mengeksekusi alat tersebut.
Kami menyediakan serangkaian alat yang ditentukan Anthropic, dengan setiap alat memiliki versi yang dioptimalkan untuk Claude 3.5 Sonnet (baru) dan Claude 3.7 Sonnet:
Bidang type
mengidentifikasi alat dan parameternya untuk tujuan validasi, bidang name
adalah nama alat yang diekspos ke model.
Jika Anda ingin meminta model untuk menggunakan salah satu alat ini, Anda dapat secara eksplisit merujuk alat dengan bidang name
. Bidang name
harus unik dalam daftar alat; Anda tidak dapat mendefinisikan alat dengan nama yang sama dengan alat yang ditentukan Anthropic dalam panggilan API yang sama.
Kami tidak menyarankan mendefinisikan alat dengan nama alat yang ditentukan
Anthropic. Meskipun Anda masih dapat mendefinisikan ulang alat dengan nama
ini (selama nama alat unik dalam blok tools
Anda), melakukan hal tersebut
dapat mengakibatkan penurunan kinerja model.
Aktifkan kemampuan pemikiran di Claude 3.7 Sonnet
Claude 3.7 Sonnet memperkenalkan kemampuan “pemikiran” baru yang memungkinkan Anda melihat proses penalaran model saat mengerjakan tugas kompleks. Fitur ini membantu Anda memahami bagaimana Claude mendekati masalah dan dapat sangat berharga untuk debugging atau tujuan pendidikan.
Untuk mengaktifkan pemikiran, tambahkan parameter thinking
ke permintaan API Anda:
Parameter budget_tokens
menentukan berapa banyak token yang dapat digunakan Claude untuk berpikir. Ini dikurangkan dari anggaran max_tokens
Anda secara keseluruhan.
Ketika pemikiran diaktifkan, Claude akan mengembalikan proses penalarannya sebagai bagian dari respons, yang dapat membantu Anda:
- Memahami proses pengambilan keputusan model
- Mengidentifikasi masalah atau kesalahpahaman potensial
- Belajar dari pendekatan Claude untuk pemecahan masalah
- Mendapatkan visibilitas lebih ke dalam operasi multi-langkah yang kompleks
Berikut contoh seperti apa output pemikiran mungkin terlihat:
Gabungkan penggunaan komputer dengan alat lain
Anda dapat menggabungkan penggunaan alat biasa dengan alat yang ditentukan Anthropic untuk penggunaan komputer.
Bangun lingkungan penggunaan komputer kustom
Implementasi referensi dimaksudkan untuk membantu Anda memulai dengan penggunaan komputer. Ini mencakup semua komponen yang diperlukan agar Claude dapat menggunakan komputer. Namun, Anda dapat membangun lingkungan sendiri untuk penggunaan komputer sesuai kebutuhan Anda. Anda akan memerlukan:
- Lingkungan virtual atau dalam kontainer yang sesuai untuk penggunaan komputer dengan Claude
- Implementasi setidaknya satu dari alat penggunaan komputer yang ditentukan Anthropic
- Loop agen yang berinteraksi dengan API Anthropic dan mengeksekusi hasil
tool_use
menggunakan implementasi alat Anda - API atau UI yang memungkinkan input pengguna untuk memulai loop agen
Memahami batasan penggunaan komputer
Fungsionalitas penggunaan komputer masih dalam beta. Meskipun kemampuan Claude sangat canggih, pengembang harus menyadari keterbatasannya:
- Latensi: latensi penggunaan komputer saat ini untuk interaksi manusia-AI mungkin terlalu lambat dibandingkan dengan tindakan komputer yang diarahkan manusia biasa. Kami menyarankan untuk fokus pada kasus penggunaan di mana kecepatan tidak kritis (misalnya, pengumpulan informasi latar belakang, pengujian perangkat lunak otomatis) dalam lingkungan yang terpercaya.
- Akurasi dan keandalan visi komputer: Claude mungkin membuat kesalahan atau berhalusinasi saat mengeluarkan koordinat spesifik saat menghasilkan tindakan. Claude 3.7 Sonnet memperkenalkan kemampuan pemikiran yang dapat membantu Anda memahami penalaran model dan mengidentifikasi masalah potensial.
- Akurasi dan keandalan pemilihan alat: Claude mungkin membuat kesalahan atau berhalusinasi saat memilih alat saat menghasilkan tindakan atau mengambil tindakan yang tidak terduga untuk memecahkan masalah. Selain itu, keandalan mungkin lebih rendah saat berinteraksi dengan aplikasi khusus atau beberapa aplikasi sekaligus. Kami menyarankan pengguna untuk meminta model dengan hati-hati saat meminta tugas kompleks.
- Keandalan pengguliran: Sementara Claude 3.5 Sonnet (baru) memiliki keterbatasan dengan pengguliran, Claude 3.7 Sonnet memperkenalkan tindakan gulir khusus dengan kontrol arah yang meningkatkan keandalan. Model sekarang dapat secara eksplisit menggulir ke segala arah (atas/bawah/kiri/kanan) dengan jumlah tertentu.
- Interaksi spreadsheet: Klik mouse untuk interaksi spreadsheet telah ditingkatkan di Claude 3.7 Sonnet dengan penambahan tindakan kontrol mouse yang lebih presisi seperti
left_mouse_down
,left_mouse_up
, dan dukungan tombol modifier baru. Pemilihan sel dapat lebih andal dengan menggunakan kontrol yang lebih detail ini dan menggabungkan tombol modifier dengan klik. - Pembuatan akun dan pembuatan konten di platform sosial dan komunikasi: Meskipun Claude akan mengunjungi situs web, kami membatasi kemampuannya untuk membuat akun atau menghasilkan dan berbagi konten atau terlibat dalam peniruan manusia di situs web dan platform media sosial. Kami mungkin memperbarui kemampuan ini di masa mendatang.
- Kerentanan: Kerentanan seperti jailbreaking atau injeksi prompt mungkin tetap ada di seluruh sistem AI frontier, termasuk API penggunaan komputer beta. Dalam beberapa keadaan, Claude akan mengikuti perintah yang ditemukan dalam konten, terkadang bahkan bertentangan dengan instruksi pengguna. Misalnya, instruksi Claude di halaman web atau yang terdapat dalam gambar dapat mengesampingkan instruksi atau menyebabkan Claude membuat kesalahan. Kami menyarankan: a. Membatasi penggunaan komputer ke lingkungan terpercaya seperti mesin virtual atau kontainer dengan hak istimewa minimal b. Menghindari memberikan akses penggunaan komputer ke akun atau data sensitif tanpa pengawasan ketat c. Menginformasikan pengguna akhir tentang risiko yang relevan dan mendapatkan persetujuan mereka sebelum mengaktifkan atau meminta izin yang diperlukan untuk fitur penggunaan komputer dalam aplikasi Anda
- Tindakan tidak pantas atau ilegal: Sesuai dengan ketentuan layanan Anthropic, Anda tidak boleh menggunakan penggunaan komputer untuk melanggar hukum apa pun atau Kebijakan Penggunaan yang Dapat Diterima kami.
Selalu tinjau dan verifikasi dengan cermat tindakan dan log penggunaan komputer Claude. Jangan gunakan Claude untuk tugas yang memerlukan presisi sempurna atau informasi pengguna sensitif tanpa pengawasan manusia.
Harga
Lihat dokumentasi harga penggunaan alat untuk penjelasan terperinci tentang bagaimana permintaan API Penggunaan Alat Claude dihargai.
Sebagai subset dari permintaan penggunaan alat, permintaan penggunaan komputer dihargai sama dengan permintaan API Claude lainnya.
Kami juga secara otomatis menyertakan prompt sistem khusus untuk model, yang mengaktifkan penggunaan komputer.
Model | Pilihan alat | Jumlah token prompt sistem |
---|---|---|
Claude 3.5 Sonnet (baru) | auto any , tool | 466 token 499 token |
Claude 3.7 Sonnet | auto any , tool | 466 token 499 token |
Selain token dasar, token input tambahan berikut diperlukan untuk alat yang ditentukan Anthropic:
Alat | Token input tambahan |
---|---|
computer_20241022 (Claude 3.5 Sonnet) | 683 token |
computer_20250124 (Claude 3.7 Sonnet) | 735 token |
text_editor_20241022 (Claude 3.5 Sonnet) | 700 token |
text_editor_20250124 (Claude 3.7 Sonnet) | 700 token |
bash_20241022 (Claude 3.5 Sonnet) | 245 token |
bash_20250124 (Claude 3.7 Sonnet) | 245 token |
Jika Anda mengaktifkan pemikiran dengan Claude 3.7 Sonnet, token yang digunakan untuk pemikiran akan dihitung terhadap anggaran max_tokens
Anda berdasarkan budget_tokens
yang Anda tentukan dalam parameter pemikiran.
Was this page helpful?