Penggunaan komputer (beta)

Claude 4 Opus dan Sonnet, bersama dengan Claude Sonnet 3.7 dan Claude Sonnet 3.5 (baru), mampu berinteraksi dengan alat yang dapat memanipulasi lingkungan desktop komputer. Model Claude 4 menggunakan versi alat yang diperbarui yang dioptimalkan untuk arsitektur baru. Claude Sonnet 3.7 memperkenalkan alat tambahan dan memungkinkan Anda mengaktifkan pemikiran, memberi Anda wawasan lebih dalam tentang proses penalaran model.

Berikut adalah contoh cara menyediakan alat penggunaan komputer untuk Claude menggunakan API Messages:

curl https://api.anthropic.com/v1/messages \
  -H "content-type: application/json" \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "anthropic-beta: computer-use-2025-01-24" \
  -d '{
    "model": "claude-opus-4-20250514",
    "max_tokens": 1024,
    "tools": [
      {
        "type": "computer_20250124",
        "name": "computer",
        "display_width_px": 1024,
        "display_height_px": 768,
        "display_number": 1
      },
      {
        "type": "text_editor_20250429",
        "name": "str_replace_based_edit_tool"
      },
      {
        "type": "bash_20250124",
        "name": "bash"
      }
    ],
    "messages": [
      {
        "role": "user",
        "content": "Save a picture of a cat to my desktop."
      }
    ],
    "thinking": {
      "type": "enabled",
      "budget_tokens": 1024
    }
  }'

curl https://api.anthropic.com/v1/messages \
  -H "content-type: application/json" \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "anthropic-beta: computer-use-2025-01-24" \
  -d '{
    "model": "claude-opus-4-20250514",
    "max_tokens": 1024,
    "tools": [
      {
        "type": "computer_20250124",
        "name": "computer",
        "display_width_px": 1024,
        "display_height_px": 768,
        "display_number": 1
      },
      {
        "type": "text_editor_20250429",
        "name": "str_replace_based_edit_tool"
      },
      {
        "type": "bash_20250124",
        "name": "bash"
      }
    ],
    "messages": [
      {
        "role": "user",
        "content": "Save a picture of a cat to my desktop."
      }
    ],
    "thinking": {
      "type": "enabled",
      "budget_tokens": 1024
    }
  }'

curl https://api.anthropic.com/v1/messages \
  -H "content-type: application/json" \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "anthropic-beta: computer-use-2025-01-24" \
  -d '{
    "model": "claude-3-7-sonnet-20250219",
    "max_tokens": 1024,
    "tools": [
      {
        "type": "computer_20250124",
        "name": "computer",
        "display_width_px": 1024,
        "display_height_px": 768,
        "display_number": 1
      },
      {
        "type": "text_editor_20250124",
        "name": "str_replace_editor"
      },
      {
        "type": "bash_20250124",
        "name": "bash"
      }
    ],
    "messages": [
      {
        "role": "user",
        "content": "Save a picture of a cat to my desktop."
      }
    ],
    "thinking": {
      "type": "enabled",
      "budget_tokens": 1024
    }
  }'

​

Cara kerja penggunaan komputer

Kami menyebut pengulangan langkah 3 dan 4 tanpa input pengguna sebagai “loop agen” - yaitu, Claude merespons dengan permintaan penggunaan alat dan aplikasi Anda merespons Claude dengan hasil evaluasi permintaan tersebut.

​

Lingkungan komputasi

Penggunaan komputer memerlukan lingkungan komputasi yang terisolasi di mana Claude dapat berinteraksi dengan aplikasi dan web dengan aman. Lingkungan ini mencakup:

1. Tampilan virtual: Server tampilan X11 virtual (menggunakan Xvfb) yang merender antarmuka desktop yang akan dilihat Claude melalui tangkapan layar dan dikontrol dengan tindakan mouse/keyboard.

2. Lingkungan desktop: UI ringan dengan pengelola jendela (Mutter) dan panel (Tint2) yang berjalan di Linux, yang menyediakan antarmuka grafis yang konsisten untuk interaksi Claude.

3. Aplikasi: Aplikasi Linux yang telah diinstal sebelumnya seperti Firefox, LibreOffice, editor teks, dan pengelola file yang dapat digunakan Claude untuk menyelesaikan tugas.

4. Implementasi alat: Kode integrasi yang menerjemahkan permintaan alat abstrak Claude (seperti “gerakkan mouse” atau “ambil tangkapan layar”) menjadi operasi aktual di lingkungan virtual.

5. Loop agen: Program yang menangani komunikasi antara Claude dan lingkungan, mengirimkan tindakan Claude ke lingkungan dan mengembalikan hasilnya (tangkapan layar, output perintah) kembali ke Claude.

Ketika Anda menggunakan fitur penggunaan komputer, Claude tidak terhubung langsung ke lingkungan ini. Sebaliknya, aplikasi Anda:

1. Menerima permintaan penggunaan alat Claude
2. Menerjemahkannya menjadi tindakan di lingkungan komputasi Anda
3. Menangkap hasilnya (tangkapan layar, output perintah, dll.)
4. Mengembalikan hasil ini ke Claude

Untuk keamanan dan isolasi, implementasi referensi menjalankan semua ini di dalam kontainer Docker dengan pemetaan port yang sesuai untuk melihat dan berinteraksi dengan lingkungan.

​

Cara mengimplementasikan penggunaan komputer

​

Mulai dengan implementasi referensi kami

Kami telah membangun implementasi referensi yang mencakup semua yang Anda butuhkan untuk memulai dengan cepat dengan penggunaan komputer:

• Lingkungan dalam kontainer yang cocok untuk penggunaan komputer dengan Claude
• Implementasi alat penggunaan komputer
• Loop agen yang berinteraksi dengan API Anthropic dan mengeksekusi alat penggunaan komputer
• Antarmuka web untuk berinteraksi dengan kontainer, loop agen, dan alat.

​

Memahami loop multi-agen

Inti dari penggunaan komputer adalah “loop agen” - siklus di mana Claude meminta tindakan alat, aplikasi Anda mengeksekusinya, dan mengembalikan hasil ke Claude. Berikut adalah contoh yang disederhanakan:

async def sampling_loop(
    *,
    model: str,
    messages: list[dict],
    api_key: str,
    max_tokens: int = 4096,
    tool_version: str,
    thinking_budget: int | None = None,
    max_iterations: int = 10,  # Tambahkan batas iterasi untuk mencegah loop tak terbatas
):
    """
    Loop agen sederhana untuk interaksi penggunaan komputer Claude.

    Fungsi ini menangani bolak-balik antara:
    1. Mengirim pesan pengguna ke Claude
    2. Claude meminta untuk menggunakan alat
    3. Aplikasi Anda mengeksekusi alat tersebut
    4. Mengirim hasil alat kembali ke Claude
    """
    # Siapkan alat dan parameter API
    client = Anthropic(api_key=api_key)
    beta_flag = "computer-use-2025-01-24" if "20250124" in tool_version else "computer-use-2024-10-22"

    # Konfigurasi alat - Anda seharusnya sudah menginisialisasi ini di tempat lain
    tools = [
        {"type": f"computer_{tool_version}", "name": "computer", "display_width_px": 1024, "display_height_px": 768},
        {"type": f"text_editor_{tool_version}", "name": "str_replace_editor"},
        {"type": f"bash_{tool_version}", "name": "bash"}
    ]

    # Loop agen utama (dengan batas iterasi untuk mencegah biaya API yang tidak terkendali)
    iterations = 0
    while True and iterations < max_iterations:
        iterations += 1
        # Siapkan parameter thinking opsional (untuk Claude Sonnet 3.7)
        thinking = None
        if thinking_budget:
            thinking = {"type": "enabled", "budget_tokens": thinking_budget}

        # Panggil API Claude
        response = client.beta.messages.create(
            model=model,
            max_tokens=max_tokens,
            messages=messages,
            tools=tools,
            betas=[beta_flag],
            thinking=thinking
        )

        # Tambahkan respons Claude ke riwayat percakapan
        response_content = response.content
        messages.append({"role": "assistant", "content": response_content})

        # Periksa apakah Claude menggunakan alat apa pun
        tool_results = []
        for block in response_content:
            if block.type == "tool_use":
                # Dalam aplikasi nyata, Anda akan mengeksekusi alat di sini
                # Misalnya: result = run_tool(block.name, block.input)
                result = {"result": "Tool executed successfully"}

                # Format hasil untuk Claude
                tool_results.append({
                    "type": "tool_result",
                    "tool_use_id": block.id,
                    "content": result
                })

        # Jika tidak ada alat yang digunakan, Claude sudah selesai - kembalikan pesan akhir
        if not tool_results:
            return messages

        # Tambahkan hasil alat ke pesan untuk iterasi berikutnya dengan Claude
        messages.append({"role": "user", "content": tool_results})

Loop berlanjut sampai Claude merespons tanpa meminta alat apa pun (penyelesaian tugas) atau batas iterasi maksimum tercapai. Pengaman ini mencegah potensi loop tak terbatas yang dapat mengakibatkan biaya API yang tidak terduga.

Kami merekomendasikan untuk mencoba implementasi referensi sebelum membaca sisa dokumentasi ini.

​

Optimalkan kinerja model dengan prompting

Berikut adalah beberapa tips tentang cara mendapatkan output berkualitas terbaik:

1. Tentukan tugas sederhana dan terdefinisi dengan baik serta berikan instruksi eksplisit untuk setiap langkah.
2. Claude terkadang mengasumsikan hasil dari tindakannya tanpa secara eksplisit memeriksa hasilnya. Untuk mencegah hal ini, Anda dapat memberikan prompt kepada Claude dengan Setelah setiap langkah, ambil tangkapan layar dan evaluasi dengan cermat apakah Anda telah mencapai hasil yang benar. Tunjukkan pemikiran Anda secara eksplisit: "Saya telah mengevaluasi langkah X..." Jika tidak benar, coba lagi. Hanya ketika Anda mengonfirmasi bahwa suatu langkah telah dieksekusi dengan benar, Anda boleh melanjutkan ke langkah berikutnya.
3. Beberapa elemen UI (seperti dropdown dan scrollbar) mungkin sulit dimanipulasi oleh Claude menggunakan gerakan mouse. Jika Anda mengalami hal ini, coba berikan prompt kepada model untuk menggunakan pintasan keyboard.
4. Untuk tugas berulang atau interaksi UI, sertakan tangkapan layar contoh dan panggilan alat dari hasil yang berhasil dalam prompt Anda.
5. Jika Anda memerlukan model untuk masuk, berikan nama pengguna dan kata sandi dalam prompt Anda di dalam tag xml seperti <robot_credentials>. Menggunakan penggunaan komputer dalam aplikasi yang memerlukan login meningkatkan risiko hasil buruk akibat injeksi prompt. Harap tinjau panduan kami tentang mitigasi injeksi prompt sebelum memberikan kredensial login kepada model.

​

Prompt sistem

Ketika salah satu alat yang ditentukan Anthropic diminta melalui API Anthropic, prompt sistem khusus penggunaan komputer dibuat. Ini mirip dengan prompt sistem penggunaan alat tetapi dimulai dengan:

Anda memiliki akses ke serangkaian fungsi yang dapat Anda gunakan untuk menjawab pertanyaan pengguna. Ini termasuk akses ke lingkungan komputasi yang terisolasi. Anda TIDAK saat ini memiliki kemampuan untuk memeriksa file atau berinteraksi dengan sumber daya eksternal, kecuali dengan memanggil fungsi di bawah ini.

Seperti halnya penggunaan alat biasa, bidang system_prompt yang disediakan pengguna tetap dihormati dan digunakan dalam konstruksi prompt sistem gabungan.

​

Memahami alat yang ditentukan Anthropic

Kami telah menyediakan serangkaian alat yang memungkinkan Claude menggunakan komputer secara efektif. Saat menentukan alat yang ditentukan Anthropic, bidang description dan tool_schema tidak diperlukan atau diizinkan.

Kami menyediakan serangkaian alat yang ditentukan Anthropic, dengan setiap alat memiliki versi yang dioptimalkan untuk Claude 4, Claude Sonnet 3.7, dan Claude Sonnet 3.5:

Bidang type mengidentifikasi alat dan parameternya untuk tujuan validasi, bidang name adalah nama alat yang diekspos ke model.

Jika Anda ingin memberikan prompt kepada model untuk menggunakan salah satu alat ini, Anda dapat secara eksplisit merujuk alat dengan bidang name. Bidang name harus unik dalam daftar alat; Anda tidak dapat mendefinisikan alat dengan nama yang sama dengan alat yang ditentukan Anthropic dalam panggilan API yang sama.

​

Aktifkan kemampuan berpikir di Claude 4 dan Claude Sonnet 3.7

Claude Sonnet 3.7 memperkenalkan kemampuan “berpikir” baru yang memungkinkan Anda melihat proses penalaran model saat mengerjakan tugas kompleks. Fitur ini membantu Anda memahami bagaimana Claude mendekati masalah dan dapat sangat berharga untuk debugging atau tujuan pendidikan.

Untuk mengaktifkan pemikiran, tambahkan parameter thinking ke permintaan API Anda:

"thinking": {
  "type": "enabled",
  "budget_tokens": 1024
}

Parameter budget_tokens menentukan berapa banyak token yang dapat digunakan Claude untuk berpikir. Ini dikurangi dari anggaran max_tokens Anda secara keseluruhan.

Ketika pemikiran diaktifkan, Claude akan mengembalikan proses penalarannya sebagai bagian dari respons, yang dapat membantu Anda:

1. Memahami proses pengambilan keputusan model
2. Mengidentifikasi potensi masalah atau kesalahpahaman
3. Belajar dari pendekatan Claude untuk pemecahan masalah
4. Mendapatkan visibilitas lebih ke dalam operasi multi-langkah yang kompleks

Berikut adalah contoh seperti apa output pemikiran itu:

[Thinking]
Saya perlu menyimpan gambar kucing ke desktop. Mari saya uraikan ini menjadi langkah-langkah:

1. Pertama, saya akan mengambil tangkapan layar untuk melihat apa yang ada di desktop
2. Kemudian saya akan mencari browser web untuk mencari gambar kucing
3. Setelah menemukan gambar yang cocok, saya perlu menyimpannya ke desktop

Mari saya mulai dengan mengambil tangkapan layar untuk melihat apa yang tersedia...

​

Kombinasikan penggunaan komputer dengan alat lain

Anda dapat menggabungkan penggunaan alat biasa dengan alat yang ditentukan Anthropic untuk penggunaan komputer.

curl https://api.anthropic.com/v1/messages \
  -H "content-type: application/json" \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "anthropic-beta: computer-use-2025-01-24" \
  -d '{
    "model": "claude-opus-4-20250514",
    "max_tokens": 1024,
    "tools": [
      {
        "type": "computer_20250124",
        "name": "computer",
        "display_width_px": 1024,
        "display_height_px": 768,
        "display_number": 1
      },
      {
        "type": "text_editor_20250124",
        "name": "str_replace_editor"
      },
      {
        "type": "bash_20250124",
        "name": "bash"
      },
      {
        "name": "get_weather",
        "description": "Get the current weather in a given location",
        "input_schema": {
          "type": "object",
          "properties": {
            "location": {
              "type": "string",
              "description": "The city and state, e.g. San Francisco, CA"
            },
            "unit": {
              "type": "string",
              "enum": ["celsius", "fahrenheit"],
              "description": "The unit of temperature, either 'celsius' or 'fahrenheit'"
            }
          },
          "required": ["location"]
        }
      }
    ],
    "messages": [
      {
        "role": "user",
        "content": "Find flights from San Francisco to a place with warmer weather."
      }
    ],
    "thinking": {
      "type": "enabled",
      "budget_tokens": 1024
    }
  }'

​

Bangun lingkungan penggunaan komputer kustom

Implementasi referensi dimaksudkan untuk membantu Anda memulai dengan penggunaan komputer. Ini mencakup semua komponen yang diperlukan agar Claude dapat menggunakan komputer. Namun, Anda dapat membangun lingkungan Anda sendiri untuk penggunaan komputer sesuai kebutuhan Anda. Anda akan memerlukan:

• Lingkungan virtual atau dalam kontainer yang cocok untuk penggunaan komputer dengan Claude
• Implementasi dari setidaknya satu alat penggunaan komputer yang ditentukan Anthropic
• Loop agen yang berinteraksi dengan API Anthropic dan mengeksekusi hasil tool_use menggunakan implementasi alat Anda
• API atau UI yang memungkinkan input pengguna untuk memulai loop agen

​

Memahami batasan penggunaan komputer

Fungsionalitas penggunaan komputer masih dalam tahap beta. Meskipun kemampuan Claude sangat canggih, pengembang harus menyadari keterbatasannya:

1. Latensi: latensi penggunaan komputer saat ini untuk interaksi manusia-AI mungkin terlalu lambat dibandingkan dengan tindakan komputer yang diarahkan manusia biasa. Kami merekomendasikan untuk fokus pada kasus penggunaan di mana kecepatan tidak penting (misalnya, pengumpulan informasi latar belakang, pengujian perangkat lunak otomatis) di lingkungan tepercaya.
2. Akurasi dan keandalan visi komputer: Claude mungkin membuat kesalahan atau berhalusinasi saat mengeluarkan koordinat spesifik saat menghasilkan tindakan. Claude Sonnet 3.7 memperkenalkan kemampuan berpikir yang dapat membantu Anda memahami penalaran model dan mengidentifikasi potensi masalah.
3. Akurasi dan keandalan pemilihan alat: Claude mungkin membuat kesalahan atau berhalusinasi saat memilih alat saat menghasilkan tindakan atau mengambil tindakan tak terduga untuk menyelesaikan masalah. Selain itu, keandalan mungkin lebih rendah saat berinteraksi dengan aplikasi khusus atau beberapa aplikasi sekaligus. Kami merekomendasikan agar pengguna memberikan prompt kepada model dengan hati-hati saat meminta tugas kompleks.
4. Keandalan pengguliran: Sementara Claude Sonnet 3.5 (baru) memiliki keterbatasan dengan pengguliran, Claude Sonnet 3.7 memperkenalkan tindakan gulir khusus dengan kontrol arah yang meningkatkan keandalan. Model sekarang dapat secara eksplisit menggulir ke segala arah (atas/bawah/kiri/kanan) dengan jumlah tertentu.
5. Interaksi spreadsheet: Klik mouse untuk interaksi spreadsheet telah ditingkatkan di Claude Sonnet 3.7 dengan penambahan tindakan kontrol mouse yang lebih presisi seperti left_mouse_down, left_mouse_up, dan dukungan tombol modifier baru. Pemilihan sel dapat lebih andal dengan menggunakan kontrol yang lebih terperinci ini dan menggabungkan tombol modifier dengan klik.
6. Pembuatan akun dan pembuatan konten di platform sosial dan komunikasi: Meskipun Claude akan mengunjungi situs web, kami membatasi kemampuannya untuk membuat akun atau menghasilkan dan berbagi konten atau terlibat dalam peniruan manusia di situs web dan platform media sosial. Kami mungkin memperbarui kemampuan ini di masa depan.
7. Kerentanan: Kerentanan seperti jailbreaking atau injeksi prompt mungkin tetap ada di seluruh sistem AI frontier, termasuk API penggunaan komputer beta. Dalam beberapa keadaan, Claude akan mengikuti perintah yang ditemukan dalam konten, terkadang bahkan bertentangan dengan instruksi pengguna. Misalnya, instruksi Claude di halaman web atau yang terdapat dalam gambar dapat mengesampingkan instruksi atau menyebabkan Claude membuat kesalahan. Kami merekomendasikan: a. Membatasi penggunaan komputer ke lingkungan tepercaya seperti mesin virtual atau kontainer dengan hak istimewa minimal b. Menghindari memberikan akses penggunaan komputer ke akun atau data sensitif tanpa pengawasan ketat c. Menginformasikan pengguna akhir tentang risiko yang relevan dan mendapatkan persetujuan mereka sebelum mengaktifkan atau meminta izin yang diperlukan untuk fitur penggunaan komputer dalam aplikasi Anda
8. Tindakan tidak pantas atau ilegal: Sesuai dengan ketentuan layanan Anthropic, Anda tidak boleh menggunakan penggunaan komputer untuk melanggar hukum atau Kebijakan Penggunaan yang Dapat Diterima kami.

Selalu tinjau dan verifikasi dengan cermat tindakan dan log penggunaan komputer Claude. Jangan gunakan Claude untuk tugas yang memerlukan presisi sempurna atau informasi pengguna sensitif tanpa pengawasan manusia.

​

Harga

Sebagai subset dari permintaan penggunaan alat, permintaan penggunaan komputer dihargai sama dengan permintaan API Claude lainnya.

Kami juga secara otomatis menyertakan prompt sistem khusus untuk model, yang memungkinkan penggunaan komputer.

Selain token dasar, token input tambahan berikut diperlukan untuk alat yang ditentukan Anthropic:

Jika Anda mengaktifkan pemikiran dengan Claude 4 atau Claude Sonnet 3.7, token yang digunakan untuk berpikir akan dihitung terhadap anggaran max_tokens Anda berdasarkan budget_tokens yang Anda tentukan dalam parameter pemikiran.