Vision

Panduan ini menjelaskan cara bekerja dengan gambar di Claude, termasuk praktik terbaik, contoh kode, dan batasan yang perlu diperhatikan.

​

Cara menggunakan vision

Gunakan kemampuan vision Claude melalui:

• claude.ai. Unggah gambar seperti Anda mengunggah file, atau seret dan lepas gambar langsung ke jendela chat.
• Console Workbench. Jika Anda memilih model yang menerima gambar (hanya model Claude 3), tombol untuk menambahkan gambar muncul di kanan atas setiap blok pesan Pengguna.
• Permintaan API. Lihat contoh dalam panduan ini.

​

Sebelum mengunggah

​

Dasar dan Batasan

Anda dapat menyertakan beberapa gambar dalam satu permintaan (hingga 20 untuk claude.ai dan 100 untuk permintaan API). Claude akan menganalisis semua gambar yang disediakan saat merumuskan responsnya. Ini dapat membantu untuk membandingkan gambar.

Jika Anda mengirimkan gambar lebih besar dari 8000x8000 px, gambar akan ditolak. Jika Anda mengirimkan lebih dari 20 gambar dalam satu permintaan API, batas ini adalah 2000x2000 px.

​

Evaluasi ukuran gambar

Untuk kinerja optimal, kami menyarankan untuk mengubah ukuran gambar sebelum mengunggah jika terlalu besar. Jika sisi panjang gambar Anda lebih dari 1568 piksel, atau gambar Anda lebih dari ~1.600 token, gambar akan terlebih dahulu diubah ukurannya, dengan mempertahankan rasio aspek, hingga berada dalam batas ukuran.

Jika gambar input Anda terlalu besar dan perlu diubah ukurannya, ini akan meningkatkan latensi time-to-first-token, tanpa memberikan kinerja model tambahan. Gambar yang sangat kecil di bawah 200 piksel pada sisi mana pun dapat menurunkan kinerja.

Berikut adalah tabel ukuran gambar maksimum yang diterima oleh API kami yang tidak akan diubah ukurannya untuk rasio aspek umum. Dengan model Claude 3.5 Sonnet, gambar-gambar ini menggunakan sekitar 1.600 token dan sekitar $4,80/1K gambar.

​

Menghitung biaya gambar

Setiap gambar yang Anda sertakan dalam permintaan ke Claude dihitung sebagai penggunaan token Anda. Untuk menghitung perkiraan biaya, kalikan perkiraan jumlah token gambar dengan harga per token model yang Anda gunakan.

Jika gambar Anda tidak perlu diubah ukurannya, Anda dapat memperkirakan jumlah token yang digunakan melalui algoritma ini: token = (lebar px * tinggi px)/750

Berikut adalah contoh perkiraan tokenisasi dan biaya untuk berbagai ukuran gambar dalam batasan ukuran API kami berdasarkan harga per token Claude 3.5 Sonnet sebesar $3 per juta token input:

​

Memastikan kualitas gambar

Saat menyediakan gambar ke Claude, perhatikan hal-hal berikut untuk hasil terbaik:

• Format gambar: Gunakan format gambar yang didukung: JPEG, PNG, GIF, atau WebP.
• Kejelasan gambar: Pastikan gambar jelas dan tidak terlalu buram atau pikselasi.
• Teks: Jika gambar berisi teks penting, pastikan teks dapat dibaca dan tidak terlalu kecil. Hindari memotong konteks visual penting hanya untuk memperbesar teks.

​

Contoh prompt

Banyak teknik prompting yang bekerja dengan baik untuk interaksi berbasis teks dengan Claude juga dapat diterapkan pada prompt berbasis gambar.

Contoh-contoh ini mendemonstrasikan struktur prompt praktik terbaik yang melibatkan gambar.

​

Tentang contoh prompt

Contoh prompt ini menggunakan Anthropic Python SDK, dan mengambil gambar dari Wikipedia menggunakan library httpx. Anda dapat menggunakan sumber gambar apa pun.

Contoh prompt menggunakan variabel-variabel ini.

import base64
import httpx

image1_url = "https://upload.wikimedia.org/wikipedia/commons/a/a7/Camponotus_flavomarginatus_ant.jpg"
image1_media_type = "image/jpeg"
image1_data = base64.standard_b64encode(httpx.get(image1_url).content).decode("utf-8")

image2_url = "https://upload.wikimedia.org/wikipedia/commons/b/b5/Iridescent.green.sweat.bee1.jpg"
image2_media_type = "image/jpeg"
image2_data = base64.standard_b64encode(httpx.get(image2_url).content).decode("utf-8")

Untuk menggunakan gambar saat membuat permintaan API, Anda dapat menyediakan gambar ke Claude sebagai gambar base64-encoded dalam blok konten image. Berikut adalah contoh sederhana dalam Python yang menunjukkan cara menyertakan gambar base64-encoded dalam permintaan Messages API:

import anthropic

client = anthropic.Anthropic()
message = client.messages.create(
    model="claude-3-5-sonnet-20241022",
    max_tokens=1024,
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "image",
                    "source": {
                        "type": "base64",
                        "media_type": image1_media_type,
                        "data": image1_data,
                    },
                },
                {
                    "type": "text",
                    "text": "Deskripsikan gambar ini."
                }
            ],
        }
    ],
)
print(message)

Lihat Contoh Messages API untuk lebih banyak contoh kode dan detail parameter.

message = client.messages.create(
    model="claude-3-5-sonnet-20241022",
    max_tokens=1024,
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "image",
                    "source": {
                        "type": "base64",
                        "media_type": image1_media_type,
                        "data": image1_data,
                    },
                },
                {
                    "type": "text",
                    "text": "Deskripsikan gambar ini."
                }
            ],
        }
    ],
)

message = client.messages.create(
    model="claude-3-5-sonnet-20241022",
    max_tokens=1024,
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": "Gambar 1:"
                },
                {
                    "type": "image",
                    "source": {
                        "type": "base64",
                        "media_type": image1_media_type,
                        "data": image1_data,
                    },
                },
                {
                    "type": "text",
                    "text": "Gambar 2:"
                },
                {
                    "type": "image",
                    "source": {
                        "type": "base64",
                        "media_type": image2_media_type,
                        "data": image2_data,
                    },
                },
                {
                    "type": "text",
                    "text": "Apa perbedaan gambar-gambar ini?"
                }
            ],
        }
    ],
)

message = client.messages.create(
    model="claude-3-5-sonnet-20241022",
    max_tokens=1024,
    system="Respons hanya dalam bahasa Spanyol.",
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": "Gambar 1:"
                },
                {
                    "type": "image",
                    "source": {
                        "type": "base64",
                        "media_type": image1_media_type,
                        "data": image1_data,
                    },
                },
                {
                    "type": "text",
                    "text": "Gambar 2:"
                },
                {
                    "type": "image",
                    "source": {
                        "type": "base64",
                        "media_type": image2_media_type,
                        "data": image2_data,
                    },
                },
                {
                    "type": "text",
                    "text": "Apa perbedaan gambar-gambar ini?"
                }
            ],
        }
    ],
)

​

Batasan

Meskipun kemampuan pemahaman gambar Claude sangat canggih, ada beberapa batasan yang perlu diperhatikan:

• Identifikasi orang: Claude tidak dapat digunakan untuk mengidentifikasi (yaitu, menyebutkan nama) orang dalam gambar dan akan menolak melakukannya.
• Akurasi: Claude mungkin berhalusinasi atau membuat kesalahan saat menafsirkan gambar berkualitas rendah, di-rotasi, atau sangat kecil di bawah 200 piksel.
• Penalaran spasial: Kemampuan penalaran spasial Claude terbatas. Mungkin kesulitan dengan tugas yang memerlukan lokalisasi atau tata letak yang tepat, seperti membaca jam analog atau mendeskripsikan posisi tepat bidak catur.
• Menghitung: Claude dapat memberikan perkiraan jumlah objek dalam gambar tetapi mungkin tidak selalu tepat, terutama dengan jumlah besar objek kecil.
• Gambar yang dihasilkan AI: Claude tidak tahu apakah sebuah gambar dihasilkan AI dan mungkin salah jika ditanya. Jangan mengandalkannya untuk mendeteksi gambar palsu atau sintetis.
• Konten tidak pantas: Claude tidak akan memproses gambar tidak pantas atau eksplisit yang melanggar Kebijakan Penggunaan yang Dapat Diterima kami.
• Aplikasi kesehatan: Meskipun Claude dapat menganalisis gambar medis umum, ia tidak dirancang untuk menafsirkan pemindaian diagnostik kompleks seperti CT atau MRI. Output Claude tidak boleh dianggap sebagai pengganti saran atau diagnosis medis profesional.

Selalu tinjau dan verifikasi dengan cermat interpretasi gambar Claude, terutama untuk kasus penggunaan berisiko tinggi. Jangan gunakan Claude untuk tugas yang memerlukan presisi sempurna atau analisis gambar sensitif tanpa pengawasan manusia.

​

FAQ

​

Mendalami vision

Siap untuk mulai membangun dengan gambar menggunakan Claude? Berikut beberapa sumber daya yang membantu:

• Buku panduan multimodal: Buku panduan ini memiliki tips tentang memulai dengan gambar dan teknik praktik terbaik untuk memastikan kinerja kualitas tertinggi dengan gambar. Lihat bagaimana Anda dapat secara efektif memberikan prompt kepada Claude dengan gambar untuk melakukan tugas seperti menafsirkan dan menganalisis bagan atau mengekstrak konten dari formulir.
• Referensi API: Kunjungi dokumentasi kami untuk Messages API, termasuk contoh panggilan API yang melibatkan gambar.

Jika Anda memiliki pertanyaan lain, jangan ragu untuk menghubungi tim dukungan kami. Anda juga dapat bergabung dengan komunitas pengembang kami untuk terhubung dengan pembuat lain dan mendapatkan bantuan dari ahli Anthropic.