API Vertex untuk mengakses Claude hampir identik dengan Messages API dan mendukung semua opsi yang sama, dengan dua perbedaan utama:

  • Di Vertex, model tidak diteruskan dalam body permintaan. Sebaliknya, itu ditentukan dalam URL endpoint Google Cloud.
  • Di Vertex, anthropic_version diteruskan dalam body permintaan (bukan sebagai header), dan harus diatur ke nilai vertex-2023-10-16.

Vertex juga didukung oleh SDK klien resmi Anthropic. Panduan ini akan memandu Anda melalui proses membuat permintaan ke Claude di Vertex AI baik dalam Python atau TypeScript.

Perhatikan bahwa panduan ini mengasumsikan Anda sudah memiliki proyek GCP yang dapat menggunakan Vertex AI. Lihat menggunakan model Claude 3 dari Anthropic untuk informasi lebih lanjut tentang pengaturan yang diperlukan, serta panduan lengkap.

Instal SDK untuk mengakses Vertex AI

Pertama, instal SDK klien Anthropic untuk bahasa pilihan Anda.

pip install -U google-cloud-aiplatform "anthropic[vertex]"

Mengakses Vertex AI

Ketersediaan Model

Perhatikan bahwa ketersediaan model Anthropic bervariasi menurut wilayah. Cari “Claude” di Vertex AI Model Garden atau buka Gunakan Claude 3 untuk informasi terbaru.

Nama model API

ModelNama model Vertex AI API
Claude 3 Haikuclaude-3-haiku@20240307
Claude 3 Sonnetclaude-3-sonnet@20240229
Claude 3 Opus (Public Preview)claude-3-opus@20240229

Membuat permintaan

Sebelum menjalankan permintaan, Anda mungkin perlu menjalankan gcloud auth application-default login untuk mengautentikasi dengan GCP.

Contoh berikut menunjukkan cara menghasilkan teks dari Claude 3 Haiku di Vertex AI:

from anthropic import AnthropicVertex

project_id = "MY_PROJECT_ID"
# Di mana model berjalan. misalnya us-central1 atau europe-west4 untuk haiku
region = "MY_REGION"

client = AnthropicVertex(project_id=project_id, region=region)

message = client.messages.create(
    model="claude-3-haiku@20240307",
    max_tokens=100,
    messages=[
        {
            "role": "user",
            "content": "Hei Claude!",
        }
    ],
)
print(message)

Lihat SDK klien kami dan dokumentasi resmi Vertex AI untuk detail lebih lanjut.