Gateway LLM menyediakan lapisan proxy terpusat antara Claude Code dan penyedia model, menawarkan:

  • Autentikasi terpusat - Titik tunggal untuk manajemen kunci API
  • Pelacakan penggunaan - Memantau penggunaan di seluruh tim dan proyek
  • Kontrol biaya - Menerapkan anggaran dan batas tarif
  • Logging audit - Melacak semua interaksi model untuk kepatuhan
  • Routing model - Beralih antar penyedia tanpa perubahan kode

​
Konfigurasi LiteLLM

LiteLLM adalah layanan proxy pihak ketiga. Anthropic tidak mendukung, memelihara, atau mengaudit keamanan atau fungsionalitas LiteLLM. Panduan ini disediakan untuk tujuan informasi dan mungkin menjadi usang. Gunakan dengan kebijaksanaan Anda sendiri.

​
Prasyarat

  • Claude Code diperbarui ke versi terbaru
  • LiteLLM Proxy Server disebarkan dan dapat diakses
  • Akses ke model Claude melalui penyedia pilihan Anda

​
Pengaturan dasar LiteLLM

Konfigurasi Claude Code:

​
Metode autentikasi

Kunci API statis

Metode paling sederhana menggunakan kunci API tetap:

# Atur di environment
export ANTHROPIC_AUTH_TOKEN=sk-litellm-static-key

# Atau di pengaturan Claude Code
{
  "env": {
    "ANTHROPIC_AUTH_TOKEN": "sk-litellm-static-key"
  }
}

Nilai ini akan dikirim sebagai header Authorization dan Proxy-Authorization, meskipun Authorization mungkin ditimpa (lihat Vertex “Kredensial yang ditentukan klien” di bawah).

Kunci API dinamis dengan helper

Untuk kunci yang berputar atau autentikasi per pengguna:

  1. Buat skrip helper kunci API:
#!/bin/bash
# ~/bin/get-litellm-key.sh

# Contoh: Ambil kunci dari vault
vault kv get -field=api_key secret/litellm/claude-code

# Contoh: Generate token JWT
jwt encode \
  --secret="${JWT_SECRET}" \
  --exp="+1h" \
  '{"user":"'${USER}'","team":"engineering"}'
  1. Konfigurasi pengaturan Claude Code untuk menggunakan helper:
{
  "apiKeyHelper": "~/bin/get-litellm-key.sh"
}
  1. Atur interval refresh token:
# Refresh setiap jam (3600000 ms)
export CLAUDE_CODE_API_KEY_HELPER_TTL_MS=3600000

Nilai ini akan dikirim sebagai header Authorization, Proxy-Authorization, dan X-Api-Key, meskipun Authorization mungkin ditimpa (lihat Google Vertex AI melalui LiteLLM). apiKeyHelper memiliki prioritas lebih rendah daripada ANTHROPIC_AUTH_TOKEN atau ANTHROPIC_API_KEY.

​
Konfigurasi khusus penyedia

Anthropic API melalui LiteLLM

Menggunakan pass-through endpoint:

export ANTHROPIC_BASE_URL=https://litellm-server:4000/anthropic
Amazon Bedrock melalui LiteLLM

Menggunakan pass-through endpoint:

export ANTHROPIC_BEDROCK_BASE_URL=https://litellm-server:4000/bedrock
export CLAUDE_CODE_SKIP_BEDROCK_AUTH=1
export CLAUDE_CODE_USE_BEDROCK=1
Google Vertex AI melalui LiteLLM

Menggunakan pass-through endpoint:

Direkomendasikan: Kredensial yang ditentukan proxy

export ANTHROPIC_VERTEX_BASE_URL=https://litellm-server:4000/vertex_ai/v1
export ANTHROPIC_VERTEX_PROJECT_ID=your-gcp-project-id
export CLAUDE_CODE_SKIP_VERTEX_AUTH=1
export CLAUDE_CODE_USE_VERTEX=1
export CLOUD_ML_REGION=us-east5

Alternatif: Kredensial yang ditentukan klien

Jika Anda lebih suka menggunakan kredensial GCP lokal:

  1. Autentikasi dengan GCP secara lokal:
gcloud auth application-default login
  1. Atur environment Claude Code:
export ANTHROPIC_VERTEX_BASE_URL=https://litellm-server:4000/vertex_ai/v1
export ANTHROPIC_VERTEX_PROJECT_ID=your-gcp-project-id
export CLAUDE_CODE_USE_VERTEX=1
export CLOUD_ML_REGION=us-east5
  1. Perbarui konfigurasi header LiteLLM:

Pastikan konfigurasi LiteLLM Anda memiliki general_settings.litellm_key_header_name diatur ke Proxy-Authorization, karena token GCP pass-through akan berada di header Authorization.

​
Endpoint terpadu

Menggunakan endpoint format Anthropic LiteLLM:

export ANTHROPIC_BASE_URL=https://litellm-server:4000

​
Pemilihan model

Secara default, model akan menggunakan yang ditentukan dalam Konfigurasi model.

Jika Anda telah mengonfigurasi nama model kustom di LiteLLM, atur variabel environment yang disebutkan di atas ke nama kustom tersebut.

Untuk informasi lebih detail, rujuk ke dokumentasi LiteLLM.

​
Sumber daya tambahan