LLM-Gateways bieten eine zentralisierte Proxy-Schicht zwischen Claude Code und Modellanbietern und bieten:

  • Zentralisierte Authentifizierung - Einzelner Punkt für API-Schlüsselverwaltung
  • Nutzungsverfolgung - Überwachung der Nutzung über Teams und Projekte hinweg
  • Kostenkontrollen - Implementierung von Budgets und Ratenlimits
  • Audit-Protokollierung - Verfolgung aller Modellinteraktionen für Compliance
  • Modell-Routing - Wechsel zwischen Anbietern ohne Code-Änderungen

​
LiteLLM-Konfiguration

LiteLLM ist ein Drittanbieter-Proxy-Service. Anthropic unterstützt, wartet oder prüft LiteLLMs Sicherheit oder Funktionalität nicht. Diese Anleitung wird zu Informationszwecken bereitgestellt und kann veraltet sein. Verwenden Sie sie auf eigene Verantwortung.

​
Voraussetzungen

  • Claude Code auf die neueste Version aktualisiert
  • LiteLLM Proxy Server bereitgestellt und zugänglich
  • Zugang zu Claude-Modellen über Ihren gewählten Anbieter

​
Grundlegende LiteLLM-Einrichtung

Claude Code konfigurieren:

​
Authentifizierungsmethoden

Statischer API-Schlüssel

Einfachste Methode mit einem festen API-Schlüssel:

# In der Umgebung setzen
export ANTHROPIC_AUTH_TOKEN=sk-litellm-static-key

# Oder in Claude Code-Einstellungen
{
  "env": {
    "ANTHROPIC_AUTH_TOKEN": "sk-litellm-static-key"
  }
}

Dieser Wert wird als Authorization- und Proxy-Authorization-Header gesendet, obwohl Authorization überschrieben werden kann (siehe Vertex “Client-spezifizierte Anmeldedaten” unten).

Dynamischer API-Schlüssel mit Helfer

Für rotierende Schlüssel oder benutzerbasierte Authentifizierung:

  1. Erstellen Sie ein API-Schlüssel-Helfer-Skript:
#!/bin/bash
# ~/bin/get-litellm-key.sh

# Beispiel: Schlüssel aus Vault abrufen
vault kv get -field=api_key secret/litellm/claude-code

# Beispiel: JWT-Token generieren
jwt encode \
  --secret="${JWT_SECRET}" \
  --exp="+1h" \
  '{"user":"'${USER}'","team":"engineering"}'
  1. Konfigurieren Sie Claude Code-Einstellungen zur Verwendung des Helfers:
{
  "apiKeyHelper": "~/bin/get-litellm-key.sh"
}
  1. Token-Aktualisierungsintervall setzen:
# Jede Stunde aktualisieren (3600000 ms)
export CLAUDE_CODE_API_KEY_HELPER_TTL_MS=3600000

Dieser Wert wird als Authorization-, Proxy-Authorization- und X-Api-Key-Header gesendet, obwohl Authorization überschrieben werden kann (siehe Google Vertex AI über LiteLLM). Der apiKeyHelper hat niedrigere Priorität als ANTHROPIC_AUTH_TOKEN oder ANTHROPIC_API_KEY.

​
Anbieter-spezifische Konfigurationen

Anthropic API über LiteLLM

Verwendung des Pass-Through-Endpunkts:

export ANTHROPIC_BASE_URL=https://litellm-server:4000/anthropic
Amazon Bedrock über LiteLLM

Verwendung des Pass-Through-Endpunkts:

export ANTHROPIC_BEDROCK_BASE_URL=https://litellm-server:4000/bedrock
export CLAUDE_CODE_SKIP_BEDROCK_AUTH=1
export CLAUDE_CODE_USE_BEDROCK=1
Google Vertex AI über LiteLLM

Verwendung des Pass-Through-Endpunkts:

Empfohlen: Proxy-spezifizierte Anmeldedaten

export ANTHROPIC_VERTEX_BASE_URL=https://litellm-server:4000/vertex_ai/v1
export ANTHROPIC_VERTEX_PROJECT_ID=your-gcp-project-id
export CLAUDE_CODE_SKIP_VERTEX_AUTH=1
export CLAUDE_CODE_USE_VERTEX=1
export CLOUD_ML_REGION=us-east5

Alternative: Client-spezifizierte Anmeldedaten

Wenn Sie lokale GCP-Anmeldedaten verwenden möchten:

  1. Authentifizierung mit GCP lokal:
gcloud auth application-default login
  1. Claude Code-Umgebung setzen:
export ANTHROPIC_VERTEX_BASE_URL=https://litellm-server:4000/vertex_ai/v1
export ANTHROPIC_VERTEX_PROJECT_ID=your-gcp-project-id
export CLAUDE_CODE_USE_VERTEX=1
export CLOUD_ML_REGION=us-east5
  1. LiteLLM-Header-Konfiguration aktualisieren:

Stellen Sie sicher, dass Ihre LiteLLM-Konfiguration general_settings.litellm_key_header_name auf Proxy-Authorization gesetzt hat, da sich das Pass-Through-GCP-Token im Authorization-Header befindet.

​
Einheitlicher Endpunkt

Verwendung von LiteLLMs Anthropic-Format-Endpunkt:

export ANTHROPIC_BASE_URL=https://litellm-server:4000

​
Modellauswahl

Standardmäßig verwenden die Modelle die in Modellkonfiguration angegebenen.

Wenn Sie benutzerdefinierte Modellnamen in LiteLLM konfiguriert haben, setzen Sie die oben genannten Umgebungsvariablen auf diese benutzerdefinierten Namen.

Für detailliertere Informationen siehe die LiteLLM-Dokumentation.

​
Zusätzliche Ressourcen