Die Vertex-API für den Zugriff auf Claude ist nahezu identisch mit der Messages API und unterstützt alle dieselben Optionen, mit zwei wesentlichen Unterschieden:

  • In Vertex wird model nicht im Anforderungstext übergeben. Stattdessen wird es in der Google Cloud-Endpunkt-URL angegeben.
  • In Vertex wird anthropic_version im Anforderungstext übergeben (anstatt als Header) und muss auf den Wert vertex-2023-10-16 gesetzt werden.

Vertex wird auch von den offiziellen Client-SDKs von Anthropic unterstützt. Diese Anleitung führt Sie durch den Prozess, eine Anfrage an Claude auf Vertex AI in Python oder TypeScript zu stellen.

Beachten Sie, dass diese Anleitung davon ausgeht, dass Sie bereits über ein GCP-Projekt verfügen, das Vertex AI verwenden kann. Weitere Informationen zur erforderlichen Einrichtung sowie eine vollständige Anleitung finden Sie unter Verwenden der Claude 3-Modelle von Anthropic.

Installieren eines SDKs für den Zugriff auf Vertex AI

Installieren Sie zunächst das Client-SDK von Anthropic für Ihre bevorzugte Sprache.

pip install -U google-cloud-aiplatform "anthropic[vertex]"

Zugriff auf Vertex AI

Modellverfügbarkeit

Beachten Sie, dass die Verfügbarkeit von Anthropic-Modellen je nach Region variiert. Suchen Sie im Vertex AI Model Garden nach “Claude” oder gehen Sie zu Claude 3 verwenden für die neuesten Informationen.

API-Modellnamen

ModellVertex AI API-Modellname
Claude 3 Haikuclaude-3-haiku@20240307
Claude 3 Sonnetclaude-3-sonnet@20240229
Claude 3 Opus (Public Preview)claude-3-opus@20240229

Anfragen stellen

Bevor Sie Anfragen ausführen, müssen Sie möglicherweise gcloud auth application-default login ausführen, um sich bei GCP zu authentifizieren.

Die folgenden Beispiele zeigen, wie Sie Text von Claude 3 Haiku auf Vertex AI generieren:

from anthropic import AnthropicVertex

project_id = "MY_PROJECT_ID"
# Wo das Modell läuft. z.B. us-central1 oder europe-west4 für Haiku
region = "MY_REGION"

client = AnthropicVertex(project_id=project_id, region=region)

message = client.messages.create(
    model="claude-3-haiku@20240307",
    max_tokens=100,
    messages=[
        {
            "role": "user",
            "content": "Hey Claude!",
        }
    ],
)
print(message)

Weitere Details finden Sie in unseren Client-SDKs und in der offiziellen Vertex AI-Dokumentation.