Vertex AI API

Claude에 액세스하기 위한 Vertex API는 Messages API와 거의 동일하며 동일한 모든 옵션을 지원하지만, 두 가지 주요 차이점이 있습니다:

• Vertex에서는 model이 요청 본문에 전달되지 않습니다. 대신 Google Cloud 엔드포인트 URL에 지정됩니다.
• Vertex에서 anthropic_version은 요청 본문에 전달되며(헤더로 전달되는 대신), 값을 vertex-2023-10-16으로 설정해야 합니다.

Vertex는 또한 Anthropic의 공식 클라이언트 SDK에서도 지원됩니다. 이 가이드에서는 Python 또는 TypeScript로 Vertex AI에서 Claude에 요청하는 과정을 안내합니다.

이 가이드에서는 이미 Vertex AI를 사용할 수 있는 GCP 프로젝트가 있다고 가정합니다. 필요한 설정과 전체 연습에 대한 자세한 내용은 Anthropic에서 Claude 3 모델 사용하기를 참조하세요.

​

Vertex AI에 액세스하기 위한 SDK 설치

먼저 선택한 언어에 맞는 Anthropic의 클라이언트 SDK를 설치합니다.

pip install -U google-cloud-aiplatform "anthropic[vertex]"

​

Vertex AI 액세스

​

모델 가용성

Anthropic 모델의 가용성은 지역마다 다릅니다. 최신 정보는 Vertex AI Model Garden에서 “Claude”를 검색하거나 Claude 3 사용하기로 이동하세요.

​

API 모델 이름

​

요청 보내기

요청을 실행하기 전에 GCP로 인증하기 위해 gcloud auth application-default login을 실행해야 할 수 있습니다.

다음 예제는 Vertex AI에서 Claude 3 Haiku에서 텍스트를 생성하는 방법을 보여줍니다:

from anthropic import AnthropicVertex

project_id = "MY_PROJECT_ID"
# 모델이 실행되는 위치. 예: haiku의 경우 us-central1 또는 europe-west4
region = "MY_REGION"

client = AnthropicVertex(project_id=project_id, region=region)

message = client.messages.create(
    model="claude-3-haiku@20240307",
    max_tokens=100,
    messages=[
        {
            "role": "user",
            "content": "Hey Claude!",
        }
    ],
)
print(message)

자세한 내용은 클라이언트 SDK 및 공식 Vertex AI 문서를 참조하세요.