LLM 게이트웨이 구성

LLM 게이트웨이는 Claude Code와 모델 제공업체 간의 중앙 집중식 프록시 계층을 제공하며, 다음과 같은 기능을 제공합니다:

• 중앙 집중식 인증 - API 키 관리를 위한 단일 지점
• 사용량 추적 - 팀과 프로젝트 전반의 사용량 모니터링
• 비용 제어 - 예산 및 속도 제한 구현
• 감사 로깅 - 규정 준수를 위한 모든 모델 상호작용 추적
• 모델 라우팅 - 코드 변경 없이 제공업체 간 전환

​

LiteLLM 구성

​

전제 조건

• 최신 버전으로 업데이트된 Claude Code
• 배포되고 접근 가능한 LiteLLM Proxy Server
• 선택한 제공업체를 통한 Claude 모델에 대한 액세스

​

기본 LiteLLM 설정

Claude Code 구성:

​

인증 방법

정적 API 키

고정 API 키를 사용하는 가장 간단한 방법:

# 환경에서 설정
export ANTHROPIC_AUTH_TOKEN=sk-litellm-static-key

# 또는 Claude Code 설정에서
{
  "env": {
    "ANTHROPIC_AUTH_TOKEN": "sk-litellm-static-key"
  }
}

이 값은 Authorization 및 Proxy-Authorization 헤더로 전송되지만, Authorization은 덮어쓰여질 수 있습니다(아래 Vertex “클라이언트 지정 자격 증명” 참조).

헬퍼를 사용한 동적 API 키

키 순환 또는 사용자별 인증의 경우:

1. API 키 헬퍼 스크립트 생성:

#!/bin/bash
# ~/bin/get-litellm-key.sh

# 예시: vault에서 키 가져오기
vault kv get -field=api_key secret/litellm/claude-code

# 예시: JWT 토큰 생성
jwt encode \
  --secret="${JWT_SECRET}" \
  --exp="+1h" \
  '{"user":"'${USER}'","team":"engineering"}'

2. 헬퍼를 사용하도록 Claude Code 설정 구성:

{
  "apiKeyHelper": "~/bin/get-litellm-key.sh"
}

3. 토큰 새로고침 간격 설정:

# 매시간 새로고침 (3600000 ms)
export CLAUDE_CODE_API_KEY_HELPER_TTL_MS=3600000

이 값은 Authorization, Proxy-Authorization, X-Api-Key 헤더로 전송되지만, Authorization은 덮어쓰여질 수 있습니다(LiteLLM을 통한 Google Vertex AI 참조). apiKeyHelper는 ANTHROPIC_AUTH_TOKEN 또는 ANTHROPIC_API_KEY보다 낮은 우선순위를 가집니다.

​

제공업체별 구성

LiteLLM을 통한 Anthropic API

패스스루 엔드포인트 사용:

export ANTHROPIC_BASE_URL=https://litellm-server:4000/anthropic

LiteLLM을 통한 Amazon Bedrock

패스스루 엔드포인트 사용:

export ANTHROPIC_BEDROCK_BASE_URL=https://litellm-server:4000/bedrock
export CLAUDE_CODE_SKIP_BEDROCK_AUTH=1
export CLAUDE_CODE_USE_BEDROCK=1

LiteLLM을 통한 Google Vertex AI

패스스루 엔드포인트 사용:

권장: 프록시 지정 자격 증명

export ANTHROPIC_VERTEX_BASE_URL=https://litellm-server:4000/vertex_ai/v1
export ANTHROPIC_VERTEX_PROJECT_ID=your-gcp-project-id
export CLAUDE_CODE_SKIP_VERTEX_AUTH=1
export CLAUDE_CODE_USE_VERTEX=1
export CLOUD_ML_REGION=us-east5

대안: 클라이언트 지정 자격 증명

로컬 GCP 자격 증명을 사용하려는 경우:

1. 로컬에서 GCP로 인증:

gcloud auth application-default login

2. Claude Code 환경 설정:

export ANTHROPIC_VERTEX_BASE_URL=https://litellm-server:4000/vertex_ai/v1
export ANTHROPIC_VERTEX_PROJECT_ID=your-gcp-project-id
export CLAUDE_CODE_USE_VERTEX=1
export CLOUD_ML_REGION=us-east5

3. LiteLLM 헤더 구성 업데이트:

패스스루 GCP 토큰이 Authorization 헤더에 위치하므로 LiteLLM 구성에서 general_settings.litellm_key_header_name이 Proxy-Authorization으로 설정되어 있는지 확인하세요.

​

통합 엔드포인트

LiteLLM의 Anthropic 형식 엔드포인트 사용:

export ANTHROPIC_BASE_URL=https://litellm-server:4000

​

모델 선택

기본적으로 모델은 모델 구성에서 지정된 모델을 사용합니다.

LiteLLM에서 사용자 정의 모델 이름을 구성한 경우, 앞서 언급한 환경 변수를 해당 사용자 정의 이름으로 설정하세요.

더 자세한 정보는 LiteLLM 문서를 참조하세요.

​

추가 리소스

• LiteLLM 문서
• Claude Code 설정
• 기업 프록시 설정
• 타사 통합 개요