Vision

이 가이드에서는 모범 사례, 코드 예제 및 주의해야 할 제한 사항을 포함하여 Claude에서 이미지를 사용하는 방법에 대해 설명합니다.

비전을 사용하는 방법

다음을 통해 Claude의 비전 기능을 사용하세요:

claude.ai. 파일을 업로드하는 것처럼 이미지를 업로드하거나 채팅 창에 직접 이미지를 드래그 앤 드롭하세요.
Console Workbench. 이미지를 허용하는 모델(Claude 3 모델만 해당)을 선택하면 모든 사용자 메시지 블록의 오른쪽 상단에 이미지를 추가하는 버튼이 나타납니다.
API 요청. 이 가이드의 예제를 참조하세요.

업로드하기 전에

이미지 크기 평가

단일 요청에 여러 이미지를 포함할 수 있습니다(claude.ai의 경우 최대 5개, API 요청의 경우 최대 20개). Claude는 응답을 작성할 때 제공된 모든 이미지를 분석합니다. 이는 이미지를 비교하거나 대조하는 데 도움이 될 수 있습니다.

최적의 성능을 위해 이미지가 크기 또는 토큰 제한을 초과하는 경우 업로드하기 전에 이미지 크기를 조정하는 것이 좋습니다. 이미지의 긴 가장자리가 1568픽셀 이상이거나 이미지가 약 1,600토큰 이상인 경우 크기 제한 내에 들어갈 때까지 가로 세로 비율을 유지하면서 먼저 축소됩니다.

입력 이미지가 너무 크고 크기를 조정해야 하는 경우 모델 성능을 추가로 제공하지 않고 time-to-first-token의 지연 시간이 증가합니다. 가장자리가 200픽셀 미만인 매우 작은 이미지는 성능이 저하될 수 있습니다.

time-to-first-token을 개선하려면 이미지 크기를 1.15메가픽셀 이하(두 치수 모두 1568픽셀 이내)로 조정하는 것이 좋습니다.

다음은 일반적인 가로 세로 비율에 대해 크기가 조정되지 않는 API에서 허용하는 최대 이미지 크기 표입니다. Claude 3.5 Sonnet 모델에서 이러한 이미지는 약 1,600토큰을 사용하고 이미지 1,000개당 약 $4.80의 비용이 듭니다.

가로 세로 비율	이미지 크기
1:1	1092x1092 px
3:4	951x1268 px
2:3	896x1344 px
9:16	819x1456 px
1:2	784x1568 px

이미지 비용 계산

Claude에 대한 요청에 포함하는 각 이미지는 토큰 사용량에 포함됩니다. 대략적인 비용을 계산하려면 대략적인 이미지 토큰 수에 사용 중인 모델의 토큰당 가격을 곱하세요.

이미지 크기를 조정할 필요가 없는 경우 다음 알고리즘을 통해 사용된 토큰 수를 추정할 수 있습니다: 토큰 = (가로 px * 세로 px)/750

다음은 Claude 3.5 Sonnet의 입력 토큰 100만 개당 $3의 토큰당 가격을 기준으로 API 크기 제약 조건 내에서 다양한 이미지 크기에 대한 대략적인 토큰화 및 비용의 예입니다:

이미지 크기	토큰 수	이미지당 비용	이미지 1,000개당 비용
200x200 px(0.04 메가픽셀)	~54	~$0.00016	~$0.16
1000x1000 px(1 메가픽셀)	~1334	~$0.004	~$4.00
1092x1092 px(1.19 메가픽셀)	~1590	~$0.0048	~$4.80

이미지 품질 보장

Claude에 이미지를 제공할 때 최상의 결과를 얻으려면 다음 사항을 염두에 두세요:

이미지 형식: 지원되는 이미지 형식(JPEG, PNG, GIF 또는 WebP)을 사용하세요.
이미지 선명도: 이미지가 선명하고 너무 흐리거나 픽셀화되지 않았는지 확인하세요.
텍스트: 이미지에 중요한 텍스트가 포함된 경우 읽을 수 있고 너무 작지 않은지 확인하세요. 텍스트를 확대하기 위해 주요 시각적 컨텍스트를 자르지 마세요.

프롬프트 예제

텍스트 기반 Claude 상호 작용에 잘 작동하는 많은 프롬프트 기술은 이미지 기반 프롬프트에도 적용할 수 있습니다.

이 예제는 이미지와 관련된 모범 사례 프롬프트 구조를 보여줍니다.

문서 쿼리 배치와 마찬가지로 Claude는 이미지가 텍스트 앞에 올 때 가장 잘 작동합니다. 텍스트 뒤에 배치되거나 텍스트와 삽입된 이미지도 여전히 잘 수행되지만 사용 사례에서 허용되는 경우 이미지-텍스트 구조를 권장합니다.

프롬프트 예제 정보

이 프롬프트 예제는 Anthropic Python SDK를 사용하고 httpx 라이브러리를 사용하여 Wikipedia에서 이미지를 가져옵니다. 원하는 이미지 소스를 사용할 수 있습니다.

예제 프롬프트는 다음 변수를 사용합니다.

Python

import base64
import httpx

image1_url = "https://upload.wikimedia.org/wikipedia/commons/a/a7/Camponotus_flavomarginatus_ant.jpg"
image1_media_type = "image/jpeg"
image1_data = base64.b64encode(httpx.get(image1_url).content).decode("utf-8")

image2_url = "https://upload.wikimedia.org/wikipedia/commons/b/b5/Iridescent.green.sweat.bee1.jpg"
image2_media_type = "image/jpeg"
image2_data = base64.b64encode(httpx.get(image2_url).content).decode("utf-8")

API 요청을 할 때 이미지를 활용하려면 image 콘텐츠 블록에서 base64로 인코딩된 이미지로 Claude에 이미지를 제공할 수 있습니다. 다음은 Python에서 base64로 인코딩된 이미지를 Messages API 요청에 포함하는 방법을 보여주는 간단한 예제입니다:

Python

import anthropic

client = anthropic.Anthropic()
message = client.messages.create(
    model="claude-3-5-sonnet-20240620",
    max_tokens=1024,
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "image",
                    "source": {
                        "type": "base64",
                        "media_type": image1_media_type,
                        "data": image1_data,
                    },
                },
                {
                    "type": "text",
                    "text": "이 이미지를 설명해 주세요."
                }
            ],
        }
    ],
)
print(message)

더 많은 예제 코드와 매개변수 세부 정보는 Messages API 예제를 참조하세요.

이미지에 대한 질문이나 이미지를 사용하는 작업에 대한 지침보다 프롬프트에서 이미지를 먼저 배치하는 것이 가장 좋습니다.

Claude에게 하나의 이미지를 설명하도록 요청하세요.

역할	내용
사용자	[이미지] 이 이미지를 설명해 주세요.

다음은 Claude 3.5 Sonnet 모델을 사용한 해당 API 호출입니다.

Python

message = client.messages.create(
    model="claude-3-5-sonnet-20240620",
    max_tokens=1024,
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "image",
                    "source": {
                        "type": "base64",
                        "media_type": image1_media_type,
                        "data": image1_data,
                    },
                },
                {
                    "type": "text",
                    "text": "이 이미지를 설명해 주세요."
                }
            ],
        }
    ],
)

여러 이미지가 있는 상황에서는 각 이미지를 이미지 1:, 이미지 2: 등으로 소개하세요. 이미지 사이 또는 이미지와 프롬프트 사이에 줄 바꿈이 필요하지 않습니다.

Claude에게 여러 이미지 간의 차이점을 설명하도록 요청하세요.

역할	내용
사용자	이미지 1: [이미지 1] 이미지 2: [이미지 2] 이 이미지들은 어떻게 다른가요?

다음은 Claude 3.5 Sonnet 모델을 사용한 해당 API 호출입니다.

Python

message = client.messages.create(
    model="claude-3-5-sonnet-20240620",
    max_tokens=1024,
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": "이미지 1:"
                },
                {
                    "type": "image",
                    "source": {
                        "type": "base64",
                        "media_type": image1_media_type,
                        "data": image1_data,
                    },
                },
                {
                    "type": "text",
                    "text": "이미지 2:"
                },
                {
                    "type": "image",
                    "source": {
                        "type": "base64",
                        "media_type": image2_media_type,
                        "data": image2_data,
                    },
                },
                {
                    "type": "text",
                    "text": "이 이미지들은 어떻게 다른가요?"
                }
            ],
        }
    ],
)

Claude에게 여러 이미지 간의 차이점을 설명하도록 요청하면서 응답 방법에 대한 시스템 프롬프트를 제공하세요.

내용
시스템	스페인어로만 응답하세요.
사용자	이미지 1: [이미지 1] 이미지 2: [이미지 2] 이 이미지들은 어떻게 다른가요?

다음은 Claude 3.5 Sonnet 모델을 사용한 해당 API 호출입니다.

Python

message = client.messages.create(
    model="claude-3-5-sonnet-20240620",
    max_tokens=1024,
    system="스페인어로만 응답하세요.",
    messages=[
        {
            
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": "이미지 1:"
                },
                {
                    "type": "image",
                    "source": {
                        "type": "base64",
                        "media_type": image1_media_type,
                        "data": image1_data,
                    },
                },
                {
                    "type": "text",
                    "text": "이미지 2:"
                },
                {
                    "type": "image",
                    "source": {
                        "type": "base64",
                        "media_type": image2_media_type,
                        "data": image2_data,
                    },
                },
                {
                    "type": "text",
                    "text": "이 이미지들은 어떻게 다른가요?"
                }
            ],
        }
    ],
)

Claude의 비전 기능은 이미지와 텍스트를 혼합하는 멀티모달 대화에서 빛을 발합니다. Claude와 확장된 양방향 교환을 할 수 있으며 언제든지 새 이미지나 후속 질문을 추가할 수 있습니다. 이를 통해 반복적인 이미지 분석, 비교 또는 시각 자료와 다른 지식을 결합하는 강력한 워크플로를 사용할 수 있습니다.

Claude에게 두 이미지를 대조하도록 요청한 다음 첫 번째 이미지를 두 개의 새 이미지와 비교하는 후속 질문을 하세요.

역할	내용
사용자	이미지 1: [이미지 1] 이미지 2: [이미지 2] 이 이미지들은 어떻게 다른가요?
어시스턴트	[Claude의 응답]
사용자	이미지 1: [이미지 3] 이미지 2: [이미지 4] 이 이미지들은 처음 두 이미지와 유사한가요?
어시스턴트	[Claude의 응답]

API를 사용할 때는 표준 다중 회차 대화 구조의 일부로 user 역할의 Messages 배열에 새 이미지를 삽입하기만 하면 됩니다.

제한 사항

Claude의 이미지 이해 기능은 최첨단이지만 알아두어야 할 몇 가지 제한 사항이 있습니다:

사람 식별: Claude는 이미지에서 사람을 식별(즉, 이름 지정)하는 데 사용할 수 없으며 이를 거부합니다.
정확성: Claude는 품질이 낮거나 회전되었거나 200픽셀 미만의 매우 작은 이미지를 해석할 때 환각을 보거나 실수를 할 수 있습니다.
공간 추론: Claude의 공간 추론 능력은 제한적입니다. 아날로그 시계 면을 읽거나 체스 말의 정확한 위치를 설명하는 것과 같이 정밀한 위치 파악이나 레이아웃이 필요한 작업에 어려움을 겪을 수 있습니다.
계수: Claude는 이미지에서 객체의 대략적인 수를 제공할 수 있지만, 특히 많은 수의 작은 객체가 있는 경우 항상 정확하지는 않을 수 있습니다.
AI 생성 이미지: Claude는 이미지가 AI에 의해 생성되었는지 알지 못하며 물어보면 잘못될 수 있습니다. 가짜 또는 합성 이미지를 감지하는 데 의존하지 마세요.
부적절한 콘텐츠: Claude는 이용 약관을 위반하는 부적절하거나 노골적인 이미지를 처리하지 않습니다.
의료 애플리케이션: Claude는 일반 의료 이미지를 분석할 수 있지만 CT나 MRI와 같은 복잡한 진단 스캔을 해석하도록 설계되지 않았습니다. Claude의 출력은 전문적인 의료 조언이나 진단을 대신할 수 없습니다.

특히 중요한 사용 사례의 경우 Claude의 이미지 해석을 항상 주의 깊게 검토하고 확인하세요. 인간의 감독 없이 완벽한 정밀도나 민감한 이미지 분석이 필요한 작업에 Claude를 사용하지 마세요.

FAQ

비전에 대해 더 깊이 알아보기

Claude를 사용하여 이미지로 구축할 준비가 되셨나요? 다음은 몇 가지 유용한 리소스입니다:

멀티모달 쿡북: 이 쿡북에는 이미지 시작하기에 대한 팁과 이미지로 최고 품질의 성능을 보장하기 위한 모범 사례 기술이 있습니다. 차트 해석 및 분석 또는 양식에서 콘텐츠 추출과 같은 작업을 수행하기 위해 이미지로 Claude에게 효과적으로 프롬프트를 제공하는 방법을 확인하세요.
API 참조: 이미지와 관련된 예제 API 호출을 포함하여 Messages API에 대한 문서를 참조하세요.

다른 질문이 있는 경우 언제든지 지원 팀에 문의하세요. 다른 크리에이터와 연결하고 Anthropic 전문가의 도움을 받으려면 개발자 커뮤니티에 가입할 수도 있습니다.

시작하기

Claude에 대해 알아보기

Claude로 구축하기

테스트 및 평가

리소스

비전을 사용하는 방법

업로드하기 전에

이미지 크기 평가

이미지 비용 계산

이미지 품질 보장

프롬프트 예제

프롬프트 예제 정보

제한 사항

FAQ

비전에 대해 더 깊이 알아보기

시작하기

Claude에 대해 알아보기

Claude로 구축하기

테스트 및 평가

리소스

​비전을 사용하는 방법

​업로드하기 전에

​이미지 크기 평가

​이미지 비용 계산

​이미지 품질 보장

​프롬프트 예제

​프롬프트 예제 정보

​제한 사항

​FAQ

​비전에 대해 더 깊이 알아보기

비전을 사용하는 방법

업로드하기 전에

이미지 크기 평가

이미지 비용 계산

이미지 품질 보장

프롬프트 예제

프롬프트 예제 정보

제한 사항

FAQ

비전에 대해 더 깊이 알아보기