视觉能力

本指南介绍如何在Claude中使用图像，包括最佳实践、代码示例以及需要注意的限制。

如何使用视觉能力

通过以下方式使用Claude的视觉能力：

claude.ai。像上传文件一样上传图像，或者直接将图像拖放到聊天窗口中。
Console Workbench。如果您选择了支持图像的模型（仅限Claude 3模型），每个用户消息块的右上角都会出现添加图像的按钮。
API请求。请参阅本指南中的示例。

上传前须知

基础知识和限制

您可以在单个请求中包含多个图像（claude.ai最多20张，API请求最多100张）。Claude在制定回应时会分析所有提供的图像。这对于比较或对比图像很有帮助。

如果您提交的图像大于8000x8000像素，将被拒绝。如果您在一个API请求中提交超过20张图像，此限制为2000x2000像素。

评估图像大小

为获得最佳性能，如果图像太大，我们建议在上传前调整图像大小。如果您的图像长边超过1568像素，或图像超过约1,600个token，它将首先被缩放，同时保持纵横比，直到符合大小限制。

如果您的输入图像太大需要调整大小，它会增加首个token响应时间的延迟，而不会给您带来任何额外的模型性能。任何边小于200像素的非常小的图像可能会降低性能。

为了改善首个token响应时间，我们建议将图像调整为不超过1.15百万像素（且两个维度都在1568像素以内）。

以下是我们的API接受的不会被调整大小的常见纵横比的最大图像尺寸表。使用Claude 3.7 Sonnet模型时，这些图像使用约1,600个token，每1000张图像约4.80美元。

纵横比	图像大小
1:1	1092x1092 px
3:4	951x1268 px
2:3	896x1344 px
9:16	819x1456 px
1:2	784x1568 px

计算图像成本

您在请求中包含的每个图像都会计入您的token使用量。要计算大致成本，将估计的图像token数乘以您使用的模型的每token价格。

如果您的图像不需要调整大小，您可以通过以下算法估算使用的token数：token数 = (宽度像素 * 高度像素)/750

以下是基于Claude 3.7 Sonnet每百万输入token 3美元的价格，在我们API的大小限制内不同图像大小的大致token化和成本示例：

图像大小	token数	每张图像成本	每1000张图像成本
200x200 px(0.04百万像素)	~54	~$0.00016	~$0.16
1000x1000 px(1百万像素)	~1334	~$0.004	~$4.00
1092x1092 px(1.19百万像素)	~1590	~$0.0048	~$4.80

确保图像质量

向Claude提供图像时，请注意以下几点以获得最佳效果：

图像格式：使用支持的图像格式：JPEG、PNG、GIF或WebP。
图像清晰度：确保图像清晰，不要太模糊或像素化。
文本：如果图像包含重要文本，确保文本清晰可读且不要太小。避免为了放大文本而裁剪掉关键的视觉上下文。

提示示例

许多适用于基于文本的Claude交互的提示技巧也可以应用于基于图像的提示。

这些示例展示了涉及图像的最佳实践提示结构。

就像文档查询位置一样，图像放在文本之前效果最好。图像放在文本之后或与文本交错仍然表现良好，但如果您的用例允许，我们建议采用图像在前、文本在后的结构。

关于提示示例

以下示例演示了如何使用各种编程语言和方法使用Claude的视觉能力。您可以通过两种方式向Claude提供图像：

作为image内容块中的base64编码图像
作为在线托管图像的URL引用

base64示例提示使用这些变量：

Copy
    # 对于基于URL的图像，您可以在JSON请求中直接使用URL
    
    # 对于base64编码的图像，您需要先对图像进行编码
    # 在bash中对图像进行base64编码的示例：
    BASE64_IMAGE_DATA=$(curl -s "https://upload.wikimedia.org/wikipedia/commons/a/a7/Camponotus_flavomarginatus_ant.jpg" | base64)
    
    # 编码后的数据现在可以在您的API调用中使用

以下是使用base64编码图像和URL引用在Messages API请求中包含图像的示例：

base64编码图像示例

Copy
curl https://api.anthropic.com/v1/messages \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "content-type: application/json" \
  -d '{
    "model": "claude-3-7-sonnet-20250219",
    "max_tokens": 1024,
    "messages": [
      {
        "role": "user",
        "content": [
          {
            "type": "image",
            "source": {
              "type": "base64",
              "media_type": "image/jpeg",
              "data": "'"$BASE64_IMAGE_DATA"'"
            }
          },
          {
            "type": "text",
            "text": "描述这张图片。"
          }
        ]
      }
    ]
  }'

基于URL的图像示例

Copy
curl https://api.anthropic.com/v1/messages \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "content-type: application/json" \
  -d '{
    "model": "claude-3-7-sonnet-20250219",
    "max_tokens": 1024,
    "messages": [
      {
        "role": "user",
        "content": [
          {
            "type": "image",
            "source": {
              "type": "url",
              "url": "https://upload.wikimedia.org/wikipedia/commons/a/a7/Camponotus_flavomarginatus_ant.jpg"
            }
          },
          {
            "type": "text",
            "text": "描述这张图片。"
          }
        ]
      }
    ]
  }'

有关更多示例代码和参数详细信息，请参阅Messages API示例。

最好将图像放在提示中比关于它们的问题或使用它们的任务说明更靠前的位置。

要求Claude描述一张图像。

角色	内容
用户	[图像] 描述这张图片。

以下是使用Claude 3.7 Sonnet模型的相应API调用。

Python
Copy
message = client.messages.create(
    model="claude-3-7-sonnet-20250219",
    max_tokens=1024,
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "image",
                    "source": {
                        "type": "base64",
                        "media_type": image1_media_type,
                        "data": image1_data,
                    },
                },
                {
                    "type": "text",
                    "text": "描述这张图片。"
                }
            ],
        }
    ],
)

在有多张图像的情况下，用”图像1：“和”图像2：“等来介绍每张图像。图像之间或图像与提示之间不需要换行。

要求Claude描述多张图像之间的差异。

角色	内容
用户	图像1：[图像1] 图像2：[图像2] 这些图像有什么不同？

以下是使用Claude 3.7 Sonnet模型的相应API调用。

Python
Copy
message = client.messages.create(
    model="claude-3-7-sonnet-20250219",
    max_tokens=1024,
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": "图像1："
                },
                {
                    "type": "image",
                    "source": {
                        "type": "base64",
                        "media_type": image1_media_type,
                        "data": image1_data,
                    },
                },
                {
                    "type": "text",
                    "text": "图像2："
                },
                {
                    "type": "image",
                    "source": {
                        "type": "base64",
                        "media_type": image2_media_type,
                        "data": image2_data,
                    },
                },
                {
                    "type": "text",
                    "text": "这些图像有什么不同？"
                }
            ],
        }
    ],
)

要求Claude描述多张图像之间的差异，同时给它一个关于如何回应的系统提示。

内容
系统	只用西班牙语回答。
用户	图像1：[图像1] 图像2：[图像2] 这些图像有什么不同？

以下是使用Claude 3.7 Sonnet模型的相应API调用。

Python
Copy
message = client.messages.create(
    model="claude-3-7-sonnet-20250219",
    max_tokens=1024,
    system="只用西班牙语回答。",
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": "图像1："
                },
                {
                    "type": "image",
                    "source": {
                        "type": "base64",
                        "media_type": image1_media_type,
                        "data": image1_data,
                    },
                },
                {
                    "type": "text",
                    "text": "图像2："
                },
                {
                    "type": "image",
                    "source": {
                        "type": "base64",
                        "media_type": image2_media_type,
                        "data": image2_data,
                    },
                },
                {
                    "type": "text",
                    "text": "这些图像有什么不同？"
                }
            ],
        }
    ],
)

Claude的视觉能力在混合图像和文本的多模态对话中表现出色。您可以与Claude进行扩展的来回交流，随时添加新图像或后续问题。这为迭代图像分析、比较或将视觉与其他知识结合提供了强大的工作流程。

要求Claude对比两张图像，然后问一个后续问题，将第一组图像与两张新图像进行比较。

角色	内容
用户	图像1：[图像1] 图像2：[图像2] 这些图像有什么不同？
助手	[Claude的回应]
用户	图像1：[图像3] 图像2：[图像4] 这些图像与前两张相似吗？
助手	[Claude的回应]

在使用API时，只需将新图像作为user角色的Messages数组的一部分插入到任何标准多轮对话结构中。

限制

虽然Claude的图像理解能力处于前沿水平，但仍需要注意一些限制：

人物识别：Claude不能用于识别（即命名）图像中的人物，并且会拒绝这样做。
准确性：Claude在解释低质量、旋转或非常小（小于200像素）的图像时可能会产生幻觉或出错。
空间推理：Claude的空间推理能力有限。它可能难以处理需要精确定位或布局的任务，如读取模拟时钟面或描述棋子的确切位置。
计数：Claude可以给出图像中物体的大致数量，但可能并不总是精确准确，尤其是对于大量小物体。
AI生成的图像：Claude不知道图像是否是AI生成的，如果被问到可能会回答错误。不要依赖它来检测假图片或合成图像。
不当内容：Claude不会处理违反我们可接受使用政策的不当或露骨图像。
医疗应用：虽然Claude可以分析一般医疗图像，但它不是为解释复杂的诊断扫描（如CT或MRI）而设计的。Claude的输出不应被视为专业医疗建议或诊断的替代品。

始终仔细审查和验证Claude的图像解释，尤其是对于高风险用例。在没有人工监督的情况下，不要使用Claude进行需要完美精确度或敏感图像分析的任务。

常见问题

是的，Claude现在可以通过API中的URL图像源块处理来自URL的图像。只需在API请求中使用”url”源类型而不是”base64”即可。示例：

Copy
{
  "type": "image",
  "source": {
    "type": "url",
    "url": "https://upload.wikimedia.org/wikipedia/commons/a/a7/Camponotus_flavomarginatus_ant.jpg"
  }
}

深入了解视觉能力

准备好开始使用Claude构建图像应用了吗？以下是一些有用的资源：

多模态指南：这个指南包含图像入门的提示和最佳实践技巧，以确保使用图像时获得最高质量的性能。了解如何有效地向Claude提供图像提示以执行诸如解释和分析图表或从表单中提取内容等任务。
API参考：访问我们的Messages API文档，包括涉及图像的API调用示例。

如果您有任何其他问题，请随时联系我们的支持团队。您也可以加入我们的开发者社区，与其他创作者联系并获得Anthropic专家的帮助。

开始使用

使用 Claude 构建

了解 Claude

管理

代理和工具

测试和评估

资源

法律中心

如何使用视觉能力

上传前须知

基础知识和限制

评估图像大小

计算图像成本

确保图像质量

提示示例

关于提示示例

base64编码图像示例

基于URL的图像示例

限制

常见问题

深入了解视觉能力

开始使用

使用 Claude 构建

了解 Claude

管理

代理和工具

测试和评估

资源

法律中心

​如何使用视觉能力

​上传前须知

​基础知识和限制

​评估图像大小

​计算图像成本

​确保图像质量

​提示示例

​关于提示示例

​base64编码图像示例

​基于URL的图像示例

​限制

​常见问题

​深入了解视觉能力

如何使用视觉能力

上传前须知

基础知识和限制

评估图像大小

计算图像成本

确保图像质量

提示示例

关于提示示例

base64编码图像示例

基于URL的图像示例

限制

常见问题

深入了解视觉能力