視覺能力

本指南說明如何在 Claude 中處理圖像，包括最佳實踐、程式碼範例以及需要注意的限制。

如何使用視覺能力

透過以下方式使用 Claude 的視覺能力：

claude.ai。像上傳檔案一樣上傳圖像，或直接將圖像拖放到聊天視窗中。
Console Workbench。如果您選擇接受圖像的模型（僅限 Claude 3 模型），每個使用者訊息區塊的右上角都會出現添加圖像的按鈕。
API 請求。請參閱本指南中的範例。

上傳前須知

基本知識和限制

您可以在單個請求中包含多個圖像（claude.ai 最多 20 張，API 請求最多 100 張）。Claude 在制定回應時會分析所有提供的圖像。這對於比較或對照圖像很有幫助。

如果您提交的圖像大於 8000x8000 像素，將會被拒絕。如果您在一個 API 請求中提交超過 20 張圖像，此限制為 2000x2000 像素。

評估圖像大小

為了獲得最佳效能，如果圖像太大，我們建議在上傳前調整其大小。如果您的圖像長邊超過 1568 像素，或圖像超過約 1,600 個標記，它將首先按比例縮小，直到符合大小限制。

如果您的輸入圖像太大需要調整大小，它會增加首字元輸出時間的延遲，而不會給您帶來任何額外的模型效能。任何邊緣小於 200 像素的非常小的圖像可能會降低效能。

為了改善首字元輸出時間，我們建議將圖像調整為不超過 1.15 百萬像素（且兩個維度都在 1568 像素以內）。

以下是我們的 API 接受的不會被調整大小的常見長寬比的最大圖像尺寸表。使用 Claude 3.7 Sonnet 模型時，這些圖像使用約 1,600 個標記，每千張圖像約 4.80 美元。

長寬比	圖像大小
1:1	1092x1092 px
3:4	951x1268 px
2:3	896x1344 px
9:16	819x1456 px
1:2	784x1568 px

計算圖像成本

您在請求中包含的每張圖像都會計入您的標記使用量。要計算大約成本，將圖像標記的大約數量乘以您使用的模型每標記價格。

如果您的圖像不需要調整大小，您可以通過此算法估算使用的標記數：標記數 = (寬度像素 * 高度像素)/750

以下是基於 Claude 3.7 Sonnet 每百萬輸入標記 3 美元的價格，在我們 API 大小限制內的不同圖像大小的大約標記化和成本示例：

圖像大小	標記數	每張圖像成本	每千張圖像成本
200x200 px（0.04 百萬像素）	~54	~$0.00016	~$0.16
1000x1000 px（1 百萬像素）	~1334	~$0.004	~$4.00
1092x1092 px（1.19 百萬像素）	~1590	~$0.0048	~$4.80

確保圖像品質

向 Claude 提供圖像時，請注意以下事項以獲得最佳結果：

圖像格式：使用支援的圖像格式：JPEG、PNG、GIF 或 WebP。
圖像清晰度：確保圖像清晰，不要太模糊或像素化。
文字：如果圖像包含重要文字，確保其清晰可讀且不要太小。避免為了放大文字而裁剪掉關鍵的視覺上下文。

提示範例

許多適用於基於文字與 Claude 互動的提示技巧也可以應用於基於圖像的提示。

這些範例展示了涉及圖像的最佳實踐提示結構。

就像文件查詢位置一樣，圖像放在文字之前時 Claude 的效果最好。圖像放在文字之後或與文字交錯仍然表現良好，但如果您的使用情境允許，我們建議採用圖像在前、文字在後的結構。

關於提示範例

以下範例展示如何使用各種程式語言和方法使用 Claude 的視覺能力。您可以通過兩種方式向 Claude 提供圖像：

作為 image 內容區塊中的 base64 編碼圖像
作為對線上託管圖像的 URL 引用

base64 範例提示使用這些變數：

    # 對於基於 URL 的圖像，您可以直接在 JSON 請求中使用 URL
    
    # 對於 base64 編碼的圖像，您需要先對圖像進行編碼
    # 在 bash 中將圖像編碼為 base64 的範例：
    BASE64_IMAGE_DATA=$(curl -s "https://upload.wikimedia.org/wikipedia/commons/a/a7/Camponotus_flavomarginatus_ant.jpg" | base64)
    
    # 編碼後的數據現在可以在您的 API 呼叫中使用

以下是使用 base64 編碼圖像和 URL 引用在 Messages API 請求中包含圖像的範例：

base64 編碼圖像範例

curl https://api.anthropic.com/v1/messages \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "content-type: application/json" \
  -d '{
    "model": "claude-3-7-sonnet-20250219",
    "max_tokens": 1024,
    "messages": [
      {
        "role": "user",
        "content": [
          {
            "type": "image",
            "source": {
              "type": "base64",
              "media_type": "image/jpeg",
              "data": "'"$BASE64_IMAGE_DATA"'"
            }
          },
          {
            "type": "text",
            "text": "描述這張圖片。"
          }
        ]
      }
    ]
  }'

基於 URL 的圖像範例

curl https://api.anthropic.com/v1/messages \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "content-type: application/json" \
  -d '{
    "model": "claude-3-7-sonnet-20250219",
    "max_tokens": 1024,
    "messages": [
      {
        "role": "user",
        "content": [
          {
            "type": "image",
            "source": {
              "type": "url",
              "url": "https://upload.wikimedia.org/wikipedia/commons/a/a7/Camponotus_flavomarginatus_ant.jpg"
            }
          },
          {
            "type": "text",
            "text": "描述這張圖片。"
          }
        ]
      }
    ]
  }'

查看 Messages API 範例以獲取更多範例程式碼和參數詳情。

範例：一張圖片

最好將圖像放在關於它們的問題或使用它們的任務指示之前。

要求 Claude 描述一張圖片。

角色	內容
使用者	[圖片] 描述這張圖片。

以下是使用 Claude 3.7 Sonnet 模型的相應 API 呼叫。

Python
message = client.messages.create(
    model="claude-3-7-sonnet-20250219",
    max_tokens=1024,
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "image",
                    "source": {
                        "type": "base64",
                        "media_type": image1_media_type,
                        "data": image1_data,
                    },
                },
                {
                    "type": "text",
                    "text": "描述這張圖片。"
                }
            ],
        }
    ],
)

Python
message = client.messages.create(
    model="claude-3-7-sonnet-20250219",
    max_tokens=1024,
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "image",
                    "source": {
                        "type": "base64",
                        "media_type": image1_media_type,
                        "data": image1_data,
                    },
                },
                {
                    "type": "text",
                    "text": "描述這張圖片。"
                }
            ],
        }
    ],
)

Python
message = client.messages.create(
    model="claude-3-7-sonnet-20250219",
    max_tokens=1024,
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "image",
                    "source": {
                        "type": "url",
                        "url": "https://upload.wikimedia.org/wikipedia/commons/a/a7/Camponotus_flavomarginatus_ant.jpg",
                    },
                },
                {
                    "type": "text",
                    "text": "描述這張圖片。"
                }
            ],
        }
    ],
)

範例：多張圖片

在有多張圖片的情況下，用「圖片 1：」和「圖片 2：」等來介紹每張圖片。圖片之間或圖片與提示之間不需要換行。

要求 Claude 描述多張圖片之間的差異。

角色	內容
使用者	圖片 1：[圖片 1] 圖片 2：[圖片 2] 這些圖片有什麼不同？

以下是使用 Claude 3.7 Sonnet 模型的相應 API 呼叫。

Python
message = client.messages.create(
    model="claude-3-7-sonnet-20250219",
    max_tokens=1024,
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": "圖片 1："
                },
                {
                    "type": "image",
                    "source": {
                        "type": "base64",
                        "media_type": image1_media_type,
                        "data": image1_data,
                    },
                },
                {
                    "type": "text",
                    "text": "圖片 2："
                },
                {
                    "type": "image",
                    "source": {
                        "type": "base64",
                        "media_type": image2_media_type,
                        "data": image2_data,
                    },
                
                },
                {
                    "type": "text",
                    "text": "這些圖片有什麼不同？"
                }
            ],
        }
    ],
)

Python
message = client.messages.create(
    model="claude-3-7-sonnet-20250219",
    max_tokens=1024,
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": "圖片 1："
                },
                {
                    "type": "image",
                    "source": {
                        "type": "base64",
                        "media_type": image1_media_type,
                        "data": image1_data,
                    },
                },
                {
                    "type": "text",
                    "text": "圖片 2："
                },
                {
                    "type": "image",
                    "source": {
                        "type": "base64",
                        "media_type": image2_media_type,
                        "data": image2_data,
                    },
                
                },
                {
                    "type": "text",
                    "text": "這些圖片有什麼不同？"
                }
            ],
        }
    ],
)

Python
message = client.messages.create(
    model="claude-3-7-sonnet-20250219",
    max_tokens=1024,
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": "圖片 1："
                },
                {
                    "type": "image",
                    "source": {
                        "type": "url",
                        "url": "https://upload.wikimedia.org/wikipedia/commons/a/a7/Camponotus_flavomarginatus_ant.jpg",
                    },
                },
                {
                    "type": "text",
                    "text": "圖片 2："
                },
                {
                    "type": "image",
                    "source": {
                        "type": "url",
                        "url": "https://upload.wikimedia.org/wikipedia/commons/b/b5/Iridescent.green.sweat.bee1.jpg",
                    },
                },
                {
                    "type": "text",
                    "text": "這些圖片有什麼不同？"
                }
            ],
        }
    ],
)

範例：帶有系統提示的多張圖片

要求 Claude 描述多張圖片之間的差異，同時給它一個關於如何回應的系統提示。

內容
系統	只用西班牙語回答。
使用者	圖片 1：[圖片 1] 圖片 2：[圖片 2] 這些圖片有什麼不同？

以下是使用 Claude 3.7 Sonnet 模型的相應 API 呼叫。

Python
message = client.messages.create(
    model="claude-3-7-sonnet-20250219",
    max_tokens=1024,
    system="只用西班牙語回答。",
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": "圖片 1："
                },
                {
                    "type": "image",
                    "source": {
                        "type": "base64",
                        "media_type": image1_media_type,
                        "data": image1_data,
                    },
                },
                {
                    "type": "text",
                    "text": "圖片 2："
                },
                {
                    "type": "image",
                    "source": {
                        "type": "base64",
                        "media_type": image2_media_type,
                        "data": image2_data,
                    },
                },
                {
                    "type": "text",
                    "text": "這些圖片有什麼不同？"
                }
            ],
        }
    ],
)

Python
message = client.messages.create(
    model="claude-3-7-sonnet-20250219",
    max_tokens=1024,
    system="只用西班牙語回答。",
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": "圖片 1："
                },
                {
                    "type": "image",
                    "source": {
                        "type": "base64",
                        "media_type": image1_media_type,
                        "data": image1_data,
                    },
                },
                {
                    "type": "text",
                    "text": "圖片 2："
                },
                {
                    "type": "image",
                    "source": {
                        "type": "base64",
                        "media_type": image2_media_type,
                        "data": image2_data,
                    },
                },
                {
                    "type": "text",
                    "text": "這些圖片有什麼不同？"
                }
            ],
        }
    ],
)

Python
message = client.messages.create(
    model="claude-3-7-sonnet-20250219",
    max_tokens=1024,
    system="只用西班牙語回答。",
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": "圖片 1："
                },
                {
                    "type": "image",
                    "source": {
                        "type": "url",
                        "url": "https://upload.wikimedia.org/wikipedia/commons/a/a7/Camponotus_flavomarginatus_ant.jpg",
                    },
                },
                {
                    "type": "text",
                    "text": "圖片 2："
                },
                {
                    "type": "image",
                    "source": {
                        "type": "url",
                        "url": "https://upload.wikimedia.org/wikipedia/commons/b/b5/Iridescent.green.sweat.bee1.jpg",
                    },
                },
                {
                    "type": "text",
                    "text": "這些圖片有什麼不同？"
                }
            ],
        }
    ],
)

範例：兩次對話中的四張圖片

Claude 的視覺能力在混合圖像和文字的多模態對話中表現出色。您可以與 Claude 進行延伸的來回交流，隨時添加新圖像或後續問題。這為迭代圖像分析、比較或將視覺與其他知識結合提供了強大的工作流程。

要求 Claude 對比兩張圖片，然後詢問一個將第一組圖片與兩張新圖片進行比較的後續問題。

角色	內容
使用者	圖片 1：[圖片 1] 圖片 2：[圖片 2] 這些圖片有什麼不同？
助手	[Claude 的回答]
使用者	圖片 1：[圖片 3] 圖片 2：[圖片 4] 這些圖片與前兩張相似嗎？
助手	[Claude 的回答]

使用 API 時，只需將新圖像作為標準多輪對話結構的一部分插入到 user 角色的 Messages 陣列中。

限制

雖然 Claude 的圖像理解能力處於前沿水平，但仍有一些需要注意的限制：

人物識別：Claude 不能用於識別（即命名）圖像中的人物，並且會拒絕這樣做。
準確性：在解讀低品質、旋轉或小於 200 像素的非常小的圖像時，Claude 可能會產生幻覺或犯錯。
空間推理：Claude 的空間推理能力有限。它可能難以處理需要精確定位或佈局的任務，如讀取類比時鐘面或描述棋子的確切位置。
計數：Claude 可以給出圖像中物體的大致數量，但可能不總是精確，尤其是在有大量小物體時。
AI 生成的圖像：Claude 不知道圖像是否由 AI 生成，如果被問到可能會回答錯誤。不要依賴它來檢測假圖或合成圖像。
不當內容：Claude 不會處理違反我們可接受使用政策的不當或露骨圖像。
醫療應用：雖然 Claude 可以分析一般醫療圖像，但它不是為解讀複雜的診斷掃描（如 CT 或 MRI）而設計的。Claude 的輸出不應被視為專業醫療建議或診斷的替代品。

在高風險使用情境下，請始終仔細審查和驗證 Claude 的圖像解讀。在沒有人工監督的情況下，不要將 Claude 用於需要完美精確度或敏感圖像分析的任務。

常見問題

Claude 支援哪些圖像檔案類型？

Claude 能讀取圖像 URL 嗎？

是的，Claude 現在可以通過 API 中的 URL 圖像來源區塊處理來自 URL 的圖像。只需在 API 請求中使用 “url” 來源類型而不是 “base64”。範例：

{
  "type": "image",
  "source": {
    "type": "url",
    "url": "https://upload.wikimedia.org/wikipedia/commons/a/a7/Camponotus_flavomarginatus_ant.jpg"
  }
}

上傳的圖像檔案大小有限制嗎？

一個請求中可以包含多少張圖像？

Claude 會讀取圖像元數據嗎？

我可以刪除已上傳的圖像嗎？

在哪裡可以找到關於圖像上傳的數據隱私詳情？

如果 Claude 的圖像解讀似乎有誤怎麼辦？

Claude 能生成或編輯圖像嗎？

深入了解視覺能力

準備好開始使用 Claude 構建圖像應用了嗎？以下是一些有用的資源：

多模態指南：這個指南包含圖像入門的提示和確保圖像最高品質效能的最佳實踐技巧。了解如何有效地用圖像提示 Claude 來執行諸如解讀和分析圖表或從表格中提取內容等任務。
API 參考：訪問我們的 Messages API 文檔，包括涉及圖像的 API 呼叫範例。

如果您有任何其他問題，請隨時聯繫我們的支援團隊。您也可以加入我們的開發者社群，與其他創作者聯繫並獲得 Anthropic 專家的幫助。

初步步驟

模型與定價

探索功能

瞭解 Claude

測試和評估

法律中心

代理元件

如何使用視覺能力

上傳前須知

基本知識和限制

評估圖像大小

計算圖像成本

確保圖像品質

提示範例

關於提示範例

base64 編碼圖像範例

基於 URL 的圖像範例

限制

常見問題

深入了解視覺能力

初步步驟

模型與定價

探索功能

瞭解 Claude

測試和評估

法律中心

代理元件

​如何使用視覺能力

​上傳前須知

​基本知識和限制

​評估圖像大小

​計算圖像成本

​確保圖像品質

​提示範例

​關於提示範例

​base64 編碼圖像範例

​基於 URL 的圖像範例

​限制

​常見問題

​深入了解視覺能力

如何使用視覺能力

上傳前須知

基本知識和限制

評估圖像大小

計算圖像成本

確保圖像品質

提示範例

關於提示範例

base64 編碼圖像範例

基於 URL 的圖像範例

限制

常見問題

深入了解視覺能力