視覺能力

本指南說明如何在 Claude 中處理圖像，包括最佳實踐、程式碼範例以及需要注意的限制。

如何使用視覺能力

您可以透過以下方式使用 Claude 的視覺能力：

claude.ai。像上傳檔案一樣上傳圖像，或直接將圖像拖放到聊天視窗中。
Console Workbench。如果您選擇接受圖像的模型（僅限 Claude 3 模型），每個使用者訊息區塊的右上角都會出現添加圖像的按鈕。
API 請求。請參閱本指南中的範例。

上傳前須知

基本知識和限制

您可以在單個請求中包含多個圖像（claude.ai 最多 20 張，API 請求最多 100 張）。Claude 在制定回應時會分析所有提供的圖像。這對於比較或對比圖像很有幫助。

如果您提交的圖像大於 8000x8000 像素，將會被拒絕。如果您在一個 API 請求中提交超過 20 張圖像，此限制為 2000x2000 像素。

評估圖像大小

為了獲得最佳效能，如果圖像太大，我們建議在上傳前調整其大小。如果您的圖像的長邊超過 1568 像素，或圖像超過約 1,600 個標記，它將首先被縮放，同時保持長寬比，直到符合大小限制。

如果您的輸入圖像太大需要調整大小，它會增加首字輸出時間的延遲，而不會給您帶來任何額外的模型效能。任何邊緣小於 200 像素的非常小的圖像可能會降低效能。

為了改善首字輸出時間，我們建議將圖像調整為不超過 1.15 百萬像素（且兩個維度都在 1568 像素以內）。

以下是我們的 API 接受的不會被調整大小的常見長寬比的最大圖像尺寸表。使用 Claude 3.7 Sonnet 模型時，這些圖像使用約 1,600 個標記，每千張圖像約 $4.80。

長寬比	圖像大小
1:1	1092x1092 px
3:4	951x1268 px
2:3	896x1344 px
9:16	819x1456 px
1:2	784x1568 px

計算圖像成本

您在請求中包含的每張圖像都會計入您的標記使用量。要計算大約成本，將估計的圖像標記數乘以您使用的模型的每標記價格。

如果您的圖像不需要調整大小，您可以通過此算法估算使用的標記數：標記數 = (寬度像素 * 高度像素)/750

以下是基於 Claude 3.7 Sonnet 每百萬輸入標記 $3 的價格，在我們 API 的大小限制內不同圖像大小的大約標記化和成本範例：

圖像大小	標記數	每張圖像成本	每千張圖像成本
200x200 px（0.04 百萬像素）	~54	~$0.00016	~$0.16
1000x1000 px（1 百萬像素）	~1334	~$0.004	~$4.00
1092x1092 px（1.19 百萬像素）	~1590	~$0.0048	~$4.80

確保圖像品質

向 Claude 提供圖像時，請記住以下幾點以獲得最佳結果：

圖像格式：使用支援的圖像格式：JPEG、PNG、GIF 或 WebP。
圖像清晰度：確保圖像清晰，不要太模糊或像素化。
文字：如果圖像包含重要文字，請確保文字清晰可讀且不要太小。避免為了放大文字而裁剪掉關鍵的視覺上下文。

提示範例

許多適用於基於文字的 Claude 互動的提示技巧也可以應用於基於圖像的提示。

這些範例展示了涉及圖像的最佳實踐提示結構。

就像文件查詢放置一樣，圖像放在問題或使用它們的任務指示之前效果最好。圖像放在文字之後或與文字交錯仍然表現良好，但如果您的使用情境允許，我們建議採用圖像在前的結構。

關於提示範例

以下範例展示了如何使用各種程式語言和方法使用 Claude 的視覺能力。您可以通過兩種方式向 Claude 提供圖像：

作為 image 內容區塊中的 base64 編碼圖像
作為指向線上託管圖像的 URL 參考

base64 範例提示使用這些變數：

以下是使用 base64 編碼圖像和 URL 參考在訊息 API 請求中包含圖像的範例：

Base64 編碼圖像範例

基於 URL 的圖像範例

請參閱訊息 API 範例以獲取更多範例程式碼和參數詳細資訊。

最好將圖像放在關於它們的問題或使用它們的任務指示之前。

要求 Claude 描述一張圖像。

角色	內容
使用者	[圖像] 描述這張圖像。

以下是使用 Claude 3.7 Sonnet 模型的相應 API 呼叫。

Python
message = client.messages.create(
    model="claude-3-7-sonnet-20250219",
    max_tokens=1024,
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "image",
                    "source": {
                        "type": "base64",
                        "media_type": image1_media_type,
                        "data": image1_data,
                    },
                },
                {
                    "type": "text",
                    "text": "描述這張圖像。"
                }
            ],
        }
    ],
)

在有多張圖像的情況下，用「圖像 1：」和「圖像 2：」等來介紹每張圖像。圖像之間或圖像與提示之間不需要換行。

要求 Claude 描述多張圖像之間的差異。

角色	內容
使用者	圖像 1：[圖像 1] 圖像 2：[圖像 2] 這些圖像有什麼不同？

以下是使用 Claude 3.7 Sonnet 模型的相應 API 呼叫。

Python
message = client.messages.create(
    model="claude-3-7-sonnet-20250219",
    max_tokens=1024,
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": "圖像 1："
                },
                {
                    "type": "image",
                    "source": {
                        "type": "base64",
                        "media_type": image1_media_type,
                        "data": image1_data,
                    },
                },
            
                {
                    "type": "text",
                    "text": "圖像 2："
                },
                {
                    "type": "image",
                    "source": {
                        "type": "base64",
                        "media_type": image2_media_type,
                        "data": image2_data,
                    },
                },
                {
                    "type": "text",
                    "text": "這些圖像有什麼不同？"
                }
            ],
        }
    ],
)

要求 Claude 描述多張圖像之間的差異，同時給它一個關於如何回應的系統提示。

內容
系統	只用西班牙語回答。
使用者	圖像 1：[圖像 1] 圖像 2：[圖像 2] 這些圖像有什麼不同？

以下是使用 Claude 3.7 Sonnet 模型的相應 API 呼叫。

Python
message = client.messages.create(
    model="claude-3-7-sonnet-20250219",
    max_tokens=1024,
    system="只用西班牙語回答。",
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": "圖像 1："
                },
                {
                    "type": "image",
                    "source": {
                        "type": "base64",
                        "media_type": image1_media_type,
                        "data": image1_data,
                    },
                },
                {
                    "type": "text",
                    "text": "圖像 2："
                },
                {
                    "type": "image",
                    "source": {
                        "type": "base64",
                        "media_type": image2_media_type,
                        "data": image2_data,
                    },
                },
                {
                    "type": "text",
                    "text": "這些圖像有什麼不同？"
                }
            ],
        }
    ],
)

Claude 的視覺能力在混合圖像和文字的多模態對話中表現出色。您可以與 Claude 進行延伸的來回交流，隨時添加新圖像或後續問題。這為迭代圖像分析、比較或將視覺與其他知識結合提供了強大的工作流程。

要求 Claude 對比兩張圖像，然後問一個後續問題，將第一組圖像與兩張新圖像進行比較。

角色	內容
使用者	圖像 1：[圖像 1] 圖像 2：[圖像 2] 這些圖像有什麼不同？
助手	[Claude 的回應]
使用者	圖像 1：[圖像 3] 圖像 2：[圖像 4] 這些圖像與前兩張相似嗎？
助手	[Claude 的回應]

使用 API 時，只需將新圖像插入到標準多回合對話結構中「user」角色的訊息陣列中即可。

限制

雖然 Claude 的圖像理解能力處於前沿水平，但仍有一些需要注意的限制：

人物識別：Claude 不能用於識別（即命名）圖像中的人物，並且會拒絕這樣做。
準確性：Claude 在解釋低品質、旋轉或小於 200 像素的非常小的圖像時可能會產生幻覺或出錯。
空間推理：Claude 的空間推理能力有限。它可能難以處理需要精確定位或佈局的任務，如讀取類比時鐘面或描述棋子的確切位置。
計數：Claude 可以給出圖像中物體的大致數量，但可能不總是精確，尤其是在有大量小物體時。
AI 生成的圖像：Claude 不知道圖像是否是 AI 生成的，如果被問到可能會回答錯誤。不要依賴它來檢測假圖或合成圖像。
不當內容：Claude 不會處理違反我們可接受使用政策的不當或露骨圖像。
醫療應用：雖然 Claude 可以分析一般醫療圖像，但它不是為解釋複雜的診斷掃描（如 CT 或 MRI）而設計的。Claude 的輸出不應被視為專業醫療建議或診斷的替代品。

在高風險使用情境下，請始終仔細審查和驗證 Claude 的圖像解釋。在沒有人工監督的情況下，不要將 Claude 用於需要完美精確度或敏感圖像分析的任務。

常見問題

是的，Claude 現在可以通過 API 中的 URL 圖像來源區塊處理圖像。只需在 API 請求中使用「url」來源類型而不是「base64」即可。範例：

{
  "type": "image",
  "source": {
    "type": "url",
    "url": "https://upload.wikimedia.org/wikipedia/commons/a/a7/Camponotus_flavomarginatus_ant.jpg"
  }
}

深入了解視覺能力

準備好開始使用 Claude 構建圖像應用了嗎？以下是一些有用的資源：

多模態食譜：這個食譜包含圖像入門的提示和確保圖像最高品質效能的最佳實踐技巧。了解如何有效地用圖像提示 Claude 來執行諸如解釋和分析圖表或從表格中提取內容等任務。
API 參考：訪問我們的訊息 API 文檔，包括涉及圖像的 API 呼叫範例。

如果您有任何其他問題，請隨時聯繫我們的支援團隊。您也可以加入我們的開發者社群，與其他創作者聯繫並獲得 Anthropic 專家的幫助。

開始使用

認識 Claude

使用 Claude 開發

代理與工具

管理

測試與評估

資源

法務中心

如何使用視覺能力

上傳前須知

基本知識和限制

評估圖像大小

計算圖像成本

確保圖像品質

提示範例

關於提示範例

Base64 編碼圖像範例

基於 URL 的圖像範例

限制

常見問題

深入了解視覺能力

開始使用

認識 Claude

使用 Claude 開發

代理與工具

管理

測試與評估

資源

法務中心

​如何使用視覺能力

​上傳前須知

​基本知識和限制

​評估圖像大小

​計算圖像成本

​確保圖像品質

​提示範例

​關於提示範例

​Base64 編碼圖像範例

​基於 URL 的圖像範例

​限制

​常見問題

​深入了解視覺能力

如何使用視覺能力

上傳前須知

基本知識和限制

評估圖像大小

計算圖像成本

確保圖像品質

提示範例

關於提示範例

Base64 編碼圖像範例

基於 URL 的圖像範例

限制

常見問題

深入了解視覺能力