ビジョン

このガイドでは、Claudeでの画像の扱い方、ベストプラクティス、コード例、および注意すべき制限事項について説明します。

ビジョン機能の使用方法

Claudeのビジョン機能は以下の方法で利用できます：

claude.ai。ファイルのようにして画像をアップロードするか、チャットウィンドウに画像を直接ドラッグ＆ドロップします。
Console Workbench。画像を受け付けるモデル（Claude 3モデルのみ）を選択すると、すべてのユーザーメッセージブロックの右上に画像を追加するボタンが表示されます。
APIリクエスト。このガイドの例を参照してください。

アップロードの前に

基本事項と制限

1回のリクエストで複数の画像を含めることができます（claude.aiでは最大20枚、APIリクエストでは最大100枚）。Claudeは応答を作成する際に、提供されたすべての画像を分析します。これは画像の比較や対照に役立ちます。

8000x8000 pxより大きい画像を送信すると拒否されます。1つのAPIリクエストで20枚以上の画像を送信する場合、この制限は2000x2000 pxとなります。

画像サイズの評価

最適なパフォーマンスを得るために、画像が大きすぎる場合はアップロード前にリサイズすることをお勧めします。画像の長辺が1568ピクセルを超える場合、または画像が約1,600トークンを超える場合、アスペクト比を維持したままサイズ制限内に収まるようにまず縮小されます。

入力画像が大きすぎてリサイズが必要な場合、モデルのパフォーマンスが向上することなく、time-to-first-tokenの遅延が増加します。いずれかの辺が200ピクセル未満の非常に小さい画像は、パフォーマンスが低下する可能性があります。

time-to-first-tokenを改善するために、画像を1.15メガピクセル以下（かつ両方の寸法で1568ピクセル以内）にリサイズすることをお勧めします。

以下は、一般的なアスペクト比において、APIで受け入れられる最大画像サイズでリサイズされない画像のサイズ表です。Claude 3.5 Sonnetモデルでは、これらの画像は約1,600トークンを使用し、1,000枚あたり約$4.80のコストがかかります。

アスペクト比	画像サイズ
1:1	1092x1092 px
3:4	951x1268 px
2:3	896x1344 px
9:16	819x1456 px
1:2	784x1568 px

画像コストの計算

Claudeへのリクエストに含める各画像は、トークン使用量にカウントされます。おおよそのコストを計算するには、画像のおおよそのトークン数に使用するモデルのトークンあたりの価格を掛けます。

画像のリサイズが不要な場合、以下のアルゴリズムでトークン数を見積もることができます：トークン数 = (幅px * 高さpx)/750

以下は、APIのサイズ制限内の異なる画像サイズにおける、Claude 3.5 Sonnetの入力トークンあたり300万分の3ドルの価格に基づく、おおよそのトークン化とコストの例です：

画像サイズ	トークン数	画像あたりのコスト	1,000枚あたりのコスト
200x200 px(0.04メガピクセル)	~54	~$0.00016	~$0.16
1000x1000 px(1メガピクセル)	~1334	~$0.004	~$4.00
1092x1092 px(1.19メガピクセル)	~1590	~$0.0048	~$4.80

画像品質の確保

Claudeに画像を提供する際は、最良の結果を得るために以下の点に注意してください：

画像フォーマット：サポートされている画像フォーマット（JPEG、PNG、GIF、WebP）を使用してください。
画像の鮮明さ：画像がぼやけていたりピクセル化していたりしないよう、鮮明であることを確認してください。
テキスト：画像に重要なテキストが含まれている場合は、読みやすく、小さすぎないことを確認してください。テキストを拡大するために重要な視覚的コンテキストを切り取ることは避けてください。

プロンプトの例

Claudeとのテキストベースの対話で効果的なプロンプト技術の多くは、画像ベースのプロンプトにも適用できます。

これらの例は、画像を含むプロンプトの最適な構造を示しています。

文書クエリの配置と同様に、Claudeは画像がテキストの前にある場合に最も効果的に機能します。テキストの後や途中に配置された画像でも良好に機能しますが、ユースケースで可能な場合は、画像→テキストの構造をお勧めします。

プロンプト例について

これらのプロンプト例では、Anthropic Python SDKを使用し、httpxライブラリを使用してWikipediaから画像を取得しています。任意の画像ソースを使用できます。

例のプロンプトでは、以下の変数を使用しています。

Python
import base64
import httpx

image1_url = "https://upload.wikimedia.org/wikipedia/commons/a/a7/Camponotus_flavomarginatus_ant.jpg"
image1_media_type = "image/jpeg"
image1_data = base64.standard_b64encode(httpx.get(image1_url).content).decode("utf-8")

image2_url = "https://upload.wikimedia.org/wikipedia/commons/b/b5/Iridescent.green.sweat.bee1.jpg"
image2_media_type = "image/jpeg"
image2_data = base64.standard_b64encode(httpx.get(image2_url).content).decode("utf-8")

APIリクエストで画像を使用する場合、imageコンテンツブロックでbase64エンコードされた画像としてClaudeに提供できます。以下はPythonでの簡単な例で、Messages APIリクエストにbase64エンコードされた画像を含める方法を示しています：

Python
import anthropic

client = anthropic.Anthropic()
message = client.messages.create(
    model="claude-3-5-sonnet-20241022",
    max_tokens=1024,
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "image",
                    "source": {
                        "type": "base64",
                        "media_type": image1_media_type,
                        "data": image1_data,
                    },
                },
                {
                    "type": "text",
                    "text": "この画像を説明してください。"
                }
            ],
        }
    ],
)
print(message)

より多くのコード例とパラメータの詳細については、Messages APIの例を参照してください。

画像は、それについての質問や画像を使用するタスクの指示よりも前に配置するのが最適です。

Claudeに1枚の画像の説明を依頼します。

役割	内容
ユーザー	[画像] この画像を説明してください。

以下は、Claude 3.5 Sonnetモデルを使用した対応するAPIコールです。

Python
message = client.messages.create(
    model="claude-3-5-sonnet-20241022",
    max_tokens=1024,
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "image",
                    "source": {
                        "type": "base64",
                        "media_type": image1_media_type,
                        "data": image1_data,
                    },
                },
                {
                    "type": "text",
                    "text": "この画像を説明してください。"
                }
            ],
        }
    ],
)

複数の画像がある場合は、各画像を「画像1：」「画像2：」のように導入します。画像間や画像とプロンプトの間に改行は必要ありません。

Claudeに複数の画像の違いを説明するよう依頼します。

役割	内容
ユーザー	画像1：[画像1] 画像2：[画像2] これらの画像はどのように異なりますか？

以下は、Claude 3.5 Sonnetモデルを使用した対応するAPIコールです。

Python
message = client.messages.create(
    model="claude-3-5-sonnet-20241022",
    max_tokens=1024,
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": "画像1："
                },
                {
                    "type": "image",
                    "source": {
                        "type": "base64",
                        "media_type": image1_media_type,
                        "data": image1_data,
                    },
                },
                {
                    "type": "text",
                    "text": "画像2："
                },
                {
                    "type": "image",
                    "source": {
                        "type": "base64",
                        "media_type": image2_media_type,
                        "data": image2_data,
                    },
                },
                {
                    "type": "text",
                    "text": "これらの画像はどのように異なりますか？"
                }
            ],
        }
    ],
)

Claudeに複数の画像の違いを説明するよう依頼し、応答方法についてシステムプロンプトを与えます。

内容
システム	スペイン語でのみ応答してください。
ユーザー	画像1：[画像1] 画像2：[画像2] これらの画像はどのように異なりますか？

以下は、Claude 3.5 Sonnetモデルを使用した対応するAPIコールです。

Python
message = client.messages.create(
    model="claude-3-5-sonnet-20241022",
    max_tokens=1024,
    system="スペイン語でのみ応答してください。",
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": "画像1："
                },
                {
                    "type": "image",
                    "source": {
                        "type": "base64",
                        "media_type": image1_media_type,
                        "data": image1_data,
                    },
                },
                {
                    "type": "text",
                    "text": "画像2："
                },
                {
                    "type": "image",
                    "source": {
                        "type": "base64",
                        "media_type": image2_media_type,
                        "data": image2_data,
                    },
                },
                {
                    "type": "text",
                    "text": "これらの画像はどのように異なりますか？"
                }
            ],
        }
    ],
)

Claudeのビジョン機能は、画像とテキストを組み合わせたマルチモーダルな会話で真価を発揮します。Claudeと継続的なやり取りを行い、新しい画像やフォローアップの質問をいつでも追加できます。これにより、反復的な画像分析、比較、または視覚情報と他の知識を組み合わせるための強力なワークフローが可能になります。

Claudeに2枚の画像を比較させ、その後、最初の画像と新しい2枚の画像を比較するフォローアップ質問をします。

役割	内容
ユーザー	画像1：[画像1] 画像2：[画像2] これらの画像はどのように異なりますか？
アシスタント	[Claudeの応答]
ユーザー	画像1：[画像3] 画像2：[画像4] これらの画像は最初の2枚と似ていますか？
アシスタント	[Claudeの応答]

APIを使用する場合、標準的な複数ターンの会話構造の一部として、新しい画像をuserロールのメッセージ配列に挿入するだけです。

制限事項

Claudeの画像理解能力は最先端ですが、以下のような制限事項があることに注意してください：

人物の特定：Claudeは使用できません画像内の人物を特定（つまり、名前を挙げる）することはできず、そのような要求は拒否します。
精度：低品質、回転した、または200ピクセル未満の非常に小さい画像を解釈する際に、Claudeは誤った解釈をしたり、誤りを生じたりする可能性があります。
空間的推論：Claudeの空間的推論能力には限界があります。アナログ時計の文字盤を読むことやチェスの駒の正確な位置を説明するなど、正確な位置関係や配置を必要とするタスクは苦手とする場合があります。
カウント：Claudeは画像内のオブジェクトのおおよその数を数えることはできますが、特に小さなオブジェクトが多数ある場合は、必ずしも正確ではない場合があります。
AI生成画像：Claudeは画像がAIによって生成されたものかどうかを判断できず、質問された場合は誤った回答をする可能性があります。偽造や合成画像の検出にClaudeを利用しないでください。
不適切なコンテンツ：Claudeは利用規約に違反する不適切または露骨な画像を処理しません。
医療応用：Claudeは一般的な医療画像を分析できますが、CTやMRIなどの複雑な診断スキャンを解釈するようには設計されていません。Claudeの出力は、専門的な医療アドバイスや診断の代替とはなりません。

特に重要な用途の場合は、Claudeの画像解釈を常に慎重に確認し、検証してください。人間の監督なしに、完璧な精度や機密性の高い画像分析を必要とするタスクにClaudeを使用しないでください。

よくある質問

ビジョンについてさらに深く学ぶ

Claudeを使用して画像での構築を始める準備はできましたか？以下は役立つリソースです：

マルチモーダルクックブック：このクックブックには、画像の使用開始とベストプラクティス技術に関するヒントが含まれています。チャートの解釈と分析やフォームからのコンテンツ抽出などのタスクを実行するために、Claudeに効果的にプロンプトを与える方法をご覧ください。
APIリファレンス：画像を含むAPIコールの例を含む、Messages APIのドキュメントをご覧ください。

その他の質問がありましたら、サポートチームまでお気軽にお問い合わせください。また、開発者コミュニティに参加して、他のクリエイターとつながり、Anthropicの専門家からサポートを受けることもできます。

はじめましょう

Claudeについて学ぶ

Claudeで構築する

管理

リソース

テストと評価

法務センター

ビジョン機能の使用方法

アップロードの前に

基本事項と制限

画像サイズの評価

画像コストの計算

画像品質の確保

プロンプトの例

プロンプト例について

制限事項

よくある質問

ビジョンについてさらに深く学ぶ

はじめましょう

Claudeについて学ぶ

Claudeで構築する

管理

リソース

テストと評価

法務センター

​ビジョン機能の使用方法

​アップロードの前に

​基本事項と制限

​画像サイズの評価

​画像コストの計算

​画像品質の確保

​プロンプトの例

​プロンプト例について

​制限事項

​よくある質問

​ビジョンについてさらに深く学ぶ

ビジョン機能の使用方法

アップロードの前に

基本事項と制限

画像サイズの評価

画像コストの計算

画像品質の確保

プロンプトの例

プロンプト例について

制限事項

よくある質問

ビジョンについてさらに深く学ぶ