Vision

Ce guide décrit comment travailler avec les images dans Claude, y compris les meilleures pratiques, des exemples de code et les limitations à garder à l’esprit.

​

Comment utiliser la vision

Utilisez les capacités de vision de Claude via :

• claude.ai. Téléchargez une image comme vous le feriez pour un fichier, ou glissez-déposez une image directement dans la fenêtre de chat.
• Le Console Workbench. Si vous sélectionnez un modèle qui accepte les images (modèles Claude 3 uniquement), un bouton pour ajouter des images apparaît en haut à droite de chaque bloc de message Utilisateur.
• Requête API. Voir les exemples dans ce guide.

​

Avant de télécharger

​

Évaluer la taille de l’image

Vous pouvez inclure plusieurs images dans une seule requête (jusqu’à 5 pour claude.ai et 100 pour les requêtes API). Claude analysera toutes les images fournies lors de la formulation de sa réponse. Cela peut être utile pour comparer ou contraster des images.

Pour des performances optimales, nous recommandons de redimensionner les images avant le téléchargement si elles dépassent les limites de taille ou de tokens. Si le côté le plus long de votre image dépasse 1568 pixels, ou si votre image dépasse environ 1 600 tokens, elle sera d’abord redimensionnée, en préservant le rapport d’aspect, jusqu’à ce qu’elle soit dans les limites de taille.

Si votre image d’entrée est trop grande et doit être redimensionnée, cela augmentera la latence du time-to-first-token, sans vous donner de performances supplémentaires du modèle. Les très petites images de moins de 200 pixels sur un côté donné peuvent dégrader les performances.

Voici un tableau des tailles maximales d’images acceptées par notre API qui ne seront pas redimensionnées pour les rapports d’aspect courants. Avec le modèle Claude 3.5 Sonnet, ces images utilisent environ 1 600 tokens et environ 4,80 $/1K images.

​

Calculer les coûts des images

Chaque image que vous incluez dans une requête à Claude compte dans votre utilisation de tokens. Pour calculer le coût approximatif, multipliez le nombre approximatif de tokens d’image par le prix par token du modèle que vous utilisez.

Si votre image n’a pas besoin d’être redimensionnée, vous pouvez estimer le nombre de tokens utilisés grâce à cet algorithme : tokens = (largeur px * hauteur px)/750

Voici des exemples de tokenisation approximative et de coûts pour différentes tailles d’images dans les contraintes de taille de notre API basés sur le prix par token de Claude 3.5 Sonnet de 3 $ par million de tokens d’entrée :

​

Assurer la qualité de l’image

Lors de la fourniture d’images à Claude, gardez à l’esprit les points suivants pour de meilleurs résultats :

• Format d’image : Utilisez un format d’image pris en charge : JPEG, PNG, GIF ou WebP.
• Clarté de l’image : Assurez-vous que les images sont nettes et pas trop floues ou pixelisées.
• Texte : Si l’image contient du texte important, assurez-vous qu’il est lisible et pas trop petit. Évitez de recadrer le contexte visuel clé juste pour agrandir le texte.

​

Exemples de prompts

Beaucoup des techniques de prompt qui fonctionnent bien pour les interactions textuelles avec Claude peuvent également être appliquées aux prompts basés sur des images.

Ces exemples démontrent les meilleures structures de prompts impliquant des images.

​

À propos des exemples de prompts

Ces exemples de prompts utilisent le SDK Python Anthropic, et récupèrent des images de Wikipedia en utilisant la bibliothèque httpx. Vous pouvez utiliser n’importe quelle source d’image.

Les exemples de prompts utilisent ces variables.

import base64
import httpx

image1_url = "https://upload.wikimedia.org/wikipedia/commons/a/a7/Camponotus_flavomarginatus_ant.jpg"
image1_media_type = "image/jpeg"
image1_data = base64.standard_b64encode(httpx.get(image1_url).content).decode("utf-8")

image2_url = "https://upload.wikimedia.org/wikipedia/commons/b/b5/Iridescent.green.sweat.bee1.jpg"
image2_media_type = "image/jpeg"
image2_data = base64.standard_b64encode(httpx.get(image2_url).content).decode("utf-8")

Pour utiliser des images lors d’une requête API, vous pouvez fournir des images à Claude sous forme d’image encodée en base64 dans des blocs de contenu image. Voici un exemple simple en Python montrant comment inclure une image encodée en base64 dans une requête Messages API :

import anthropic

client = anthropic.Anthropic()
message = client.messages.create(
    model="claude-3-5-sonnet-20241022",
    max_tokens=1024,
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "image",
                    "source": {
                        "type": "base64",
                        "media_type": image1_media_type,
                        "data": image1_data,
                    },
                },
                {
                    "type": "text",
                    "text": "Décrivez cette image."
                }
            ],
        }
    ],
)
print(message)

Voir Exemples d’API Messages pour plus d’exemples de code et de détails sur les paramètres.

message = client.messages.create(
    model="claude-3-5-sonnet-20241022",
    max_tokens=1024,
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "image",
                    "source": {
                        "type": "base64",
                        "media_type": image1_media_type,
                        "data": image1_data,
                    },
                },
                {
                    "type": "text",
                    "text": "Décrivez cette image."
                }
            ],
        }
    ],
)

message = client.messages.create(
    model="claude-3-5-sonnet-20241022",
    max_tokens=1024,
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": "Image 1 :"
                },
                {
                    "type": "image",
                    "source": {
                        "type": "base64",
                        "media_type": image1_media_type,
                        "data": image1_data,
                    },
                },
                {
                    "type": "text",
                    "text": "Image 2 :"
                },
                {
                    "type": "image",
                    "source": {
                        "type": "base64",
                        "media_type": image2_media_type,
                        "data": image2_data,
                    },
                },
                {
                    "type": "text",
                    "text": "En quoi ces images sont-elles différentes ?"
                }
            ],
        }
    ],
)

message = client.messages.create(
    model="claude-3-5-sonnet-20241022",
    max_tokens=1024,
    system="Répondez uniquement en espagnol.",
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": "Image 1 :"
                },
                {
                    "type": "image",
                    "source": {
                        "type": "base64",
                        "media_type": image1_media_type,
                        "data": image1_data,
                    },
                },
                {
                    "type": "text",
                    "text": "Image 2 :"
                },
                {
                    "type": "image",
                    "source": {
                        "type": "base64",
                        "media_type": image2_media_type,
                        "data": image2_data,
                    },
                },
                {
                    "type": "text",
                    "text": "En quoi ces images sont-elles différentes ?"
                }
            ],
        }
    ],
)

​

Limitations

Bien que les capacités de compréhension d’image de Claude soient à la pointe de la technologie, il y a certaines limitations à garder à l’esprit :

• Identification des personnes : Claude ne peut pas être utilisé pour identifier (c’est-à-dire nommer) des personnes dans les images et refusera de le faire.
• Précision : Claude peut halluciner ou faire des erreurs lors de l’interprétation d’images de faible qualité, pivotées ou très petites de moins de 200 pixels.
• Raisonnement spatial : Les capacités de raisonnement spatial de Claude sont limitées. Il peut avoir du mal avec des tâches nécessitant une localisation précise ou des dispositions, comme la lecture d’un cadran d’horloge analogique ou la description des positions exactes des pièces d’échecs.
• Comptage : Claude peut donner des comptes approximatifs d’objets dans une image mais peut ne pas toujours être précis, en particulier avec un grand nombre de petits objets.
• Images générées par l’IA : Claude ne sait pas si une image est générée par l’IA et peut se tromper si on le lui demande. Ne vous fiez pas à lui pour dé

tecter des images fausses ou synthétiques.

• Contenu inapproprié : Claude ne traitera pas les images inappropriées ou explicites qui violent notre Politique d’utilisation acceptable.
• Applications de santé : Bien que Claude puisse analyser des images médicales générales, il n’est pas conçu pour interpréter des examens diagnostiques complexes comme les CT ou les IRM. Les résultats de Claude ne doivent pas être considérés comme un substitut aux conseils médicaux professionnels ou au diagnostic.

Examinez et vérifiez toujours soigneusement les interprétations d’images de Claude, en particulier pour les cas d’utilisation à enjeux élevés. N’utilisez pas Claude pour des tâches nécessitant une précision parfaite ou une analyse d’image sensible sans supervision humaine.

​

FAQ

​

Plongez plus profondément dans la vision

Prêt à commencer à construire avec des images en utilisant Claude ? Voici quelques ressources utiles :

• Livre de recettes multimodal : Ce livre de recettes contient des conseils sur la prise en main des images et les meilleures techniques pratiques pour assurer les meilleures performances avec les images. Découvrez comment vous pouvez efficacement donner des prompts à Claude avec des images pour effectuer des tâches telles que l’interprétation et l’analyse de graphiques ou l’extraction de contenu à partir de formulaires.
• Référence API : Visitez notre documentation pour l’API Messages, y compris des exemples d’appels API impliquant des images.

Si vous avez d’autres questions, n’hésitez pas à contacter notre équipe de support. Vous pouvez également rejoindre notre communauté de développeurs pour vous connecter avec d’autres créateurs et obtenir de l’aide d’experts Anthropic.