Visión

Esta guía describe cómo trabajar con imágenes en Claude, incluyendo mejores prácticas, ejemplos de código y limitaciones a tener en cuenta.

​

Cómo usar la visión

Utiliza las capacidades de visión de Claude a través de:

• claude.ai. Sube una imagen como lo harías con un archivo, o arrastra y suelta una imagen directamente en la ventana de chat.
• El Console Workbench. Si seleccionas un modelo que acepta imágenes (solo modelos Claude 3), aparece un botón para agregar imágenes en la parte superior derecha de cada bloque de mensaje de Usuario.
• Solicitud API. Consulta los ejemplos en esta guía.

​

Antes de subir

​

Evaluar el tamaño de la imagen

Puedes incluir múltiples imágenes en una sola solicitud (hasta 5 para claude.ai y 100 para solicitudes API). Claude analizará todas las imágenes proporcionadas al formular su respuesta. Esto puede ser útil para comparar o contrastar imágenes.

Para un rendimiento óptimo, recomendamos redimensionar las imágenes antes de subirlas si exceden los límites de tamaño o tokens. Si el borde largo de tu imagen es más de 1568 píxeles, o tu imagen es más de ~1,600 tokens, primero se reducirá la escala, preservando la relación de aspecto, hasta que esté dentro de los límites de tamaño.

Si tu imagen de entrada es demasiado grande y necesita ser redimensionada, aumentará la latencia del tiempo hasta el primer token, sin darte ningún rendimiento adicional del modelo. Las imágenes muy pequeñas por debajo de 200 píxeles en cualquier borde pueden degradar el rendimiento.

Aquí hay una tabla de tamaños máximos de imagen aceptados por nuestra API que no serán redimensionados para relaciones de aspecto comunes. Con el modelo Claude 3.5 Sonnet, estas imágenes utilizan aproximadamente 1,600 tokens y alrededor de $4.80/1K imágenes.

​

Calcular costos de imagen

Cada imagen que incluyas en una solicitud a Claude cuenta para tu uso de tokens. Para calcular el costo aproximado, multiplica el número aproximado de tokens de imagen por el precio por token del modelo que estés usando.

Si tu imagen no necesita ser redimensionada, puedes estimar el número de tokens utilizados a través de este algoritmo: tokens = (ancho px * alto px)/750

Aquí hay ejemplos de tokenización aproximada y costos para diferentes tamaños de imagen dentro de las restricciones de tamaño de nuestra API basados en el precio por token de Claude 3.5 Sonnet de $3 por millón de tokens de entrada:

​

Asegurar la calidad de la imagen

Al proporcionar imágenes a Claude, ten en cuenta lo siguiente para obtener mejores resultados:

• Formato de imagen: Usa un formato de imagen soportado: JPEG, PNG, GIF o WebP.
• Claridad de imagen: Asegúrate de que las imágenes sean claras y no estén demasiado borrosas o pixeladas.
• Texto: Si la imagen contiene texto importante, asegúrate de que sea legible y no demasiado pequeño. Evita recortar el contexto visual clave solo para agrandar el texto.

​

Ejemplos de prompts

Muchas de las técnicas de prompting que funcionan bien para interacciones basadas en texto con Claude también se pueden aplicar a prompts basados en imágenes.

Estos ejemplos demuestran estructuras de prompt de mejores prácticas que involucran imágenes.

​

Acerca de los ejemplos de prompts

Estos ejemplos de prompts utilizan el SDK de Python de Anthropic, y obtienen imágenes de Wikipedia usando la biblioteca httpx. Puedes usar cualquier fuente de imagen.

Los ejemplos de prompts usan estas variables.

import base64
import httpx

image1_url = "https://upload.wikimedia.org/wikipedia/commons/a/a7/Camponotus_flavomarginatus_ant.jpg"
image1_media_type = "image/jpeg"
image1_data = base64.standard_b64encode(httpx.get(image1_url).content).decode("utf-8")

image2_url = "https://upload.wikimedia.org/wikipedia/commons/b/b5/Iridescent.green.sweat.bee1.jpg"
image2_media_type = "image/jpeg"
image2_data = base64.standard_b64encode(httpx.get(image2_url).content).decode("utf-8")

Para utilizar imágenes al hacer una solicitud API, puedes proporcionar imágenes a Claude como una imagen codificada en base64 en bloques de contenido image. Aquí hay un ejemplo simple en Python que muestra cómo incluir una imagen codificada en base64 en una solicitud de Messages API:

import anthropic

client = anthropic.Anthropic()
message = client.messages.create(
    model="claude-3-5-sonnet-20241022",
    max_tokens=1024,
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "image",
                    "source": {
                        "type": "base64",
                        "media_type": image1_media_type,
                        "data": image1_data,
                    },
                },
                {
                    "type": "text",
                    "text": "Describe esta imagen."
                }
            ],
        }
    ],
)
print(message)

Consulta ejemplos de Messages API para más ejemplos de código y detalles de parámetros.

message = client.messages.create(
    model="claude-3-5-sonnet-20241022",
    max_tokens=1024,
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "image",
                    "source": {
                        "type": "base64",
                        "media_type": image1_media_type,
                        "data": image1_data,
                    },
                },
                {
                    "type": "text",
                    "text": "Describe esta imagen."
                }
            ],
        }
    ],
)

message = client.messages.create(
    model="claude-3-5-sonnet-20241022",
    max_tokens=1024,
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": "Imagen 1:"
                },
                {
                    "type": "image",
                    "source": {
                        "type": "base64",
                        "media_type": image1_media_type,
                        "data": image1_data,
                    },
                },
                {
                    "type": "text",
                    "text": "Imagen 2:"
                },
                {
                    "type": "image",
                    "source": {
                        "type": "base64",
                        "media_type": image2_media_type,
                        "data": image2_data,
                    },
                },
                {
                    "type": "text",
                    "text": "¿En qué se diferencian estas imágenes?"
                }
            ],
        }
    ],
)

message = client.messages.create(
    model="claude-3-5-sonnet-20241022",
    max_tokens=1024,
    system="Responde solo en español.",
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": "Imagen 1:"
                },
                {
                    "type": "image",
                    "source": {
                        "type": "base64",
                        "media_type": image1_media_type,
                        "data": image1_data,
                    },
                },
                {
                    "type": "text",
                    "text": "Imagen 2:"
                },
                {
                    "type": "image",
                    "source": {
                        "type": "base64",
                        "media_type": image2_media_type,
                        "data": image2_data,
                    },
                },
                {
                    "type": "text",
                    "text": "¿En qué se diferencian estas imágenes?"
                }
            ],
        }
    ],
)

​

Limitaciones

Si bien las capacidades de comprensión de imágenes de Claude son de vanguardia, hay algunas limitaciones a tener en cuenta:

• Identificación de personas: Claude no puede ser usado para identificar (es decir, nombrar) personas en imágenes y se negará a hacerlo.
• Precisión: Claude puede alucinar o cometer errores al interpretar imágenes de baja calidad, rotadas o muy pequeñas por debajo de 200 píxeles.
• Razonamiento espacial: Las habilidades de razonamiento espacial de Claude son limitadas. Puede tener dificultades con tareas que requieren localización precisa o diseños, como leer la cara de un reloj analógico o describir posiciones exactas de piezas de ajedrez.
• Conteo: Claude puede dar conteos aproximados de objetos en una imagen pero puede no ser siempre precisamente exacto, especialmente con grandes números de objetos pequeños.
• Imágenes generadas por IA: Claude no sabe si una imagen es generada por IA y puede estar equivocado si se le pregunta. No confíes en él para detectar imágenes falsas o sintéticas.
• Contenido inapropiado: Claude no procesará imágenes inapropiadas o explícitas que violen nuestra Política de Uso Aceptable.
• Aplicaciones de salud: Si bien Claude puede analizar imágenes médicas generales, no está diseñado para interpretar escaneos diagnósticos complejos como TC o RMN. Las salidas de Claude no deben considerarse un sustituto del consejo médico profesional o diagnóstico.

Siempre revisa y verifica cuidadosamente las interpretaciones de imágenes de Claude, especialmente para casos de uso de alto riesgo. No uses Claude para tareas que requieran precisión perfecta o análisis de imágenes sensibles sin supervisión humana.

​

Preguntas frecuentes

​

Profundiza más en la visión

¿Listo para empezar a construir con imágenes usando Claude? Aquí hay algunos recursos útiles:

• Libro de recetas multimodal: Este libro de recetas tiene consejos sobre comenzar con imágenes y técnicas de mejores prácticas para asegurar el rendimiento de la más alta calidad con imágenes. Ve cómo puedes indicar efectivamente a Claude con imágenes para llevar a cabo tareas como interpretar y analizar gráficos o extraer contenido de formularios.
• Referencia API: Visita nuestra documentación para la Messages API, incluyendo ejemplos de llamadas API que involucran imágenes.

Si tienes alguna otra pregunta, no dudes en contactar a nuestro equipo de soporte. También puedes unirte a nuestra comunidad de desarrolladores para conectarte con otros creadores y obtener ayuda de expertos de Anthropic.