Uso de computadora (beta)

curl https://api.anthropic.com/v1/messages \
  -H "content-type: application/json" \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "anthropic-beta: computer-use-2025-01-24" \
  -d '{
    "model": "claude-opus-4-20250514",
    "max_tokens": 1024,
    "tools": [
      {
        "type": "computer_20250124",
        "name": "computer",
        "display_width_px": 1024,
        "display_height_px": 768,
        "display_number": 1
      },
      {
        "type": "text_editor_20250429",
        "name": "str_replace_based_edit_tool"
      },
      {
        "type": "bash_20250124",
        "name": "bash"
      }
    ],
    "messages": [
      {
        "role": "user",
        "content": "Save a picture of a cat to my desktop."
      }
    ],
    "thinking": {
      "type": "enabled",
      "budget_tokens": 1024
    }
  }'

​

Cómo funciona el uso de computadora

​

El entorno de computación

1. Pantalla virtual: Un servidor de pantalla X11 virtual (usando Xvfb) que renderiza la interfaz de escritorio que Claude verá a través de capturas de pantalla y controlará con acciones de ratón/teclado.
2. Entorno de escritorio: Una interfaz de usuario ligera con gestor de ventanas (Mutter) y panel (Tint2) ejecutándose en Linux, que proporciona una interfaz gráfica consistente para que Claude interactúe.
3. Aplicaciones: Aplicaciones Linux preinstaladas como Firefox, LibreOffice, editores de texto y gestores de archivos que Claude puede usar para completar tareas.
4. Implementaciones de herramientas: Código de integración que traduce las solicitudes de herramientas abstractas de Claude (como “mover ratón” o “tomar captura de pantalla”) en operaciones reales en el entorno virtual.
5. Bucle de agente: Un programa que maneja la comunicación entre Claude y el entorno, enviando las acciones de Claude al entorno y devolviendo los resultados (capturas de pantalla, salidas de comandos) a Claude.

1. Recibe las solicitudes de uso de herramientas de Claude
2. Las traduce en acciones en tu entorno de computación
3. Captura los resultados (capturas de pantalla, salidas de comandos, etc.)
4. Devuelve estos resultados a Claude

​

Cómo implementar el uso de computadora

​

Comienza con nuestra implementación de referencia

• Un entorno en contenedor adecuado para el uso de computadora con Claude
• Implementaciones de las herramientas de uso de computadora
• Un bucle de agente que interactúa con la API de Anthropic y ejecuta las herramientas de uso de computadora
• Una interfaz web para interactuar con el contenedor, el bucle de agente y las herramientas.

​

Entendiendo el bucle multi-agente

async def sampling_loop(
    *,
    model: str,
    messages: list[dict],
    api_key: str,
    max_tokens: int = 4096,
    tool_version: str,
    thinking_budget: int | None = None,
    max_iterations: int = 10,  # Añadir límite de iteraciones para prevenir bucles infinitos
):
    """
    Un bucle de agente simple para interacciones de uso de computadora de Claude.

    Esta función maneja el ida y vuelta entre:
    1. Enviar mensajes de usuario a Claude
    2. Claude solicitando usar herramientas
    3. Tu aplicación ejecutando esas herramientas
    4. Enviando resultados de herramientas de vuelta a Claude
    """
    # Configurar herramientas y parámetros de API
    client = Anthropic(api_key=api_key)
    beta_flag = "computer-use-2025-01-24" if "20250124" in tool_version else "computer-use-2024-10-22"

    # Configurar herramientas - deberías tenerlas ya inicializadas en otro lugar
    tools = [
        {"type": f"computer_{tool_version}", "name": "computer", "display_width_px": 1024, "display_height_px": 768},
        {"type": f"text_editor_{tool_version}", "name": "str_replace_editor"},
        {"type": f"bash_{tool_version}", "name": "bash"}
    ]

    # Bucle principal del agente (con límite de iteraciones para prevenir costos de API descontrolados)
    iterations = 0
    while True and iterations < max_iterations:
        iterations += 1
        # Configurar parámetro de pensamiento opcional (para Claude Sonnet 3.7)
        thinking = None
        if thinking_budget:
            thinking = {"type": "enabled", "budget_tokens": thinking_budget}

        # Llamar a la API de Claude
        response = client.beta.messages.create(
            model=model,
            max_tokens=max_tokens,
            messages=messages,
            tools=tools,
            betas=[beta_flag],
            thinking=thinking
        )

        # Añadir la respuesta de Claude al historial de conversación
        response_content = response.content
        messages.append({"role":  "assistant", "content": response_content})

        # Comprobar si Claude usó alguna herramienta
        tool_results = []
        for block in response_content:
            if block.type == "tool_use":
                # En una aplicación real, ejecutarías la herramienta aquí
                # Por ejemplo: result = run_tool(block.name, block.input)
                result = {"result": "Tool executed successfully"}

                # Formatear el resultado para Claude
                tool_results.append({
                    "type": "tool_result",
                    "tool_use_id": block.id,
                    "content": result
                })

        # Si no se usaron herramientas, Claude ha terminado - devolver los mensajes finales
        if not tool_results:
            return messages

        # Añadir resultados de herramientas a los mensajes para la siguiente iteración con Claude
        messages.append({"role": "user", "content": tool_results})

​

Optimiza el rendimiento del modelo con instrucciones

1. Especifica tareas simples y bien definidas y proporciona instrucciones explícitas para cada paso.
2. Claude a veces asume los resultados de sus acciones sin verificarlos explícitamente. Para evitar esto, puedes instruir a Claude con Después de cada paso, toma una captura de pantalla y evalúa cuidadosamente si has logrado el resultado correcto. Muestra explícitamente tu razonamiento: "He evaluado el paso X..." Si no es correcto, inténtalo de nuevo. Solo cuando confirmes que un paso se ejecutó correctamente deberías pasar al siguiente.
3. Algunos elementos de la interfaz de usuario (como menús desplegables y barras de desplazamiento) pueden ser difíciles de manipular para Claude usando movimientos del ratón. Si experimentas esto, intenta instruir al modelo para que use atajos de teclado.
4. Para tareas repetibles o interacciones de interfaz de usuario, incluye capturas de pantalla de ejemplo y llamadas a herramientas de resultados exitosos en tu instrucción.
5. Si necesitas que el modelo inicie sesión, proporciónale el nombre de usuario y la contraseña en tu instrucción dentro de etiquetas xml como <robot_credentials>. Usar el uso de computadora dentro de aplicaciones que requieren inicio de sesión aumenta el riesgo de resultados negativos como consecuencia de la inyección de instrucciones. Por favor, revisa nuestra guía sobre mitigación de inyecciones de instrucciones antes de proporcionar al modelo credenciales de inicio de sesión.

​

Mensajes del sistema

Tienes acceso a un conjunto de funciones que puedes usar para responder a la pregunta del usuario. Esto incluye acceso a un entorno de computación aislado. Actualmente NO tienes la capacidad de inspeccionar archivos o interactuar con recursos externos, excepto invocando las funciones a continuación.

​

Comprende las herramientas definidas por Anthropic

​

Habilita la capacidad de pensamiento en Claude 4 y Claude Sonnet 3.7

"thinking": {
  "type": "enabled",
  "budget_tokens": 1024
}

1. Entender el proceso de toma de decisiones del modelo
2. Identificar posibles problemas o conceptos erróneos
3. Aprender del enfoque de Claude para resolver problemas
4. Obtener más visibilidad en operaciones complejas de múltiples pasos

[Thinking]
Necesito guardar una imagen de un gato en el escritorio. Vamos a desglosar esto en pasos:

1. Primero, tomaré una captura de pantalla para ver qué hay en el escritorio
2. Luego buscaré un navegador web para buscar imágenes de gatos
3. Después de encontrar una imagen adecuada, necesitaré guardarla en el escritorio

Empecemos tomando una captura de pantalla para ver qué está disponible...

​

Combina el uso de computadora con otras herramientas

curl https://api.anthropic.com/v1/messages \
  -H "content-type: application/json" \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "anthropic-beta: computer-use-2025-01-24" \
  -d '{
    "model": "claude-opus-4-20250514",
    "max_tokens": 1024,
    "tools": [
      {
        "type": "computer_20250124",
        "name": "computer",
        "display_width_px": 1024,
        "display_height_px": 768,
        "display_number": 1
      },
      {
        "type": "text_editor_20250124",
        "name": "str_replace_editor"
      },
      {
        "type": "bash_20250124",
        "name": "bash"
      },
      {
        "name": "get_weather",
        "description": "Get the current weather in a given location",
        "input_schema": {
          "type": "object",
          "properties": {
            "location": {
              "type": "string",
              "description": "The city and state, e.g. San Francisco, CA"
            },
            "unit": {
              "type": "string",
              "enum": ["celsius", "fahrenheit"],
              "description": "The unit of temperature, either 'celsius' or 'fahrenheit'"
            }
          },
          "required": ["location"]
        }
      }
    ],
    "messages": [
      {
        "role": "user",
        "content": "Find flights from San Francisco to a place with warmer weather."
      }
    ],
    "thinking": {
      "type": "enabled",
      "budget_tokens": 1024
    }
  }'

​

Construye un entorno personalizado de uso de computadora

• Un entorno virtualizado o en contenedor adecuado para el uso de computadora con Claude
• Una implementación de al menos una de las herramientas de uso de computadora definidas por Anthropic
• Un bucle de agente que interactúe con la API de Anthropic y ejecute los resultados de tool_use usando tus implementaciones de herramientas
• Una API o interfaz de usuario que permita la entrada del usuario para iniciar el bucle de agente

​

Comprende las limitaciones del uso de computadora

1. Latencia: la latencia actual del uso de computadora para interacciones humano-IA puede ser demasiado lenta en comparación con las acciones de computadora dirigidas por humanos regulares. Recomendamos centrarse en casos de uso donde la velocidad no sea crítica (por ejemplo, recopilación de información en segundo plano, pruebas automatizadas de software) en entornos de confianza.
2. Precisión y fiabilidad de la visión por computadora: Claude puede cometer errores o alucinar al generar coordenadas específicas mientras genera acciones. Claude Sonnet 3.7 introduce la capacidad de pensamiento que puede ayudarte a entender el razonamiento del modelo e identificar posibles problemas.
3. Precisión y fiabilidad en la selección de herramientas: Claude puede cometer errores o alucinar al seleccionar herramientas mientras genera acciones o tomar acciones inesperadas para resolver problemas. Además, la fiabilidad puede ser menor al interactuar con aplicaciones especializadas o múltiples aplicaciones a la vez. Recomendamos que los usuarios instruyan al modelo cuidadosamente cuando soliciten tareas complejas.
4. Fiabilidad del desplazamiento: Aunque Claude Sonnet 3.5 (nuevo) tenía limitaciones con el desplazamiento, Claude Sonnet 3.7 introduce acciones de desplazamiento dedicadas con control de dirección que mejora la fiabilidad. El modelo ahora puede desplazarse explícitamente en cualquier dirección (arriba/abajo/izquierda/derecha) por una cantidad específica.
5. Interacción con hojas de cálculo: Los clics del ratón para la interacción con hojas de cálculo han mejorado en Claude Sonnet 3.7 con la adición de acciones de control del ratón más precisas como left_mouse_down, left_mouse_up, y nuevo soporte para teclas modificadoras. La selección de celdas puede ser más fiable usando estos controles detallados y combinando teclas modificadoras con clics.
6. Creación de cuentas y generación de contenido en plataformas sociales y de comunicación: Aunque Claude visitará sitios web, estamos limitando su capacidad para crear cuentas o generar y compartir contenido o de otra manera participar en la suplantación humana en sitios web y plataformas de redes sociales. Podemos actualizar esta capacidad en el futuro.
7. Vulnerabilidades: Vulnerabilidades como jailbreaking o inyección de instrucciones pueden persistir en sistemas de IA de frontera, incluida la API beta de uso de computadora. En algunas circunstancias, Claude seguirá comandos encontrados en el contenido, a veces incluso en conflicto con las instrucciones del usuario. Por ejemplo, instrucciones para Claude en páginas web o contenidas en imágenes pueden anular instrucciones o hacer que Claude cometa errores. Recomendamos: a. Limitar el uso de computadora a entornos de confianza como máquinas virtuales o contenedores con privilegios mínimos b. Evitar dar acceso de uso de computadora a cuentas o datos sensibles sin supervisión estricta c. Informar a los usuarios finales de los riesgos relevantes y obtener su consentimiento antes de habilitar o solicitar permisos necesarios para las funciones de uso de computadora en tus aplicaciones
8. Acciones inapropiadas o ilegales: Según los términos de servicio de Anthropic, no debes emplear el uso de computadora para violar ninguna ley o nuestra Política de Uso Aceptable.

​

Precios