Computer use

El modelo mejorado Claude 3.5 Sonnet es capaz de interactuar con herramientas que pueden manipular un entorno de escritorio de computadora.

Aquí hay un ejemplo de cómo proporcionar herramientas de uso de computadora a Claude usando la API de Mensajes:

​

Cómo funciona el uso de computadora

Nos referimos a la repetición de los pasos 3 y 4 sin entrada del usuario como el “bucle de agente”, es decir, Claude respondiendo con una solicitud de uso de herramienta y su aplicación respondiendo a Claude con los resultados de evaluar esa solicitud.

​

Cómo implementar el uso de computadora

​

Comience con nuestra implementación de referencia

Hemos construido una implementación de referencia que incluye todo lo que necesita para comenzar rápidamente con el uso de computadora:

• Un entorno containerizado adecuado para el uso de computadora con Claude
• Implementaciones de las herramientas de uso de computadora
• Un bucle de agente que interactúa con la API de Anthropic y ejecuta los resultados de uso de herramientas
• Una interfaz web para interactuar con el contenedor, el bucle de agente y las herramientas.

Recomendamos probar la implementación de referencia antes de leer el resto de esta documentación.

​

Optimice el rendimiento del modelo con indicaciones

Aquí hay algunos consejos sobre cómo obtener los mejores resultados de calidad:

1. Especifique tareas simples y bien definidas y proporcione instrucciones explícitas para cada paso.
2. A veces, Claude asume los resultados de sus acciones sin verificar explícitamente sus resultados. Para evitar esto, puede indicar a Claude con Después de cada paso, tome una captura de pantalla y evalúe cuidadosamente si ha logrado el resultado correcto. Muestre explícitamente su pensamiento: "He evaluado el paso X..." Si no es correcto, inténtelo de nuevo. Solo cuando confirme que se ejecutó correctamente un paso, debe pasar al siguiente.
3. Algunos elementos de la interfaz de usuario (como menús desplegables y barras de desplazamiento) pueden ser difíciles para Claude de manipular con movimientos del mouse. Si experimenta esto, intente indicar al modelo que use atajos de teclado.
4. Para tareas o interacciones de interfaz de usuario repetibles, incluya capturas de pantalla de ejemplo y llamadas de herramientas de resultados exitosos en su indicación.
5. Si necesita que el modelo inicie sesión, proporciónele el nombre de usuario y la contraseña en su indicación dentro de etiquetas xml como <robot_credentials>. El uso de computadora dentro de aplicaciones que requieren inicio de sesión aumenta el riesgo de malos resultados como resultado de la inyección de indicaciones. Revise nuestra guía sobre mitigación de inyecciones de indicaciones antes de proporcionar al modelo credenciales de inicio de sesión.

​

Indicaciones del sistema

Cuando se solicita una de las herramientas definidas por Anthropic a través de la API de Anthropic, se genera una indicación del sistema específica para el uso de computadora. Es similar a la indicación del sistema de uso de herramientas pero comienza con:

Tiene acceso a un conjunto de funciones que puede usar para responder la pregunta del usuario. Esto incluye acceso a un entorno informático aislado. ACTUALMENTE NO tiene la capacidad de inspeccionar archivos o interactuar con recursos externos, excepto invocando las funciones a continuación.

Al igual que con el uso regular de herramientas, se respeta y se utiliza el campo system_prompt proporcionado por el usuario en la construcción de la indicación del sistema combinada.

​

Comprenda las herramientas definidas por Anthropic

Hemos proporcionado un conjunto de herramientas que permiten a Claude usar computadoras de manera efectiva. Al especificar una herramienta definida por Anthropic, los campos description y tool_schema no son necesarios ni permitidos.

Actualmente proporcionamos 3 herramientas definidas por Anthropic:

• { "type": "computer_20241022", "name": "computer" }
• { "type": "text_editor_20241022", "name": "str_replace_editor" }
• { "type": "bash_20241022", "name": "bash" }

El campo type identifica la herramienta y sus parámetros para fines de validación, el campo name es el nombre de la herramienta expuesto al modelo.

Si desea indicar al modelo que use una de estas herramientas, puede referirse explícitamente a la herramienta por el campo name. El campo name debe ser único dentro de la lista de herramientas; no puede definir una herramienta con el mismo nombre que una herramienta definida por Anthropic en la misma llamada de API.

Use un mouse y un teclado para interactuar con una computadora y tomar capturas de pantalla.
* Esta es una interfaz para una GUI de escritorio. No tiene acceso a una terminal ni a un menú de aplicaciones. Debe hacer clic en los iconos del escritorio para iniciar aplicaciones.
* Algunas aplicaciones pueden tardar un tiempo en iniciarse o procesar acciones, por lo que es posible que deba esperar y tomar capturas de pantalla sucesivas para ver los resultados de sus acciones. Por ejemplo, si hace clic en Firefox y no se abre una ventana, intente tomar otra captura de pantalla.
* La resolución de la pantalla es {{ display_width_px }}x{{ display_height_px }}.
* El número de pantalla es {{ display_number }}
* Siempre que tenga la intención de mover el cursor para hacer clic en un elemento como un icono, debe consultar una captura de pantalla para determinar las coordenadas del elemento antes de mover el cursor.
* Si intentó hacer clic en un programa o enlace pero no se cargó, incluso después de esperar, intente ajustar la posición del cursor para que la punta del cursor caiga visualmente sobre el elemento en el que desea hacer clic.
* Asegúrese de hacer clic en cualquier botón, enlace, icono, etc. con la punta del cursor en el centro del elemento. No haga clic en los bordes de los cuadros a menos que se le indique.

{
    "properties": {
        "action": {
            "description": """La acción a realizar. Las acciones disponibles son:
                * `key`: Presione una tecla o combinación de teclas en el teclado.
                  - Esto admite la sintaxis `key` de xdotool.
                  - Ejemplos: "a", "Return", "alt+Tab", "ctrl+s", "Up", "KP_0" (para la tecla 0 del teclado numérico).
                * `type`: Escriba una cadena de texto en el teclado.
                * `cursor_position`: Obtenga la coordenada de píxel (x, y) actual del cursor en la pantalla.
                * `mouse_move`: Mueva el cursor a una coordenada de píxel (x, y) especificada en la pantalla.
                * `left_click`: Haga clic con el botón izquierdo del mouse.
                * `left_click_drag`: Haga clic y arrastre el cursor a una coordenada de píxel (x, y) especificada en la pantalla.
                * `right_click`: Haga clic con el botón derecho del mouse.
                * `middle_click`: Haga clic con el botón central del mouse.
                * `double_click`: Haga doble clic con el botón izquierdo del mouse.
                * `screenshot`: Tome una captura de pantalla de la pantalla.""",
            "enum": [
                "key",
                "type",
                "mouse_move",
                "left_click",
                "left_click_drag",
                "right_click",
                "middle_click",
                "double_click",
                "screenshot",
                "cursor_position",
            ],
            "type": "string",
        },
        "coordinate": {
            "description": "(x, y): Las coordenadas x (píxeles desde el borde izquierdo) e y (píxeles desde el borde superior) a las que mover el mouse. Requerido solo por `action=mouse_move` y `action=left_click_drag`.",
            "type": "array",
        },
        "text": {
            "description": "Requerido solo por `action=type` y `action=key`.",
            "type": "string",
        },
    },
    "required": ["action"],
    "type": "object",
}

Herramienta de edición personalizada para ver, crear y editar archivos
* El estado es persistente a través de las llamadas de comando y las discusiones con el usuario
* Si `path` es un archivo, `view` muestra el resultado de aplicar `cat -n`. Si `path` es un directorio, `view` enumera los archivos y directorios no ocultos hasta 2 niveles de profundidad
* El comando `create` no se puede usar si la `path` especificada ya existe como un archivo
* Si un `command` genera una salida larga, se truncará y se marcará con `<response clipped>`
* El comando `undo_edit` revertirá la última edición realizada en el archivo en `path`

Notas para usar el comando `str_replace`:
* El parámetro `old_str` debe coincidir EXACTAMENTE con una o más líneas consecutivas del archivo original. ¡Tenga cuidado con los espacios en blanco!
* Si el parámetro `old_str` no es único en el archivo, no se realizará el reemplazo. Asegúrese de incluir suficiente contexto en `old_str` para que sea único
* El parámetro `new_str` debe contener las líneas editadas que deben reemplazar a `old_str`

{
    "properties": {
        "command": {
            "description": "Los comandos a ejecutar. Las opciones permitidas son: `view`, `create`, `str_replace`, `insert`, `undo_edit`.",
            "enum": ["view", "create", "str_replace", "insert", "undo_edit"],
            "type": "string",
        },
        "file_text": {
            "description": "Parámetro requerido del comando `create`, con el contenido del archivo a crear.",
            "type": "string",
        },
        "insert_line": {
            "description": "Parámetro requerido del comando `insert`. El `new_str` se insertará DESPUÉS de la línea `insert_line` de `path`.",
            "type": "integer",
        },
        "new_str": {
            "description": "Parámetro opcional del comando `str_replace` que contiene la nueva cadena (si no se proporciona, no se agregará ninguna cadena). Parámetro requerido del comando `insert` que contiene la cadena a insertar.",
            "type": "string",
        },
        "old_str": {
            "description": "Parámetro requerido del comando `str_replace` que contiene la cadena en `path` a reemplazar.",
            "type": "string",
        },
        "path": {
            "description": "Ruta absoluta al archivo o directorio, por ejemplo, `/repo/file.py` o `/repo`.",
            "type": "string",
        },
        "view_range": {
            "description": "Parámetro opcional del comando `view` cuando `path` apunta a un archivo. Si no se proporciona ninguno, se muestra el archivo completo. Si se proporciona, el archivo se mostrará en el rango de números de línea indicado, por ejemplo, [11, 12] mostrará las líneas 11 y 12. Indexación a partir de 1. Establecer `[start_line, -1]` muestra todas las líneas desde `start_line` hasta el final del archivo.",
            "items": {"type": "integer"},
            "type": "array",
        },
    },
    "required": ["command", "path"],
    "type": "object",
}

Ejecute comandos en un shell bash
* Cuando invoque esta herramienta, el contenido del parámetro "command" NO necesita estar escapado de XML.
* Tiene acceso a un espejo de paquetes comunes de linux y python a través de apt y pip.
* El estado es persistente a través de las llamadas de comando y las discusiones con el usuario.
* Para inspeccionar un rango de líneas particular de un archivo, por ejemplo, las líneas 10-25, intente 'sed -n 10,25p /path/to/the/file'.
* Evite los comandos que puedan producir una gran cantidad de salida.
* Ejecute comandos de larga duración en segundo plano, por ejemplo, 'sleep 10 &' o inicie un servidor en segundo plano.

{
    "properties": {
        "command": {
            "description": "El comando bash a ejecutar. Requerido a menos que se reinicie la herramienta.",
            "type": "string",
        },
        "restart": {
            "description": "Especificar true reiniciará esta herramienta. De lo contrario, déjelo sin especificar.",
            "type": "boolean",
        },
    }
}

​

Combine el uso de computadora con otras herramientas

Puede combinar el uso regular de herramientas con las herramientas definidas por Anthropic para el uso de computadora.

​

Construya un entorno de uso de computadora personalizado

La implementación de referencia está destinada a ayudarlo a comenzar con el uso de computadora. Incluye todos los componentes necesarios para que Claude use una computadora. Sin embargo, puede construir su propio entorno para el uso de computadora para adaptarse a sus necesidades. Necesitará:

• Un entorno virtualizado o containerizado adecuado para el uso de computadora con Claude
• Una implementación de al menos una de las herramientas de uso de computadora definidas por Anthropic
• Un bucle de agente que interactúe con la API de Anthropic y ejecute los resultados de tool_use utilizando sus implementaciones de herramientas
• Una API o interfaz de usuario que permita la entrada del usuario para iniciar el bucle de agente

​

Comprenda las limitaciones del uso de computadora

La funcionalidad de uso de computadora está en beta. Si bien las capacidades de Claude son de vanguardia, los desarrolladores deben conocer sus limitaciones:

1. Latencia: la latencia actual del uso de computadora para interacciones humano-IA puede ser demasiado lenta en comparación con las acciones de computadora dirigidas por humanos regulares. Recomendamos enfocarse en casos de uso donde la velocidad no es crítica (por ejemplo, recopilación de información en segundo plano, pruebas automatizadas de software) en entornos de confianza.
2. Precisión y confiabilidad de la visión por computadora: Claude puede cometer errores o alucinaciones al generar coordenadas específicas mientras genera acciones.
3. Precisión y confiabilidad de la selección de herramientas: Claude puede cometer errores o alucinaciones al seleccionar herramientas mientras genera acciones o tomar acciones inesperadas para resolver problemas. Además, la confiabilidad puede ser menor cuando se interactúa con aplicaciones de nicho o múltiples aplicaciones a la vez. Recomendamos que los usuarios indiquen al modelo cuidadosamente cuando soliciten tareas complejas.
4. Confiabilidad del desplazamiento: El desplazamiento puede no ser confiable en la experiencia actual, y es posible que el modelo no se desplace de manera confiable hasta el final de una página. El comportamiento similar al desplazamiento se puede mejorar mediante atajos de teclado (PgUp/PgDown).
5. Interacción con hojas de cálculo: Los clics del mouse para la interacción con hojas de cálculo no son confiables. La selección de celdas puede no funcionar siempre como se espera. Esto se puede mitigar indicando al modelo que use las teclas de flecha.
6. Creación de cuentas y generación de contenido en plataformas sociales y de comunicaciones: Si bien Claude visitará sitios web, estamos limitando su capacidad para crear cuentas o generar y compartir contenido o participar en la suplantación de humanos en sitios web y plataformas de redes sociales. Es posible que actualicemos esta capacidad en el futuro.
7. Vulnerabilidades: Las vulnerabilidades como el jailbreaking o la inyección de indicaciones pueden persistir en los sistemas de IA de vanguardia, incluida la API beta de uso de computadora. En algunas circunstancias, Claude seguirá los comandos encontrados en el contenido, a veces incluso en conflicto con las instrucciones del usuario. Por ejemplo, las instrucciones de Claude en páginas web o contenidas en imágenes pueden anular las instrucciones o hacer que Claude cometa errores. Recomendamos: a. Limitar el uso de computadora a entornos de confianza, como máquinas virtuales o contenedores con privilegios mínimos b. Evitar dar acceso de uso de computadora a cuentas o datos sensibles sin una supervisión estricta c. Informar a los usuarios finales sobre los riesgos relevantes y obtener su consentimiento antes de habilitar o solicitar los permisos necesarios para las funciones de uso de computadora en sus aplicaciones
8. Acciones inapropiadas o ilegales: Según los términos de servicio de Anthropic, no debe emplear el uso de computadora para violar ninguna ley o nuestra Política de uso aceptable.

Siempre revise y verifique cuidadosamente las acciones y registros de uso de computadora de Claude. No use Claude para tareas que requieran precisión perfecta o información de usuario sensible sin supervisión humana.

​

Precios

Como un subconjunto de las solicitudes de uso de herramientas, las solicitudes de uso de computadora se facturan de la misma manera que cualquier otra solicitud de la API de Claude.

También incluimos automáticamente una indicación del sistema especial para el modelo, que habilita el uso de computadora.

Además de los tokens base, se necesitan los siguientes tokens de entrada adicionales para las herramientas definidas por Anthropic: