Claude puede interactuar con entornos informáticos a través de la herramienta de uso de computadora, que proporciona capacidades de captura de pantalla y control de mouse/teclado para la interacción autónoma del escritorio.
"computer-use-2025-01-24"
(modelos Claude 4 y Claude Sonnet 3.7)"computer-use-2024-10-22"
(Claude Sonnet 3.5 (obsoleto))Modelo | Versión de herramienta | Bandera Beta |
---|---|---|
Modelos Claude 4 | computer_20250124 | computer-use-2025-01-24 |
Claude Sonnet 3.7 | computer_20250124 | computer-use-2025-01-24 |
Claude Sonnet 3.5 v2 (obsoleto) | computer_20241022 | computer-use-2024-10-22 |
1. Proporcione a Claude la herramienta de uso de computadora y un prompt del usuario
2. Claude decide usar la herramienta de uso de computadora
stop_reason
de tool_use
, señalando la intención de Claude.3. Extraiga la entrada de la herramienta, evalúe la herramienta en una computadora y devuelva los resultados
user
que contenga un bloque de contenido tool_result
.4. Claude continúa llamando herramientas de uso de computadora hasta que haya completado la tarea
stop_reason
de tool_use
y debe regresar al paso 3.Modelos Claude 4
computer_20250124
, incluya esta bandera beta:Claude Sonnet 3.7
computer_20250124
, incluya esta bandera beta:Claude Sonnet 3.5 v2 (obsoleto)
computer_20241022
, incluya esta bandera beta:Después de cada paso, toma una captura de pantalla y evalúa cuidadosamente si has logrado el resultado correcto. Muestra explícitamente tu pensamiento: "He evaluado el paso X..." Si no es correcto, inténtalo de nuevo. Solo cuando confirmes que un paso fue ejecutado correctamente debes pasar al siguiente.
<robot_credentials>
. Usar el uso de computadora dentro de aplicaciones que requieren inicio de sesión aumenta el riesgo de malos resultados como resultado de inyección de prompts. Por favor revise nuestra guía sobre mitigar inyecciones de prompts antes de proporcionar al modelo credenciales de inicio de sesión.Tienes acceso a un conjunto de funciones que puedes usar para responder la pregunta del usuario. Esto incluye acceso a un entorno informático aislado. Actualmente NO tienes la capacidad de inspeccionar archivos o interactuar con recursos externos, excepto invocando las funciones de abajo.Como con el uso regular de herramientas, el campo
system_prompt
proporcionado por el usuario aún se respeta y se usa en la construcción del prompt del sistema combinado.
[x, y]
computer_20250124
)
Disponibles en modelos Claude 4 y Claude Sonnet 3.7:
Acciones de ejemplo
Parámetro | Requerido | Descripción |
---|---|---|
type | Sí | Versión de herramienta (computer_20250124 o computer_20241022 ) |
name | Sí | Debe ser “computer” |
display_width_px | Sí | Ancho de pantalla en píxeles |
display_height_px | Sí | Alto de pantalla en píxeles |
display_number | No | Número de pantalla para entornos X11 |
thinking
a su solicitud de API:
budget_tokens
especifica cuántos tokens Claude puede usar para pensar. Esto se resta de su presupuesto general de max_tokens
.
Cuando el pensamiento está habilitado, Claude devolverá su proceso de razonamiento como parte de la respuesta, lo que puede ayudarle a:
tool_use
usando sus implementaciones de herramientasConfigure su entorno informático
Implemente manejadores de acciones
Procese las llamadas de herramientas de Claude
Implemente el bucle del agente
Falla en captura de pantalla
Coordenadas inválidas
Falla en ejecución de acción
Use resolución de pantalla apropiada
Implemente manejo apropiado de capturas de pantalla
Agregue retrasos de acción
Valide acciones antes de la ejecución
Registre acciones para depuración
left_mouse_down
, left_mouse_up
, y nuevo soporte de teclas modificadoras. La selección de celdas puede ser más confiable usando estos controles de grano fino y combinando teclas modificadoras con clics.Model | Input tokens per tool definition |
---|---|
Claude 4 / Sonnet 3.7 | 735 tokens |
Claude Sonnet 3.5 (deprecated) | 683 tokens |