Claude 可以透過電腦使用工具與電腦環境互動,該工具提供螢幕截圖功能和滑鼠/鍵盤控制,實現自主桌面互動。
模型 | 工具版本 | 測試標誌 |
---|---|---|
Claude 4 模型 | computer_20250124 | computer-use-2025-01-24 |
Claude Sonnet 3.7 | computer_20250124 | computer-use-2025-01-24 |
Claude Sonnet 3.5 v2(已棄用) | computer_20241022 | computer-use-2024-10-22 |
1. 為 Claude 提供電腦使用工具和使用者提示
2. Claude 決定使用電腦使用工具
stop_reason
為 tool_use
,表示 Claude 的意圖。3. 提取工具輸入,在電腦上評估工具,並返回結果
tool_result
內容區塊的新 user
訊息繼續對話。4. Claude 繼續呼叫電腦使用工具,直到完成任務
tool_use
stop_reason
回應,您應該返回步驟 3。Claude 4 模型
computer_20250124
時,包含此測試標誌:Claude Sonnet 3.7
computer_20250124
時,包含此測試標誌:Claude Sonnet 3.5 v2(已棄用)
computer_20241022
時,包含此測試標誌:在每個步驟之後,截圖並仔細評估您是否達到了正確的結果。明確顯示您的思考:「我已經評估了步驟 X...」如果不正確,請重試。只有當您確認步驟執行正確時,才應該進行下一步。
<robot_credentials>
)提供使用者名稱和密碼。在需要登入的應用程式中使用電腦使用會增加因提示注入而導致不良結果的風險。在為模型提供登入憑證之前,請查看我們的緩解提示注入指南。您可以存取一組函數,您可以使用這些函數來回答使用者的問題。這包括存取沙盒計算環境。除了透過呼叫以下函數之外,您目前沒有檢查檔案或與外部資源互動的能力。與常規工具使用一樣,使用者提供的
system_prompt
欄位仍然受到尊重,並用於構建組合系統提示。
[x, y]
處點擊computer_20250124
)
適用於 Claude 4 模型和 Claude Sonnet 3.7:
範例操作
參數 | 必需 | 描述 |
---|---|---|
type | 是 | 工具版本(computer_20250124 或 computer_20241022 ) |
name | 是 | 必須是「computer」 |
display_width_px | 是 | 顯示寬度(像素) |
display_height_px | 是 | 顯示高度(像素) |
display_number | 否 | X11 環境的顯示編號 |
thinking
參數:
budget_tokens
參數指定 Claude 可以用於思考的標記數量。這會從您的整體 max_tokens
預算中扣除。
啟用思考後,Claude 將返回其推理過程作為回應的一部分,這可以幫助您:
tool_use
結果的代理循環設置您的計算環境
實作操作處理程序
處理 Claude 的工具呼叫
實作代理循環
螢幕截圖捕獲失敗
無效座標
操作執行失敗
使用適當的顯示解析度
實作適當的螢幕截圖處理
添加操作延遲
在執行前驗證操作
記錄操作以進行除錯
left_mouse_down
、left_mouse_up
和新的修飾鍵支援。透過使用這些細粒度控制並結合修飾鍵與點擊,儲存格選擇可以更可靠。Model | Input tokens per tool definition |
---|---|
Claude 4 / Sonnet 3.7 | 735 tokens |
Claude Sonnet 3.5 (deprecated) | 683 tokens |