Computer use tool

​

Überblick

• Screenshot-Erfassung: Sehen, was aktuell auf dem Bildschirm angezeigt wird
• Maussteuerung: Klicken, Ziehen und Bewegen des Cursors
• Tastatureingabe: Text eingeben und Tastenkombinationen verwenden
• Desktop-Automatisierung: Mit jeder Anwendung oder Benutzeroberfläche interagieren

​

Modellkompatibilität

​

Sicherheitsüberlegungen

​

Schnellstart

import anthropic

client = anthropic.Anthropic()

response = client.beta.messages.create(
    model="claude-sonnet-4-20250514",  # oder ein anderes kompatibles Modell
    max_tokens=1024,
    tools=[
        {
          "type": "computer_20250124",
          "name": "computer",
          "display_width_px": 1024,
          "display_height_px": 768,
          "display_number": 1,
        },
        {
          "type": "text_editor_20250124",
          "name": "str_replace_editor"
        },
        {
          "type": "bash_20250124",
          "name": "bash"
        }
    ],
    messages=[{"role": "user", "content": "Speichere ein Bild einer Katze auf meinem Desktop."}],
    betas=["computer-use-2025-01-24"]
)
print(response)

​

Wie Computer use funktioniert

​

Die Computing-Umgebung

1. Virtuelles Display: Ein virtueller X11-Display-Server (mit Xvfb), der die Desktop-Benutzeroberfläche rendert, die Claude durch Screenshots sehen und mit Maus-/Tastaturaktionen steuern wird.
2. Desktop-Umgebung: Eine leichtgewichtige Benutzeroberfläche mit Window Manager (Mutter) und Panel (Tint2) unter Linux, die eine konsistente grafische Benutzeroberfläche für Claude zur Interaktion bietet.
3. Anwendungen: Vorinstallierte Linux-Anwendungen wie Firefox, LibreOffice, Texteditoren und Dateimanager, die Claude zur Erledigung von Aufgaben verwenden kann.
4. Tool-Implementierungen: Integrationscode, der Claudes abstrakte Tool-Anfragen (wie “Maus bewegen” oder “Screenshot machen”) in tatsächliche Operationen in der virtuellen Umgebung übersetzt.
5. Agent-Schleife: Ein Programm, das die Kommunikation zwischen Claude und der Umgebung handhabt, Claudes Aktionen an die Umgebung sendet und die Ergebnisse (Screenshots, Befehlsausgaben) zurück an Claude gibt.

1. Empfängt Claudes Tool-Use-Anfragen
2. Übersetzt sie in Aktionen in Ihrer Computing-Umgebung
3. Erfasst die Ergebnisse (Screenshots, Befehlsausgaben, etc.)
4. Gibt diese Ergebnisse an Claude zurück

​

Wie man Computer use implementiert

​

Beginnen Sie mit unserer Referenzimplementierung

• Eine containerisierte Umgebung, die für Computer use mit Claude geeignet ist
• Implementierungen der Computer use tools
• Eine Agent-Schleife, die mit der Anthropic API interagiert und die Computer use tools ausführt
• Eine Web-Benutzeroberfläche zur Interaktion mit dem Container, der Agent-Schleife und den Tools.

​

Die Multi-Agent-Schleife verstehen

async def sampling_loop(
    *,
    model: str,
    messages: list[dict],
    api_key: str,
    max_tokens: int = 4096,
    tool_version: str,
    thinking_budget: int | None = None,
    max_iterations: int = 10,  # Iterationslimit hinzufügen, um Endlosschleifen zu verhindern
):
    """
    Eine einfache Agent-Schleife für Claude Computer use Interaktionen.

    Diese Funktion handhabt das Hin und Her zwischen:
    1. Senden von Benutzernachrichten an Claude
    2. Claude fordert die Verwendung von Tools an
    3. Ihre App führt diese Tools aus
    4. Senden von Tool-Ergebnissen zurück an Claude
    """
    # Tools und API-Parameter einrichten
    client = Anthropic(api_key=api_key)
    beta_flag = "computer-use-2025-01-24" if "20250124" in tool_version else "computer-use-2024-10-22"

    # Tools konfigurieren - Sie sollten diese bereits anderswo initialisiert haben
    tools = [
        {"type": f"computer_{tool_version}", "name": "computer", "display_width_px": 1024, "display_height_px": 768},
        {"type": f"text_editor_{tool_version}", "name": "str_replace_editor"},
        {"type": f"bash_{tool_version}", "name": "bash"}
    ]

    # Haupt-Agent-Schleife (mit Iterationslimit zur Verhinderung von ausufernden API-Kosten)
    iterations = 0
    while True and iterations < max_iterations:
        iterations += 1
        # Optionalen Thinking-Parameter einrichten (für Claude Sonnet 3.7)
        thinking = None
        if thinking_budget:
            thinking = {"type": "enabled", "budget_tokens": thinking_budget}

        # Claude API aufrufen
        response = client.beta.messages.create(
            model=model,
            max_tokens=max_tokens,
            messages=messages,
            tools=tools,
            betas=[beta_flag],
            thinking=thinking
        )

        # Claudes Antwort zur Unterhaltungshistorie hinzufügen
        response_content = response.content
        messages.append({"role": "assistant", "content": response_content})

        # Prüfen, ob Claude Tools verwendet hat
        tool_results = []
        for block in response_content:
            if block.type == "tool_use":
                # In einer echten App würden Sie das Tool hier ausführen
                # Zum Beispiel: result = run_tool(block.name, block.input)
                result = {"result": "Tool erfolgreich ausgeführt"}

                # Ergebnis für Claude formatieren
                tool_results.append({
                    "type": "tool_result",
                    "tool_use_id": block.id,
                    "content": result
                })

        # Wenn keine Tools verwendet wurden, ist Claude fertig - geben Sie die finalen Nachrichten zurück
        if not tool_results:
            return messages

        # Tool-Ergebnisse zu Nachrichten für die nächste Iteration mit Claude hinzufügen
        messages.append({"role": "user", "content": tool_results})

​

Modellleistung mit Prompting optimieren

1. Spezifizieren Sie einfache, gut definierte Aufgaben und geben Sie explizite Anweisungen für jeden Schritt.
2. Claude nimmt manchmal Ergebnisse seiner Aktionen an, ohne ihre Resultate explizit zu überprüfen. Um dies zu verhindern, können Sie Claude mit folgendem Prompt versehen: Nach jedem Schritt mache einen Screenshot und bewerte sorgfältig, ob du das richtige Ergebnis erreicht hast. Zeige explizit dein Denken: "Ich habe Schritt X bewertet..." Wenn nicht korrekt, versuche es erneut. Nur wenn du bestätigst, dass ein Schritt korrekt ausgeführt wurde, solltest du zum nächsten übergehen.
3. Einige UI-Elemente (wie Dropdowns und Scrollbalken) könnten für Claude schwierig zu manipulieren sein mit Mausbewegungen. Wenn Sie dies erleben, versuchen Sie, das Modell zu veranlassen, Tastenkombinationen zu verwenden.
4. Für wiederholbare Aufgaben oder UI-Interaktionen fügen Sie Beispiel-Screenshots und Tool-Aufrufe erfolgreicher Ergebnisse in Ihren Prompt ein.
5. Wenn Sie möchten, dass sich das Modell anmeldet, geben Sie ihm den Benutzernamen und das Passwort in Ihrem Prompt in XML-Tags wie <robot_credentials>. Die Verwendung von Computer use in Anwendungen, die eine Anmeldung erfordern, erhöht das Risiko schlechter Ergebnisse als Folge von Prompt-Injection. Bitte lesen Sie unseren Leitfaden zur Minderung von Prompt-Injections, bevor Sie dem Modell Anmeldedaten zur Verfügung stellen.

​

System-Prompts

Sie haben Zugang zu einer Reihe von Funktionen, die Sie verwenden können, um die Frage des Benutzers zu beantworten. Dies umfasst den Zugang zu einer sandboxed Computing-Umgebung. Sie haben derzeit NICHT die Fähigkeit, Dateien zu inspizieren oder mit externen Ressourcen zu interagieren, außer durch das Aufrufen der unten stehenden Funktionen.

​

Verfügbare Aktionen

• screenshot - Das aktuelle Display erfassen
• left_click - An Koordinaten [x, y] klicken
• type - Textstring eingeben
• key - Taste oder Tastenkombination drücken (z.B. “ctrl+s”)
• mouse_move - Cursor zu Koordinaten bewegen

• scroll - In jede Richtung mit Mengenkontrolle scrollen
• left_click_drag - Klicken und zwischen Koordinaten ziehen
• right_click, middle_click - Zusätzliche Maustasten
• double_click, triple_click - Mehrfachklicks
• left_mouse_down, left_mouse_up - Feinkörnige Klickkontrolle
• hold_key - Eine Taste halten, während andere Aktionen ausgeführt werden
• wait - Zwischen Aktionen pausieren

​

Tool-Parameter

​

Thinking-Fähigkeit in Claude 4 Modellen und Claude Sonnet 3.7 aktivieren

"thinking": {
  "type": "enabled",
  "budget_tokens": 1024
}

1. Den Entscheidungsprozess des Modells zu verstehen
2. Potenzielle Probleme oder Missverständnisse zu identifizieren
3. Von Claudes Problemlösungsansatz zu lernen
4. Mehr Einblick in komplexe mehrstufige Operationen zu erhalten

[Thinking]
Ich muss ein Bild einer Katze auf dem Desktop speichern. Lassen Sie mich das in Schritte aufteilen:

1. Zuerst mache ich einen Screenshot, um zu sehen, was auf dem Desktop ist
2. Dann suche ich nach einem Webbrowser, um nach Katzenbildern zu suchen
3. Nachdem ich ein geeignetes Bild gefunden habe, muss ich es auf dem Desktop speichern

Lassen Sie mich mit einem Screenshot beginnen, um zu sehen, was verfügbar ist...

​

Computer use mit anderen Tools erweitern

• Systembefehle ausführen müssen (bash tool)
• Konfigurationsdateien oder Skripte bearbeiten müssen (text editor tool)
• Mit benutzerdefinierten APIs oder Services integrieren müssen (benutzerdefinierte Tools)

curl https://api.anthropic.com/v1/messages \
  -H "content-type: application/json" \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "anthropic-beta: computer-use-2025-01-24" \
  -d '{
    "model": "claude-opus-4-1-20250805",
    "max_tokens": 2000,
    "tools": [
      {
        "type": "computer_20250124",
        "name": "computer",
        "display_width_px": 1024,
        "display_height_px": 768,
        "display_number": 1
      },
      {
        "type": "text_editor_20250124",
        "name": "str_replace_editor"
      },
      {
        "type": "bash_20250124",
        "name": "bash"
      },
      {
        "name": "get_weather",
        "description": "Das aktuelle Wetter an einem bestimmten Ort abrufen",
        "input_schema": {
          "type": "object",
          "properties": {
            "location": {
              "type": "string",
              "description": "Die Stadt und der Staat, z.B. San Francisco, CA"
            },
            "unit": {
              "type": "string",
              "enum": ["celsius", "fahrenheit"],
              "description": "Die Temperatureinheit, entweder 'celsius' oder 'fahrenheit'"
            }
          },
          "required": ["location"]
        }
      }
    ],
    "messages": [
      {
        "role": "user",
        "content": "Finde Flüge von San Francisco zu einem Ort mit wärmerem Wetter."
      }
    ],
    "thinking": {
      "type": "enabled",
      "budget_tokens": 1024
    }
  }'

​

Eine benutzerdefinierte Computer use Umgebung erstellen

• Eine virtualisierte oder containerisierte Umgebung, die für Computer use mit Claude geeignet ist
• Eine Implementierung von mindestens einem der von Anthropic definierten Computer use tools
• Eine Agent-Schleife, die mit der Anthropic API interagiert und die tool_use-Ergebnisse mit Ihren Tool-Implementierungen ausführt
• Eine API oder Benutzeroberfläche, die Benutzereingaben ermöglicht, um die Agent-Schleife zu starten

​

Das Computer use tool implementieren

def handle_computer_action(action_type, params):
    if action_type == "screenshot":
        return capture_screenshot()
    elif action_type == "left_click":
        x, y = params["coordinate"]
        return click_at(x, y)
    elif action_type == "type":
        return type_text(params["text"])
    # ... andere Aktionen behandeln

for content in response.content:
    if content.type == "tool_use":
        action = content.input["action"]
        result = handle_computer_action(action, content.input)
        
        # Ergebnis an Claude zurückgeben
        tool_result = {
            "type": "tool_result",
            "tool_use_id": content.id,
            "content": result
        }

while True:
    response = client.beta.messages.create(...)
    
    # Prüfen, ob Claude Tools verwendet hat
    tool_results = process_tool_calls(response)
    
    if not tool_results:
        # Keine weitere Tool-Verwendung, Aufgabe abgeschlossen
        break
        
    # Unterhaltung mit Tool-Ergebnissen fortsetzen
    messages.append({"role": "user", "content": tool_results})

​

Fehler behandeln

​

Best Practices für die Implementierung befolgen

​

Computer use Einschränkungen verstehen

1. Latenz: Die aktuelle Computer use Latenz für Mensch-KI-Interaktionen könnte im Vergleich zu regulären menschlich gesteuerten Computeraktionen zu langsam sein. Wir empfehlen, sich auf Anwendungsfälle zu konzentrieren, bei denen Geschwindigkeit nicht kritisch ist (z.B. Hintergrundinformationssammlung, automatisierte Softwaretests) in vertrauenswürdigen Umgebungen.
2. Computer Vision Genauigkeit und Zuverlässigkeit: Claude kann Fehler machen oder halluzinieren, wenn es spezifische Koordinaten ausgibt, während es Aktionen generiert. Claude Sonnet 3.7 führt die Thinking-Fähigkeit ein, die Ihnen helfen kann, das Denken des Modells zu verstehen und potenzielle Probleme zu identifizieren.
3. Tool-Auswahl Genauigkeit und Zuverlässigkeit: Claude kann Fehler machen oder halluzinieren, wenn es Tools auswählt, während es Aktionen generiert, oder unerwartete Aktionen zur Problemlösung ergreifen. Zusätzlich kann die Zuverlässigkeit niedriger sein, wenn es mit Nischen-Anwendungen oder mehreren Anwendungen gleichzeitig interagiert. Wir empfehlen, dass Benutzer das Modell sorgfältig prompten, wenn sie komplexe Aufgaben anfordern.
4. Scroll-Zuverlässigkeit: Während Claude Sonnet 3.5 v2 (veraltet) Einschränkungen beim Scrollen hatte, führt Claude Sonnet 3.7 dedizierte Scroll-Aktionen mit Richtungskontrolle ein, die die Zuverlässigkeit verbessern. Das Modell kann jetzt explizit in jede Richtung (oben/unten/links/rechts) um einen spezifizierten Betrag scrollen.
5. Tabellenkalkulations-Interaktion: Mausklicks für Tabellenkalkulations-Interaktion haben sich in Claude Sonnet 3.7 mit der Hinzufügung präziserer Maussteuerungsaktionen wie left_mouse_down, left_mouse_up und neuer Modifier-Tasten-Unterstützung verbessert. Zellenauswahl kann zuverlässiger sein, indem diese feinkörnigen Steuerungen verwendet und Modifier-Tasten mit Klicks kombiniert werden.
6. Kontoerstellung und Inhaltsgenerierung auf sozialen und Kommunikationsplattformen: Während Claude Websites besucht, begrenzen wir seine Fähigkeit, Konten zu erstellen oder Inhalte zu generieren und zu teilen oder anderweitig menschliche Nachahmung auf Social Media Websites und Plattformen zu betreiben. Wir können diese Fähigkeit in der Zukunft aktualisieren.
7. Schwachstellen: Schwachstellen wie Jailbreaking oder Prompt-Injection können bei Frontier-KI-Systemen bestehen bleiben, einschließlich der Beta Computer use API. Unter bestimmten Umständen wird Claude Befehle befolgen, die in Inhalten gefunden werden, manchmal sogar im Konflikt mit den Anweisungen des Benutzers. Zum Beispiel können Claude-Anweisungen auf Webseiten oder in Bildern Anweisungen überschreiben oder Claude zu Fehlern veranlassen. Wir empfehlen: a. Computer use auf vertrauenswürdige Umgebungen wie virtuelle Maschinen oder Container mit minimalen Berechtigungen zu beschränken b. Computer use keinen Zugang zu sensiblen Konten oder Daten ohne strenge Aufsicht zu geben c. Endbenutzer über relevante Risiken zu informieren und deren Zustimmung einzuholen, bevor Computer use Funktionen in Ihren Anwendungen aktiviert oder Berechtigungen angefordert werden, die für Computer use Funktionen erforderlich sind
8. Unangemessene oder illegale Aktionen: Gemäß Anthropics Nutzungsbedingungen dürfen Sie Computer use nicht verwenden, um Gesetze zu verletzen oder unsere Acceptable Use Policy zu verletzen.

​

Preise

• Screenshot images (see Vision pricing)
• Tool execution results returned to Claude

​

Nächste Schritte