Computernutzung (Beta)

curl https://api.anthropic.com/v1/messages \
  -H "content-type: application/json" \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "anthropic-beta: computer-use-2025-01-24" \
  -d '{
    "model": "claude-opus-4-20250514",
    "max_tokens": 1024,
    "tools": [
      {
        "type": "computer_20250124",
        "name": "computer",
        "display_width_px": 1024,
        "display_height_px": 768,
        "display_number": 1
      },
      {
        "type": "text_editor_20250429",
        "name": "str_replace_based_edit_tool"
      },
      {
        "type": "bash_20250124",
        "name": "bash"
      }
    ],
    "messages": [
      {
        "role": "user",
        "content": "Save a picture of a cat to my desktop."
      }
    ],
    "thinking": {
      "type": "enabled",
      "budget_tokens": 1024
    }
  }'

​

Wie die Computernutzung funktioniert

​

Die Computerumgebung

1. Virtuelles Display: Ein virtueller X11-Display-Server (mit Xvfb), der die Desktop-Schnittstelle rendert, die Claude durch Screenshots sehen und mit Maus-/Tastaturaktionen steuern wird.
2. Desktop-Umgebung: Eine leichtgewichtige Benutzeroberfläche mit Fenstermanager (Mutter) und Panel (Tint2), die unter Linux läuft und eine konsistente grafische Schnittstelle für Claude bietet.
3. Anwendungen: Vorinstallierte Linux-Anwendungen wie Firefox, LibreOffice, Texteditoren und Dateimanager, die Claude zur Erledigung von Aufgaben verwenden kann.
4. Tool-Implementierungen: Integrationscode, der Claudes abstrakte Tool-Anfragen (wie “Maus bewegen” oder “Screenshot machen”) in tatsächliche Operationen in der virtuellen Umgebung übersetzt.
5. Agent-Schleife: Ein Programm, das die Kommunikation zwischen Claude und der Umgebung verwaltet, Claudes Aktionen an die Umgebung sendet und die Ergebnisse (Screenshots, Befehlsausgaben) an Claude zurückgibt.

1. Empfängt Ihre Anwendung Claudes Tool-Nutzungsanfragen
2. Übersetzt sie in Aktionen in Ihrer Computerumgebung
3. Erfasst die Ergebnisse (Screenshots, Befehlsausgaben usw.)
4. Gibt diese Ergebnisse an Claude zurück

​

Wie man die Computernutzung implementiert

​

Beginnen Sie mit unserer Referenzimplementierung

• Eine containerisierte Umgebung, die für die Computernutzung mit Claude geeignet ist
• Implementierungen der Computernutzungs-Tools
• Eine Agent-Schleife, die mit der Anthropic API interagiert und die Computernutzungs-Tools ausführt
• Eine Weboberfläche zur Interaktion mit dem Container, der Agent-Schleife und den Tools.

​

Verstehen der Multi-Agent-Schleife

async def sampling_loop(
    *,
    model: str,
    messages: list[dict],
    api_key: str,
    max_tokens: int = 4096,
    tool_version: str,
    thinking_budget: int | None = None,
    max_iterations: int = 10,  # Iterationslimit hinzufügen, um Endlosschleifen zu verhindern
):
    """
    Eine einfache Agent-Schleife für Claude-Computernutzungsinteraktionen.

    Diese Funktion verwaltet den Austausch zwischen:
    1. Senden von Benutzernachrichten an Claude
    
    2. Claude fordert die Verwendung von Tools an
    3. Ihre App führt diese Tools aus
    4. Senden von Tool-Ergebnissen zurück an Claude
    """
    # Tools und API-Parameter einrichten
    client = Anthropic(api_key=api_key)
    beta_flag = "computer-use-2025-01-24" if "20250124" in tool_version else "computer-use-2024-10-22"

    # Tools konfigurieren - diese sollten bereits anderswo initialisiert sein
    tools = [
        {"type": f"computer_{tool_version}", "name": "computer", "display_width_px": 1024, "display_height_px": 768},
        {"type": f"text_editor_{tool_version}", "name": "str_replace_editor"},
        {"type": f"bash_{tool_version}", "name": "bash"}
    ]

    # Haupt-Agent-Schleife (mit Iterationslimit, um unkontrollierte API-Kosten zu verhindern)
    iterations = 0
    while True and iterations < max_iterations:
        iterations += 1
        # Optionalen Thinking-Parameter einrichten (für Claude Sonnet 3.7)
        thinking = None
        if thinking_budget:
            thinking = {"type": "enabled", "budget_tokens": thinking_budget}

        # Die Claude API aufrufen
        response = client.beta.messages.create(
            model=model,
            max_tokens=max_tokens,
            messages=messages,
            tools=tools,
            betas=[beta_flag],
            thinking=thinking
        )

        # Claudes Antwort zum Konversationsverlauf hinzufügen
        response_content = response.content
        messages.append({"role": "assistant", "content": response_content})

        # Prüfen, ob Claude Tools verwendet hat
        tool_results = []
        for block in response_content:
            if block.type == "tool_use":
                # In einer echten App würden Sie das Tool hier ausführen
                # Zum Beispiel: result = run_tool(block.name, block.input)
                result = {"result": "Tool erfolgreich ausgeführt"}

                # Das Ergebnis für Claude formatieren
                tool_results.append({
                    "type": "tool_result",
                    "tool_use_id": block.id,
                    "content": result
                })

        # Wenn keine Tools verwendet wurden, ist Claude fertig - geben Sie die endgültigen Nachrichten zurück
        if not tool_results:
            return messages

        # Tool-Ergebnisse zu Nachrichten für die nächste Iteration mit Claude hinzufügen
        messages.append({"role": "user", "content": tool_results})

​

Optimieren Sie die Modellleistung mit Prompting

1. Geben Sie einfache, klar definierte Aufgaben an und liefern Sie explizite Anweisungen für jeden Schritt.
2. Claude nimmt manchmal Ergebnisse seiner Aktionen an, ohne deren Ergebnisse explizit zu überprüfen. Um dies zu verhindern, können Sie Claude mit folgendem Prompt anweisen: Mache nach jedem Schritt einen Screenshot und bewerte sorgfältig, ob du das richtige Ergebnis erzielt hast. Zeige dein Denken explizit: "Ich habe Schritt X ausgewertet..." Wenn es nicht korrekt ist, versuche es erneut. Erst wenn du bestätigst, dass ein Schritt korrekt ausgeführt wurde, solltest du zum nächsten übergehen.
3. Einige UI-Elemente (wie Dropdown-Menüs und Scrollleisten) können für Claude schwierig sein, mit Mausbewegungen zu manipulieren. Wenn Sie dies erleben, versuchen Sie, das Modell anzuweisen, Tastaturkürzel zu verwenden.
4. Für wiederholbare Aufgaben oder UI-Interaktionen fügen Sie Beispiel-Screenshots und Tool-Aufrufe erfolgreicher Ergebnisse in Ihren Prompt ein.
5. Wenn das Modell sich anmelden muss, geben Sie ihm den Benutzernamen und das Passwort in Ihrem Prompt innerhalb von XML-Tags wie <robot_credentials>. Die Verwendung der Computernutzung in Anwendungen, die eine Anmeldung erfordern, erhöht das Risiko schlechter Ergebnisse durch Prompt-Injection. Bitte lesen Sie unseren Leitfaden zur Minderung von Prompt-Injections, bevor Sie dem Modell Anmeldedaten zur Verfügung stellen.

​

System-Prompts

Sie haben Zugriff auf eine Reihe von Funktionen, die Sie verwenden können, um die Frage des Benutzers zu beantworten. Dies umfasst den Zugriff auf eine abgeschirmte Computerumgebung. Sie haben derzeit NICHT die Möglichkeit, Dateien zu untersuchen oder mit externen Ressourcen zu interagieren, außer durch den Aufruf der unten aufgeführten Funktionen.

​

Verstehen der von Anthropic definierten Tools

​

Aktivieren der Denkfähigkeit in Claude 4 und Claude Sonnet 3.7

"thinking": {
  "type": "enabled",
  "budget_tokens": 1024
}

1. Den Entscheidungsprozess des Modells zu verstehen
2. Potenzielle Probleme oder Missverständnisse zu identifizieren
3. Von Claudes Herangehensweise an Problemlösungen zu lernen
4. Mehr Einblick in komplexe mehrstufige Operationen zu erhalten

[Thinking]
Ich muss ein Bild einer Katze auf dem Desktop speichern. Lassen Sie mich dies in Schritte aufteilen:

1. Zuerst werde ich einen Screenshot machen, um zu sehen, was auf dem Desktop ist
2. Dann werde ich nach einem Webbrowser suchen, um nach Katzenbildern zu suchen
3. Nachdem ich ein geeignetes Bild gefunden habe, muss ich es auf dem Desktop speichern

Lassen Sie mich damit beginnen, einen Screenshot zu machen, um zu sehen, was verfügbar ist...

​

Kombinieren der Computernutzung mit anderen Tools

curl https://api.anthropic.com/v1/messages \
  -H "content-type: application/json" \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "anthropic-beta: computer-use-2025-01-24" \
  -d '{
    "model": "claude-opus-4-20250514",
    "max_tokens": 1024,
    "tools": [
      {
        "type": "computer_20250124",
        "name": "computer",
        "display_width_px": 1024,
        "display_height_px": 768,
        "display_number": 1
      },
      {
        "type": "text_editor_20250124",
        "name": "str_replace_editor"
      },
      {
        "type": "bash_20250124",
        "name": "bash"
      },
      {
        "name": "get_weather",
        "description": "Get the current weather in a given location",
        "input_schema": {
          "type": "object",
          "properties": {
            "location": {
              "type": "string",
              "description": "The city and state, e.g. San Francisco, CA"
            },
            "unit": {
              "type": "string",
              "enum": ["celsius", "fahrenheit"],
              "description": "The unit of temperature, either 'celsius' or 'fahrenheit'"
            }
          },
          "required": ["location"]
        }
      }
    ],
    "messages": [
      {
        "role": "user",
        "content": "Find flights from San Francisco to a place with warmer weather."
      }
    ],
    "thinking": {
      "type": "enabled",
      "budget_tokens": 1024
    }
  }'

​

Erstellen einer benutzerdefinierten Computernutzungsumgebung

• Eine virtualisierte oder containerisierte Umgebung, die für die Computernutzung mit Claude geeignet ist
• Eine Implementierung von mindestens einem der von Anthropic definierten Computernutzungs-Tools
• Eine Agent-Schleife, die mit der Anthropic API interagiert und die tool_use-Ergebnisse mit Ihren Tool-Implementierungen ausführt
• Eine API oder Benutzeroberfläche, die Benutzereingaben ermöglicht, um die Agent-Schleife zu starten

​

Verstehen der Einschränkungen der Computernutzung

1. Latenz: Die aktuelle Computernutzungslatenz für Mensch-KI-Interaktionen kann im Vergleich zu regulären menschengesteuerten Computeraktionen zu langsam sein. Wir empfehlen, sich auf Anwendungsfälle zu konzentrieren, bei denen Geschwindigkeit nicht kritisch ist (z.B. Hintergrundinformationssammlung, automatisierte Softwaretests) in vertrauenswürdigen Umgebungen.
2. Genauigkeit und Zuverlässigkeit der Computervision: Claude kann Fehler machen oder halluzinieren, wenn es spezifische Koordinaten bei der Generierung von Aktionen ausgibt. Claude Sonnet 3.7 führt die Denkfähigkeit ein, die Ihnen helfen kann, den Denkprozess des Modells zu verstehen und potenzielle Probleme zu identifizieren.
3. Genauigkeit und Zuverlässigkeit der Toolauswahl: Claude kann Fehler machen oder halluzinieren, wenn es Tools bei der Generierung von Aktionen auswählt oder unerwartete Aktionen zur Problemlösung durchführt. Darüber hinaus kann die Zuverlässigkeit geringer sein, wenn mit Nischenanwendungen oder mehreren Anwendungen gleichzeitig interagiert wird. Wir empfehlen Benutzern, das Modell sorgfältig zu promten, wenn komplexe Aufgaben angefordert werden.
4. Scrollzuverlässigkeit: Während Claude Sonnet 3.5 (neu) Einschränkungen beim Scrollen hatte, führt Claude Sonnet 3.7 dedizierte Scroll-Aktionen mit Richtungssteuerung ein, die die Zuverlässigkeit verbessern. Das Modell kann jetzt explizit in jede Richtung (hoch/runter/links/rechts) um eine bestimmte Menge scrollen.
5. Tabellenkalkulationsinteraktion: Mausklicks für die Tabellenkalkulationsinteraktion wurden in Claude Sonnet 3.7 mit der Hinz

​

Preisgestaltung