Computernutzung (Beta)

Claude 4 Opus und Sonnet, zusammen mit Claude Sonnet 3.7 und Claude Sonnet 3.5 (neu), können mit Tools interagieren, die eine Computer-Desktop-Umgebung manipulieren können. Claude 4-Modelle verwenden aktualisierte Tool-Versionen, die für die neue Architektur optimiert sind. Claude Sonnet 3.7 führt zusätzliche Tools ein und ermöglicht es Ihnen, das Denken zu aktivieren, wodurch Sie mehr Einblick in den Denkprozess des Modells erhalten.

Hier ist ein Beispiel, wie man Claude mithilfe der Messages API Computernutzungs-Tools zur Verfügung stellt:

curl https://api.anthropic.com/v1/messages \
  -H "content-type: application/json" \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "anthropic-beta: computer-use-2025-01-24" \
  -d '{
    "model": "claude-4-opus-20250514",
    "max_tokens": 1024,
    "tools": [
      {
        "type": "computer_20250124",
        "name": "computer",
        "display_width_px": 1024,
        "display_height_px": 768,
        "display_number": 1
      },
      {
        "type": "text_editor_20250429",
        "name": "str_replace_based_edit_tool"
      },
      {
        "type": "bash_20250124",
        "name": "bash"
      }
    ],
    "messages": [
      {
        "role": "user",
        "content": "Save a picture of a cat to my desktop."
      }
    ],
    "thinking": {
      "type": "enabled",
      "budget_tokens": 1024
    }
  }'

curl https://api.anthropic.com/v1/messages \
  -H "content-type: application/json" \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "anthropic-beta: computer-use-2025-01-24" \
  -d '{
    "model": "claude-4-opus-20250514",
    "max_tokens": 1024,
    "tools": [
      {
        "type": "computer_20250124",
        "name": "computer",
        "display_width_px": 1024,
        "display_height_px": 768,
        "display_number": 1
      },
      {
        "type": "text_editor_20250429",
        "name": "str_replace_based_edit_tool"
      },
      {
        "type": "bash_20250124",
        "name": "bash"
      }
    ],
    "messages": [
      {
        "role": "user",
        "content": "Save a picture of a cat to my desktop."
      }
    ],
    "thinking": {
      "type": "enabled",
      "budget_tokens": 1024
    }
  }'

curl https://api.anthropic.com/v1/messages \
  -H "content-type: application/json" \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "anthropic-beta: computer-use-2025-01-24" \
  -d '{
    "model": "claude-3-7-sonnet-20250219",
    "max_tokens": 1024,
    "tools": [
      {
        "type": "computer_20250124",
        "name": "computer",
        "display_width_px": 1024,
        "display_height_px": 768,
        "display_number": 1
      },
      {
        "type": "text_editor_20250124",
        "name": "str_replace_editor"
      },
      {
        "type": "bash_20250124",
        "name": "bash"
      }
    ],
    "messages": [
      {
        "role": "user",
        "content": "Save a picture of a cat to my desktop."
      }
    ],
    "thinking": {
      "type": "enabled",
      "budget_tokens": 1024
    }
  }'

​

Wie die Computernutzung funktioniert

Wir bezeichnen die Wiederholung der Schritte 3 und 4 ohne Benutzereingabe als “Agent-Schleife” - d.h. Claude antwortet mit einer Tool-Nutzungsanfrage und Ihre Anwendung antwortet Claude mit den Ergebnissen der Auswertung dieser Anfrage.

​

Die Computerumgebung

Die Computernutzung erfordert eine abgeschirmte Computerumgebung, in der Claude sicher mit Anwendungen und dem Web interagieren kann. Diese Umgebung umfasst:

1. Virtuelles Display: Ein virtueller X11-Display-Server (mit Xvfb), der die Desktop-Schnittstelle rendert, die Claude durch Screenshots sehen und mit Maus-/Tastaturaktionen steuern wird.

2. Desktop-Umgebung: Eine leichtgewichtige Benutzeroberfläche mit Fenstermanager (Mutter) und Panel (Tint2), die unter Linux läuft und eine konsistente grafische Schnittstelle für Claude bietet.

3. Anwendungen: Vorinstallierte Linux-Anwendungen wie Firefox, LibreOffice, Texteditoren und Dateimanager, die Claude zur Erledigung von Aufgaben verwenden kann.

4. Tool-Implementierungen: Integrationscode, der Claudes abstrakte Tool-Anfragen (wie “Maus bewegen” oder “Screenshot machen”) in tatsächliche Operationen in der virtuellen Umgebung übersetzt.

5. Agent-Schleife: Ein Programm, das die Kommunikation zwischen Claude und der Umgebung verwaltet, Claudes Aktionen an die Umgebung sendet und die Ergebnisse (Screenshots, Befehlsausgaben) an Claude zurückgibt.

Wenn Sie die Computernutzung verwenden, verbindet sich Claude nicht direkt mit dieser Umgebung. Stattdessen:

1. Empfängt Ihre Anwendung Claudes Tool-Nutzungsanfragen
2. Übersetzt sie in Aktionen in Ihrer Computerumgebung
3. Erfasst die Ergebnisse (Screenshots, Befehlsausgaben usw.)
4. Gibt diese Ergebnisse an Claude zurück

Aus Sicherheits- und Isolationsgründen führt die Referenzimplementierung all dies innerhalb eines Docker-Containers mit geeigneten Port-Mappings zum Anzeigen und Interagieren mit der Umgebung aus.

​

Wie man die Computernutzung implementiert

​

Beginnen Sie mit unserer Referenzimplementierung

Wir haben eine Referenzimplementierung erstellt, die alles enthält, was Sie für einen schnellen Einstieg in die Computernutzung benötigen:

• Eine containerisierte Umgebung, die für die Computernutzung mit Claude geeignet ist
• Implementierungen der Computernutzungs-Tools
• Eine Agent-Schleife, die mit der Anthropic API interagiert und die Computernutzungs-Tools ausführt
• Eine Weboberfläche zur Interaktion mit dem Container, der Agent-Schleife und den Tools.

​

Verstehen der Multi-Agent-Schleife

Der Kern der Computernutzung ist die “Agent-Schleife” - ein Zyklus, bei dem Claude Tool-Aktionen anfordert, Ihre Anwendung diese ausführt und die Ergebnisse an Claude zurückgibt. Hier ist ein vereinfachtes Beispiel:

async def sampling_loop(
    *,
    model: str,
    messages: list[dict],
    api_key: str,
    max_tokens: int = 4096,
    tool_version: str,
    thinking_budget: int | None = None,
    max_iterations: int = 10,  # Iterationslimit hinzufügen, um Endlosschleifen zu verhindern
):
    """
    Eine einfache Agent-Schleife für Claude-Computernutzungsinteraktionen.

    Diese Funktion verwaltet den Austausch zwischen:
    1. Senden von Benutzernachrichten an Claude
    
    2. Claude fordert die Verwendung von Tools an
    3. Ihre App führt diese Tools aus
    4. Senden von Tool-Ergebnissen zurück an Claude
    """
    # Tools und API-Parameter einrichten
    client = Anthropic(api_key=api_key)
    beta_flag = "computer-use-2025-01-24" if "20250124" in tool_version else "computer-use-2024-10-22"

    # Tools konfigurieren - diese sollten bereits anderswo initialisiert sein
    tools = [
        {"type": f"computer_{tool_version}", "name": "computer", "display_width_px": 1024, "display_height_px": 768},
        {"type": f"text_editor_{tool_version}", "name": "str_replace_editor"},
        {"type": f"bash_{tool_version}", "name": "bash"}
    ]

    # Haupt-Agent-Schleife (mit Iterationslimit, um unkontrollierte API-Kosten zu verhindern)
    iterations = 0
    while True and iterations < max_iterations:
        iterations += 1
        # Optionalen Thinking-Parameter einrichten (für Claude Sonnet 3.7)
        thinking = None
        if thinking_budget:
            thinking = {"type": "enabled", "budget_tokens": thinking_budget}

        # Die Claude API aufrufen
        response = client.beta.messages.create(
            model=model,
            max_tokens=max_tokens,
            messages=messages,
            tools=tools,
            betas=[beta_flag],
            thinking=thinking
        )

        # Claudes Antwort zum Konversationsverlauf hinzufügen
        response_content = response.content
        messages.append({"role": "assistant", "content": response_content})

        # Prüfen, ob Claude Tools verwendet hat
        tool_results = []
        for block in response_content:
            if block.type == "tool_use":
                # In einer echten App würden Sie das Tool hier ausführen
                # Zum Beispiel: result = run_tool(block.name, block.input)
                result = {"result": "Tool erfolgreich ausgeführt"}

                # Das Ergebnis für Claude formatieren
                tool_results.append({
                    "type": "tool_result",
                    "tool_use_id": block.id,
                    "content": result
                })

        # Wenn keine Tools verwendet wurden, ist Claude fertig - geben Sie die endgültigen Nachrichten zurück
        if not tool_results:
            return messages

        # Tool-Ergebnisse zu Nachrichten für die nächste Iteration mit Claude hinzufügen
        messages.append({"role": "user", "content": tool_results})

Die Schleife wird fortgesetzt, bis entweder Claude ohne Anforderung von Tools antwortet (Aufgabenabschluss) oder das maximale Iterationslimit erreicht ist. Diese Sicherheitsmaßnahme verhindert potenzielle Endlosschleifen, die zu unerwarteten API-Kosten führen könnten.

Wir empfehlen, die Referenzimplementierung auszuprobieren, bevor Sie den Rest dieser Dokumentation lesen.

​

Optimieren Sie die Modellleistung mit Prompting

Hier sind einige Tipps, wie Sie die beste Ausgabequalität erzielen können:

1. Geben Sie einfache, klar definierte Aufgaben an und liefern Sie explizite Anweisungen für jeden Schritt.
2. Claude nimmt manchmal Ergebnisse seiner Aktionen an, ohne deren Ergebnisse explizit zu überprüfen. Um dies zu verhindern, können Sie Claude mit folgendem Prompt anweisen: Mache nach jedem Schritt einen Screenshot und bewerte sorgfältig, ob du das richtige Ergebnis erzielt hast. Zeige dein Denken explizit: "Ich habe Schritt X ausgewertet..." Wenn es nicht korrekt ist, versuche es erneut. Erst wenn du bestätigst, dass ein Schritt korrekt ausgeführt wurde, solltest du zum nächsten übergehen.
3. Einige UI-Elemente (wie Dropdown-Menüs und Scrollleisten) können für Claude schwierig sein, mit Mausbewegungen zu manipulieren. Wenn Sie dies erleben, versuchen Sie, das Modell anzuweisen, Tastaturkürzel zu verwenden.
4. Für wiederholbare Aufgaben oder UI-Interaktionen fügen Sie Beispiel-Screenshots und Tool-Aufrufe erfolgreicher Ergebnisse in Ihren Prompt ein.
5. Wenn das Modell sich anmelden muss, geben Sie ihm den Benutzernamen und das Passwort in Ihrem Prompt innerhalb von XML-Tags wie <robot_credentials>. Die Verwendung der Computernutzung in Anwendungen, die eine Anmeldung erfordern, erhöht das Risiko schlechter Ergebnisse durch Prompt-Injection. Bitte lesen Sie unseren Leitfaden zur Minderung von Prompt-Injections, bevor Sie dem Modell Anmeldedaten zur Verfügung stellen.

​

System-Prompts

Wenn eines der von Anthropic definierten Tools über die Anthropic API angefordert wird, wird ein computernutzungsspezifischer System-Prompt generiert. Er ähnelt dem Tool-Nutzungs-System-Prompt, beginnt aber mit:

Sie haben Zugriff auf eine Reihe von Funktionen, die Sie verwenden können, um die Frage des Benutzers zu beantworten. Dies umfasst den Zugriff auf eine abgeschirmte Computerumgebung. Sie haben derzeit NICHT die Möglichkeit, Dateien zu untersuchen oder mit externen Ressourcen zu interagieren, außer durch den Aufruf der unten aufgeführten Funktionen.

Wie bei der regulären Tool-Nutzung wird das vom Benutzer bereitgestellte Feld system_prompt weiterhin respektiert und bei der Erstellung des kombinierten System-Prompts verwendet.

​

Verstehen der von Anthropic definierten Tools

Wir haben eine Reihe von Tools bereitgestellt, die es Claude ermöglichen, Computer effektiv zu nutzen. Bei der Angabe eines von Anthropic definierten Tools sind die Felder description und tool_schema nicht erforderlich oder erlaubt.

Wir stellen eine Reihe von Anthropic-definierten Tools bereit, wobei jedes Tool Versionen hat, die für Claude 4, Claude Sonnet 3.7 und Claude Sonnet 3.5 optimiert sind:

Das Feld type identifiziert das Tool und seine Parameter für Validierungszwecke, das Feld name ist der Tool-Name, der dem Modell präsentiert wird.

Wenn Sie das Modell auffordern möchten, eines dieser Tools zu verwenden, können Sie explizit auf das Tool über das Feld name verweisen. Das Feld name muss innerhalb der Tool-Liste eindeutig sein; Sie können kein Tool mit demselben Namen wie ein von Anthropic definiertes Tool im selben API-Aufruf definieren.

​

Aktivieren der Denkfähigkeit in Claude 4 und Claude Sonnet 3.7

Claude Sonnet 3.7 führte eine neue “Denkfähigkeit” ein, die es Ihnen ermöglicht, den Denkprozess des Modells zu sehen, während es komplexe Aufgaben bearbeitet. Diese Funktion hilft Ihnen zu verstehen, wie Claude ein Problem angeht, und kann besonders wertvoll für Debugging oder Bildungszwecke sein.

Um das Denken zu aktivieren, fügen Sie einen thinking-Parameter zu Ihrer API-Anfrage hinzu:

"thinking": {
  "type": "enabled",
  "budget_tokens": 1024
}

Der Parameter budget_tokens gibt an, wie viele Tokens Claude für das Denken verwenden kann. Dies wird von Ihrem gesamten max_tokens-Budget abgezogen.

Wenn das Denken aktiviert ist, gibt Claude seinen Denkprozess als Teil der Antwort zurück, was Ihnen helfen kann:

1. Den Entscheidungsprozess des Modells zu verstehen
2. Potenzielle Probleme oder Missverständnisse zu identifizieren
3. Von Claudes Herangehensweise an Problemlösungen zu lernen
4. Mehr Einblick in komplexe mehrstufige Operationen zu erhalten

Hier ist ein Beispiel dafür, wie die Denkausgabe aussehen könnte:

[Thinking]
Ich muss ein Bild einer Katze auf dem Desktop speichern. Lassen Sie mich dies in Schritte aufteilen:

1. Zuerst werde ich einen Screenshot machen, um zu sehen, was auf dem Desktop ist
2. Dann werde ich nach einem Webbrowser suchen, um nach Katzenbildern zu suchen
3. Nachdem ich ein geeignetes Bild gefunden habe, muss ich es auf dem Desktop speichern

Lassen Sie mich damit beginnen, einen Screenshot zu machen, um zu sehen, was verfügbar ist...

​

Kombinieren der Computernutzung mit anderen Tools

Sie können reguläre Tool-Nutzung mit den von Anthropic definierten Tools für die Computernutzung kombinieren.

curl https://api.anthropic.com/v1/messages \
  -H "content-type: application/json" \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "anthropic-beta: computer-use-2025-01-24" \
  -d '{
    "model": "claude-4-opus-20250514",
    "max_tokens": 1024,
    "tools": [
      {
        "type": "computer_20250124",
        "name": "computer",
        "display_width_px": 1024,
        "display_height_px": 768,
        "display_number": 1
      },
      {
        "type": "text_editor_20250124",
        "name": "str_replace_editor"
      },
      {
        "type": "bash_20250124",
        "name": "bash"
      },
      {
        "name": "get_weather",
        "description": "Get the current weather in a given location",
        "input_schema": {
          "type": "object",
          "properties": {
            "location": {
              "type": "string",
              "description": "The city and state, e.g. San Francisco, CA"
            },
            "unit": {
              "type": "string",
              "enum": ["celsius", "fahrenheit"],
              "description": "The unit of temperature, either 'celsius' or 'fahrenheit'"
            }
          },
          "required": ["location"]
        }
      }
    ],
    "messages": [
      {
        "role": "user",
        "content": "Find flights from San Francisco to a place with warmer weather."
      }
    ],
    "thinking": {
      "type": "enabled",
      "budget_tokens": 1024
    }
  }'

​

Erstellen einer benutzerdefinierten Computernutzungsumgebung

Die Referenzimplementierung soll Ihnen den Einstieg in die Computernutzung erleichtern. Sie enthält alle Komponenten, die benötigt werden, damit Claude einen Computer nutzen kann. Sie können jedoch Ihre eigene Umgebung für die Computernutzung erstellen, um Ihren Bedürfnissen gerecht zu werden. Sie benötigen:

• Eine virtualisierte oder containerisierte Umgebung, die für die Computernutzung mit Claude geeignet ist
• Eine Implementierung von mindestens einem der von Anthropic definierten Computernutzungs-Tools
• Eine Agent-Schleife, die mit der Anthropic API interagiert und die tool_use-Ergebnisse mit Ihren Tool-Implementierungen ausführt
• Eine API oder Benutzeroberfläche, die Benutzereingaben ermöglicht, um die Agent-Schleife zu starten

​

Verstehen der Einschränkungen der Computernutzung

Die Computernutzungsfunktionalität befindet sich in der Beta-Phase. Während Claudes Fähigkeiten hochmodern sind, sollten Entwickler sich seiner Einschränkungen bewusst sein:

1. Latenz: Die aktuelle Computernutzungslatenz für Mensch-KI-Interaktionen kann im Vergleich zu regulären menschengesteuerten Computeraktionen zu langsam sein. Wir empfehlen, sich auf Anwendungsfälle zu konzentrieren, bei denen Geschwindigkeit nicht kritisch ist (z.B. Hintergrundinformationssammlung, automatisierte Softwaretests) in vertrauenswürdigen Umgebungen.
2. Genauigkeit und Zuverlässigkeit der Computervision: Claude kann Fehler machen oder halluzinieren, wenn es spezifische Koordinaten bei der Generierung von Aktionen ausgibt. Claude Sonnet 3.7 führt die Denkfähigkeit ein, die Ihnen helfen kann, den Denkprozess des Modells zu verstehen und potenzielle Probleme zu identifizieren.
3. Genauigkeit und Zuverlässigkeit der Toolauswahl: Claude kann Fehler machen oder halluzinieren, wenn es Tools bei der Generierung von Aktionen auswählt oder unerwartete Aktionen zur Problemlösung durchführt. Darüber hinaus kann die Zuverlässigkeit geringer sein, wenn mit Nischenanwendungen oder mehreren Anwendungen gleichzeitig interagiert wird. Wir empfehlen Benutzern, das Modell sorgfältig zu promten, wenn komplexe Aufgaben angefordert werden.
4. Scrollzuverlässigkeit: Während Claude Sonnet 3.5 (neu) Einschränkungen beim Scrollen hatte, führt Claude Sonnet 3.7 dedizierte Scroll-Aktionen mit Richtungssteuerung ein, die die Zuverlässigkeit verbessern. Das Modell kann jetzt explizit in jede Richtung (hoch/runter/links/rechts) um eine bestimmte Menge scrollen.
5. Tabellenkalkulationsinteraktion: Mausklicks für die Tabellenkalkulationsinteraktion wurden in Claude Sonnet 3.7 mit der Hinz

ufügung präziserer Maussteuerungsaktionen wie left_mouse_down, left_mouse_up und neuer Modifikatortastenunterstützung verbessert. Die Zellauswahl kann zuverlässiger sein, indem diese feinkörnigen Steuerelemente verwendet und Modifikatortasten mit Klicks kombiniert werden. 6. Kontoerstellung und Inhaltsgenerierung auf sozialen und Kommunikationsplattformen: Während Claude Websites besucht, beschränken wir seine Fähigkeit, Konten zu erstellen oder Inhalte zu generieren und zu teilen oder anderweitig menschliche Impersonation über Social-Media-Websites und -Plattformen zu betreiben. Wir könnten diese Fähigkeit in Zukunft aktualisieren. 7. Schwachstellen: Schwachstellen wie Jailbreaking oder Prompt-Injection können über Frontier-KI-Systeme hinweg bestehen bleiben, einschließlich der Beta-Computernutzungs-API. Unter bestimmten Umständen befolgt Claude Befehle, die in Inhalten gefunden werden, manchmal sogar im Widerspruch zu den Anweisungen des Benutzers. Beispielsweise können Claude-Anweisungen auf Webseiten oder in Bildern die Anweisungen überschreiben oder dazu führen, dass Claude Fehler macht. Wir empfehlen: a. Beschränkung der Computernutzung auf vertrauenswürdige Umgebungen wie virtuelle Maschinen oder Container mit minimalen Rechten b. Vermeidung, der Computernutzung Zugriff auf sensible Konten oder Daten ohne strenge Überwachung zu geben c. Informieren der Endbenutzer über relevante Risiken und Einholen ihrer Zustimmung, bevor Sie die für Computernutzungsfunktionen in Ihren Anwendungen erforderlichen Berechtigungen aktivieren oder anfordern 8. Unangemessene oder illegale Aktionen: Gemäß den Nutzungsbedingungen von Anthropic dürfen Sie die Computernutzung nicht einsetzen, um Gesetze oder unsere Richtlinie zur akzeptablen Nutzung zu verletzen.

Überprüfen Sie immer sorgfältig Claudes Computernutzungsaktionen und -protokolle. Verwenden Sie Claude nicht für Aufgaben, die perfekte Präzision oder sensible Benutzerinformationen erfordern, ohne menschliche Aufsicht.

​

Preisgestaltung

Als Teilmenge von Tool-Nutzungsanfragen werden Computernutzungsanfragen genauso bepreist wie jede andere Claude API-Anfrage.

Wir fügen auch automatisch einen speziellen System-Prompt für das Modell hinzu, der die Computernutzung ermöglicht.

Zusätzlich zu den Basis-Tokens werden die folgenden zusätzlichen Eingabe-Tokens für die von Anthropic definierten Tools benötigt:

Wenn Sie das Denken mit Claude 4 oder Claude Sonnet 3.7 aktivieren, werden die für das Denken verwendeten Tokens auf Ihr max_tokens-Budget angerechnet, basierend auf den budget_tokens, die Sie im Thinking-Parameter angeben.