Computernutzung (Beta)

Hier ist ein Beispiel dafür, wie Sie Claude Computernutzungs-Tools über die Messages-API zur Verfügung stellen:

​

Wie die Computernutzung funktioniert

Wir bezeichnen die Wiederholung der Schritte 3 und 4 ohne Benutzereingabe als “Agent-Schleife” - d. h. Claude antwortet mit einer Tool-Verwendungsanfrage und Ihre Anwendung antwortet Claude mit den Ergebnissen der Auswertung dieser Anfrage.

​

Wie man die Computernutzung implementiert

​

Starten Sie mit unserer Referenzimplementierung

Wir haben eine Referenzimplementierung erstellt, die alles enthält, was Sie für einen schnellen Einstieg in die Computernutzung benötigen:

• Eine containerisierte Umgebung, die für die Computernutzung mit Claude geeignet ist
• Implementierungen der Computernutzungs-Tools
• Eine Agent-Schleife, die mit der Anthropic-API interagiert und die tool_use-Ergebnisse mit Ihren Tool-Implementierungen ausführt
• Eine Weboberfläche zur Interaktion mit dem Container, der Agent-Schleife und den Tools.

Wir empfehlen, die Referenzimplementierung auszuprobieren, bevor Sie den Rest dieser Dokumentation lesen.

​

Optimieren Sie die Modellleistung mit Prompting

Hier sind einige Tipps, wie Sie qualitativ hochwertige Ausgaben erhalten:

1. Geben Sie einfache, klar definierte Aufgaben an und geben Sie explizite Anweisungen für jeden Schritt.
2. Claude geht manchmal davon aus, dass seine Aktionen bestimmte Ergebnisse haben, ohne deren Ergebnisse explizit zu überprüfen. Um dies zu verhindern, können Sie Claude mit Nach jedem Schritt machen Sie einen Screenshot und bewerten Sie sorgfältig, ob Sie das richtige Ergebnis erzielt haben. Zeigen Sie Ihr Denken explizit: "Ich habe Schritt X bewertet..." Wenn nicht korrekt, versuchen Sie es erneut. Erst wenn Sie bestätigen, dass ein Schritt korrekt ausgeführt wurde, sollten Sie zum nächsten übergehen. auffordern.
3. Einige UI-Elemente (wie Dropdowns und Bildlaufleisten) können für Claude schwierig zu manipulieren sein, wenn Mausbewegungen verwendet werden. Wenn Sie dies erleben, versuchen Sie, das Modell aufzufordern, Tastenkombinationen zu verwenden.
4. Für wiederholbare Aufgaben oder UI-Interaktionen fügen Sie Beispielscreenshots und Tool-Aufrufe erfolgreicher Ergebnisse in Ihre Aufforderung ein.
5. Wenn Sie das Modell anmelden müssen, geben Sie ihm den Benutzernamen und das Passwort in Ihrer Aufforderung innerhalb von XML-Tags wie <robot_credentials> an. Die Verwendung der Computernutzung innerhalb von Anwendungen, die eine Anmeldung erfordern, erhöht das Risiko unerwünschter Ergebnisse aufgrund von Prompt-Injektionen. Bitte lesen Sie unseren Leitfaden zur Abschwächung von Prompt-Injektionen, bevor Sie dem Modell Anmeldeinformationen zur Verfügung stellen.

​

System-Aufforderungen

Wenn eines der von Anthropic definierten Tools über die Anthropic-API angefordert wird, wird eine computernutzungsspezifische System-Aufforderung generiert. Sie ähnelt der Tool-Verwendungs-System-Aufforderung, beginnt aber mit:

Sie haben Zugriff auf eine Reihe von Funktionen, die Sie verwenden können, um die Frage des Benutzers zu beantworten. Dazu gehört der Zugriff auf eine abgeschirmte Computerumgebung. Sie haben DERZEIT NICHT die Möglichkeit, Dateien zu inspizieren oder mit externen Ressourcen zu interagieren, außer durch Aufrufen der unten stehenden Funktionen.

Wie bei der regulären Tool-Verwendung wird das vom Benutzer bereitgestellte system_prompt-Feld weiterhin respektiert und bei der Erstellung der kombinierten System-Aufforderung verwendet.

​

Verstehen Sie die von Anthropic definierten Tools

Wir haben eine Reihe von Tools bereitgestellt, mit denen Claude Computer effektiv nutzen kann. Wenn Sie ein von Anthropic definiertes Tool angeben, sind die Felder description und tool_schema nicht erforderlich oder erlaubt.

Derzeit bieten wir 3 von Anthropic definierte Tools an:

• { "type": "computer_20241022", "name": "computer" }
• { "type": "text_editor_20241022", "name": "str_replace_editor" }
• { "type": "bash_20241022", "name": "bash" }

Das Feld type identifiziert das Tool und seine Parameter für die Validierung, das Feld name ist der dem Modell angezeigte Tool-Name.

Wenn Sie das Modell auffordern möchten, eines dieser Tools zu verwenden, können Sie das Tool explizit mit dem Feld name angeben. Der Feldname name muss innerhalb der Tool-Liste eindeutig sein; Sie können kein Tool mit demselben Namen wie ein von Anthropic definiertes Tool in demselben API-Aufruf definieren.

Verwenden Sie eine Maus und eine Tastatur, um mit einem Computer zu interagieren und Screenshots zu machen.
* Dies ist eine Schnittstelle zu einer Desktop-GUI. Sie haben keinen Zugriff auf ein Terminal oder ein Anwendungsmenü. Sie müssen auf Desktop-Symbole klicken, um Anwendungen zu starten.
* Einige Anwendungen benötigen möglicherweise etwas Zeit zum Starten oder Verarbeiten von Aktionen, so dass Sie möglicherweise warten und aufeinanderfolgende Screenshots machen müssen, um die Ergebnisse Ihrer Aktionen zu sehen. Wenn Sie z.B. auf Firefox klicken und sich kein Fenster öffnet, versuchen Sie, einen weiteren Screenshot zu machen.
* Die Bildschirmauflösung beträgt {{ display_width_px }}x{{ display_height_px }}.
* Die Anzeigeanzahl ist {{ display_number }}
* Wann immer Sie beabsichtigen, den Cursor zu bewegen, um auf ein Element wie ein Symbol zu klicken, sollten Sie einen Screenshot zu Rate ziehen, um die Koordinaten des Elements zu bestimmen, bevor Sie den Cursor bewegen.
* Wenn Sie versucht haben, auf ein Programm oder einen Link zu klicken, es aber nicht geladen wurde, selbst nach einer Wartezeit, versuchen Sie, Ihre Cursorposition so anzupassen, dass die Spitze des Cursors visuell auf dem Element liegt, auf das Sie klicken möchten.
* Stellen Sie sicher, dass Sie auf Schaltflächen, Links, Symbole usw. mit der Cursorspitze in der Mitte des Elements klicken. Klicken Sie nicht auf Kanten von Kästchen, es sei denn, Sie werden dazu aufgefordert.

{
    "properties": {
        "action": {
            "description": """Die auszuführende Aktion. Die verfügbaren Aktionen sind:
                * `key`: Drücken Sie eine Taste oder Tastenkombination auf der Tastatur.
                  - Dies unterstützt die `key`-Syntax von xdotool.
                  - Beispiele: "a", "Return", "alt+Tab", "ctrl+s", "Up", "KP_0" (für die Zifferntaste 0).
                * `type`: Geben Sie eine Zeichenfolge auf der Tastatur ein.
                * `cursor_position`: Holen Sie sich die aktuelle (x, y)-Pixelkoordinate des Cursors auf dem Bildschirm.
                * `mouse_move`: Bewegen Sie den Cursor an eine angegebene (x, y)-Pixelkoordinate auf dem Bildschirm.
                * `left_click`: Klicken Sie mit der linken Maustaste.
                * `left_click_drag`: Klicken und ziehen Sie den Cursor an eine angegebene (x, y)-Pixelkoordinate auf dem Bildschirm.
                * `right_click`: Klicken Sie mit der rechten Maustaste.
                * `middle_click`: Klicken Sie mit der mittleren Maustaste.
                * `double_click`: Doppelklicken Sie mit der linken Maustaste.
                * `screenshot`: Erstellen Sie einen Screenshot des Bildschirms.""",
            "enum": [
                "key",
                "type",
                "mouse_move",
                "left_click",
                "left_click_drag",
                "right_click",
                "middle_click",
                "double_click",
                "screenshot",
                "cursor_position",
            ],
            "type": "string",
        },
        "coordinate": {
            "description": "(x, y): Die x (Pixel vom linken Rand) und y (Pixel vom oberen Rand) Koordinaten, zu denen die Maus bewegt werden soll. Nur erforderlich bei `action=mouse_move` und `action=left_click_drag`.",
            "type": "array",
        },
        "text": {
            "description": "Nur erforderlich bei `action=type` und `action=key`.",
            "type": "string",
        },
    },
    "required": ["action"],
    "type": "object",
}

Benutzerdefiniertes Bearbeitungstool zum Anzeigen, Erstellen und Bearbeiten von Dateien
* Der Zustand ist über Befehlsaufrufe und Diskussionen mit dem Benutzer hinweg persistent
* Wenn `path` eine Datei ist, zeigt `view` das Ergebnis von `cat -n` an. Wenn `path` ein Verzeichnis ist, listet `view` nicht-versteckte Dateien und Verzeichnisse bis zu 2 Ebenen tief auf
* Der `create`-Befehl kann nicht verwendet werden, wenn die angegebene `path` bereits als Datei existiert
* Wenn ein `command` eine lange Ausgabe erzeugt, wird sie abgeschnitten und mit `<response clipped>` markiert
* Der `undo_edit`-Befehl wird die letzte Bearbeitung der Datei unter `path` rückgängig machen

Hinweise zur Verwendung des `str_replace`-Befehls:
* Der `old_str`-Parameter sollte EXAKT einer oder mehreren aufeinanderfolgenden Zeilen aus der Originaldatei entsprechen. Achten Sie auf Leerzeichen!
* Wenn der `old_str`-Parameter in der Datei nicht eindeutig ist, wird die Ersetzung nicht durchgeführt. Stellen Sie sicher, dass Sie genügend Kontext in `old_str` angeben, um ihn eindeutig zu machen
* Der `new_str`-Parameter sollte die bearbeiteten Zeilen enthalten, die `old_str` ersetzen sollen

{
    "properties": {
        "command": {
            "description": "Die auszuführenden Befehle. Erlaubte Optionen sind: `view`, `create`, `str_replace`, `insert`, `undo_edit`.",
            "enum": ["view", "create", "str_replace", "insert", "undo_edit"],
            "type": "string",
        },
        "file_text": {
            "description": "Erforderlicher Parameter des `create`-Befehls mit dem Inhalt der zu erstellenden Datei.",
            "type": "string",
        },
        "insert_line": {
            "description": "Erforderlicher Parameter des `insert`-Befehls. Die `new_str` wird NACH der Zeile `insert_line` von `path` eingefügt.",
            "type": "integer",
        },
        "new_str": {
            "description": "Optionaler Parameter des `str_replace`-Befehls mit der neuen Zeichenfolge (wenn nicht angegeben, wird keine Zeichenfolge hinzugefügt). Erforderlicher Parameter des `insert`-Befehls mit der einzufügenden Zeichenfolge.",
            "type": "string",
        },
        "old_str": {
            "description": "Erforderlicher Parameter des `str_replace`-Befehls mit der in `path` zu ersetzenden Zeichenfolge.",
            "type": "string",
        },
        "path": {
            "description": "Absoluter Pfad zur Datei oder zum Verzeichnis, z. B. `/repo/file.py` oder `/repo`.",
            "type": "string",
        },
        "view_range": {
            "description": "Optionaler Parameter des `view`-Befehls, wenn `path` auf eine Datei zeigt. Wenn keiner angegeben ist, wird die gesamte Datei angezeigt. Wenn angegeben, wird die Datei im angegebenen Zeilennummernbereich angezeigt, z. B. [11, 12] zeigt die Zeilen 11 und 12 an. Indizierung beginnt bei 1. Mit `[start_line, -1]` werden alle Zeilen ab `start_line` bis zum Ende der Datei angezeigt.",
            "items": {"type": "integer"},
            "type": "array",
        },
    },
    "required": ["command", "path"],
    "type": "object",
}

Führen Sie Befehle in einer Bash-Shell aus
* Wenn Sie dieses Tool aufrufen, müssen die Inhalte des Parameters "command" NICHT XML-escaped werden.
* Sie haben Zugriff auf einen Spiegel gängiger Linux- und Python-Pakete über apt und pip.
* Der Zustand ist über Befehlsaufrufe und Diskussionen mit dem Benutzer hinweg persistent.
* Um einen bestimmten Zeilenbereich einer Datei zu inspizieren, z. B. Zeilen 10-25, versuchen Sie 'sed -n 10,25p /path/to/the/file'.
* Bitte vermeiden Sie Befehle, die eine sehr große Ausgabemenge erzeugen können.
* Bitte führen Sie lang laufende Befehle im Hintergrund aus, z. B. 'sleep 10 &' oder starten Sie einen Server im Hintergrund.

{
    "properties": {
        "command": {
            "description": "Der auszuführende Bash-Befehl. Nicht erforderlich, wenn das Tool neu gestartet wird.",
            "type": "string",
        },
        "restart": {
            "description": "Wenn true angegeben wird, wird dieses Tool neu gestartet. Andernfalls lassen Sie dies unangegeben.",
            "type": "boolean",
        },
    }
}

​

Kombinieren Sie die Computernutzung mit anderen Tools

Sie können die reguläre Tool-Verwendung mit den von Anthropic definierten Tools für die Computernutzung kombinieren.

​

Erstellen Sie eine benutzerdefinierte Computernutzungsumgebung

Die Referenzimplementierung soll Ihnen den Einstieg in die Computernutzung erleichtern. Sie enthält alle Komponenten, die Claude benötigt, um einen Computer zu nutzen. Sie können jedoch Ihre eigene Umgebung für die Computernutzung erstellen, um Ihre Bedürfnisse zu erfüllen. Sie benötigen:

• Eine virtualisierte oder containerisierte Umgebung, die für die Computernutzung mit Claude geeignet ist
• Eine Implementierung von mindestens einem der von Anthropic definierten Computernutzungs-Tools
• Eine Agent-Schleife, die mit der Anthropic-API interagiert und die tool_use-Ergebnisse mit Ihren Tool-Implementierungen ausführt
• Eine API oder Benutzeroberfläche, die die Benutzereingabe zum Starten der Agent-Schleife ermöglicht

​

Verstehen Sie die Einschränkungen der Computernutzung

Die Computernutzungsfunktionalität befindet sich in der Betaphase. Obwohl die Fähigkeiten von Claude auf dem neuesten Stand sind, sollten Entwickler ihre Einschränkungen kennen:

1. Latenz: Die aktuelle Latenz der Computernutzung für Mensch-KI-Interaktionen kann im Vergleich zu regulären menschengesteuerten Computeraktionen zu langsam sein. Wir empfehlen, sich auf Anwendungsfälle zu konzentrieren, bei denen Geschwindigkeit nicht entscheidend ist (z. B. Sammeln von Hintergrundinformationen, automatisiertes Softwaretesten) in vertrauenswürdigen Umgebungen.
2. Genauigkeit und Zuverlässigkeit der Computervision: Claude kann Fehler machen oder halluzinieren, wenn es spezifische Koordinaten für Aktionen ausgibt.
3. Genauigkeit und Zuverlässigkeit der Tool-Auswahl: Claude kann Fehler machen oder halluzinieren, wenn es Tools für die Generierung von Aktionen auswählt oder unerwartete Aktionen zur Problemlösung ausführt. Außerdem kann die Zuverlässigkeit bei der Interaktion mit Nischenanwendungen oder mehreren Anwendungen gleichzeitig geringer sein. Wir empfehlen, das Modell sorgfältig aufzufordern, wenn komplexe Aufgaben angefordert werden.
4. Zuverlässigkeit des Scrollens: Das Scrollen kann in der aktuellen Erfahrung unzuverlässig sein, und das Modell scrollt möglicherweise nicht zuverlässig bis zum Ende einer Seite. Das Scrollverhalten kann durch Tastaturkürzeln (PgUp/PgDown) verbessert werden.
5. Interaktion mit Tabellenkalkulationen: Mausklicks für die Interaktion mit Tabellenkalkulationen sind unzuverlässig. Die Zellauswahl funktioniert möglicherweise nicht immer wie erwartet. Dies kann durch Aufforderung des Modells zur Verwendung von Pfeiltasten abgemildert werden.
6. Kontoerstellung und Inhaltserstellung auf sozialen und Kommunikationsplattformen: Obwohl Claude Websites besuchen wird, beschränken wir seine Möglichkeit, Konten zu erstellen oder Inhalte zu erstellen und zu teilen oder sich anderweitig als Mensch auszugeben, auf Social-Media-Websites und Plattformen. Wir können diese Funktion in Zukunft aktualisieren.
7. Schwachstellen: Schwachstellen wie Jailbreaking oder Prompt-Injektionen können bei Frontier-KI-Systemen, einschließlich der Beta-Computernutzungs-API, bestehen bleiben. In manchen Fällen folgt Claude Anweisungen, die in Inhalten enthalten sind, manchmal sogar im Widerspruch zu den Anweisungen des Benutzers. Zum Beispiel können Claude-Anweisungen auf Webseiten oder in Bildern die Anweisungen des Benutzers außer Kraft setzen oder dazu führen, dass Claude Fehler macht. Wir empfehlen: a. Die Computernutzung auf vertrauenswürdige Umgebungen wie virtuelle Maschinen oder Container mit minimalen Berechtigungen zu beschränken b. Zu vermeiden, der Computernutzung Zugriff auf sensible Konten oder Daten ohne strenge Überwachung zu geben c. Endbenutzer über relevante Risiken zu informieren und ihre Zustimmung einzuholen, bevor Sie die für die Computernutzungsfunktionen in Ihren Anwendungen erforderlichen Berechtigungen aktivieren oder anfordern
8. Unangemessene oder illegale Aktionen: Gemäß den Nutzungsbedingungen von Anthropic dürfen Sie die Computernutzung nicht einsetzen, um Gesetze oder unsere Richtlinie für akzeptable Nutzung zu verletzen.

Überprüfen und verifizieren Sie immer sorgfältig die Computernutzungsaktionen und -protokolle von Claude. Verwenden Sie Claude nicht für Aufgaben, die perfekte Präzision oder sensible Benutzerinformationen erfordern, ohne menschliche Aufsicht.

​

Preisgestaltung

Wie bei allen anderen Claude-API-Anfragen werden auch Computernutzungsanfragen genauso bepreist.

Wir fügen außerdem automatisch eine spezielle System-Aufforderung für das Modell hinzu, die die Computernutzung ermöglicht.

Zusätzlich zu den Basis-Token werden die folgenden zusätzlichen Eingabe-Token für die von Anthropic definierten Tools benötigt: