Computernutzung (Beta)
Claude 4 Opus und Sonnet, zusammen mit Claude Sonnet 3.7 und Claude Sonnet 3.5 (neu), können mit Tools interagieren, die eine Computer-Desktop-Umgebung manipulieren können. Claude 4-Modelle verwenden aktualisierte Tool-Versionen, die für die neue Architektur optimiert sind. Claude Sonnet 3.7 führt zusätzliche Tools ein und ermöglicht es Ihnen, das Denken zu aktivieren, wodurch Sie mehr Einblick in den Denkprozess des Modells erhalten.
Die Computernutzung ist eine Beta-Funktion. Bitte beachten Sie, dass die Computernutzung einzigartige Risiken birgt, die sich von Standard-API-Funktionen oder Chat-Schnittstellen unterscheiden. Diese Risiken sind erhöht, wenn die Computernutzung für die Interaktion mit dem Internet verwendet wird. Um Risiken zu minimieren, sollten Sie Vorsichtsmaßnahmen wie die folgenden in Betracht ziehen:
- Verwenden Sie eine dedizierte virtuelle Maschine oder einen Container mit minimalen Rechten, um direkte Systemangriffe oder Unfälle zu verhindern.
- Vermeiden Sie es, dem Modell Zugriff auf sensible Daten wie Kontoanmeldeinformationen zu geben, um Informationsdiebstahl zu verhindern.
- Beschränken Sie den Internetzugang auf eine Positivliste von Domains, um die Exposition gegenüber bösartigen Inhalten zu reduzieren.
- Bitten Sie einen Menschen, Entscheidungen zu bestätigen, die zu bedeutenden realen Konsequenzen führen können, sowie alle Aufgaben, die eine ausdrückliche Zustimmung erfordern, wie das Akzeptieren von Cookies, die Ausführung von Finanztransaktionen oder die Zustimmung zu Nutzungsbedingungen.
Unter bestimmten Umständen befolgt Claude Befehle, die in Inhalten gefunden werden, auch wenn diese im Widerspruch zu den Anweisungen des Benutzers stehen. Beispielsweise können Claude-Anweisungen auf Webseiten oder in Bildern die Anweisungen überschreiben oder dazu führen, dass Claude Fehler macht. Wir empfehlen, Vorsichtsmaßnahmen zu ergreifen, um Claude von sensiblen Daten und Aktionen zu isolieren, um Risiken im Zusammenhang mit Prompt-Injection zu vermeiden.
Wir haben das Modell trainiert, diesen Prompt-Injections zu widerstehen, und haben eine zusätzliche Verteidigungsebene hinzugefügt. Wenn Sie unsere Computernutzungs-Tools verwenden, führen wir automatisch Klassifikatoren für Ihre Prompts aus, um potenzielle Fälle von Prompt-Injections zu kennzeichnen. Wenn diese Klassifikatoren potenzielle Prompt-Injections in Screenshots identifizieren, lenken sie das Modell automatisch so, dass es vor der nächsten Aktion um Benutzerbestätigung bittet. Wir erkennen an, dass dieser zusätzliche Schutz nicht für jeden Anwendungsfall ideal ist (z.B. Anwendungsfälle ohne einen Menschen in der Schleife), daher kontaktieren Sie uns bitte, wenn Sie sich abmelden und ihn ausschalten möchten kontaktieren Sie uns.
Wir empfehlen dennoch, Vorsichtsmaßnahmen zu ergreifen, um Claude von sensiblen Daten und Aktionen zu isolieren, um Risiken im Zusammenhang mit Prompt-Injection zu vermeiden.
Informieren Sie schließlich die Endbenutzer über relevante Risiken und holen Sie deren Zustimmung ein, bevor Sie die Computernutzung in Ihren eigenen Produkten aktivieren.
Referenzimplementierung für Computernutzung
Starten Sie schnell mit unserer Referenzimplementierung für Computernutzung, die eine Weboberfläche, Docker-Container, Beispiel-Tool-Implementierungen und eine Agent-Schleife enthält.
Hinweis: Die Implementierung wurde aktualisiert, um neue Tools sowohl für Claude 4 als auch für Claude Sonnet 3.7 zu enthalten. Stellen Sie sicher, dass Sie die neueste Version des Repos abrufen, um auf diese neuen Funktionen zuzugreifen.
Bitte verwenden Sie dieses Formular, um Feedback zur Qualität der Modellantworten, der API selbst oder der Qualität der Dokumentation zu geben - wir können es kaum erwarten, von Ihnen zu hören!
Hier ist ein Beispiel, wie man Claude mithilfe der Messages API Computernutzungs-Tools zur Verfügung stellt:
Wie die Computernutzung funktioniert
1. Stellen Sie Claude Computernutzungs-Tools und einen Benutzer-Prompt zur Verfügung
- Fügen Sie von Anthropic definierte Computernutzungs-Tools zu Ihrer API-Anfrage hinzu.
- Fügen Sie einen Benutzer-Prompt hinzu, der diese Tools benötigen könnte, z.B. “Speichere ein Bild einer Katze auf meinem Desktop.”
2. Claude entscheidet sich, ein Tool zu verwenden
- Claude lädt die gespeicherten Definitionen der Computernutzungs-Tools und bewertet, ob Tools bei der Anfrage des Benutzers helfen können.
- Falls ja, erstellt Claude eine korrekt formatierte Tool-Nutzungsanfrage.
- Die API-Antwort hat einen
stop_reason
vontool_use
, der Claudes Absicht signalisiert.
3. Extrahieren Sie die Tool-Eingabe, führen Sie das Tool auf einem Computer aus und geben Sie die Ergebnisse zurück
- Auf Ihrer Seite extrahieren Sie den Tool-Namen und die Eingabe aus Claudes Anfrage.
- Verwenden Sie das Tool auf einem Container oder einer virtuellen Maschine.
- Setzen Sie die Konversation mit einer neuen
user
-Nachricht fort, die einentool_result
-Inhaltsblock enthält.
4. Claude ruft weiterhin Computernutzungs-Tools auf, bis die Aufgabe abgeschlossen ist
- Claude analysiert die Tool-Ergebnisse, um festzustellen, ob weitere Tool-Nutzung erforderlich ist oder die Aufgabe abgeschlossen wurde.
- Wenn Claude entscheidet, dass es ein weiteres Tool benötigt, antwortet es mit einem weiteren
tool_use
stop_reason
und Sie sollten zu Schritt 3 zurückkehren. - Andernfalls erstellt es eine Textantwort für den Benutzer.
Wir bezeichnen die Wiederholung der Schritte 3 und 4 ohne Benutzereingabe als “Agent-Schleife” - d.h. Claude antwortet mit einer Tool-Nutzungsanfrage und Ihre Anwendung antwortet Claude mit den Ergebnissen der Auswertung dieser Anfrage.
Die Computerumgebung
Die Computernutzung erfordert eine abgeschirmte Computerumgebung, in der Claude sicher mit Anwendungen und dem Web interagieren kann. Diese Umgebung umfasst:
-
Virtuelles Display: Ein virtueller X11-Display-Server (mit Xvfb), der die Desktop-Schnittstelle rendert, die Claude durch Screenshots sehen und mit Maus-/Tastaturaktionen steuern wird.
-
Desktop-Umgebung: Eine leichtgewichtige Benutzeroberfläche mit Fenstermanager (Mutter) und Panel (Tint2), die unter Linux läuft und eine konsistente grafische Schnittstelle für Claude bietet.
-
Anwendungen: Vorinstallierte Linux-Anwendungen wie Firefox, LibreOffice, Texteditoren und Dateimanager, die Claude zur Erledigung von Aufgaben verwenden kann.
-
Tool-Implementierungen: Integrationscode, der Claudes abstrakte Tool-Anfragen (wie “Maus bewegen” oder “Screenshot machen”) in tatsächliche Operationen in der virtuellen Umgebung übersetzt.
-
Agent-Schleife: Ein Programm, das die Kommunikation zwischen Claude und der Umgebung verwaltet, Claudes Aktionen an die Umgebung sendet und die Ergebnisse (Screenshots, Befehlsausgaben) an Claude zurückgibt.
Wenn Sie die Computernutzung verwenden, verbindet sich Claude nicht direkt mit dieser Umgebung. Stattdessen:
- Empfängt Ihre Anwendung Claudes Tool-Nutzungsanfragen
- Übersetzt sie in Aktionen in Ihrer Computerumgebung
- Erfasst die Ergebnisse (Screenshots, Befehlsausgaben usw.)
- Gibt diese Ergebnisse an Claude zurück
Aus Sicherheits- und Isolationsgründen führt die Referenzimplementierung all dies innerhalb eines Docker-Containers mit geeigneten Port-Mappings zum Anzeigen und Interagieren mit der Umgebung aus.
Wie man die Computernutzung implementiert
Beginnen Sie mit unserer Referenzimplementierung
Wir haben eine Referenzimplementierung erstellt, die alles enthält, was Sie für einen schnellen Einstieg in die Computernutzung benötigen:
- Eine containerisierte Umgebung, die für die Computernutzung mit Claude geeignet ist
- Implementierungen der Computernutzungs-Tools
- Eine Agent-Schleife, die mit der Anthropic API interagiert und die Computernutzungs-Tools ausführt
- Eine Weboberfläche zur Interaktion mit dem Container, der Agent-Schleife und den Tools.
Verstehen der Multi-Agent-Schleife
Der Kern der Computernutzung ist die “Agent-Schleife” - ein Zyklus, bei dem Claude Tool-Aktionen anfordert, Ihre Anwendung diese ausführt und die Ergebnisse an Claude zurückgibt. Hier ist ein vereinfachtes Beispiel:
Die Schleife wird fortgesetzt, bis entweder Claude ohne Anforderung von Tools antwortet (Aufgabenabschluss) oder das maximale Iterationslimit erreicht ist. Diese Sicherheitsmaßnahme verhindert potenzielle Endlosschleifen, die zu unerwarteten API-Kosten führen könnten.
Für jede Version der Tools müssen Sie das entsprechende Beta-Flag in Ihrer API-Anfrage verwenden:
Wir empfehlen, die Referenzimplementierung auszuprobieren, bevor Sie den Rest dieser Dokumentation lesen.
Optimieren Sie die Modellleistung mit Prompting
Hier sind einige Tipps, wie Sie die beste Ausgabequalität erzielen können:
- Geben Sie einfache, klar definierte Aufgaben an und liefern Sie explizite Anweisungen für jeden Schritt.
- Claude nimmt manchmal Ergebnisse seiner Aktionen an, ohne deren Ergebnisse explizit zu überprüfen. Um dies zu verhindern, können Sie Claude mit folgendem Prompt anweisen:
Mache nach jedem Schritt einen Screenshot und bewerte sorgfältig, ob du das richtige Ergebnis erzielt hast. Zeige dein Denken explizit: "Ich habe Schritt X ausgewertet..." Wenn es nicht korrekt ist, versuche es erneut. Erst wenn du bestätigst, dass ein Schritt korrekt ausgeführt wurde, solltest du zum nächsten übergehen.
- Einige UI-Elemente (wie Dropdown-Menüs und Scrollleisten) können für Claude schwierig sein, mit Mausbewegungen zu manipulieren. Wenn Sie dies erleben, versuchen Sie, das Modell anzuweisen, Tastaturkürzel zu verwenden.
- Für wiederholbare Aufgaben oder UI-Interaktionen fügen Sie Beispiel-Screenshots und Tool-Aufrufe erfolgreicher Ergebnisse in Ihren Prompt ein.
- Wenn das Modell sich anmelden muss, geben Sie ihm den Benutzernamen und das Passwort in Ihrem Prompt innerhalb von XML-Tags wie
<robot_credentials>
. Die Verwendung der Computernutzung in Anwendungen, die eine Anmeldung erfordern, erhöht das Risiko schlechter Ergebnisse durch Prompt-Injection. Bitte lesen Sie unseren Leitfaden zur Minderung von Prompt-Injections, bevor Sie dem Modell Anmeldedaten zur Verfügung stellen.
Wenn Sie wiederholt auf eine klare Reihe von Problemen stoßen oder im Voraus wissen, welche Aufgaben Claude erledigen muss, verwenden Sie den System-Prompt, um Claude explizite Tipps oder Anweisungen zu geben, wie die Aufgaben erfolgreich erledigt werden können.
System-Prompts
Wenn eines der von Anthropic definierten Tools über die Anthropic API angefordert wird, wird ein computernutzungsspezifischer System-Prompt generiert. Er ähnelt dem Tool-Nutzungs-System-Prompt, beginnt aber mit:
Sie haben Zugriff auf eine Reihe von Funktionen, die Sie verwenden können, um die Frage des Benutzers zu beantworten. Dies umfasst den Zugriff auf eine abgeschirmte Computerumgebung. Sie haben derzeit NICHT die Möglichkeit, Dateien zu untersuchen oder mit externen Ressourcen zu interagieren, außer durch den Aufruf der unten aufgeführten Funktionen.
Wie bei der regulären Tool-Nutzung wird das vom Benutzer bereitgestellte Feld system_prompt
weiterhin respektiert und bei der Erstellung des kombinierten System-Prompts verwendet.
Verstehen der von Anthropic definierten Tools
Wir haben eine Reihe von Tools bereitgestellt, die es Claude ermöglichen, Computer effektiv zu nutzen. Bei der Angabe eines von Anthropic definierten Tools sind die Felder description
und tool_schema
nicht erforderlich oder erlaubt.
Von Anthropic definierte Tools werden vom Benutzer ausgeführt
Von Anthropic definierte Tools werden von Anthropic definiert, aber Sie müssen die Ergebnisse des Tools explizit auswerten und die tool_results
an Claude zurückgeben. Wie bei jedem Tool führt das Modell das Tool nicht automatisch aus.
Wir stellen eine Reihe von Anthropic-definierten Tools bereit, wobei jedes Tool Versionen hat, die für Claude 4, Claude Sonnet 3.7 und Claude Sonnet 3.5 optimiert sind:
Das Feld type
identifiziert das Tool und seine Parameter für Validierungszwecke, das Feld name
ist der Tool-Name, der dem Modell präsentiert wird.
Wenn Sie das Modell auffordern möchten, eines dieser Tools zu verwenden, können Sie explizit auf das Tool über das Feld name
verweisen. Das Feld name
muss innerhalb der Tool-Liste eindeutig sein; Sie können kein Tool mit demselben Namen wie ein von Anthropic definiertes Tool im selben API-Aufruf definieren.
Wir empfehlen nicht, Tools mit den Namen von Anthropic-definierten Tools zu
definieren. Obwohl Sie Tools mit diesen Namen immer noch neu definieren können
(solange der Tool-Name in Ihrem tools
-Block eindeutig ist), kann dies zu
einer verschlechterten Modellleistung führen.
Aktivieren der Denkfähigkeit in Claude 4 und Claude Sonnet 3.7
Claude Sonnet 3.7 führte eine neue “Denkfähigkeit” ein, die es Ihnen ermöglicht, den Denkprozess des Modells zu sehen, während es komplexe Aufgaben bearbeitet. Diese Funktion hilft Ihnen zu verstehen, wie Claude ein Problem angeht, und kann besonders wertvoll für Debugging oder Bildungszwecke sein.
Um das Denken zu aktivieren, fügen Sie einen thinking
-Parameter zu Ihrer API-Anfrage hinzu:
Der Parameter budget_tokens
gibt an, wie viele Tokens Claude für das Denken verwenden kann. Dies wird von Ihrem gesamten max_tokens
-Budget abgezogen.
Wenn das Denken aktiviert ist, gibt Claude seinen Denkprozess als Teil der Antwort zurück, was Ihnen helfen kann:
- Den Entscheidungsprozess des Modells zu verstehen
- Potenzielle Probleme oder Missverständnisse zu identifizieren
- Von Claudes Herangehensweise an Problemlösungen zu lernen
- Mehr Einblick in komplexe mehrstufige Operationen zu erhalten
Hier ist ein Beispiel dafür, wie die Denkausgabe aussehen könnte:
Kombinieren der Computernutzung mit anderen Tools
Sie können reguläre Tool-Nutzung mit den von Anthropic definierten Tools für die Computernutzung kombinieren.
Erstellen einer benutzerdefinierten Computernutzungsumgebung
Die Referenzimplementierung soll Ihnen den Einstieg in die Computernutzung erleichtern. Sie enthält alle Komponenten, die benötigt werden, damit Claude einen Computer nutzen kann. Sie können jedoch Ihre eigene Umgebung für die Computernutzung erstellen, um Ihren Bedürfnissen gerecht zu werden. Sie benötigen:
- Eine virtualisierte oder containerisierte Umgebung, die für die Computernutzung mit Claude geeignet ist
- Eine Implementierung von mindestens einem der von Anthropic definierten Computernutzungs-Tools
- Eine Agent-Schleife, die mit der Anthropic API interagiert und die
tool_use
-Ergebnisse mit Ihren Tool-Implementierungen ausführt - Eine API oder Benutzeroberfläche, die Benutzereingaben ermöglicht, um die Agent-Schleife zu starten
Verstehen der Einschränkungen der Computernutzung
Die Computernutzungsfunktionalität befindet sich in der Beta-Phase. Während Claudes Fähigkeiten hochmodern sind, sollten Entwickler sich seiner Einschränkungen bewusst sein:
- Latenz: Die aktuelle Computernutzungslatenz für Mensch-KI-Interaktionen kann im Vergleich zu regulären menschengesteuerten Computeraktionen zu langsam sein. Wir empfehlen, sich auf Anwendungsfälle zu konzentrieren, bei denen Geschwindigkeit nicht kritisch ist (z.B. Hintergrundinformationssammlung, automatisierte Softwaretests) in vertrauenswürdigen Umgebungen.
- Genauigkeit und Zuverlässigkeit der Computervision: Claude kann Fehler machen oder halluzinieren, wenn es spezifische Koordinaten bei der Generierung von Aktionen ausgibt. Claude Sonnet 3.7 führt die Denkfähigkeit ein, die Ihnen helfen kann, den Denkprozess des Modells zu verstehen und potenzielle Probleme zu identifizieren.
- Genauigkeit und Zuverlässigkeit der Toolauswahl: Claude kann Fehler machen oder halluzinieren, wenn es Tools bei der Generierung von Aktionen auswählt oder unerwartete Aktionen zur Problemlösung durchführt. Darüber hinaus kann die Zuverlässigkeit geringer sein, wenn mit Nischenanwendungen oder mehreren Anwendungen gleichzeitig interagiert wird. Wir empfehlen Benutzern, das Modell sorgfältig zu promten, wenn komplexe Aufgaben angefordert werden.
- Scrollzuverlässigkeit: Während Claude Sonnet 3.5 (neu) Einschränkungen beim Scrollen hatte, führt Claude Sonnet 3.7 dedizierte Scroll-Aktionen mit Richtungssteuerung ein, die die Zuverlässigkeit verbessern. Das Modell kann jetzt explizit in jede Richtung (hoch/runter/links/rechts) um eine bestimmte Menge scrollen.
- Tabellenkalkulationsinteraktion: Mausklicks für die Tabellenkalkulationsinteraktion wurden in Claude Sonnet 3.7 mit der Hinz
ufügung präziserer Maussteuerungsaktionen wie left_mouse_down
, left_mouse_up
und neuer Modifikatortastenunterstützung verbessert. Die Zellauswahl kann zuverlässiger sein, indem diese feinkörnigen Steuerelemente verwendet und Modifikatortasten mit Klicks kombiniert werden.
6. Kontoerstellung und Inhaltsgenerierung auf sozialen und Kommunikationsplattformen: Während Claude Websites besucht, beschränken wir seine Fähigkeit, Konten zu erstellen oder Inhalte zu generieren und zu teilen oder anderweitig menschliche Impersonation über Social-Media-Websites und -Plattformen zu betreiben. Wir könnten diese Fähigkeit in Zukunft aktualisieren.
7. Schwachstellen: Schwachstellen wie Jailbreaking oder Prompt-Injection können über Frontier-KI-Systeme hinweg bestehen bleiben, einschließlich der Beta-Computernutzungs-API. Unter bestimmten Umständen befolgt Claude Befehle, die in Inhalten gefunden werden, manchmal sogar im Widerspruch zu den Anweisungen des Benutzers. Beispielsweise können Claude-Anweisungen auf Webseiten oder in Bildern die Anweisungen überschreiben oder dazu führen, dass Claude Fehler macht. Wir empfehlen:
a. Beschränkung der Computernutzung auf vertrauenswürdige Umgebungen wie virtuelle Maschinen oder Container mit minimalen Rechten
b. Vermeidung, der Computernutzung Zugriff auf sensible Konten oder Daten ohne strenge Überwachung zu geben
c. Informieren der Endbenutzer über relevante Risiken und Einholen ihrer Zustimmung, bevor Sie die für Computernutzungsfunktionen in Ihren Anwendungen erforderlichen Berechtigungen aktivieren oder anfordern
8. Unangemessene oder illegale Aktionen: Gemäß den Nutzungsbedingungen von Anthropic dürfen Sie die Computernutzung nicht einsetzen, um Gesetze oder unsere Richtlinie zur akzeptablen Nutzung zu verletzen.
Überprüfen Sie immer sorgfältig Claudes Computernutzungsaktionen und -protokolle. Verwenden Sie Claude nicht für Aufgaben, die perfekte Präzision oder sensible Benutzerinformationen erfordern, ohne menschliche Aufsicht.
Preisgestaltung
Siehe die Dokumentation zur Tool-Nutzungspreisgestaltung für eine detaillierte Erklärung, wie Claude Tool Use API-Anfragen bepreist werden.
Als Teilmenge von Tool-Nutzungsanfragen werden Computernutzungsanfragen genauso bepreist wie jede andere Claude API-Anfrage.
Wir fügen auch automatisch einen speziellen System-Prompt für das Modell hinzu, der die Computernutzung ermöglicht.
Modell | Tool-Auswahl | System-Prompt-Token-Anzahl |
---|---|---|
Claude 4 Opus & Sonnet | auto any , tool | 466 Tokens 499 Tokens |
Claude Sonnet 3.7 | auto any , tool | 466 Tokens 499 Tokens |
Claude Sonnet 3.5 (neu) | auto any , tool | 466 Tokens 499 Tokens |
Zusätzlich zu den Basis-Tokens werden die folgenden zusätzlichen Eingabe-Tokens für die von Anthropic definierten Tools benötigt:
Tool | Zusätzliche Eingabe-Tokens |
---|---|
computer_20250124 (Claude 4) | 735 Tokens |
computer_20250124 (Claude Sonnet 3.7) | 735 Tokens |
computer_20241022 (Claude Sonnet 3.5) | 683 Tokens |
text_editor_20250429 (Claude 4) | 700 Tokens |
text_editor_20250124 (Claude Sonnet 3.7) | 700 Tokens |
text_editor_20241022 (Claude Sonnet 3.5) | 700 Tokens |
bash_20250124 (Claude 4) | 245 Tokens |
bash_20250124 (Claude Sonnet 3.7) | 245 Tokens |
bash_20241022 (Claude Sonnet 3.5) | 245 Tokens |
Wenn Sie das Denken mit Claude 4 oder Claude Sonnet 3.7 aktivieren, werden die für das Denken verwendeten Tokens auf Ihr max_tokens
-Budget angerechnet, basierend auf den budget_tokens
, die Sie im Thinking-Parameter angeben.