Computernutzung (Beta)
Claude 3.7 Sonnet und Claude 3.5 Sonnet (neu) können mit Tools interagieren, die eine Computer-Desktop-Umgebung manipulieren können. Claude 3.7 Sonnet führt zusätzliche Tools ein und ermöglicht es Ihnen, das Denken zu aktivieren, wodurch Sie mehr Einblick in den Denkprozess des Modells erhalten.
Computernutzung ist eine Beta-Funktion. Bitte beachten Sie, dass die Computernutzung einzigartige Risiken birgt, die sich von Standard-API-Funktionen oder Chat-Schnittstellen unterscheiden. Diese Risiken sind bei der Verwendung der Computernutzung für die Interaktion mit dem Internet noch höher. Um Risiken zu minimieren, sollten Sie folgende Vorsichtsmaßnahmen in Betracht ziehen:
- Verwenden Sie eine dedizierte virtuelle Maschine oder einen Container mit minimalen Berechtigungen, um direkte Systemangriffe oder Unfälle zu verhindern.
- Vermeiden Sie es, dem Modell Zugriff auf sensible Daten wie Anmeldeinformationen zu geben, um Informationsdiebstahl zu verhindern.
- Beschränken Sie den Internetzugriff auf eine Allowlist von Domains, um die Exposition gegenüber bösartigem Inhalt zu reduzieren.
- Bitten Sie einen Menschen, Entscheidungen zu bestätigen, die zu bedeutenden realen Konsequenzen führen können, sowie alle Aufgaben, die eine ausdrückliche Zustimmung erfordern, wie das Akzeptieren von Cookies, die Ausführung von Finanztransaktionen oder die Zustimmung zu Nutzungsbedingungen.
Unter bestimmten Umständen wird Claude Befehle in Inhalten befolgen, auch wenn diese den Anweisungen des Benutzers widersprechen. Zum Beispiel können Claude-Anweisungen auf Webseiten oder in Bildern die Anweisungen überschreiben oder dazu führen, dass Claude Fehler macht. Wir empfehlen, Vorsichtsmaßnahmen zu treffen, um Claude von sensiblen Daten und Aktionen zu isolieren, um Risiken im Zusammenhang mit Prompt-Injection zu vermeiden.
Wir haben das Modell darauf trainiert, diesen Prompt-Injections zu widerstehen und haben eine zusätzliche Verteidigungsebene hinzugefügt. Wenn Sie unsere Computernutzungs-Tools verwenden, werden wir automatisch Klassifikatoren auf Ihre Prompts ausführen, um potenzielle Fälle von Prompt-Injections zu kennzeichnen. Wenn diese Klassifikatoren potenzielle Prompt-Injections in Screenshots identifizieren, werden sie das Modell automatisch dazu bringen, vor der nächsten Aktion um Benutzerbestätigung zu bitten. Wir erkennen, dass dieser zusätzliche Schutz nicht für jeden Anwendungsfall ideal sein wird (zum Beispiel für Anwendungsfälle ohne menschliche Beteiligung), daher können Sie sich abmelden und ihn ausschalten, wenn Sie möchten. Bitte kontaktieren Sie uns.
Wir empfehlen weiterhin, Vorsichtsmaßnahmen zu treffen, um Claude von sensiblen Daten und Aktionen zu isolieren, um Risiken im Zusammenhang mit Prompt-Injection zu vermeiden.
Bitte informieren Sie schließlich die Endbenutzer über relevante Risiken und holen Sie deren Einwilligung ein, bevor Sie die Computernutzung in Ihren eigenen Produkten aktivieren.
Computernutzung Referenzimplementierung
Starten Sie schnell mit unserer Computernutzung-Referenzimplementierung, die eine Weboberfläche, Docker-Container, Beispiel-Tool-Implementierungen und eine Agentenschleife enthält.
Hinweis: Die Implementierung wurde aktualisiert, um neue Tools für Claude 3.7 Sonnet einzuschließen. Stellen Sie sicher, dass Sie die neueste Version des Repos abrufen, um auf diese neuen Funktionen zugreifen zu können.
Bitte nutzen Sie dieses Formular, um Feedback zur Qualität der Modellantworten, der API selbst oder der Qualität der Dokumentation zu geben - wir können es kaum erwarten, von Ihnen zu hören!
Hier ist ein Beispiel, wie man Claude Computernutzungs-Tools über die Messages API zur Verfügung stellt:
Wie die Computernutzung funktioniert
1. Stellen Sie Claude Computernutzungs-Tools und einen Benutzer-Prompt zur Verfügung
- Fügen Sie von Anthropic definierte Computernutzungs-Tools zu Ihrer API-Anfrage hinzu.
- Fügen Sie einen Benutzer-Prompt hinzu, der diese Tools benötigen könnte, z.B. “Speichere ein Bild einer Katze auf meinem Desktop.”
2. Claude entscheidet sich für die Verwendung eines Tools
- Claude lädt die gespeicherten Computernutzungs-Tool-Definitionen und bewertet, ob Tools bei der Anfrage des Benutzers helfen können.
- Wenn ja, erstellt Claude eine korrekt formatierte Tool-Nutzungsanfrage.
- Die API-Antwort hat einen
stop_reason
vontool_use
, der Claudes Absicht signalisiert.
3. Extrahieren Sie die Tool-Eingabe, führen Sie das Tool auf einem Computer aus und geben Sie die Ergebnisse zurück
- Extrahieren Sie auf Ihrer Seite den Tool-Namen und die Eingabe aus Claudes Anfrage.
- Verwenden Sie das Tool in einem Container oder einer virtuellen Maschine.
- Setzen Sie die Konversation mit einer neuen
user
-Nachricht fort, die einentool_result
-Inhaltsblock enthält.
4. Claude ruft weiterhin Computernutzungs-Tools auf, bis die Aufgabe abgeschlossen ist
- Claude analysiert die Tool-Ergebnisse, um festzustellen, ob weitere Tool-Nutzung erforderlich ist oder die Aufgabe abgeschlossen wurde.
- Wenn Claude entscheidet, dass es ein weiteres Tool benötigt, antwortet es mit einem weiteren
tool_use
stop_reason
und Sie sollten zu Schritt 3 zurückkehren. - Andernfalls erstellt es eine Textantwort für den Benutzer.
Wir bezeichnen die Wiederholung der Schritte 3 und 4 ohne Benutzereingabe als “Agentenschleife” - d.h. Claude antwortet mit einer Tool-Nutzungsanfrage und Ihre Anwendung antwortet Claude mit den Ergebnissen der Auswertung dieser Anfrage.
Die Computerumgebung
Die Computernutzung erfordert eine sandboxed Computerumgebung, in der Claude sicher mit Anwendungen und dem Web interagieren kann. Diese Umgebung umfasst:
-
Virtuelle Anzeige: Ein virtueller X11-Display-Server (mit Xvfb), der die Desktop-Schnittstelle rendert, die Claude durch Screenshots sehen und mit Maus-/Tastaturaktionen steuern wird.
-
Desktop-Umgebung: Eine leichtgewichtige Benutzeroberfläche mit Fenstermanager (Mutter) und Panel (Tint2) unter Linux, die eine konsistente grafische Schnittstelle für Claude bereitstellt.
-
Anwendungen: Vorinstallierte Linux-Anwendungen wie Firefox, LibreOffice, Texteditoren und Dateimanager, die Claude zur Erledigung von Aufgaben nutzen kann.
-
Tool-Implementierungen: Integrationscode, der Claudes abstrakte Tool-Anfragen (wie “Maus bewegen” oder “Screenshot machen”) in tatsächliche Operationen in der virtuellen Umgebung übersetzt.
-
Agentenschleife: Ein Programm, das die Kommunikation zwischen Claude und der Umgebung handhabt, Claudes Aktionen an die Umgebung sendet und die Ergebnisse (Screenshots, Befehlsausgaben) zurück an Claude sendet.
Wenn Sie die Computernutzung verwenden, verbindet sich Claude nicht direkt mit dieser Umgebung. Stattdessen:
- Empfängt Ihre Anwendung Claudes Tool-Nutzungsanfragen
- Übersetzt sie in Aktionen in Ihrer Computerumgebung
- Erfasst die Ergebnisse (Screenshots, Befehlsausgaben, etc.)
- Gibt diese Ergebnisse an Claude zurück
Aus Sicherheits- und Isolationsgründen läuft die Referenzimplementierung all dies innerhalb eines Docker-Containers mit entsprechenden Port-Mappings für die Anzeige und Interaktion mit der Umgebung.
Wie man die Computernutzung implementiert
Beginnen Sie mit unserer Referenzimplementierung
Wir haben eine Referenzimplementierung erstellt, die alles enthält, was Sie brauchen, um schnell mit der Computernutzung zu beginnen:
- Eine containerisierte Umgebung, die für die Computernutzung mit Claude geeignet ist
- Implementierungen der Computernutzungs-Tools
- Eine Agentenschleife, die mit der Anthropic API interagiert und die Computernutzungs-Tools ausführt
- Eine Weboberfläche zur Interaktion mit dem Container, der Agentenschleife und den Tools.
Verstehen der Multi-Agenten-Schleife
Der Kern der Computernutzung ist die “Agentenschleife” - ein Zyklus, bei dem Claude Tool-Aktionen anfordert, Ihre Anwendung diese ausführt und Ergebnisse an Claude zurückgibt. Hier ist ein vereinfachtes Beispiel:
Die Schleife läuft weiter, bis entweder Claude ohne Anforderung von Tools antwortet (Aufgabenabschluss) oder das maximale Iterationslimit erreicht ist. Diese Sicherung verhindert potenzielle Endlosschleifen, die zu unerwarteten API-Kosten führen könnten.
Für jede Version der Tools müssen Sie das entsprechende Beta-Flag in Ihrer API-Anfrage verwenden:
Wir empfehlen, die Referenzimplementierung auszuprobieren, bevor Sie den Rest dieser Dokumentation lesen.
Modellleistung mit Prompting optimieren
Hier sind einige Tipps, wie Sie die beste Ausgabequalität erhalten:
- Spezifizieren Sie einfache, klar definierte Aufgaben und geben Sie explizite Anweisungen für jeden Schritt.
- Claude nimmt manchmal Ergebnisse seiner Aktionen an, ohne deren Ergebnisse explizit zu überprüfen. Um dies zu verhindern, können Sie Claude mit folgendem Prompt anweisen:
Machen Sie nach jedem Schritt einen Screenshot und prüfen Sie sorgfältig, ob Sie das richtige Ergebnis erreicht haben. Zeigen Sie Ihr Denken explizit: "Ich habe Schritt X ausgewertet..." Wenn nicht korrekt, versuchen Sie es erneut. Gehen Sie erst zum nächsten Schritt über, wenn Sie bestätigt haben, dass ein Schritt korrekt ausgeführt wurde.
- Einige UI-Elemente (wie Dropdown-Menüs und Scrollbalken) können für Claude schwierig sein, mit Mausbewegungen zu manipulieren. Wenn Sie dies erleben, versuchen Sie, das Modell zur Verwendung von Tastaturkürzeln aufzufordern.
- Fügen Sie für wiederholbare Aufgaben oder UI-Interaktionen Beispiel-Screenshots und Tool-Aufrufe erfolgreicher Ergebnisse in Ihren Prompt ein.
- Wenn Sie möchten, dass sich das Modell anmeldet, geben Sie ihm Benutzername und Passwort in Ihrem Prompt innerhalb von XML-Tags wie
<robot_credentials>
. Die Verwendung der Computernutzung in Anwendungen, die eine Anmeldung erfordern, erhöht das Risiko schlechter Ergebnisse durch Prompt-Injection. Bitte lesen Sie unseren Leitfaden zur Abschwächung von Prompt-Injections, bevor Sie dem Modell Anmeldedaten zur Verfügung stellen.
Wenn Sie wiederholt auf eine klare Reihe von Problemen stoßen oder im Voraus wissen, welche Aufgaben Claude erledigen muss, verwenden Sie den System-Prompt, um Claude explizite Tipps oder Anweisungen zur erfolgreichen Durchführung der Aufgaben zu geben.
System-Prompts
Wenn eines der von Anthropic definierten Tools über die Anthropic API angefordert wird, wird ein computernutzungsspezifischer System-Prompt generiert. Er ähnelt dem Tool-Use-System-Prompt, beginnt aber mit:
Sie haben Zugriff auf eine Reihe von Funktionen, die Sie zur Beantwortung der Frage des Benutzers verwenden können. Dies beinhaltet den Zugriff auf eine sandboxed Computerumgebung. Sie haben derzeit NICHT die Möglichkeit, Dateien zu inspizieren oder mit externen Ressourcen zu interagieren, außer durch Aufruf der unten stehenden Funktionen.
Wie bei der regulären Tool-Nutzung wird das vom Benutzer bereitgestellte system_prompt
-Feld weiterhin respektiert und bei der Konstruktion des kombinierten System-Prompts verwendet.
Anthropic-definierte Tools verstehen
Wir haben eine Reihe von Tools bereitgestellt, die es Claude ermöglichen, Computer effektiv zu nutzen. Bei der Spezifikation eines von Anthropic definierten Tools sind die Felder description
und tool_schema
nicht notwendig oder erlaubt.
Anthropic-definierte Tools werden vom Benutzer ausgeführt
Anthropic-definierte Tools werden von Anthropic definiert, aber Sie müssen die Ergebnisse des Tools explizit auswerten und die tool_results
an Claude zurückgeben. Wie bei jedem Tool führt das Modell das Tool nicht automatisch aus.
Wir stellen eine Reihe von Anthropic-definierten Tools bereit, wobei jedes Tool Versionen hat, die sowohl für Claude 3.5 Sonnet (neu) als auch für Claude 3.7 Sonnet optimiert sind:
Das type
-Feld identifiziert das Tool und seine Parameter für Validierungszwecke, das name
-Feld ist der Tool-Name, der dem Modell zur Verfügung gestellt wird.
Wenn Sie das Modell auffordern möchten, eines dieser Tools zu verwenden, können Sie explizit auf das Tool über das name
-Feld verweisen. Das name
-Feld muss innerhalb der Tool-Liste eindeutig sein; Sie können kein Tool mit demselben Namen wie ein von Anthropic definiertes Tool im selben API-Aufruf definieren.
Wir empfehlen nicht, Tools mit den Namen von Anthropic-definierten Tools zu
definieren. Während Sie Tools mit diesen Namen immer noch neu definieren
können (solange der Tool-Name in Ihrem tools
-Block eindeutig ist), kann
dies zu einer verschlechterten Modellleistung führen.
Denkfähigkeit in Claude 3.7 Sonnet aktivieren
Claude 3.7 Sonnet führt eine neue “Denkfähigkeit” ein, die es Ihnen ermöglicht, den Denkprozess des Modells zu sehen, während es komplexe Aufgaben bearbeitet. Diese Funktion hilft Ihnen zu verstehen, wie Claude ein Problem angeht und kann besonders wertvoll für Debugging oder Bildungszwecke sein.
Um das Denken zu aktivieren, fügen Sie einen thinking
-Parameter zu Ihrer API-Anfrage hinzu:
Der budget_tokens
-Parameter gibt an, wie viele Token Claude für das Denken verwenden kann. Dies wird von Ihrem gesamten max_tokens
-Budget abgezogen.
Wenn das Denken aktiviert ist, wird Claude seinen Denkprozess als Teil der Antwort zurückgeben, was Ihnen helfen kann:
- Den Entscheidungsprozess des Modells zu verstehen
- Potenzielle Probleme oder Missverständnisse zu identifizieren
- Von Claudes Herangehensweise an Problemlösungen zu lernen
- Mehr Einblick in komplexe mehrstufige Operationen zu bekommen
Hier ist ein Beispiel, wie die Denkausgabe aussehen könnte:
Computernutzung mit anderen Tools kombinieren
Sie können reguläre Tool-Nutzung mit den von Anthropic definierten Tools für die Computernutzung kombinieren.
Eine benutzerdefinierte Computernutzungsumgebung erstellen
Die Referenzimplementierung soll Ihnen helfen, mit der Computernutzung zu beginnen. Sie enthält alle Komponenten, die benötigt werden, damit Claude einen Computer nutzen kann. Sie können jedoch Ihre eigene Umgebung für die Computernutzung erstellen, die Ihren Bedürfnissen entspricht. Sie benötigen:
- Eine virtualisierte oder containerisierte Umgebung, die für die Computernutzung mit Claude geeignet ist
- Eine Implementierung von mindestens einem der von Anthropic definierten Computernutzungs-Tools
- Eine Agentenschleife, die mit der Anthropic API interagiert und die
tool_use
-Ergebnisse mit Ihren Tool-Implementierungen ausführt - Eine API oder UI, die Benutzereingaben ermöglicht, um die Agentenschleife zu starten
Einschränkungen der Computernutzung verstehen
Die Computernutzungsfunktionalität befindet sich in der Beta-Phase. Während Claudes Fähigkeiten hochmodern sind, sollten Entwickler sich seiner Einschränkungen bewusst sein:
- Latenz: die aktuelle Computernutzungslatenz für Mensch-KI-Interaktionen könnte im Vergleich zu regulären menschengesteuerten Computeraktionen zu langsam sein. Wir empfehlen, sich auf Anwendungsfälle zu konzentrieren, bei denen Geschwindigkeit nicht kritisch ist (z.B. Hintergrundinformationssammlung, automatisierte Softwaretests) in vertrauenswürdigen Umgebungen.
- Computervision-Genauigkeit und -Zuverlässigkeit: Claude kann Fehler machen oder halluzinieren, wenn es spezifische Koordinaten bei der Generierung von Aktionen ausgibt. Claude 3.7 Sonnet führt die Denkfähigkeit ein, die Ihnen helfen kann, den Denkprozess des Modells zu verstehen und potenzielle Probleme zu identifizieren.
- Tool-Auswahl-Genauigkeit und -Zuverlässigkeit: Claude kann Fehler machen oder halluzinieren bei der Auswahl von Tools während der Generierung von Aktionen oder unerwartete Aktionen zur Problemlösung ausführen. Zusätzlich kann die Zuverlässigkeit niedriger sein bei der Interaktion mit Nischenanwendungen oder mehreren Anwendungen gleichzeitig. Wir empfehlen, dass Benutzer das Modell sorgfältig prompen, wenn sie komplexe Aufgaben anfordern.
- Scroll-Zuverlässigkeit: Während Claude 3.5 Sonnet (neu) Einschränkungen beim Scrollen hatte, führt Claude 3.7 Sonnet dedizierte Scroll-Aktionen mit Richtungssteuerung ein, die die Zuverlässigkeit verbessern. Das Modell kann jetzt explizit in jede Richtung (hoch/runter/links/rechts) um eine bestimmte Menge scrollen.
- Tabellenkalkulationsinteraktion: Mausklicks für Tabellenkalkulationsinteraktion wurden in Claude 3.7 Sonnet mit der Hinzufügung von präziseren Maussteuerungsaktionen wie
left_mouse_down
,left_mouse_up
und neuer Modifikatortastenunterstützung verbessert. Die Zellauswahl kann zuverlässiger sein durch die Verwendung dieser feingranularen Steuerungen und die Kombination von Modifikatortasten mit Klicks. - Kontoerstellung und Inhaltsgenerierung auf sozialen und Kommunikationsplattformen: Während Claude Websites besucht, beschränken wir seine Fähigkeit, Konten zu erstellen oder Inhalte zu generieren und zu teilen oder anderweitig menschliche Impersonation über Social-Media-Websites und -Plattformen zu betreiben. Wir könnten diese Fähigkeit in Zukunft aktualisieren.
- Schwachstellen: Schwachstellen wie Jailbreaking oder Prompt-Injection können über Frontier-KI-Systeme hinweg bestehen bleiben, einschließlich der Beta-Computer-Use-API. Unter bestimmten Umständen wird Claude Befehle in Inhalten befolgen, manchmal sogar im Widerspruch zu den Anweisungen des Benutzers. Zum Beispiel können Claude-Anweisungen auf Webseiten oder in Bildern enthaltene Anweisungen überschreiben oder dazu führen, dass Claude Fehler macht. Wir empfehlen: a. Beschränkung der Computernutzung auf vertrauenswürdige Umgebungen wie virtuelle Maschinen oder Container mit minimalen Berechtigungen b. Vermeidung der Gewährung von Computernutzungszugriff auf sensible Konten oder Daten ohne strenge Überwachung c. Information der Endbenutzer über relevante Risiken und Einholung ihrer Einwilligung vor der Aktivierung oder Anforderung von Berechtigungen, die für Computernutzungsfunktionen in Ihren Anwendungen erforderlich sind
- Unangemessene oder illegale Aktionen: Gemäß Anthropics Nutzungsbedingungen dürfen Sie die Computernutzung nicht einsetzen, um Gesetze oder unsere Acceptable Use Policy zu verletzen.
Überprüfen Sie immer sorgfältig Claudes Computernutzungsaktionen und -protokolle. Verwenden Sie Claude nicht für Aufgaben, die perfekte Präzision oder sensible Benutzerinformationen ohne menschliche Überwachung erfordern.
Preisgestaltung
Siehe die Tool-Use-Preisgestaltung Dokumentation für eine detaillierte Erklärung, wie Claude Tool Use API-Anfragen bepreist werden.
Als Teilmenge von Tool-Use-Anfragen werden Computernutzungsanfragen genauso bepreist wie jede andere Claude API-Anfrage.
Wir fügen auch automatisch einen speziellen System-Prompt für das Modell hinzu, der die Computernutzung ermöglicht.
Modell | Tool-Auswahl | System-Prompt Token-Anzahl |
---|---|---|
Claude 3.5 Sonnet (neu) | auto any , tool | 466 Token 499 Token |
Claude 3.7 Sonnet | auto any , tool | 466 Token 499 Token |
Zusätzlich zu den Basis-Token werden die folgenden zusätzlichen Input-Token für die von Anthropic definierten Tools benötigt:
Tool | Zusätzliche Input-Token |
---|---|
computer_20241022 (Claude 3.5 Sonnet) | 683 Token |
computer_20250124 (Claude 3.7 Sonnet) | 735 Token |
text_editor_20241022 (Claude 3.5 Sonnet) | 700 Token |
text_editor_20250124 (Claude 3.7 Sonnet) | 700 Token |
bash_20241022 (Claude 3.5 Sonnet) | 245 Token |
bash_20250124 (Claude 3.7 Sonnet) | 245 Token |
Wenn Sie das Denken mit Claude 3.7 Sonnet aktivieren, werden die für das Denken verwendeten Token gegen Ihr max_tokens
-Budget basierend auf den budget_tokens
angerechnet, die Sie im Thinking-Parameter angeben.
Was this page helpful?