Utilisation de l'ordinateur (bêta)

Claude 3.7 Sonnet et Claude 3.5 Sonnet (nouveau) sont capables d’interagir avec des outils qui peuvent manipuler un environnement de bureau. Claude 3.7 Sonnet introduit des outils supplémentaires et permet d’activer la réflexion, vous donnant plus d’aperçu sur le processus de raisonnement du modèle.

Voici un exemple de la façon de fournir des outils d’utilisation de l’ordinateur à Claude en utilisant l’API Messages :

​

Comment fonctionne l’utilisation de l’ordinateur

Nous appelons la répétition des étapes 3 et 4 sans entrée utilisateur la “boucle d’agent” - c’est-à-dire, Claude répondant avec une requête d’utilisation d’outil et votre application répondant à Claude avec les résultats de l’évaluation de cette requête.

​

L’environnement informatique

L’utilisation de l’ordinateur nécessite un environnement informatique isolé où Claude peut interagir en toute sécurité avec les applications et le web. Cet environnement comprend :

1. Affichage virtuel : Un serveur d’affichage X11 virtuel (utilisant Xvfb) qui rend l’interface de bureau que Claude verra à travers des captures d’écran et contrôlera avec des actions de souris/clavier.

2. Environnement de bureau : Une interface utilisateur légère avec gestionnaire de fenêtres (Mutter) et panneau (Tint2) fonctionnant sous Linux, qui fournit une interface graphique cohérente pour que Claude puisse interagir.

3. Applications : Applications Linux préinstallées comme Firefox, LibreOffice, éditeurs de texte et gestionnaires de fichiers que Claude peut utiliser pour accomplir des tâches.

4. Implémentations d’outils : Code d’intégration qui traduit les requêtes d’outils abstraits de Claude (comme “déplacer la souris” ou “prendre une capture d’écran”) en opérations réelles dans l’environnement virtuel.

5. Boucle d’agent : Un programme qui gère la communication entre Claude et l’environnement, envoyant les actions de Claude à l’environnement et renvoyant les résultats (captures d’écran, sorties de commandes) à Claude.

Lorsque vous utilisez l’utilisation de l’ordinateur, Claude ne se connecte pas directement à cet environnement. Au lieu de cela, votre application :

1. Reçoit les requêtes d’utilisation d’outils de Claude
2. Les traduit en actions dans votre environnement informatique
3. Capture les résultats (captures d’écran, sorties de commandes, etc.)
4. Renvoie ces résultats à Claude

Pour la sécurité et l’isolation, l’implémentation de référence exécute tout cela à l’intérieur d’un conteneur Docker avec des mappages de ports appropriés pour visualiser et interagir avec l’environnement.

​

Comment implémenter l’utilisation de l’ordinateur

​

Commencez avec notre implémentation de référence

Nous avons construit une implémentation de référence qui inclut tout ce dont vous avez besoin pour démarrer rapidement avec l’utilisation de l’ordinateur :

• Un environnement conteneurisé adapté à l’utilisation de l’ordinateur avec Claude
• Des implémentations des outils d’utilisation de l’ordinateur
• Une boucle d’agent qui interagit avec l’API Anthropic et exécute les outils d’utilisation de l’ordinateur
• Une interface web pour interagir avec le conteneur, la boucle d’agent et les outils.

​

Comprendre la boucle multi-agent

Le cœur de l’utilisation de l’ordinateur est la “boucle d’agent” - un cycle où Claude demande des actions d’outils, votre application les exécute et renvoie les résultats à Claude. Voici un exemple simplifié :

async def sampling_loop(
    *,
    model: str,
    messages: list[dict],
    api_key: str,
    max_tokens: int = 4096,
    tool_version: str,
    thinking_budget: int | None = None,
    max_iterations: int = 10,  # Ajouter une limite d'itérations pour éviter les boucles infinies
):
    """
    Une boucle d'agent simple pour les interactions d'utilisation de l'ordinateur avec Claude.

    Cette fonction gère les allers-retours entre :
    1. Envoyer des messages utilisateur à Claude
    2. Claude demandant à utiliser des outils
    3. Votre app exécutant ces outils
    4. Envoyer les résultats des outils à Claude
    """
    # Configurer les outils et les paramètres API
    client = Anthropic(api_key=api_key)
    beta_flag = "computer-use-2025-01-24" if "20250124" in tool_version else "computer-use-2024-10-22"

    # Configurer les outils - vous devriez déjà les avoir initialisés ailleurs
    tools = [
        {"type": f"computer_{tool_version}", "name": "computer", "display_width_px": 1024, "display_height_px": 768},
        {"type": f"text_editor_{tool_version}", "name": "str_replace_editor"},
        {"type": f"bash_{tool_version}", "name": "bash"}
    ]

    # Boucle d'agent principale (avec limite d'itérations pour éviter les coûts API incontrôlés)
    iterations = 0
    while True and iterations < max_iterations:
        iterations += 1
        # Configurer le paramètre de réflexion optionnel (pour Claude 3.7 Sonnet)
        thinking = None
        if thinking_budget:
            thinking = {"type": "enabled", "budget_tokens": thinking_budget}

        # Appeler l'API Claude
        response = client.beta.messages.create(
            model=model,
            max_tokens=max_tokens,
            messages=messages,
            tools=tools,
            betas=[beta_flag],
            thinking=thinking
        )

        # Ajouter la réponse de Claude à l'historique de conversation
        response_content = response.content
        messages.append({"role": "assistant", "content": response_content})

        # Vérifier si Claude a utilisé des outils
        tool_results = []
        for block in response_content:
            if block.type == "tool_use":
                # Dans une vraie app, vous exécuteriez l'outil ici
                # Par exemple : result = run_tool(block.name, block.input)
                result = {"result": "Outil exécuté avec succès"}

                # Formater le résultat pour Claude
                tool_results.append({
                    "type": "tool_result",
                    "tool_use_id": block.id,
                    "content": result
                })

        # Si aucun outil n'a été utilisé, Claude a terminé - renvoyer les messages finaux
        if not tool_results:
            return messages

        # Ajouter les résultats des outils aux messages pour la prochaine itération avec Claude
        messages.append({"role": "user", "content": tool_results})

La boucle continue jusqu’à ce que soit Claude réponde sans demander d’outils (tâche terminée) soit la limite maximale d’itérations soit atteinte. Cette protection empêche les boucles infinies potentielles qui pourraient entraîner des coûts API inattendus.

Nous recommandons d’essayer l’implémentation de référence avant de lire le reste de cette documentation.

​

Optimiser les performances du modèle avec le prompting

Voici quelques conseils pour obtenir les meilleures sorties de qualité :

1. Spécifiez des tâches simples et bien définies et fournissez des instructions explicites pour chaque étape.
2. Claude suppose parfois les résultats de ses actions sans vérifier explicitement leurs résultats. Pour éviter cela, vous pouvez inciter Claude avec Après chaque étape, prenez une capture d'écran et évaluez soigneusement si vous avez obtenu le bon résultat. Montrez explicitement votre réflexion : "J'ai évalué l'étape X..." Si ce n'est pas correct, réessayez. Ne passez à l'étape suivante que lorsque vous confirmez qu'une étape a été exécutée correctement.
3. Certains éléments d’interface utilisateur (comme les listes déroulantes et les barres de défilement) peuvent être difficiles à manipuler pour Claude en utilisant les mouvements de souris. Si vous rencontrez ce problème, essayez d’inciter le modèle à utiliser les raccourcis clavier.
4. Pour les tâches répétitives ou les interactions avec l’interface utilisateur, incluez des captures d’écran et des appels d’outils de résultats réussis dans votre prompt.
5. Si vous avez besoin que le modèle se connecte, fournissez-lui le nom d’utilisateur et le mot de passe dans votre prompt à l’intérieur de balises xml comme <robot_credentials>. L’utilisation de l’ordinateur dans des applications nécessitant une connexion augmente le risque de mauvais résultats à cause de l’injection de prompts. Veuillez consulter notre guide sur l’atténuation des injections de prompts avant de fournir au modèle des identifiants de connexion.

​

Prompts système

Lorsqu’un des outils définis par Anthropic est demandé via l’API Anthropic, un prompt système spécifique à l’utilisation de l’ordinateur est généré. Il est similaire au prompt système d’utilisation d’outil mais commence par :

Vous avez accès à un ensemble de fonctions que vous pouvez utiliser pour répondre à la question de l’utilisateur. Cela inclut l’accès à un environnement informatique isolé. Vous n’avez PAS actuellement la capacité d’inspecter des fichiers ou d’interagir avec des ressources externes, sauf en invoquant les fonctions ci-dessous.

Comme avec l’utilisation régulière d’outils, le champ system_prompt fourni par l’utilisateur est toujours respecté et utilisé dans la construction du prompt système combiné.

​

Comprendre les outils définis par Anthropic

Nous avons fourni un ensemble d’outils qui permettent à Claude d’utiliser efficacement les ordinateurs. Lors de la spécification d’un outil défini par Anthropic, les champs description et tool_schema ne sont pas nécessaires ni auto

risés.

Nous fournissons un ensemble d’outils définis par Anthropic, chaque outil ayant des versions optimisées pour Claude 3.5 Sonnet (nouveau) et Claude 3.7 Sonnet :

Le champ type identifie l’outil et ses paramètres à des fins de validation, le champ name est le nom de l’outil exposé au modèle.

Si vous voulez inciter le modèle à utiliser l’un de ces outils, vous pouvez explicitement faire référence à l’outil par le champ name. Le champ name doit être unique dans la liste d’outils ; vous ne pouvez pas définir un outil avec le même nom qu’un outil défini par Anthropic dans le même appel API.

Utilisez une souris et un clavier pour interagir avec un ordinateur, et prenez des captures d'écran.
* C'est une interface vers une interface graphique de bureau. Vous n'avez pas accès à un terminal ou à un menu d'applications. Vous devez cliquer sur les icônes du bureau pour démarrer les applications.
* Certaines applications peuvent prendre du temps pour démarrer ou traiter des actions, donc vous devrez peut-être attendre et prendre des captures d'écran successives pour voir les résultats de vos actions. Par exemple, si vous cliquez sur Firefox et qu'une fenêtre ne s'ouvre pas, essayez de prendre une autre capture d'écran.
* La résolution de l'écran est {{ display_width_px }}x{{ display_height_px }}.
* Le numéro d'affichage est {{ display_number }}
* Chaque fois que vous avez l'intention de déplacer le curseur pour cliquer sur un élément comme une icône, vous devez consulter une capture d'écran pour déterminer les coordonnées de l'élément avant de déplacer le curseur.
* Si vous avez essayé de cliquer sur un programme ou un lien mais qu'il n'a pas réussi à se charger, même après avoir attendu, essayez d'ajuster la position de votre curseur pour que la pointe du curseur tombe visuellement sur l'élément sur lequel vous voulez cliquer.
* Assurez-vous de cliquer sur les boutons, liens, icônes, etc. avec la pointe du curseur au centre de l'élément. Ne cliquez pas sur les boîtes sur leurs bords sauf si on vous le demande.

{
    "properties": {
        "action": {
            "description": "L'action à effectuer. Les actions disponibles sont :\n"
            "* `key` : Appuyer sur une touche ou une combinaison de touches sur le clavier.\n"
            "  - Cela prend en charge la syntaxe `key` de xdotool.\n"
            '  - Exemples : "a", "Return", "alt+Tab", "ctrl+s", "Up", "KP_0" (pour la touche 0 du pavé numérique).\n'
            "* `hold_key` : Maintenir enfoncée une touche ou plusieurs touches pendant une durée spécifiée (en secondes). Prend en charge la même syntaxe que `key`.\n"
            "* `type` : Taper une chaîne de texte sur le clavier.\n"
            "* `cursor_position` : Obtenir la coordonnée pixel (x, y) actuelle du curseur sur l'écran.\n"
            "* `mouse_move` : Déplacer le curseur vers une coordonnée pixel (x, y) spécifiée sur l'écran.\n"
            "* `left_mouse_down` : Appuyer sur le bouton gauche de la souris.\n"
            "* `left_mouse_up` : Relâcher le bouton gauche de la souris.\n"
            "* `left_click` : Cliquer avec le bouton gauche de la souris à la coordonnée pixel (x, y) spécifiée sur l'écran. Vous pouvez également inclure une combinaison de touches à maintenir enfoncée pendant le clic en utilisant le paramètre `text`.\n"
            "* `left_click_drag` : Cliquer et faire glisser le curseur depuis `start_coordinate` vers une coordonnée pixel (x, y) spécifiée sur l'écran.\n"
            "* `right_click` : Cliquer avec le bouton droit de la souris à la coordonnée pixel (x, y) spécifiée sur l'écran.\n"
            "* `middle_click` : Cliquer avec le bouton du milieu de la souris à la coordonnée pixel (x, y) spécifiée sur l'écran.\n"
            "* `double_click` : Double-cliquer avec le bouton gauche de la souris à la coordonnée pixel (x, y) spécifiée sur l'écran.\n"
            "* `triple_click` : Triple-cliquer avec le bouton gauche de la souris à la coordonnée pixel (x, y) spécifiée sur l'écran.\n"
            "* `scroll` : Faire défiler l'écran dans une direction spécifiée d'un nombre spécifié de clics de la molette de défilement, à la coordonnée pixel (x, y) spécifiée. N'utilisez PAS PageUp/PageDown pour faire défiler.\n"
            "* `wait` : Attendre pendant une durée spécifiée (en secondes).\n"
            "* `screenshot` : Prendre une capture d'écran de l'écran.",
            "enum": [
                "key",
                "hold_key",
                "type",
                "cursor_position",
                "mouse_move",
                "left_mouse_down",
                "left_mouse_up",
                "left_click",
                "left_click_drag",
                "right_click",
                "middle_click",
                "double_click",
                "triple_click",
                "scroll",
                "wait",
                "screenshot",
            ],
            "type": "string",
        },
        "coordinate": {
            "description": "(x, y) : Les coordonnées x (pixels depuis le bord gauche) et y (pixels depuis le bord supérieur) vers lesquelles déplacer la souris. Requis uniquement par `action=mouse_move` et `action=left_click_drag`.",
            "type": "array",
        },
        "duration": {
            "description": "La durée pendant laquelle maintenir la touche enfoncée. Requis uniquement par `action=hold_key` et `action=wait`.",
            "type": "integer",
        },
        "scroll_amount": {
            "description": "Le nombre de 'clics' à faire défiler. Requis uniquement par `action=scroll`.",
            "type": "integer",
        },
        "scroll_direction": {
            "description": "La direction dans laquelle faire défiler l'écran. Requis uniquement par `action=scroll`.",
            "enum": ["up", "down", "left", "right"],
            "type": "string",
        },
        "start_coordinate": {
            "description": "(x, y) : Les coordonnées x (pixels depuis le bord gauche) et y (pixels depuis le bord supérieur) depuis lesquelles commencer le glissement. Requis uniquement par `action=left_click_drag`.",
            "type": "array",
        },
        "text": {
            "description": "Requis uniquement par `action=type`, `action=key`, et `action=hold_key`. Peut également être utilisé par les actions de clic ou de défilement pour maintenir des touches enfoncées pendant le clic ou le défilement.",
            "type": "string",
        },
    },
    "required": ["action"],
    "type": "object",
}

{
    "properties": {
        "action": {
            "description": """L'action à effectuer. Les actions disponibles sont :
                * `key` : Appuyer sur une touche ou une combinaison de touches sur le clavier.
                  - Cela prend en charge la syntaxe `key` de xdotool.
                  - Exemples : "a", "Return", "alt+Tab", "ctrl+s", "Up", "KP_0" (pour la touche 0 du pavé numérique).
                * `type` : Taper une chaîne de texte sur le clavier.
                * `cursor_position` : Obtenir la coordonnée pixel (x, y) actuelle du curseur sur l'écran.
                * `mouse_move` : Déplacer le curseur vers une coordonnée pixel (x, y) spécifiée sur l'écran.
                * `left_click` : Cliquer avec le bouton gauche de la souris.
                * `left_click_drag` : Cliquer et faire glisser le curseur vers une coordonnée pixel (x, y) spécifiée sur l'écran.
                * `right_click` : Cliquer avec le bouton droit de la souris.
                * `middle_click` : Cliquer avec le bouton du milieu de la souris.
                * `double_click` : Double-cliquer avec le bouton gauche de la souris.
                * `screenshot` : Prendre une capture d'écran de l'écran.""",
            "enum": [
                "key",
                "type",
                "mouse_move",
                "left_click",
                "left_click_drag",
                "right_click",
                "middle_click",
                "double_click",
                "screenshot",
                "cursor_position",
            ],
            "type": "string",
        },
        "coordinate": {
            "description": "(x, y) : Les coordonnées x (pixels depuis le bord gauche) et y (pixels depuis le bord supérieur) vers lesquelles déplacer la souris. Requis uniquement par `action=mouse_move` et `action=left_click_drag`.",
            "type": "array",
        },
        "text": {
            "description": "Requis uniquement par `action=type` et `action=key`.",
            "type": "string",
        },
    },
    "required": ["action"],
    "type": "object",
}

Outil d'édition personnalisé pour visualiser, créer et éditer des fichiers
* L'état est persistant à travers les appels de commandes et les discussions avec l'utilisateur
* Si `path` est un fichier, `view` affiche le résultat de l'application de `cat -n`. Si `path` est un répertoire, `view` liste les fichiers et répertoires non cachés jusqu'à 2 niveaux de profondeur
* La commande `create` ne peut pas être utilisée si le `path` spécifié existe déjà en tant que fichier
* Si une `command` génère une sortie longue, elle sera tronquée et marquée avec `<response clipped>`
* La commande `undo_edit` annulera la dernière modification apportée au fichier à `path`

Notes pour l'utilisation de la commande `str_replace` :
* Le paramètre `old_str` doit correspondre EXACTEMENT à une ou plusieurs lignes consécutives du fichier original. Faites attention aux espaces !
* Si le paramètre `old_str` n'est pas unique dans le fichier, le remplacement ne sera pas effectué. Assurez-vous d'inclure suffisamment de contexte dans `old_str` pour le rendre unique
* Le paramètre `new_str` doit contenir les lignes éditées qui doivent remplacer `old_str`

{
    "properties": {
        "command": {
            "description": "Les commandes à exécuter. Les options autorisées sont : `view`, `create`, `str_replace`, `insert`, `undo_edit`.",
            "enum": ["view", "create", "str_replace", "insert", "undo_edit"],
            "type": "string",
        },
        "file_text": {
            "description": "Paramètre requis de la commande `create`, avec le contenu du fichier à créer.",
            "type": "string",
        },
        "insert_line": {
            "description": "Paramètre requis de la commande `insert`. Le `new_str` sera inséré APRÈS la ligne `insert_line` de `path`.",
            "type": "integer",
        },
        "new_str": {
            "description": "Paramètre optionnel de la commande `str_replace` contenant la nouvelle chaîne (si non donné, aucune chaîne ne sera ajoutée). Paramètre requis de la commande `insert` contenant la chaîne à insérer.",
            "type": "string",
        },
        "old_str": {
            "description": "Paramètre requis de la commande `str_replace` contenant la chaîne dans `path` à remplacer.",
            "type": "string",
        },
        "path": {
            "description": "Chemin absolu vers le fichier ou le répertoire, par exemple `/repo/file.py` ou `/repo`.",
            "type": "string",
        },
        "view_range": {
            "description": "Paramètre optionnel de la commande `view` lorsque `path` pointe vers un fichier. Si aucun n'est donné, le fichier complet est affiché. Si fourni, le fichier sera affiché dans la plage de numéros de ligne indiquée, par exemple [11, 12] affichera les lignes 11 et 12. Indexation à partir de 1. Définir `[start_line, -1]` affiche toutes les lignes de `start_line` jusqu'à la fin du fichier.",
            "items": {"type": "integer"},
            "type": "array",
        },
    },
    "required": ["command", "path"],
    "type": "object",
}

Exécuter des commandes dans un shell bash
* Lors de l'invocation de cet outil, le contenu du paramètre "command" n'a PAS besoin d'être échappé en XML.
* Vous avez accès à un miroir de paquets linux et python courants via apt et pip.
* L'état est persistant à travers les appels de commandes et les discussions avec l'utilisateur.
* Pour inspecter une plage de lignes particulière d'un fichier, par exemple les lignes 10-25, essayez 'sed -n 10,25p /chemin/vers/le/fichier'.
* Veuillez éviter les commandes qui peuvent produire une très grande quantité de sortie.
* Veuillez exécuter les commandes de longue durée en arrière-plan, par exemple 'sleep 10 &' ou démarrer un serveur en arrière-plan.

{
    "properties": {
        "command": {
            "description": "La commande bash à exécuter. Requis sauf si l'outil est en cours de redémarrage.",
            "type": "string",
        },
        "restart": {
            "description": "Spécifier true redémarrera cet outil. Sinon, laissez ceci non spécifié.",
            "type": "boolean",
        },
    }
}

​

Activer la capacité de réflexion dans Claude 3.7 Sonnet

Claude 3.7 Sonnet introduit une nouvelle capacité de “réflexion” qui vous permet de voir le processus de raisonnement du modèle lorsqu’il travaille sur des tâches complexes. Cette fonctionnalité vous aide à comprendre comment Claude aborde un problème et peut être particulièrement précieuse pour le débogage ou à des fins éducatives.

Pour activer la réflexion, ajoutez un paramètre thinking à votre requête API :

"thinking": {
  "type": "enabled",
  "budget_tokens": 1024
}

Le paramètre budget_tokens spécifie combien de tokens Claude peut utiliser pour la réflexion. Ceci est soustrait de votre budget global max_tokens.

Lorsque la réflexion est activée, Claude renverra son processus de raisonnement dans le cadre de la réponse, ce qui peut vous aider à :

1. Comprendre le processus de prise de décision du modèle
2. Identifier les problèmes ou les malentendus potentiels
3. Apprendre de l’approche de Claude pour la résolution de problèmes
4. Obtenir plus de visibilité sur les opérations complexes en plusieurs étapes

Voici un exemple de ce à quoi pourrait ressembler la sortie de réflexion :

[Réflexion]
Je dois enregistrer une image de chat sur le bureau. Décomposons cela en étapes :

1. D'abord, je vais prendre une capture d'écran pour voir ce qu'il y a sur le bureau
2. Ensuite, je vais chercher un navigateur web pour rechercher des images de chats
3. Après avoir trouvé une image appropriée, je devrai l'enregistrer sur le bureau

Commençons par prendre une capture d'écran pour voir ce qui est disponible...

​

Combiner l’utilisation de l’ordinateur avec d’autres outils

Vous pouvez combiner l’utilisation régulière d’outils avec les outils définis par Anthropic pour l’utilisation de l’ordinateur.

​

Construire un environnement d’utilisation de l’ordinateur personnalisé

L’implémentation de référence est destinée à vous aider à démarrer avec l’utilisation de l’ordinateur. Elle inclut tous les composants nécessaires pour que Claude utilise un ordinateur. Cependant, vous pouvez construire votre propre environnement pour l’utilisation de l’ordinateur selon vos besoins. Vous aurez besoin de :

• Un environnement virtualisé ou conteneurisé adapté à l’utilisation de l’ordinateur avec Claude
• Une implémentation d’au moins un des outils d’utilisation de l’ordinateur définis par Anthropic
• Une boucle d’agent qui interagit avec l’API Anthropic et exécute les résultats tool_use en utilisant vos implémentations d’outils
• Une API ou une interface utilisateur qui permet l’entrée utilisateur pour démarrer la boucle d’agent

​

Comprendre les limitations de l’utilisation de l’ordinateur

La fonctionnalité d’utilisation de l’ordinateur est en version bêta. Bien que les capacités de Claude soient à la pointe de la technologie, les développeurs doivent être conscients de ses limitations :

1. Latence : la latence actuelle d’utilisation de l’ordinateur pour les interactions humain-IA peut être trop lente par rapport aux actions informatiques dirigées par l’humain. Nous recommandons de se concentrer sur les cas d’utilisation où la vitesse n’est pas critique (par exemple, la collecte d’informations en arrière-plan, les tests automatisés de logiciels) dans des environnements de confiance.
2. Précision et fiabilité de la vision par ordinateur : Claude peut faire des erreurs ou halluciner lors de la sortie de coordonnées spécifiques lors de la génération d’actions. Claude 3.7 Sonnet introduit la capacité de réflexion qui peut vous aider à comprendre le raisonnement du modèle et à identifier les problèmes potentiels.
3. Précision et fiabilité de la sélection d’outils : Claude peut faire des erreurs ou halluciner lors de la sélection d’outils pendant la génération d’actions ou prendre des actions inattendues pour résoudre des problèmes. De plus, la fiabilité peut être plus faible lors de l’interaction avec des applications de niche ou plusieurs applications à la fois. Nous recommandons aux utilisateurs d’inciter soigneusement le modèle lors de la demande de tâches complexes.
4. Fiabilité du défilement : Alors que Claude 3.5 Sonnet (nouveau) avait des limitations avec le défilement, Claude 3.7 Sonnet introduit des actions de défilement dédiées avec contrôle de direction qui améliore la fiabilité. Le modèle peut maintenant explicitement faire défiler dans n’importe quelle direction (haut/bas/gauche/droite) d’une quantité spécifiée.
5. Interaction avec les feuilles de calcul : Les clics de souris pour l’interaction avec les feuilles de calcul se sont améliorés dans Claude 3.7 Sonnet avec l’ajout d’actions de contrôle de souris plus précises comme left_mouse_down, left_mouse_up, et le nouveau support de touches modificatrices. La sélection de cellules peut être plus fiable en utilisant ces contrôles fins et en combinant les touches modificatrices avec les clics.
6. Création de compte et génération de contenu sur les plateformes sociales et de communication : Bien que Claude visitera des sites web, nous limitons sa capacité à créer des comptes ou à générer et partager du contenu ou autrement à s’engager dans l’usurpation d’identité humaine sur les sites web et plateformes de médias sociaux. Nous pourrons mettre à jour cette capacité à l’avenir.
7. Vulnérabilités : Les vulnérabilités comme le jailbreaking ou l’injection de prompts peuvent persister à travers les systèmes d’IA frontière, y compris l’API bêta d’utilisation de l’ordinateur. Dans certaines circonstances, Claude suivra les commandes trouvées dans le contenu, parfois même en conflit avec les instructions de l’utilisateur. Par exemple, les instructions de Claude sur les pages web ou contenues dans les images peuvent remplacer les instructions ou causer des erreurs de Claude. Nous recommandons : a. Limiter l’utilisation de l’ordinateur à des environnements de confiance tels que des machines virtuelles ou des conteneurs avec des privilèges minimaux b. Éviter de donner l’accès à l’utilisation de l’ordinateur à des comptes ou données sensibles sans surveillance stricte c. Informer les utilisateurs finaux des risques pertinents et obtenir leur consentement avant d’activer ou de demander les permissions nécessaires pour les fonctionnalités d’utilisation de l’ordinateur dans vos applications
8. Actions inappropriées ou illégales : Selon les conditions d’utilisation d’Anthropic, vous ne devez pas employer l’utilisation de l’ordinateur pour violer des lois ou notre Politique d’utilisation acceptable.

Examinez toujours soigneusement et vérifiez les actions et les journaux d’utilisation de l’ordinateur de Claude. N’utilisez pas Claude pour des tâches nécessitant une précision parfaite ou des informations utilisateur sensibles sans surveillance humaine.

​

Tarification

En tant que sous-ensemble des requêtes d’utilisation d’outils, les requêtes d’utilisation de l’ordinateur sont tarifées de la même manière que toute autre requête API Claude.

Nous incluons également automatiquement un prompt système spécial pour le modèle, qui active l’utilisation de l’ordinateur.

En plus des tokens de base, les tokens d’entrée supplémentaires suivants sont nécessaires pour les outils définis par Anthropic :

Si vous activez la réflexion avec Claude 3.7 Sonnet, les tokens utilisés pour la réflexion seront comptés dans votre budget max_tokens en fonction des budget_tokens que vous spécifiez dans le paramètre de réflexion.