Utilisation de l'ordinateur (bêta)

Le modèle amélioré Claude 3.5 Sonnet est capable d’interagir avec des outils qui peuvent manipuler un environnement de bureau informatique.

Voici un exemple de la façon de fournir des outils d’utilisation de l’ordinateur à Claude en utilisant l’API Messages :

​

Comment fonctionne l’utilisation de l’ordinateur

Nous appelons la répétition des étapes 3 et 4 sans entrée utilisateur la “boucle d’agent” - c’est-à-dire que Claude répond avec une requête d’utilisation d’outil et que votre application répond à Claude avec les résultats de l’évaluation de cette requête.

​

Comment implémenter l’utilisation de l’ordinateur

​

Commencez par notre implémentation de référence

Nous avons créé une implémentation de référence qui comprend tout ce dont vous avez besoin pour commencer rapidement avec l’utilisation de l’ordinateur :

• Un environnement conteneurisé adapté à l’utilisation de l’ordinateur avec Claude
• Des implémentations des outils d’utilisation de l’ordinateur
• Une boucle d’agent qui interagit avec l’API Anthropic et exécute les résultats d’utilisation de l’ordinateur
• Une interface Web pour interagir avec le conteneur, la boucle d’agent et les outils.

Nous vous recommandons d’essayer l’implémentation de référence avant de lire le reste de cette documentation.

​

Optimisez les performances du modèle avec le prompting

Voici quelques conseils pour obtenir des résultats de meilleure qualité :

1. Spécifiez des tâches simples et bien définies et fournissez des instructions explicites pour chaque étape.
2. Claude suppose parfois les résultats de ses actions sans vérifier explicitement leurs résultats. Pour éviter cela, vous pouvez inciter le modèle avec Après chaque étape, prenez une capture d'écran et évaluez attentivement si vous avez atteint le bon résultat. Montrez explicitement votre raisonnement : "J'ai évalué l'étape X..." Si ce n'est pas correct, réessayez. Ce n'est que lorsque vous confirmez qu'une étape a été exécutée correctement que vous devez passer à la suivante.
3. Certains éléments d’interface utilisateur (comme les menus déroulants et les barres de défilement) peuvent être difficiles à manipuler pour Claude à l’aide de mouvements de souris. Si vous rencontrez ce problème, essayez d’inciter le modèle à utiliser des raccourcis clavier.
4. Pour les tâches répétables ou les interactions avec l’interface utilisateur, incluez des exemples de captures d’écran et d’appels d’outils de résultats réussis dans votre invite.
5. Si vous avez besoin que le modèle se connecte, fournissez-lui le nom d’utilisateur et le mot de passe dans votre invite à l’intérieur de balises xml comme <robot_credentials>. L’utilisation de l’ordinateur dans des applications nécessitant une connexion augmente le risque de mauvais résultats à cause de l’injection de prompts. Veuillez consulter notre guide sur l’atténuation des injections de prompts avant de fournir au modèle des identifiants de connexion.

​

Invites système

Lorsque l’un des outils définis par Anthropic est demandé via l’API Anthropic, une invite système spécifique à l’utilisation de l’ordinateur est générée. Elle est similaire à l’invite système d’utilisation d’outil mais commence par :

Vous avez accès à un ensemble de fonctions que vous pouvez utiliser pour répondre à la question de l’utilisateur. Cela inclut l’accès à un environnement informatique de bac à sable. Vous n’avez PAS actuellement la possibilité d’inspecter les fichiers ou d’interagir avec des ressources externes, sauf en invoquant les fonctions ci-dessous.

Comme avec l’utilisation régulière d’outils, le champ system_prompt fourni par l’utilisateur est toujours respecté et utilisé dans la construction de l’invite système combinée.

​

Comprendre les outils définis par Anthropic

Nous avons fourni un ensemble d’outils qui permettent à Claude d’utiliser efficacement les ordinateurs. Lors de la spécification d’un outil défini par Anthropic, les champs description et tool_schema ne sont ni nécessaires ni autorisés.

Nous fournissons actuellement 3 outils définis par Anthropic :

• { "type": "computer_20241022", "name": "computer" }
• { "type": "text_editor_20241022", "name": "str_replace_editor" }
• { "type": "bash_20241022", "name": "bash" }

Le champ type identifie l’outil et ses paramètres à des fins de validation, le champ name est le nom de l’outil exposé au modèle.

Si vous voulez inciter le modèle à utiliser l’un de ces outils, vous pouvez faire explicitement référence à l’outil par le champ name. Le champ name doit être unique dans la liste des outils ; vous ne pouvez pas définir un outil avec le même nom qu’un outil défini par Anthropic dans la même appel API.

Utilisez une souris et un clavier pour interagir avec un ordinateur et prendre des captures d'écran.
* Il s'agit d'une interface vers une interface graphique de bureau. Vous n'avez pas accès à un terminal ou à un menu d'applications. Vous devez cliquer sur les icônes du bureau pour démarrer les applications.
* Certaines applications peuvent prendre du temps à démarrer ou à traiter les actions, vous devrez donc peut-être attendre et prendre des captures d'écran successives pour voir les résultats de vos actions. Par exemple, si vous cliquez sur Firefox et qu'aucune fenêtre ne s'ouvre, essayez de prendre une autre capture d'écran.
* La résolution de l'écran est {{ display_width_px }}x{{ display_height_px }}.
* Le numéro d'affichage est {{ display_number }}
* Chaque fois que vous avez l'intention de déplacer le curseur pour cliquer sur un élément comme une icône, vous devez consulter une capture d'écran pour déterminer les coordonnées de l'élément avant de déplacer le curseur.
* Si vous avez essayé de cliquer sur un programme ou un lien mais qu'il n'a pas réussi à se charger, même après avoir attendu, essayez d'ajuster la position de votre curseur de sorte que la pointe du curseur tombe visuellement sur l'élément sur lequel vous voulez cliquer.
* Assurez-vous de cliquer sur tous les boutons, liens, icônes, etc. avec la pointe du curseur au centre de l'élément. Ne cliquez pas sur les bords des cases, sauf si on vous le demande.

{
    "properties": {
        "action": {
            "description": """L'action à effectuer. Les actions disponibles sont :
                * `key`: Appuyez sur une touche ou une combinaison de touches sur le clavier.
                  - Cela prend en charge la syntaxe `key` de xdotool.
                  - Exemples : "a", "Return", "alt+Tab", "ctrl+s", "Up", "KP_0" (pour la touche 0 du pavé numérique).
                * `type`: Tapez une chaîne de texte sur le clavier.
                * `cursor_position`: Obtenez les coordonnées (x, y) en pixels actuelles du curseur sur l'écran.
                * `mouse_move`: Déplacez le curseur vers les coordonnées (x, y) en pixels spécifiées sur l'écran.
                * `left_click`: Cliquez avec le bouton gauche de la souris.
                * `left_click_drag`: Cliquez et faites glisser le curseur vers les coordonnées (x, y) en pixels spécifiées sur l'écran.
                * `right_click`: Cliquez avec le bouton droit de la souris.
                * `middle_click`: Cliquez avec le bouton du milieu de la souris.
                * `double_click`: Double-cliquez avec le bouton gauche de la souris.
                * `screenshot`: Prenez une capture d'écran de l'écran.""",
            "enum": [
                "key",
                "type",
                "mouse_move",
                "left_click",
                "left_click_drag",
                "right_click",
                "middle_click",
                "double_click",
                "screenshot",
                "cursor_position",
            ],
            "type": "string",
        },
        "coordinate": {
            "description": "(x, y) : Les coordonnées x (pixels à partir du bord gauche) et y (pixels à partir du bord supérieur) pour déplacer la souris. Requis uniquement par `action=mouse_move` et `action=left_click_drag`.",
            "type": "array",
        },
        "text": {
            "description": "Requis uniquement par `action=type` et `action=key`.",
            "type": "string",
        },
    },
    "required": ["action"],
    "type": "object",
}

Outil d'édition personnalisé pour visualiser, créer et modifier des fichiers
* L'état est persistant d'un appel de commande à l'autre et lors des discussions avec l'utilisateur
* Si `path` est un fichier, `view` affiche le résultat de l'application de `cat -n`. Si `path` est un répertoire, `view` liste les fichiers et répertoires non cachés jusqu'à 2 niveaux de profondeur
* La commande `create` ne peut pas être utilisée si le `path` spécifié existe déjà en tant que fichier
* Si une commande génère une sortie longue, elle sera tronquée et marquée avec `<response clipped>`
* La commande `undo_edit` annulera la dernière édition effectuée sur le fichier à `path`

Notes pour l'utilisation de la commande `str_replace` :
* Le paramètre `old_str` doit correspondre EXACTEMENT à une ou plusieurs lignes consécutives du fichier d'origine. Faites attention aux espaces blancs !
* Si le paramètre `old_str` n'est pas unique dans le fichier, le remplacement ne sera pas effectué. Assurez-vous d'inclure suffisamment de contexte dans `old_str` pour le rendre unique
* Le paramètre `new_str` doit contenir les lignes éditées qui doivent remplacer `old_str`

{
    "properties": {
        "command": {
            "description": "Les commandes à exécuter. Les options autorisées sont : `view`, `create`, `str_replace`, `insert`, `undo_edit`.",
            "enum": ["view", "create", "str_replace", "insert", "undo_edit"],
            "type": "string",
        },
        "file_text": {
            "description": "Paramètre requis de la commande `create`, avec le contenu du fichier à créer.",
            "type": "string",
        },
        "insert_line": {
            "description": "Paramètre requis de la commande `insert`. La `new_str` sera insérée APRÈS la ligne `insert_line` de `path`.",
            "type": "integer",
        },
        "new_str": {
            "description": "Paramètre optionnel de la commande `str_replace` contenant la nouvelle chaîne (si non fourni, aucune chaîne ne sera ajoutée). Paramètre requis de la commande `insert` contenant la chaîne à insérer.",
            "type": "string",
        },
        "old_str": {
            "description": "Paramètre requis de la commande `str_replace` contenant la chaîne dans `path` à remplacer.",
            "type": "string",
        },
        "path": {
            "description": "Chemin absolu vers le fichier ou le répertoire, par exemple `/repo/file.py` ou `/repo`.",
            "type": "string",
        },
        "view_range": {
            "description": "Paramètre optionnel de la commande `view` lorsque `path` pointe vers un fichier. Si aucun n'est donné, le fichier complet est affiché. Si fourni, le fichier sera affiché dans la plage de numéros de ligne indiquée, par exemple [11, 12] affichera les lignes 11 et 12. Indexation à 1 pour commencer. Définir `[start_line, -1]` affiche toutes les lignes de `start_line` jusqu'à la fin du fichier.",
            "items": {"type": "integer"},
            "type": "array",
        },
    },
    "required": ["command", "path"],
    "type": "object",
}

Exécutez des commandes dans un shell bash
* Lors de l'appel de cet outil, le contenu du paramètre "command" n'a PAS besoin d'être échappé en XML.
* Vous avez accès à un miroir des packages linux et python courants via apt et pip.
* L'état est persistant d'un appel de commande à l'autre et lors des discussions avec l'utilisateur.
* Pour inspecter une plage de lignes particulière d'un fichier, par exemple les lignes 10 à 25, essayez 'sed -n 10,25p /path/to/the/file'.
* Veuillez éviter les commandes qui pourraient produire une très grande quantité de sortie.
* Veuillez exécuter les commandes de longue durée en arrière-plan, par exemple 'sleep 10 &' ou démarrer un serveur en arrière-plan.

{
    "properties": {
        "command": {
            "description": "La commande bash à exécuter. Requis sauf si l'outil est redémarré.",
            "type": "string",
        },
        "restart": {
            "description": "Spécifier true redémarrera cet outil. Sinon, ne le spécifiez pas.",
            "type": "boolean",
        },
    }
}

​

Combiner l’utilisation de l’ordinateur avec d’autres outils

Vous pouvez combiner l’utilisation régulière d’outils avec les outils définis par Anthropic pour l’utilisation de l’ordinateur.

​

Construire un environnement d’utilisation de l’ordinateur personnalisé

L’implémentation de référence est destinée à vous aider à commencer avec l’utilisation de l’ordinateur. Elle comprend tous les composants nécessaires pour que Claude utilise un ordinateur. Cependant, vous pouvez construire votre propre environnement pour l’utilisation de l’ordinateur afin de répondre à vos besoins. Vous aurez besoin de :

• Un environnement virtualisé ou conteneurisé adapté à l’utilisation de l’ordinateur avec Claude
• Une implémentation d’au moins un des outils d’utilisation de l’ordinateur définis par Anthropic
• Une boucle d’agent qui interagit avec l’API Anthropic et exécute les résultats tool_use à l’aide de vos implémentations d’outils
• Une API ou une interface utilisateur qui permet l’entrée utilisateur pour démarrer la boucle d’agent

​

Comprendre les limitations de l’utilisation de l’ordinateur

La fonctionnalité d’utilisation de l’ordinateur est en version bêta. Bien que les capacités de Claude soient de pointe, les développeurs doivent être conscients de ses limites :

1. Latence : la latence actuelle de l’utilisation de l’ordinateur pour les interactions homme-IA peut être trop lente par rapport aux actions informatiques régulières dirigées par l’homme. Nous vous recommandons de vous concentrer sur les cas d’utilisation où la vitesse n’est pas critique (par exemple, la collecte d’informations en arrière-plan, les tests logiciels automatisés) dans des environnements de confiance.
2. Précision et fiabilité de la vision par ordinateur : Claude peut commettre des erreurs ou des hallucinations lors de la sortie de coordonnées spécifiques pendant la génération d’actions.
3. Précision et fiabilité de la sélection d’outils : Claude peut commettre des erreurs ou des hallucinations lors de la sélection d’outils pendant la génération d’actions ou prendre des actions inattendues pour résoudre des problèmes. De plus, la fiabilité peut être plus faible lors de l’interaction avec des applications de niche ou plusieurs applications à la fois. Nous recommandons aux utilisateurs d’inciter le modèle avec soin lorsqu’ils demandent des tâches complexes.
4. Fiabilité du défilement : Le défilement peut être peu fiable dans l’expérience actuelle, et le modèle peut ne pas défiler de manière fiable jusqu’au bas de la page. Le comportement de défilement peut être amélioré via des frappes de touches (PgUp/PgDown).
5. Interaction avec les feuilles de calcul : Les clics de souris pour l’interaction avec les feuilles de calcul sont peu fiables. La sélection des cellules peut ne pas toujours fonctionner comme prévu. Cela peut être atténué en incitant le modèle à utiliser les touches fléchées.
6. Création de comptes et génération de contenu sur les plateformes de médias sociaux et de communication : Bien que Claude puisse visiter des sites Web, nous limitons sa capacité à créer des comptes ou à générer et partager du contenu ou à se faire passer pour un humain sur les plateformes de médias sociaux et de communication. Nous pouvons mettre à jour cette fonctionnalité à l’avenir.
7. Vulnérabilités : Des vulnérabilités comme le jailbreaking ou l’injection de prompts peuvent persister dans les systèmes d’IA de pointe, y compris l’API bêta d’utilisation de l’ordinateur. Dans certaines circonstances, Claude suivra les commandes trouvées dans le contenu, parfois même en conflit avec les instructions de l’utilisateur. Par exemple, les instructions de Claude sur les pages Web ou contenues dans les images peuvent remplacer les instructions ou amener Claude à commettre des erreurs. Nous recommandons : a. Limiter l’utilisation de l’ordinateur à des environnements de confiance tels que des machines virtuelles ou des conteneurs avec des privilèges minimaux b. Éviter de donner à l’utilisation de l’ordinateur accès à des comptes ou des données sensibles sans surveillance stricte c. Informer les utilisateurs finaux des risques pertinents et obtenir leur consentement avant d’activer ou de demander les autorisations nécessaires pour les fonctionnalités d’utilisation de l’ordinateur dans vos applications
8. Actions inappropriées ou illégales : Conformément aux conditions d’utilisation d’Anthropic, vous ne devez pas employer l’utilisation de l’ordinateur pour violer les lois ou notre Politique d’utilisation acceptable.

Examinez et vérifiez toujours attentivement les actions et les journaux d’utilisation de l’ordinateur de Claude. N’utilisez pas Claude pour des tâches nécessitant une précision parfaite ou des informations sensibles sur les utilisateurs sans supervision humaine.

​

Tarification

Comme sous-ensemble des requêtes d’utilisation d’outils, les requêtes d’utilisation de l’ordinateur sont facturées de la même manière que toute autre requête de l’API Claude.

Nous incluons également automatiquement une invite système spéciale pour le modèle, qui permet l’utilisation de l’ordinateur.

En plus des jetons de base, les jetons d’entrée supplémentaires suivants sont nécessaires pour les outils définis par Anthropic :