Uso del computer (beta)

Il modello Claude 3.5 Sonnet aggiornato è in grado di interagire con strumenti che possono manipolare un ambiente desktop del computer.

Ecco un esempio di come fornire strumenti per l’uso del computer a Claude utilizzando l’API Messages:

​

Come funziona l’uso del computer

Ci riferiamo alla ripetizione dei passi 3 e 4 senza input dell’utente come “ciclo dell’agente” - cioè, Claude risponde con una richiesta di utilizzo dello strumento e la tua applicazione risponde a Claude con i risultati della valutazione di quella richiesta.

​

Come implementare l’uso del computer

​

Inizia con la nostra implementazione di riferimento

Abbiamo realizzato un’implementazione di riferimento che include tutto il necessario per iniziare rapidamente con l’uso del computer:

• Un ambiente containerizzato adatto all’uso del computer con Claude
• Implementazioni degli strumenti per l’uso del computer
• Un ciclo di agente che interagisce con l’API Anthropic ed esegue i risultati dell’uso del computer
• Un’interfaccia web per interagire con il container, il ciclo dell’agente e gli strumenti.

Consigliamo di provare l’implementazione di riferimento prima di leggere il resto di questa documentazione.

​

Ottimizza le prestazioni del modello con il prompting

Ecco alcuni suggerimenti su come ottenere output di qualità migliore:

1. Specifica attività semplici e ben definite e fornisci istruzioni esplicite per ogni fase.
2. A volte Claude presume gli esiti delle sue azioni senza verificarne esplicitamente i risultati. Per evitare questo puoi sollecitare Claude con Dopo ogni fase, fai uno screenshot e valuta attentamente se hai raggiunto il risultato corretto. Mostra esplicitamente il tuo ragionamento: "Ho valutato il passo X..." Se non è corretto, riprova. Solo quando confermi che un passo è stato eseguito correttamente dovresti passare al successivo.
3. Alcuni elementi dell’interfaccia utente (come menu a discesa e barre di scorrimento) potrebbero essere difficili da manipolare per Claude utilizzando i movimenti del mouse. Se riscontri questo problema, prova a sollecitare il modello a utilizzare le scorciatoie da tastiera.
4. Per attività o interazioni con l’interfaccia utente ripetibili, includi screenshot di esempio e chiamate di strumenti di esiti positivi nel tuo prompt.
5. Se hai bisogno che il modello effettui l’accesso, forniscigli il nome utente e la password nel tuo prompt all’interno di tag xml come <robot_credentials>. L’utilizzo del computer all’interno di applicazioni che richiedono l’accesso aumenta il rischio di risultati negativi a causa dell’iniezione di prompt. Si prega di esaminare la nostra guida per mitigare le iniezioni di prompt prima di fornire al modello le credenziali di accesso.

​

Prompt di sistema

Quando uno degli strumenti per l’uso del computer definiti da Anthropic viene richiesto tramite l’API Anthropic, viene generato un prompt di sistema specifico per l’uso del computer. È simile al prompt di sistema per l’uso degli strumenti ma inizia con:

Hai accesso a un set di funzioni che puoi utilizzare per rispondere alla domanda dell’utente. Questo include l’accesso a un ambiente di calcolo isolato. NON hai attualmente la possibilità di ispezionare file o interagire con risorse esterne, se non invocando le funzioni sottostanti.

Come per l’uso regolare degli strumenti, il campo system_prompt fornito dall’utente viene comunque rispettato e utilizzato nella costruzione del prompt di sistema combinato.

​

Comprendi gli strumenti definiti da Anthropic

Abbiamo fornito un set di strumenti che consentono a Claude di utilizzare efficacemente i computer. Quando si specifica uno strumento definito da Anthropic, i campi description e tool_schema non sono necessari o consentiti.

Attualmente forniamo 3 strumenti definiti da Anthropic:

• { "type": "computer_20241022", "name": "computer" }
• { "type": "text_editor_20241022", "name": "str_replace_editor" }
• { "type": "bash_20241022", "name": "bash" }

Il campo type identifica lo strumento e i suoi parametri per la convalida, il campo name è il nome dello strumento esposto al modello.

Se vuoi sollecitare il modello a utilizzare uno di questi strumenti, puoi fare riferimento esplicito allo strumento dal campo name. Il campo name deve essere univoco all’interno dell’elenco degli strumenti; non puoi definire uno strumento con lo stesso nome di uno strumento definito da Anthropic nella stessa chiamata API.

Utilizza un mouse e una tastiera per interagire con un computer e acquisire screenshot.
* Questa è un'interfaccia per una GUI desktop. Non hai accesso a un terminale o a un menu delle applicazioni. Devi fare clic sulle icone del desktop per avviare le applicazioni.
* Alcune applicazioni potrebbero richiedere tempo per avviarsi o elaborare le azioni, quindi potresti dover attendere e acquisire screenshot successivi per vedere i risultati delle tue azioni. Ad es. se fai clic su Firefox e non si apre una finestra, prova a fare un altro screenshot.
* La risoluzione dello schermo è {{ display_width_px }}x{{ display_height_px }}.
* Il numero di display è {{ display_number }}
* Ogni volta che intendi spostare il cursore per fare clic su un elemento come un'icona, dovresti consultare uno screenshot per determinare le coordinate dell'elemento prima di spostare il cursore.
* Se hai provato a fare clic su un programma o un link ma non si è caricato, anche dopo aver atteso, prova a regolare la posizione del cursore in modo che la punta del cursore cada visivamente sull'elemento su cui vuoi fare clic.
* Assicurati di fare clic su pulsanti, link, icone, ecc. con la punta del cursore al centro dell'elemento. Non fare clic sui bordi delle caselle a meno che non venga richiesto.

{
    "properties": {
        "action": {
            "description": """L'azione da eseguire. Le azioni disponibili sono:
                * `key`: Premere un tasto o una combinazione di tasti sulla tastiera.
                  - Questo supporta la sintassi `key` di xdotool.
                  - Esempi: "a", "Return", "alt+Tab", "ctrl+s", "Up", "KP_0" (per il tasto 0 del tastierino numerico).
                * `type`: Digitare una stringa di testo sulla tastiera.
                * `cursor_position`: Ottenere le coordinate (x, y) in pixel del cursore corrente sullo schermo.
                * `mouse_move`: Spostare il cursore alle coordinate (x, y) in pixel specificate sullo schermo.
                * `left_click`: Fare clic con il tasto sinistro del mouse.
                * `left_click_drag`: Fare clic e trascinare il cursore alle coordinate (x, y) in pixel specificate sullo schermo.
                * `right_click`: Fare clic con il tasto destro del mouse.
                * `middle_click`: Fare clic con il tasto centrale del mouse.
                * `double_click`: Fare doppio clic con il tasto sinistro del mouse.
                * `screenshot`: Acquisire uno screenshot dello schermo.""",
            "enum": [
                "key",
                "type",
                "mouse_move",
                "left_click",
                "left_click_drag",
                "right_click",
                "middle_click",
                "double_click",
                "screenshot",
                "cursor_position",
            ],
            "type": "string",
        },
        "coordinate": {
            "description": "(x, y): Le coordinate x (pixel dal bordo sinistro) e y (pixel dal bordo superiore) per spostare il mouse. Richiesto solo da `action=mouse_move` e `action=left_click_drag`.",
            "type": "array",
        },
        "text": {
            "description": "Richiesto solo da `action=type` e `action=key`.",
            "type": "string",
        },
    },
    "required": ["action"],
    "type": "object",
}

Strumento di modifica personalizzato per visualizzare, creare e modificare file
* Lo stato è persistente tra le chiamate di comando e le discussioni con l'utente
* Se `path` è un file, `view` visualizza il risultato dell'applicazione di `cat -n`. Se `path` è una directory, `view` elenca i file e le directory non nascosti fino a 2 livelli di profondità
* Il comando `create` non può essere utilizzato se il `path` specificato esiste già come file
* Se un `command` genera un output lungo, verrà troncato e contrassegnato con `<response clipped>`
* Il comando `undo_edit` annullerà l'ultima modifica apportata al file in `path`

Note per l'utilizzo del comando `str_replace`:
* Il parametro `old_str` deve corrispondere ESATTAMENTE a una o più righe consecutive dal file originale. Fai attenzione agli spazi bianchi!
* Se il parametro `old_str` non è univoco nel file, la sostituzione non verrà eseguita. Assicurati di includere abbastanza contesto in `old_str` per renderlo univoco
* Il parametro `new_str` dovrebbe contenere le righe modificate che dovrebbero sostituire `old_str`

{
    "properties": {
        "command": {
            "description": "I comandi da eseguire. Le opzioni consentite sono: `view`, `create`, `str_replace`, `insert`, `undo_edit`.",
            "enum": ["view", "create", "str_replace", "insert", "undo_edit"],
            "type": "string",
        },
        "file_text": {
            "description": "Parametro obbligatorio del comando `create`, con il contenuto del file da creare.",
            "type": "string",
        },
        "insert_line": {
            "description": "Parametro obbligatorio del comando `insert`. La `new_str` verrà inserita DOPO la riga `insert_line` di `path`.",
            "type": "integer",
        },
        "new_str": {
            "description": "Parametro opzionale del comando `str_replace` contenente la nuova stringa (se non viene fornito, non verrà aggiunta alcuna stringa). Parametro obbligatorio del comando `insert` contenente la stringa da inserire.",
            "type": "string",
        },
        "old_str": {
            "description": "Parametro obbligatorio del comando `str_replace` contenente la stringa in `path` da sostituire.",
            "type": "string",
        },
        "path": {
            "description": "Percorso assoluto del file o della directory, ad es. `/repo/file.py` o `/repo`.",
            "type": "string",
        },
        "view_range": {
            "description": "Parametro opzionale del comando `view` quando `path` punta a un file. Se non viene fornito, viene mostrato il file completo. Se fornito, il file verrà mostrato nell'intervallo di numeri di riga indicato, ad es. [11, 12] mostrerà le righe 11 e 12. L'indicizzazione inizia da 1. Impostando `[start_line, -1]` vengono mostrate tutte le righe da `start_line` fino alla fine del file.",
            "items": {"type": "integer"},
            "type": "array",
        },
    },
    "required": ["command", "path"],
    "type": "object",
}

Esegui comandi in una shell bash
* Quando si invoca questo strumento, il contenuto del parametro "command" NON deve essere XML-escaped.
* Hai accesso a uno specchio di pacchetti linux e python comuni tramite apt e pip.
* Lo stato è persistente tra le chiamate di comando e le discussioni con l'utente.
* Per ispezionare un particolare intervallo di righe di un file, ad es. le righe da 10 a 25, prova 'sed -n 10,25p /percorso/al/file'.
* Evita comandi che potrebbero produrre una quantità molto grande di output.
* Esegui comandi a lunga esecuzione in background, ad es. 'sleep 10 &' o avvia un server in background.

{
    "properties": {
        "command": {
            "description": "Il comando bash da eseguire. Obbligatorio a meno che lo strumento non venga riavviato.",
            "type": "string",
        },
        "restart": {
            "description": "Specificando true verrà riavviato questo strumento. Altrimenti, lascialo non specificato.",
            "type": "boolean",
        },
    }
}

​

Combina l’uso del computer con altri strumenti

Puoi combinare l’uso regolare degli strumenti con gli strumenti definiti da Anthropic per l’uso del computer.

​

Costruisci un ambiente personalizzato per l’uso del computer

L’implementazione di riferimento è intesa per aiutarti a iniziare con l’uso del computer. Include tutti i componenti necessari per far utilizzare un computer a Claude. Tuttavia, puoi costruire il tuo ambiente per l’uso del computer per soddisfare le tue esigenze. Avrai bisogno di:

• Un ambiente virtualizzato o containerizzato adatto all’uso del computer con Claude
• Un’implementazione di almeno uno degli strumenti per l’uso del computer definiti da Anthropic
• Un ciclo di agente che interagisce con l’API Anthropic ed esegue i risultati di tool_use utilizzando le tue implementazioni degli strumenti
• Un’API o un’interfaccia utente che consenta l’input dell’utente per avviare il ciclo dell’agente

​

Comprendi i limiti dell’uso del computer

La funzionalità di utilizzo del computer è in beta. Sebbene le capacità di Claude siano all’avanguardia, gli sviluppatori dovrebbero essere consapevoli dei suoi limiti:

1. Latenza: l’attuale latenza dell’uso del computer per le interazioni uomo-AI potrebbe essere troppo lenta rispetto alle normali azioni dirette dal computer umano. Consigliamo di concentrarsi sui casi d’uso in cui la velocità non è critica (ad es. raccolta di informazioni di background, test automatizzati del software) in ambienti affidabili.
2. Precisione e affidabilità della visione artificiale: Claude potrebbe commettere errori o allucinare quando genera coordinate specifiche durante la generazione di azioni.
3. Precisione e affidabilità della selezione degli strumenti: Claude potrebbe commettere errori o allucinare quando seleziona strumenti durante la generazione di azioni o intraprendere azioni impreviste per risolvere problemi. Inoltre, l’affidabilità potrebbe essere inferiore quando si interagisce con applicazioni di nicchia o più applicazioni contemporaneamente. Consigliamo agli utenti di sollecitare attentamente il modello quando richiedono attività complesse.
4. Affidabilità dello scorrimento: Lo scorrimento potrebbe non essere affidabile nell’esperienza attuale e il modello potrebbe non scorrere in modo affidabile fino al fondo di una pagina. Il comportamento simile allo scorrimento può essere migliorato tramite tasti di scelta rapida (PgUp/PgDown).
5. Interazione con i fogli di calcolo: I clic del mouse per l’interazione con i fogli di calcolo non sono affidabili. La selezione delle celle potrebbe non funzionare sempre come previsto. Questo può essere mitigato sollecitando il modello a utilizzare i tasti di scelta rapida.
6. Creazione di account e generazione di contenuti su piattaforme di social media e comunicazione: Sebbene Claude visiterà i siti web, stiamo limitando la sua capacità di creare account o generare e condividere contenuti o impersonare esseri umani sui siti web e sulle piattaforme di social media. Potremmo aggiornare questa funzionalità in futuro.
7. Vulnerabilità: Vulnerabilità come il jailbreaking o l’iniezione di prompt potrebbero persistere nei sistemi AI all’avanguardia, inclusa l’API beta per l’uso del computer. In alcune circostanze, Claude seguirà i comandi trovati nei contenuti, a volte anche in conflitto con le istruzioni dell’utente. Ad esempio, le istruzioni di Claude su pagine web o contenute in immagini potrebbero sovrascrivere le istruzioni o causare errori di Claude. Consigliamo: a. Limitare l’uso del computer ad ambienti affidabili come macchine virtuali o container con privilegi minimi b. Evitare di dare all’uso del computer accesso ad account o dati sensibili senza una stretta supervisione c. Informare gli utenti finali dei rischi pertinenti e ottenere il loro consenso prima di abilitare o richiedere le autorizzazioni necessarie per le funzionalità di utilizzo del computer nelle tue applicazioni
8. Azioni inappropriate o illegali: Secondo i termini di servizio di Anthropic, non devi utilizzare l’uso del computer per violare alcuna legge o la nostra Politica di utilizzo accettabile.

Rivedi e verifica sempre attentamente le azioni e i log dell’uso del computer di Claude. Non utilizzare Claude per attività che richiedono precisione perfetta o informazioni sensibili degli utenti senza supervisione umana.

​

Prezzi

Poiché le richieste di utilizzo del computer sono un sottoinsieme delle richieste di utilizzo degli strumenti, vengono addebitate allo stesso modo di qualsiasi altra richiesta dell’API Claude.

Includiamo automaticamente anche un prompt di sistema speciale per il modello, che abilita l’uso del computer.

Oltre ai token di base, sono necessari i seguenti token di input aggiuntivi per gli strumenti definiti da Anthropic: