Computer use

O modelo Claude 3.5 Sonnet atualizado é capaz de interagir com ferramentas que podem manipular um ambiente de desktop de computador.

Aqui está um exemplo de como fornecer ferramentas de uso do computador ao Claude usando a API de Mensagens:

​

Como funciona o uso do computador

Nos referimos à repetição das etapas 3 e 4 sem entrada do usuário como o “loop de agente” - ou seja, o Claude respondendo com uma solicitação de uso de ferramenta e seu aplicativo respondendo ao Claude com os resultados da avaliação dessa solicitação.

​

Como implementar o uso do computador

​

Comece com nossa implementação de referência

Construímos uma implementação de referência que inclui tudo o que você precisa para começar rapidamente com o uso do computador:

• Um ambiente containerizado adequado para uso do computador com o Claude
• Implementações das ferramentas de uso do computador
• Um loop de agente que interage com a API Anthropic e executa os resultados de tool_use
• Uma interface web para interagir com o contêiner, loop de agente e ferramentas.

Recomendamos experimentar a implementação de referência antes de ler o restante desta documentação.

​

Otimize o desempenho do modelo com prompt

Aqui estão algumas dicas sobre como obter as melhores saídas de qualidade:

1. Especifique tarefas simples e bem definidas e forneça instruções explícitas para cada etapa.
2. O Claude às vezes assume os resultados de suas ações sem verificar explicitamente seus resultados. Para evitar isso, você pode solicitar ao Claude com Após cada etapa, tire uma captura de tela e avalie cuidadosamente se você alcançou o resultado correto. Mostre explicitamente seu raciocínio: "Eu avaliei a etapa X..." Se não estiver correto, tente novamente. Apenas quando você confirmar que uma etapa foi executada corretamente, você deve passar para a próxima.
3. Alguns elementos da interface do usuário (como menus suspensos e barras de rolagem) podem ser difíceis para o Claude manipular usando movimentos do mouse. Se você tiver esse problema, tente solicitar ao modelo que use atalhos de teclado.
4. Para tarefas ou interações de interface do usuário repetíveis, inclua capturas de tela de exemplo e chamadas de ferramentas de resultados bem-sucedidos em seu prompt.
5. Se você precisar que o modelo faça login, forneça a ele o nome de usuário e a senha em seu prompt dentro de tags xml como <robot_credentials>. Usar o uso do computador dentro de aplicativos que exigem login aumenta o risco de resultados ruins como resultado da injeção de prompt. Por favor, revise nosso guia sobre mitigação de injeções de prompt antes de fornecer as credenciais de login ao modelo.

​

Prompts do sistema

Quando uma das ferramentas definidas pela Anthropic é solicitada através da API Anthropic, um prompt do sistema específico para uso do computador é gerado. É semelhante ao prompt do sistema de uso de ferramenta, mas começa com:

Você tem acesso a um conjunto de funções que pode usar para responder à pergunta do usuário. Isso inclui acesso a um ambiente de computação em sandbox. Você NÃO tem atualmente a capacidade de inspecionar arquivos ou interagir com recursos externos, exceto invocando as funções abaixo.

Assim como no uso regular de ferramentas, o campo system_prompt fornecido pelo usuário ainda é respeitado e usado na construção do prompt do sistema combinado.

​

Entenda as ferramentas definidas pela Anthropic

Fornecemos um conjunto de ferramentas que permitem ao Claude usar computadores de maneira eficaz. Ao especificar uma ferramenta definida pela Anthropic, os campos description e tool_schema não são necessários ou permitidos.

Atualmente fornecemos 3 ferramentas definidas pela Anthropic:

• { "type": "computer_20241022", "name": "computer" }
• { "type": "text_editor_20241022", "name": "str_replace_editor" }
• { "type": "bash_20241022", "name": "bash" }

O campo type identifica a ferramenta e seus parâmetros para fins de validação, o campo name é o nome da ferramenta exposto ao modelo.

Se você quiser solicitar ao modelo que use uma dessas ferramentas, poderá se referir explicitamente à ferramenta pelo campo name. O campo name deve ser único dentro da lista de ferramentas; você não pode definir uma ferramenta com o mesmo nome que uma ferramenta definida pela Anthropic na mesma chamada de API.

Use um mouse e teclado para interagir com um computador e tirar capturas de tela.
* Esta é uma interface para uma GUI de desktop. Você não tem acesso a um terminal ou menu de aplicativos. Você deve clicar nos ícones da área de trabalho para iniciar os aplicativos.
* Alguns aplicativos podem demorar para iniciar ou processar ações, então você pode precisar esperar e tirar capturas de tela sucessivas para ver os resultados de suas ações. Por exemplo, se você clicar no Firefox e uma janela não abrir, tente tirar outra captura de tela.
* A resolução da tela é {{ display_width_px }}x{{ display_height_px }}.
* O número do display é {{ display_number }}
* Sempre que você pretender mover o cursor para clicar em um elemento como um ícone, você deve consultar uma captura de tela para determinar as coordenadas do elemento antes de mover o cursor.
* Se você tentou clicar em um programa ou link, mas ele não carregou, mesmo depois de esperar, tente ajustar a posição do cursor para que a ponta do cursor caia visualmente sobre o elemento que você deseja clicar.
* Certifique-se de clicar em quaisquer botões, links, ícones, etc. com a ponta do cursor no centro do elemento. Não clique nas bordas das caixas, a menos que solicitado.

{
    "properties": {
        "action": {
            "description": """A ação a ser executada. As ações disponíveis são:
                * `key`: Pressione uma tecla ou combinação de teclas no teclado.
                  - Isso suporta a sintaxe `key` do xdotool.
                  - Exemplos: "a", "Return", "alt+Tab", "ctrl+s", "Up", "KP_0" (para a tecla 0 do teclado numérico).
                * `type`: Digite uma string de texto no teclado.
                * `cursor_position`: Obtenha a coordenada de pixel (x, y) atual do cursor na tela.
                * `mouse_move`: Mova o cursor para uma coordenada de pixel (x, y) especificada na tela.
                * `left_click`: Clique no botão esquerdo do mouse.
                * `left_click_drag`: Clique e arraste o cursor para uma coordenada de pixel (x, y) especificada na tela.
                * `right_click`: Clique no botão direito do mouse.
                * `middle_click`: Clique no botão do meio do mouse.
                * `double_click`: Clique duas vezes no botão esquerdo do mouse.
                * `screenshot`: Tire uma captura de tela da tela.""",
            "enum": [
                "key",
                "type",
                "mouse_move",
                "left_click",
                "left_click_drag",
                "right_click",
                "middle_click",
                "double_click",
                "screenshot",
                "cursor_position",
            ],
            "type": "string",
        },
        "coordinate": {
            "description": "(x, y): As coordenadas x (pixels da borda esquerda) e y (pixels da borda superior) para mover o mouse. Obrigatório apenas por `action=mouse_move` e `action=left_click_drag`.",
            "type": "array",
        },
        "text": {
            "description": "Obrigatório apenas por `action=type` e `action=key`.",
            "type": "string",
        },
    },
    "required": ["action"],
    "type": "object",
}

Ferramenta de edição personalizada para visualizar, criar e editar arquivos
* O estado é persistente entre chamadas de comando e discussões com o usuário
* Se `path` for um arquivo, `view` exibe o resultado de aplicar `cat -n`. Se `path` for um diretório, `view` lista arquivos e diretórios não ocultos até 2 níveis de profundidade
* O comando `create` não pode ser usado se o `path` especificado já existir como um arquivo
* Se um `command` gerar uma saída longa, ela será truncada e marcada com `<response clipped>`
* O comando `undo_edit` reverterá a última edição feita no arquivo em `path`

Notas para usar o comando `str_replace`:
* O parâmetro `old_str` deve corresponder EXATAMENTE a uma ou mais linhas consecutivas do arquivo original. Cuidado com os espaços em branco!
* Se o parâmetro `old_str` não for único no arquivo, a substituição não será realizada. Certifique-se de incluir contexto suficiente em `old_str` para torná-lo único
* O parâmetro `new_str` deve conter as linhas editadas que devem substituir o `old_str`

{
    "properties": {
        "command": {
            "description": "Os comandos a serem executados. As opções permitidas são: `view`, `create`, `str_replace`, `insert`, `undo_edit`.",
            "enum": ["view", "create", "str_replace", "insert", "undo_edit"],
            "type": "string",
        },
        "file_text": {
            "description": "Parâmetro obrigatório do comando `create`, com o conteúdo do arquivo a ser criado.",
            "type": "string",
        },
        "insert_line": {
            "description": "Parâmetro obrigatório do comando `insert`. O `new_str` será inserido APÓS a linha `insert_line` de `path`.",
            "type": "integer",
        },
        "new_str": {
            "description": "Parâmetro opcional do comando `str_replace` contendo a nova string (se não for fornecido, nenhuma string será adicionada). Parâmetro obrigatório do comando `insert` contendo a string a ser inserida.",
            "type": "string",
        },
        "old_str": {
            "description": "Parâmetro obrigatório do comando `str_replace` contendo a string em `path` a ser substituída.",
            "type": "string",
        },
        "path": {
            "description": "Caminho absoluto para arquivo ou diretório, por exemplo, `/repo/file.py` ou `/repo`.",
            "type": "string",
        },
        "view_range": {
            "description": "Parâmetro opcional do comando `view` quando `path` aponta para um arquivo. Se nenhum for fornecido, o arquivo completo será mostrado. Se fornecido, o arquivo será mostrado no intervalo de números de linha indicado, por exemplo, [11, 12] mostrará as linhas 11 e 12. Indexação começando em 1. Definindo `[start_line, -1]` mostra todas as linhas de `start_line` até o final do arquivo.",
            "items": {"type": "integer"},
            "type": "array",
        },
    },
    "required": ["command", "path"],
    "type": "object",
}

Execute comandos em um shell bash
* Ao invocar esta ferramenta, o conteúdo do parâmetro "command" NÃO precisa ser escapado de XML.
* Você tem acesso a um espelho de pacotes linux e python comuns via apt e pip.
* O estado é persistente entre chamadas de comando e discussões com o usuário.
* Para inspecionar um intervalo de linhas específico de um arquivo, por exemplo, linhas 10-25, tente 'sed -n 10,25p /path/to/the/file'.
* Evite comandos que possam produzir uma grande quantidade de saída.
* Execute comandos de longa duração em segundo plano, por exemplo, 'sleep 10 &' ou inicie um servidor em segundo plano.

{
    "properties": {
        "command": {
            "description": "O comando bash a ser executado. Obrigatório, a menos que a ferramenta esteja sendo reiniciada.",
            "type": "string",
        },
        "restart": {
            "description": "Especificar true reiniciará esta ferramenta. Caso contrário, deixe isso não especificado.",
            "type": "boolean",
        },
    }
}

​

Combine o uso do computador com outras ferramentas

Você pode combinar o uso regular de ferramentas com as ferramentas definidas pela Anthropic para uso do computador.

​

Construa um ambiente personalizado de uso do computador

A implementação de referência destina-se a ajudá-lo a começar com o uso do computador. Ela inclui todos os componentes necessários para que o Claude use um computador. No entanto, você pode construir seu próprio ambiente para uso do computador para atender às suas necessidades. Você precisará:

• Um ambiente virtualizado ou containerizado adequado para uso do computador com o Claude
• Uma implementação de pelo menos uma das ferramentas de uso do computador definidas pela Anthropic *Um loop de agente que interage com a API Anthropic e executa os resultados de tool_use usando suas implementações de ferramentas
• Uma API ou interface do usuário que permita a entrada do usuário para iniciar o loop de agente

​

Entenda as limitações do uso do computador

A funcionalidade de uso do computador está em beta. Embora as capacidades do Claude sejam de ponta, os desenvolvedores devem estar cientes de suas limitações:

1. Latência: a latência atual do uso do computador para interações humano-IA pode ser muito lenta em comparação com ações de computador direcionadas por humanos. Recomendamos focar em casos de uso em que a velocidade não é crítica (por exemplo, coleta de informações em segundo plano, testes automatizados de software) em ambientes confiáveis.
2. Precisão e confiabilidade da visão computacional: o Claude pode cometer erros ou alucinações ao gerar coordenadas específicas durante a geração de ações.
3. Precisão e confiabilidade da seleção de ferramentas: o Claude pode cometer erros ou alucinações ao selecionar ferramentas durante a geração de ações ou tomar ações inesperadas para resolver problemas. Além disso, a confiabilidade pode ser menor ao interagir com aplicativos de nicho ou vários aplicativos ao mesmo tempo. Recomendamos que os usuários solicitem ao modelo cuidadosamente ao solicitar tarefas complexas.
4. Confiabilidade de rolagem: a rolagem pode ser pouco confiável na experiência atual, e o modelo pode não rolar até o final de uma página de maneira confiável. O comportamento semelhante à rolagem pode ser melhorado por meio de teclas de atalho (PgUp/PgDown).
5. Interação com planilhas: Cliques do mouse para interação com planilhas são pouco confiáveis. A seleção de células pode nem sempre funcionar como esperado. Isso pode ser mitigado solicitando ao modelo que use teclas de seta.
6. Criação de contas e geração de conteúdo em plataformas de mídia social e comunicações: Embora o Claude visite sites, estamos limitando sua capacidade de criar contas ou gerar e compartilhar conteúdo ou se envolver em personificação humana em sites e plataformas de mídia social. Podemos atualizar esse recurso no futuro.
7. Vulnerabilidades: Vulnerabilidades como jailbreaking ou injeção de prompt podem persistir em sistemas de IA de fronteira, incluindo a API beta de uso do computador. Em algumas circunstâncias, o Claude seguirá comandos encontrados no conteúdo, às vezes até em conflito com as instruções do usuário. Por exemplo, instruções do Claude em páginas da web ou contidas em imagens podem substituir instruções ou fazer com que o Claude cometa erros. Recomendamos: a. Limitar o uso do computador a ambientes confiáveis, como máquinas virtuais ou contêineres com privilégios mínimos b. Evitar dar acesso do uso do computador a contas ou dados confidenciais sem supervisão rigorosa c. Informar os usuários finais sobre os riscos relevantes e obter seu consentimento antes de habilitar ou solicitar permissões necessárias para recursos de uso do computador em seus aplicativos
8. Ações inadequadas ou ilegais: De acordo com os termos de serviço da Anthropic, você não deve empregar o uso do computador para violar quaisquer leis ou nossa Política de Uso Aceitável.

Sempre revise e verifique cuidadosamente as ações e logs de uso do computador do Claude. Não use o Claude para tarefas que exijam precisão perfeita ou informações confidenciais do usuário sem supervisão humana.

​

Preços

Como um subconjunto de solicitações de uso de ferramentas, as solicitações de uso do computador são precificadas da mesma forma que qualquer outra solicitação da API Claude.

Também incluímos automaticamente um prompt do sistema especial para o modelo, que habilita o uso do computador.

Além dos tokens base, os seguintes tokens de entrada adicionais são necessários para as ferramentas definidas pela Anthropic: