컴퓨터 사용 (베타)

curl https://api.anthropic.com/v1/messages \
  -H "content-type: application/json" \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "anthropic-beta: computer-use-2025-01-24" \
  -d '{
    "model": "claude-opus-4-20250514",
    "max_tokens": 1024,
    "tools": [
      {
        "type": "computer_20250124",
        "name": "computer",
        "display_width_px": 1024,
        "display_height_px": 768,
        "display_number": 1
      },
      {
        "type": "text_editor_20250429",
        "name": "str_replace_based_edit_tool"
      },
      {
        "type": "bash_20250124",
        "name": "bash"
      }
    ],
    "messages": [
      {
        "role": "user",
        "content": "Save a picture of a cat to my desktop."
      }
    ],
    "thinking": {
      "type": "enabled",
      "budget_tokens": 1024
    }
  }'

​

컴퓨터 사용 작동 방식

​

컴퓨팅 환경

1. 가상 디스플레이: Claude가 스크린샷을 통해 볼 수 있고 마우스/키보드 작업으로 제어할 수 있는 데스크톱 인터페이스를 렌더링하는 가상 X11 디스플레이 서버(Xvfb 사용).
2. 데스크톱 환경: Claude가 상호작용할 수 있는 일관된 그래픽 인터페이스를 제공하는 Linux에서 실행되는 윈도우 관리자(Mutter)와 패널(Tint2)이 있는 경량 UI.
3. 애플리케이션: Claude가 작업을 완료하는 데 사용할 수 있는 Firefox, LibreOffice, 텍스트 편집기, 파일 관리자와 같은 사전 설치된 Linux 애플리케이션.
4. 도구 구현: Claude의 추상적인 도구 요청(“마우스 이동” 또는 “스크린샷 촬영”과 같은)을 가상 환경에서 실제 작업으로 변환하는 통합 코드.
5. 에이전트 루프: Claude와 환경 간의 통신을 처리하여 Claude의 작업을 환경으로 보내고 결과(스크린샷, 명령 출력)를 Claude에 반환하는 프로그램.

1. Claude의 도구 사용 요청을 수신
2. 컴퓨팅 환경에서 작업으로 변환
3. 결과(스크린샷, 명령 출력 등) 캡처
4. 이러한 결과를 Claude에 반환

​

컴퓨터 사용 구현 방법

​

참조 구현으로 시작하기

• Claude와 함께 컴퓨터 사용에 적합한 컨테이너화된 환경
• 컴퓨터 사용 도구의 구현
• Anthropic API와 상호작용하고 컴퓨터 사용 도구를 실행하는 에이전트 루프
• 컨테이너, 에이전트 루프 및 도구와 상호작용하기 위한 웹 인터페이스.

​

멀티 에이전트 루프 이해하기

async def sampling_loop(
    *,
    model: str,
    messages: list[dict],
    api_key: str,
    max_tokens: int = 4096,
    tool_version: str,
    thinking_budget: int | None = None,
    max_iterations: int = 10,  # 무한 루프를 방지하기 위한 반복 제한 추가
):
    """
    Claude 컴퓨터 사용 상호작용을 위한 간단한 에이전트 루프.

    이 함수는 다음 사이의 상호작용을 처리합니다:
    1. Claude에 사용자 메시지 보내기
    2. Claude가 도구 사용 요청
    3. 앱이 해당 도구 실행
    4. Claude에 도구 결과 보내기
    """
    # 도구 및 API 매개변수 설정
    client = Anthropic(api_key=api_key)
    beta_flag = "computer-use-2025-01-24" if "20250124" in tool_version else "computer-use-2024-10-22"

    # 도구 구성 - 이미 다른 곳에서 초기화되어 있어야 함
    tools = [
        {"type": f"computer_{tool_version}", "name": "computer", "display_width_px": 1024, "display_height_px": 768},
        {"type": f"text_editor_{tool_version}", "name": "str_replace_editor"},
        {"type": f"bash_{tool_version}", "name": "bash"}
    ]

    # 메인 에이전트 루프 (무분별한 API 비용을 방지하기 위한 반복 제한 포함)
    iterations = 0
    while True and iterations < max_iterations:
        iterations += 1
        # 선택적 사고 매개변수 설정 (Claude Sonnet 3.7용)
        thinking = None
        if thinking_budget:
            thinking = {"type": "enabled", "budget_tokens": thinking_budget}

        # Claude API 호출
        response = client.beta.messages.create(
            model=model,
            max_tokens=max_tokens,
            messages=messages,
            tools=tools,
            betas=[beta_flag],
            thinking=thinking
        )

        # Claude의 응답을 대화 기록에 추가
        response_content = response.content
        messages.append({"role": "assistant", "content": response_content})

        # Claude가 도구를 사용했는지 확인
        tool_results = []
        for block in response_content:
            if block.type == "tool_use":
                # 실제 앱에서는 여기서 도구를 실행할 것입니다
                # 예: result = run_tool(block.name, block.input)
                result = {"result": "Tool executed successfully"}

                # Claude를 위한 결과 형식 지정
                tool_results.append({
                    "type": "tool_result",
                    "tool_use_id": block.id,
                    "content": result
                })

        # 도구가 사용되지 않았다면 Claude가 완료한 것 - 최종 메시지 반환
        if not tool_results:
            return messages

        # 다음 Claude 반복을 위해 도구 결과를 메시지에 추가
        messages.append({"role": "user", "content": tool_results})

​

프롬프팅으로 모델 성능 최적화

1. 간단하고 잘 정의된 작업을 지정하고 각 단계에 대한 명시적인 지침을 제공하세요.
2. Claude는 때때로 결과를 명시적으로 확인하지 않고 작업의 결과를 가정합니다. 이를 방지하기 위해 Claude에게 각 단계 후에 스크린샷을 찍고 올바른 결과를 달성했는지 주의 깊게 평가하세요. 명시적으로 사고 과정을 보여주세요: "나는 X 단계를 평가했습니다..." 올바르지 않다면 다시 시도하세요. 단계가 올바르게 실행되었다고 확인한 경우에만 다음 단계로 넘어가세요.라고 프롬프트할 수 있습니다.
3. 일부 UI 요소(드롭다운 및 스크롤바와 같은)는 마우스 움직임을 사용하여 Claude가 조작하기 어려울 수 있습니다. 이런 경험이 있다면 모델에게 키보드 단축키를 사용하도록 프롬프트하세요.
4. 반복 가능한 작업이나 UI 상호작용의 경우, 성공적인 결과의 예제 스크린샷과 도구 호출을 프롬프트에 포함하세요.
5. 모델이 로그인해야 하는 경우, 프롬프트에 <robot_credentials> 같은 xml 태그 안에 사용자 이름과 비밀번호를 제공하세요. 로그인이 필요한 애플리케이션 내에서 컴퓨터 사용을 사용하면 프롬프트 인젝션의 결과로 나쁜 결과가 발생할 위험이 증가합니다. 모델에 로그인 자격 증명을 제공하기 전에 프롬프트 인젝션 완화 가이드를 검토하세요.

​

시스템 프롬프트

사용자의 질문에 답하기 위해 사용할 수 있는 일련의 함수에 액세스할 수 있습니다. 여기에는 샌드박스 컴퓨팅 환경에 대한 액세스가 포함됩니다. 현재 아래 함수를 호출하는 것 외에는 파일을 검사하거나 외부 리소스와 상호작용할 수 있는 능력이 없습니다.

​

Anthropic이 정의한 도구 이해하기

​

Claude 4 및 Claude Sonnet 3.7에서 사고 기능 활성화

"thinking": {
  "type": "enabled",
  "budget_tokens": 1024
}

1. 모델의 의사 결정 과정 이해
2. 잠재적인 문제나 오해 식별
3. 문제 해결에 대한 Claude의 접근 방식에서 학습
4. 복잡한 다단계 작업에 대한 더 많은 가시성 확보

[Thinking]
데스크톱에 고양이 사진을 저장해야 합니다. 이를 단계별로 나누어 보겠습니다:

1. 먼저 데스크톱에 무엇이 있는지 보기 위해 스크린샷을 찍습니다
2. 그런 다음 고양이 이미지를 검색할 웹 브라우저를 찾습니다
3. 적절한 이미지를 찾은 후 데스크톱에 저장해야 합니다

먼저 사용 가능한 것을 보기 위해 스크린샷을 찍어보겠습니다...

​

컴퓨터 사용과 다른 도구 결합하기

curl https://api.anthropic.com/v1/messages \
  -H "content-type: application/json" \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "anthropic-beta: computer-use-2025-01-24" \
  -d '{
    "model": "claude-opus-4-20250514",
    "max_tokens": 1024,
    "tools": [
      {
        "type": "computer_20250124",
        "name": "computer",
        "display_width_px": 1024,
        "display_height_px": 768,
        "display_number": 1
      },
      {
        "type": "text_editor_20250124",
        "name": "str_replace_editor"
      },
      {
        "type": "bash_20250124",
        "name": "bash"
      },
      {
        "name": "get_weather",
        "description": "Get the current weather in a given location",
        "input_schema": {
          "type": "object",
          "properties": {
            "location": {
              "type": "string",
              "description": "The city and state, e.g. San Francisco, CA"
            },
            "unit": {
              "type": "string",
              "enum": ["celsius", "fahrenheit"],
              "description": "The unit of temperature, either 'celsius' or 'fahrenheit'"
            }
          },
          "required": ["location"]
        }
      }
    ],
    "messages": [
      {
        "role": "user",
        "content": "Find flights from San Francisco to a place with warmer weather."
      }
    ],
    "thinking": {
      "type": "enabled",
      "budget_tokens": 1024
    }
  }'

​

사용자 정의 컴퓨터 사용 환경 구축하기

• Claude와 함께 컴퓨터 사용에 적합한 가상화되거나 컨테이너화된 환경
• Anthropic이 정의한 컴퓨터 사용 도구 중 하나 이상의 구현
• Anthropic API와 상호작용하고 도구 구현을 사용하여 tool_use 결과를 실행하는 에이전트 루프
• 에이전트 루프를 시작하기 위한 사용자 입력을 허용하는 API 또는 UI

​

컴퓨터 사용 제한 사항 이해하기

1. 지연 시간: 현재 인간-AI 상호작용을 위한 컴퓨터 사용 지연 시간은 일반적인 인간 지시 컴퓨터 작업에 비해 너무 느릴 수 있습니다. 속도가 중요하지 않은 사용 사례(예: 배경 정보 수집, 자동화된 소프트웨어 테스트)에 초점을 맞추는 것이 좋습니다.
2. 컴퓨터 비전 정확도 및 신뢰성: Claude는 작업을 생성하는 동안 특정 좌표를 출력할 때 실수하거나 환각을 경험할 수 있습니다. Claude Sonnet 3.7은 모델의 추론을 이해하고 잠재적인 문제를 식별하는 데 도움이 되는 사고 기능을 도입합니다.
3. 도구 선택 정확도 및 신뢰성: Claude는 작업을 생성하는 동안 도구를 선택할 때 실수하거나 환각을 경험하거나 문제를 해결하기 위해 예상치 못한 조치를 취할 수 있습니다. 또한 틈새 애플리케이션이나 여러 애플리케이션을 동시에 사용할 때 신뢰성이 낮을 수 있습니다. 복잡한 작업을 요청할 때 사용자가 모델을 신중하게 프롬프트하는 것이 좋습니다.
4. 스크롤 신뢰성: Claude Sonnet 3.5(신규)는 스크롤에 제한이 있었지만, Claude Sonnet 3.7은 방향 제어가 있는 전용 스크롤 작업을 도입하여 신뢰성을 향상시킵니다. 이제 모델은 지정된 양만큼 모든 방향(위/아래/왼쪽/오른쪽)으로 명시적으로 스크롤할 수 있습니다.
5. 스프레드시트 상호작용: Claude Sonnet 3.7에서는 left_mouse_down, left_mouse_up과 같은 더 정밀한 마우스 제어 작업과 새로운 수정자 키 지원 추가로 스프레드시트 상호작용을 위한 마우스 클릭이 개선되었습니다. 이러한 세밀한 제어를 사용하고 클릭과 수정자 키를 결합하여 셀 선택을 더 안정적으로 할 수 있습니다.
6. 소셜 및 커뮤니케이션 플랫폼에서의 계정 생성 및 콘텐츠 생성: Claude는 웹사이트를 방문하지만, 소셜 미디어 웹사이트 및 플랫폼 전반에 걸쳐 계정을 생성하거나 콘텐츠를 생성 및 공유하거나 인간 사칭에 참여하는 능력을 제한하고 있습니다. 향후 이 기능을 업데이트할 수 있습니다.
7. 취약점: 베타 컴퓨터 사용 API를 포함한 프론티어 AI 시스템 전반에 걸쳐 탈옥이나 프롬프트 인젝션과 같은 취약점이 지속될 수 있습니다. 일부 상황에서는 Claude가 사용자의 지시와 충돌하더라도 콘텐츠에서 발견된 명령을 따를 수 있습니다. 예를 들어, 웹페이지나 이미지에 포함된 Claude 지시사항이 지시를 무시하거나 Claude가 실수를 하도록 만들 수 있습니다. 다음을 권장합니다: a. 최소한의 권한을 가진 가상 머신이나 컨테이너와 같은 신뢰할 수 있는 환경으로 컴퓨터 사용 제한 b. 엄격한 감독 없이 민감한 계정이나 데이터에 컴퓨터 사용 액세스 권한을 부여하지 않음 c. 애플리케이션에서 컴퓨터 사용 기능을 활성화하거나 필요한 권한을 요청하기 전에 최종 사용자에게 관련 위험을 알리고 동의를 얻음
8. 부적절하거나 불법적인 행동: Anthropic의 서비스 약관에 따라 법률이나 허용 가능한 사용 정책을 위반하기 위해 컴퓨터 사용을 사용해서는 안 됩니다.

​

가격 책정