평가 기능 접근하기

평가 도구를 시작하려면:

  1. Anthropic Console을 열고 프롬프트 편집기로 이동하세요.
  2. 프롬프트를 작성한 후, 화면 상단의 ‘평가’ 탭을 찾으세요.

평가 기능 접근하기

프롬프트에 이중 중괄호 구문을 사용하여 최소 1-2개의 동적 변수를 포함하세요: {{variable}}. 이는 평가 테스트 세트를 만드는 데 필요합니다.

프롬프트 생성하기

Console은 Claude 3.5 Sonnet이 제공하는 내장 프롬프트 생성기를 제공합니다:

1

'프롬프트 생성' 클릭

‘프롬프트 생성’ 도우미 도구를 클릭하면 작업 정보를 입력할 수 있는 모달이 열립니다.

2

작업 설명하기

원하는 작업을 설명하세요(예: “인바운드 고객 지원 요청 분류”). 원하는 만큼 자세히 또는 간단히 설명할 수 있습니다. 더 많은 맥락을 포함할수록 Claude가 귀하의 특정 요구에 맞게 프롬프트를 더 잘 조정할 수 있습니다.

3

프롬프트 생성하기

하단의 주황색 ‘프롬프트 생성’ 버튼을 클릭하면 Claude가 고품질 프롬프트를 생성합니다. 그런 다음 Console의 평가 화면을 사용하여 이러한 프롬프트를 더욱 개선할 수 있습니다.

이 기능을 통해 평가에 적합한 변수 구문이 포함된 프롬프트를 더 쉽게 만들 수 있습니다.

프롬프트 생성기

테스트 케이스 만들기

평가 화면에 접근하면 테스트 케이스를 만들 수 있는 여러 옵션이 있습니다:

  1. 왼쪽 하단의 ’+ 행 추가’ 버튼을 클릭하여 수동으로 케이스를 추가합니다.
  2. ‘Claude가 자동으로 테스트 케이스를 생성하도록 ‘테스트 케이스 생성’ 기능을 사용합니다.
  3. CSV 파일에서 테스트 케이스를 가져옵니다.

‘테스트 케이스 생성’ 기능을 사용하려면:

1

'테스트 케이스 생성' 클릭

버튼을 클릭할 때마다 Claude가 한 번에 하나씩 테스트 케이스를 생성합니다.

2

생성 로직 편집(선택사항)

‘테스트 케이스 생성’ 버튼 오른쪽의 화살표 드롭다운을 클릭한 다음, 팝업되는 변수 창 상단의 ‘생성 로직 표시’를 클릭하여 테스트 케이스 생성 로직을 편집할 수도 있습니다. 초기 생성 로직을 채우려면 이 창의 오른쪽 상단에 있는 ‘생성’을 클릭해야 할 수 있습니다.

이를 편집하면 Claude가 생성하는 테스트 케이스를 더 정밀하고 구체적으로 사용자 정의하고 미세 조정할 수 있습니다.

다음은 여러 테스트 케이스가 있는 평가 화면의 예시입니다:

채워진 평가 화면

원래 프롬프트 텍스트를 업데이트하는 경우, 전체 평가 스위트를 새 프롬프트에 대해 다시 실행하여 변경 사항이 모든 테스트 케이스에서 성능에 어떤 영향을 미치는지 확인할 수 있습니다.

효과적인 평가를 위한 팁

Console의 ‘프롬프트 생성’ 도우미 도구를 사용하여 평가에 적합한 변수 구문이 포함된 프롬프트를 빠르게 만드세요.

결과 이해 및 비교하기

평가 도구는 프롬프트를 개선하는 데 도움이 되는 여러 기능을 제공합니다:

  1. 나란히 비교: 두 개 이상의 프롬프트 출력을 비교하여 변경 사항의 영향을 빠르게 확인할 수 있습니다.
  2. 품질 등급: 5점 척도로 응답 품질을 평가하여 프롬프트별 응답 품질 향상을 추적합니다.
  3. 프롬프트 버전 관리: 프롬프트의 새 버전을 만들고 테스트 스위트를 다시 실행하여 결과를 빠르게 반복하고 개선할 수 있습니다.

테스트 케이스 전반에 걸쳐 결과를 검토하고 다른 프롬프트 버전을 비교함으로써 패턴을 발견하고 프롬프트를 더 효율적으로 조정할 수 있습니다.

오늘부터 프롬프트를 평가하여 Claude로 더 강력한 AI 애플리케이션을 구축하세요!