평가 도구 사용하기

​

평가 기능 액세스하기

평가 도구를 시작하려면:

1. Anthropic Console을 열고 프롬프트 편집기로 이동합니다.
2. 프롬프트를 작성한 후, 화면 상단의 ‘Evaluate’ 탭을 찾습니다.

​

프롬프트 생성하기

Console은 Claude 3.5 Sonnet으로 구동되는 내장 프롬프트 생성기를 제공합니다:

이 기능을 사용하면 평가에 적합한 변수 구문으로 프롬프트를 더 쉽게 만들 수 있습니다.

​

테스트 케이스 만들기

평가 화면에 액세스하면 테스트 케이스를 만드는 몇 가지 옵션이 있습니다:

1. 왼쪽 하단의 ’+ Add Row’ 버튼을 클릭하여 수동으로 케이스를 추가합니다.
2. ‘Generate Test Case’ 기능을 사용하여 Claude가 자동으로 테스트 케이스를 생성하도록 합니다.
3. CSV 파일에서 테스트 케이스를 가져옵니다.

‘Generate Test Case’ 기능을 사용하려면:

여기 여러 테스트 케이스가 포함된 평가 화면의 예시가 있습니다:

​

효과적인 평가를 위한 팁

이 작업에서는 색상과 소리라는 두 가지 요소를 통합하는 귀여운 한 문장 이야기를 생성합니다.
이야기에 포함할 색상은 다음과 같습니다:
<color>
{{COLOR}}
</color>
이야기에 포함할 소리는 다음과 같습니다:
<sound>
{{SOUND}}
</sound>
이야기를 생성하는 단계는 다음과 같습니다:
1. 제공된 색상과 일반적으로 연관된 물체, 동물 또는 장면을 생각해 보세요. 예를 들어 색상이 "파란색"인 경우 하늘, 바다 또는 파랑새를 생각할 수 있습니다.
2. 식별한 색상의 물체/동물/장면과 제공된 소리가 포함된 간단한 동작, 이벤트 또는 장면을 상상해 보세요. 예를 들어 색상이 "파란색"이고 소리가 "휘파람"인 경우 파랑새가 노래를 휘파람으로 부르는 것을 상상할 수 있습니다.
3. 상상한 동작, 이벤트 또는 장면을 간결한 한 문장으로 설명하세요. 문장을 귀엽고 인상적이며 상상력이 풍부하게 만드는 데 중점을 두세요. 예를 들면 "명랑한 파랑새가 푸른 하늘을 날며 즐거운 멜로디를 휘파람으로 불었다"와 같습니다.
이야기를 한 문장으로만 유지하세요. 주어진 색상과 소리를 자연스럽게 통합하면서 그 문장을 최대한 매력적이고 흥미롭게 만드는 것을 목표로 하세요.
<story> 태그 안에 완성된 한 문장 이야기를 작성하세요.

​

결과 이해 및 비교

평가 도구는 프롬프트를 개선하는 데 도움이 되는 몇 가지 기능을 제공합니다:

1. 나란히 비교: 두 개 이상의 프롬프트 출력을 비교하여 변경 사항의 영향을 빠르게 확인할 수 있습니다.
2. 품질 등급: 5점 척도로 응답 품질을 평가하여 프롬프트별 응답 품질 개선 사항을 추적합니다.
3. 프롬프트 버전 관리: 프롬프트의 새 버전을 만들고 테스트 세트를 다시 실행하여 결과를 빠르게 반복하고 개선할 수 있습니다.

테스트 케이스에 걸친 결과를 검토하고 다양한 프롬프트 버전을 비교함으로써 패턴을 발견하고 프롬프트에 대한 정보에 입각한 조정을 보다 효율적으로 수행할 수 있습니다.

오늘 프롬프트 평가를 시작하여 Claude와 함께 더 강력한 AI 애플리케이션을 구축하세요!