프롬프트 엔지니어링

프롬프트 엔지니어링 튜토리얼을 방문하여 대화형 코스를 통해 프롬프트 작성을 배워보세요.

Claude는 기본적으로 높은 수준의 성능을 제공합니다. 그러나 프롬프트 엔지니어링을 통해 성능을 더욱 향상시키고 특정 사용 사례에 더 잘 맞도록 응답을 미세 조정할 수 있습니다. 이러한 기술은 Claude에서 좋은 결과를 얻는 데 필수적이지는 않지만, 입력과 출력을 업그레이드하는 데 유용할 수 있습니다.

프롬프트를 빠르게 시작하거나 프롬프트 작성 개념을 소개받으려면 프롬프트 작성 소개를 참조하세요.

프롬프트 엔지니어링이란?

프롬프트 엔지니어링은 성능을 최적화하기 위해 프롬프트를 반복하고 테스트하는 경험적 과학입니다. 프롬프트 엔지니어링 주기에서 대부분의 노력은 실제로 프롬프트를 작성하는 데 사용되지 않습니다. 오히려 프롬프트 엔지니어링 시간의 대부분은 강력한 평가 세트를 개발한 다음 해당 평가에 대해 테스트하고 반복하는 데 사용됩니다.

프롬프트 개발 수명 주기

최적의 프롬프트 성능을 보장하기 위해 원칙에 입각한 테스트 주도 개발 접근 방식을 권장합니다. 첨부된 다이어그램에 설명된 대로 작업에 대한 프롬프트를 개발할 때 사용하는 주요 상위 수준 프로세스를 살펴보겠습니다.

작업 및 성공 기준 정의: 가장 중요한 첫 번째 단계는 Claude에게 수행하기를 원하는 특정 작업을 명확하게 정의하는 것입니다. 이는 엔티티 추출, 질문 답변, 텍스트 요약에서부터 코드 생성이나 창의적인 글쓰기와 같은 더 복잡한 작업까지 무엇이든 될 수 있습니다. 잘 정의된 작업이 있으면 평가 및 최적화 프로세스를 안내할 성공 기준을 수립하세요.
고려해야 할 주요 성공 기준은 다음과 같습니다:
- 성능 및 정확도: 모델이 작업에서 얼마나 잘 수행해야 합니까?
- 지연 시간: 모델에 대해 허용 가능한 응답 시간은 얼마입니까? 이는 애플리케이션의 실시간 요구 사항과 사용자 기대치에 따라 달라집니다.
- 가격: 모델 실행에 대한 예산은 얼마입니까? API 호출당 비용, 모델 크기, 사용 빈도와 같은 요소를 고려하세요.
  처음부터 명확하고 측정 가능한 성공 기준을 갖는 것은 채택 프로세스 전반에 걸쳐 정보에 입각한 결정을 내리고 올바른 목표를 위해 최적화하고 있는지 확인하는 데 도움이 됩니다.
테스트 케이스 개발: 작업과 성공 기준이 정의되면 다음 단계는 애플리케이션의 의도된 사용 사례를 다루는 다양한 테스트 케이스 세트를 만드는 것입니다. 여기에는 프롬프트가 견고하다는 것을 보장하기 위해 일반적인 예제와 에지 케이스가 모두 포함되어야 합니다. 사전에 잘 정의된 테스트 케이스를 갖추면 성공 기준에 대해 프롬프트의 성능을 객관적으로 측정할 수 있습니다.
예비 프롬프트 엔지니어링: 다음으로 작업 정의, 좋은 응답의 특성 및 Claude에 필요한 모든 컨텍스트를 설명하는 초기 프롬프트를 작성하세요. 이상적으로는 Claude가 따를 수 있는 정식 입력 및 출력의 몇 가지 예를 추가해야 합니다. 이 예비 프롬프트는 개선을 위한 출발점 역할을 합니다.
테스트 케이스에 대한 프롬프트 테스트: 예비 프롬프트를 사용하여 테스트 케이스를 Claude에 제공하세요. 예상 출력 및 성공 기준에 대해 모델의 응답을 주의 깊게 평가하세요. 사람 평가, 정답 키와의 비교 또는 심지어 루브릭에 기반한 Claude의 또 다른 인스턴스의 판단과 같은 일관된 채점 루브릭을 사용하세요. 핵심은 성능을 평가할 수 있는 체계적인 방법을 갖추는 것입니다.
프롬프트 개선: 4단계의 결과를 바탕으로 테스트 케이스에 대한 성능을 개선하고 성공 기준을 더 잘 충족하도록 프롬프트를 반복적으로 개선하세요. 여기에는 Claude의 동작을 안내하기 위한 명확화, 예제 또는 제약 조건을 추가하는 것이 포함될 수 있습니다. 좁은 입력 세트에 대해 지나치게 최적화하지 않도록 주의하세요. 이는 과적합 및 일반화 불량으로 이어질 수 있습니다.
정제된 프롬프트 제공: 테스트 케이스에서 잘 수행되고 성공 기준을 충족하는 프롬프트에 도달하면 애플리케이션에 배포할 때입니다. 실제 환경에서 모델의 성능을 모니터링하고 필요에 따라 추가 개선을 할 준비를 하세요. 초기 테스트 세트에서 예상하지 못한 에지 케이스가 발생할 수 있습니다.

이 과정 전반에 걸쳐 성능 상한선을 설정하기 위해 가장 유능한 모델과 제한되지 않은 프롬프트 길이로 시작하는 것이 좋습니다. 원하는 출력 품질을 달성한 후에는 필요에 따라 지연 시간과 비용을 줄이기 위해 더 짧은 프롬프트나 더 작은 모델과 같은 최적화를 실험할 수 있습니다.

이 테스트 주도 방법론을 따르고 사전에 작업과 성공 기준을 신중하게 정의함으로써 특정 사용 사례에 대해 Claude의 힘을 활용하는 데 큰 도움이 될 것입니다. 견고한 테스트 케이스와 프롬프트를 설계하는 데 시간을 투자하면 모델 성능과 유지 관리 측면에서 이점을 얻을 수 있습니다.