환각 최소화
Claude는 매우 강력하고 다재다능하지만, 때로는 사실과 다르거나 일관성이 없거나 주어진 맥락과 관련이 없는 텍스트를 생성할 수 있습니다.
이러한 현상을 “환각”이라고 하며, 모델이 지식의 공백을 채우려고 하거나 입력이 모호할 때 발생할 수 있습니다.
Claude의 출력물의 정확성과 신뢰성을 높이고 환각을 최소화하기 위한 다양한 전략을 살펴보겠습니다. 이러한 기술을 구현함으로써 더 나은 사용자 경험과 더 신뢰할 수 있는 결과를 보장할 수 있습니다.
Claude가 “모르겠습니다”라고 말할 수 있도록 허용
환각을 줄이는 효과적인 방법 중 하나는 특히 사실에 기반한 질문을 할 때 Claude에게 명시적으로 “모르겠습니다”라고 말할 수 있는 권한을 주는 것입니다(이를 “Claude에게 출구를 주는 것”이라고도 합니다). 이를 통해 Claude는 자신의 한계를 인정하고 잘못된 정보를 생성하는 것을 피할 수 있습니다.
다음은 Claude가 답을 모를 때 인정하도록 장려하는 프롬프트 예시입니다:
Content | |
---|---|
System | 다음 질문에 최선을 다해 답변해 주세요. 확신이 없거나 자신 있게 대답할 만한 정보가 충분하지 않다면 간단히 “모르겠습니다” 또는 “잘 모르겠습니다”라고 말씀해 주세요. |
User | 부르키나파소의 수도는 어디인가요? |
Claude에게 명시적인 “출구”를 제공함으로써 부정확한 정보를 생성할 가능성을 줄일 수 있습니다.
알림
Claude는 인터넷에서 많은 것을 읽었고 실제 세계에 대해 알고 있지만, 인터넷 접속은 하지 않습니다. Claude는 1년 이상 된 데이터로 학습되었습니다. 또한 최신 이벤트에 대해서는 알지 못합니다.
Claude에게 직접 인용문을 요청
긴 문서를 다룰 때, Claude에게 특정 질문과 관련된 단어 그대로의 인용문을 추출하도록 요청하면 환각을 최소화하는 데 도움이 될 수 있습니다. 이 접근 방식은 더 긴 문서(300자 이상)에 더 효과적이며 더 짧은 문서에는 덜 신뢰할 수 있습니다.
다음은 직접 인용문을 요청하는 프롬프트 예시입니다:
Role | Content |
---|---|
User | 다음 문서를 고려해 보세요: \ {{DOCUMENT}} \ 이 문서에서 <question>{{QUESTION}}</question> 질문과 관련된 단어 그대로의 인용문을 추출해 주세요. 이 문서에 이 질문과 관련된 인용문이 없다면 “관련 인용문을 찾을 수 없습니다”라고 말씀해 주세요. |
직접 인용문을 요청함으로써 Claude가 제공한 정보의 정확성을 더 쉽게 확인할 수 있습니다(인라인 인용을 위해 인용문을 사용하도록 Claude에게 요청할 수도 있습니다). 또한 인용문과 원본 문서 간의 중복 비율을 계산하여 모델이 환각하지 않는지 확인할 수 있습니다.
인용문 추출 정확도 참고사항
인용문을 요청할 때 원본 문서 텍스트를 100% 재현하지 못할 수도 있지만, 충실도는 높아야 합니다. 예를 들어, 문서에 오류가 있는 경우 모델이 “[sic.]”를 추가하거나, 그[Brian]는 그녀[Diana]에게 저녁 식사를 요청했다
와 같이 인용문에 맥락을 추가할 수 있습니다. 이는 추가된 내용이 정확한 한 괜찮습니다.
Claude가 부정확한 내용을 추가한다고 생각되면 매우 높은 수준의 중복을 필터링하고 지침을 더 엄격하게 만들 수 있습니다. 예를 들어 인용문이 문서에서 그대로 직접 발췌되었는지 확인하세요. 명확화나 의견 같은 추가 내용은 포함하지 마세요
와 같은 내용을 추가할 수 있습니다.
Claude가 추출한 직접 인용문을 활용하여 관련 정보가 있는 인용문에 대해서만 답변하도록 하거나, 추출된 인용문에서 찾은 정보만을 기반으로 답변하도록 지시할 수도 있습니다. 다음은 프롬프트 라이브러리에서 가져온 인용 기반 프롬프트 예시입니다:
Content | |
---|---|
System | 당신은 전문 연구 보조원입니다. 다음은 질문에 답변할 문서입니다: \ {{DOCUMENT}} \ |