이러한 현상을 “환각”이라고 하며, 모델이 지식의 공백을 채우려고 하거나 입력이 모호할 때 발생할 수 있습니다.

Claude의 출력물의 정확성과 신뢰성을 높이고 환각을 최소화하기 위한 다양한 전략을 살펴보겠습니다. 이러한 기술을 구현함으로써 더 나은 사용자 경험과 더 신뢰할 수 있는 결과를 보장할 수 있습니다.

​
Claude가 “모르겠습니다”라고 말할 수 있도록 허용

환각을 줄이는 효과적인 방법 중 하나는 특히 사실에 기반한 질문을 할 때 Claude에게 명시적으로 “모르겠습니다”라고 말할 수 있는 권한을 주는 것입니다(이를 “Claude에게 출구를 주는 것”이라고도 합니다). 이를 통해 Claude는 자신의 한계를 인정하고 잘못된 정보를 생성하는 것을 피할 수 있습니다.

다음은 Claude가 답을 모를 때 인정하도록 장려하는 프롬프트 예시입니다:

Content
System다음 질문에 최선을 다해 답변해 주세요. 확신이 없거나 자신 있게 대답할 만한 정보가 충분하지 않다면 간단히 “모르겠습니다” 또는 “잘 모르겠습니다”라고 말씀해 주세요.
User부르키나파소의 수도는 어디인가요?

Claude에게 명시적인 “출구”를 제공함으로써 부정확한 정보를 생성할 가능성을 줄일 수 있습니다.

알림

Claude는 인터넷에서 많은 것을 읽었고 실제 세계에 대해 알고 있지만, 인터넷 접속은 하지 않습니다. Claude는 1년 이상 된 데이터로 학습되었습니다. 또한 최신 이벤트에 대해서는 알지 못합니다.

​
Claude에게 직접 인용문을 요청

긴 문서를 다룰 때, Claude에게 특정 질문과 관련된 단어 그대로의 인용문을 추출하도록 요청하면 환각을 최소화하는 데 도움이 될 수 있습니다. 이 접근 방식은 더 긴 문서(300자 이상)에 더 효과적이며 더 짧은 문서에는 덜 신뢰할 수 있습니다.

다음은 직접 인용문을 요청하는 프롬프트 예시입니다:

RoleContent
User다음 문서를 고려해 보세요:
\
{{DOCUMENT}}
\

이 문서에서 <question>{{QUESTION}}</question> 질문과 관련된 단어 그대로의 인용문을 추출해 주세요. 이 문서에 이 질문과 관련된 인용문이 없다면 “관련 인용문을 찾을 수 없습니다”라고 말씀해 주세요.

직접 인용문을 요청함으로써 Claude가 제공한 정보의 정확성을 더 쉽게 확인할 수 있습니다(인라인 인용을 위해 인용문을 사용하도록 Claude에게 요청할 수도 있습니다). 또한 인용문과 원본 문서 간의 중복 비율을 계산하여 모델이 환각하지 않는지 확인할 수 있습니다.

인용문 추출 정확도 참고사항

인용문을 요청할 때 원본 문서 텍스트를 100% 재현하지 못할 수도 있지만, 충실도는 높아야 합니다. 예를 들어, 문서에 오류가 있는 경우 모델이 “[sic.]”를 추가하거나, 그[Brian]는 그녀[Diana]에게 저녁 식사를 요청했다와 같이 인용문에 맥락을 추가할 수 있습니다. 이는 추가된 내용이 정확한 한 괜찮습니다.

Claude가 부정확한 내용을 추가한다고 생각되면 매우 높은 수준의 중복을 필터링하고 지침을 더 엄격하게 만들 수 있습니다. 예를 들어 인용문이 문서에서 그대로 직접 발췌되었는지 확인하세요. 명확화나 의견 같은 추가 내용은 포함하지 마세요와 같은 내용을 추가할 수 있습니다.

Claude가 추출한 직접 인용문을 활용하여 관련 정보가 있는 인용문에 대해서만 답변하도록 하거나, 추출된 인용문에서 찾은 정보만을 기반으로 답변하도록 지시할 수도 있습니다. 다음은 프롬프트 라이브러리에서 가져온 인용 기반 프롬프트 예시입니다:

Content
System당신은 전문 연구 보조원입니다. 다음은 질문에 답변할 문서입니다:
\
{{DOCUMENT}}
\
개요탈옥 및 프롬프트 인젝션 완화