最小化幻觉
尽管 Claude 功能强大且多才多艺,但有时会生成事实上不正确、不一致或与给定上下文无关的文本。
这种现象被称为”幻觉”,可能发生在模型试图填补知识空白或输入不明确时。
让我们探讨各种策略来最小化幻觉并提高 Claude 输出的准确性和可靠性。通过实施这些技术,您可以确保更好的用户体验和更值得信赖的结果。
允许 Claude 说”我不知道”
减少幻觉的一种有效方法是明确允许 Claude 说”我不知道”,尤其是在询问基于事实的问题时(也称为”给 Claude 一个出口”)。这允许 Claude 承认其局限性并避免生成不正确的信息。
以下是一个鼓励 Claude 在不知道答案时承认的示例提示:
内容 | |
---|---|
System | 请尽你所能回答以下问题。如果你不确定或没有足够的信息提供一个自信的答案,只需说”我不知道”或”我不确定”。 |
User | 布基纳法索的首都是什么? |
通过给 Claude 一个明确的”出口”,你可以减少它生成不准确信息的可能性。
提醒
虽然 Claude 在互联网上阅读了很多内容并了解现实世界的事物,但它无法访问互联网。Claude 是在可能超过一年的数据上训练的。它也不了解当前事件。
要求 Claude 提供直接引用
在处理长文档时,要求 Claude 提取与特定问题相关的逐字引用可以帮助最小化幻觉。这种方法对较长的文档(>300 字)更有效,对较短的文档可能不太可靠。
以下是一个请求直接引用的示例提示:
角色 | 内容 |
---|---|
User | 考虑以下文档: \ {{DOCUMENT}} \ 请从该文档中提取与问题 <question>{{QUESTION}}</question> 相关的逐字引用。如果该文档中没有与此问题相关的引用,请说”我找不到任何相关的引用。” |
通过请求直接引用,你可以更轻松地验证 Claude 提供的信息的准确性(并进一步让 Claude 使用引用进行内联引用)。你还可以执行字符串匹配或计算引用与原始文档之间的重叠百分比,以确保模型没有产生幻觉。
引用提取准确性说明
在要求引用时,你可能无法 100% 复制原始文档文本,但你希望保真度很高。例如,如果文档中有错误,模型可能会添加”[sic.]”,或者为引用添加上下文,如 他 [Brian] 邀请她 [Diana] 共进晚餐
,只要添加的内容准确即可。
如果你认为 Claude 添加了不准确的内容,你可能需要过滤非常高的重叠度,并使指令更严格,例如添加类似 请确保你的引用直接逐字摘自文档。不要添加任何额外的内容,如消歧或评论。
你可以进一步利用 Claude 提取的直接引用,告诉 Claude 只有在找到相关信息的情况下才回答,或者将其答案仅基于从提取的引用中找到的信息。请参阅我们的 提示库 中的这个基于引用的示例提示:
内容 | |
---|---|
System | 你是一位专家研究助理。这是一份你将回答问题的文档: \ {{DOCUMENT}} \ |