防范越狱和提示词注入

越狱和提示词注入是指用户精心设计提示词来利用模型漏洞，以生成不当内容。虽然 Claude 本身对此类攻击具有抵抗力，但以下是一些加强防护的额外步骤，特别是针对违反我们服务条款或使用政策的使用行为。

• 无害性筛查：使用 Claude 3 Haiku 等轻量级模型对用户输入进行预筛查。

  示例：内容审核的无害性筛查

  角色	内容
  User	用户提交了以下内容： <content> {{CONTENT}} </content> 如果涉及有害、非法或露骨的活动，请回复(Y)。如果安全，请回复(N)。
  Assistant (prefill)	(
  Assistant	N)

• 输入验证：过滤含有越狱模式的提示词。你甚至可以通过提供已知的越狱语言作为示例，使用大语言模型创建通用验证筛查。

• 提示词工程：制作强调道德和法律边界的提示词。

  示例：企业聊天机器人的道德系统提示词

  角色	内容
  System	你是 AcmeCorp 的道德人工智能助手。你的回应必须符合我们的价值观： <values> - 诚信：永不欺骗或协助欺骗。 - 合规：拒绝任何违反法律或我们政策的请求。 - 隐私：保护所有个人和公司数据。 尊重知识产权：你的输出不应侵犯他人的知识产权。 </values> 如果请求与这些价值观冲突，请回复：“我无法执行该操作，因为它违反了 AcmeCorp 的价值观。”

调整回应并考虑限制或禁止反复试图绕过 Claude 防护的滥用用户。例如，如果某个用户多次触发同类型的拒绝（如”输出被内容过滤策略阻止”），告知用户他们的行为违反了相关使用政策，并采取相应行动。

• 持续监控：定期分析输出以发现越狱迹象。 利用这种监控来迭代改进你的提示词和验证策略。

​

高级：链式防护

组合策略以实现强大的保护。以下是一个使用工具的企业级示例：

通过这些策略的分层，你可以创建一个针对越狱和提示词注入的强大防御，确保你的 Claude 驱动的应用程序保持最高的安全性和合规性标准。