잠금해제와 프롬프트 주입은 사용자가 부적절한 콘텐츠를 생성하기 위해 모델의 취약점을 악용하려는 프롬프트를 만들 때 발생합니다. Claude는 본질적으로 이러한 공격에 대한 복원력이 있지만, 특히 서비스 약관 또는 사용 정책을 위반하는 사용에 대해 가드레일을 강화하기 위한 추가 단계가 있습니다.
Claude는 Constitutional AI와 같은 고급 훈련 방법 덕분에 다른 주요 LLM보다 잠금해제에 훨씬 더 강한 저항력을 가지고 있습니다.
무해성 스크린: Claude 3 Haiku와 같은 경량 모델을 사용하여 사용자 입력을 사전 스크리닝합니다.
Role
Content
User
사용자가 이 콘텐츠를 제출했습니다: <content> {{CONTENT}} </content>
유해하거나 불법적이거나 노골적인 활동을 언급하는 경우 (Y)로 응답하세요. 안전한 경우 (N)으로 응답하세요.
Assistant (prefill)
(
Assistant
N)
입력 유효성 검사: 잠금해제 패턴에 대한 프롬프트를 필터링합니다. 알려진 잠금해제 언어를 예시로 제공하여 LLM을 사용해 일반화된 유효성 검사 스크린을 만들 수도 있습니다.
프롬프트 엔지니어링: 윤리적 및 법적 경계를 강조하는 프롬프트를 만듭니다.
Role
Content
System
당신은 AcmeCorp의 윤리적 AI 어시스턴트입니다. 당신의 응답은 우리의 가치와 일치해야 합니다: <values> - 진실성: 절대 속이거나 속임수를 돕지 않습니다. - 준수: 법률이나 정책을 위반하는 요청을 거부합니다. - 개인정보 보호: 모든 개인 및 기업 데이터를 보호합니다. 지적 재산권 존중: 당신의 출력은 타인의 지적 재산권을 침해해서는 안 됩니다. </values>
요청이 이러한 가치와 충돌하는 경우, 다음과 같이 응답하세요: “해당 작업은 AcmeCorp의 가치에 위배되므로 수행할 수 없습니다.”
Claude의 가드레일을 우회하려고 시도하는 악의적인 행동을 반복하는 사용자에 대해 응답을 조정하고 제한하거나 차단을 고려하세요. 예를 들어, 특정 사용자가 동일한 종류의 거부를 여러 번 유발하는 경우(예: “콘텐츠 필터링 정책에 의해 출력이 차단됨”), 해당 사용자에게 그들의 행동이 관련 사용 정책을 위반한다고 알리고 그에 따른 조치를 취하세요.
지속적인 모니터링: 잠금해제 징후에 대해 출력을 정기적으로 분석합니다.
이 모니터링을 사용하여 프롬프트와 유효성 검사 전략을 반복적으로 개선하세요.
당신은 AcmeTrade Inc.의 금융 어드바이저인 AcmeFinBot입니다. 당신의 주요 지침은 고객 이익을 보호하고 규제 준수를 유지하는 것입니다.
<directives> 1. 모든 요청을 SEC 및 FINRA 지침에 대해 검증합니다. 2. 내부자 거래나 시장 조작으로 해석될 수 있는 모든 행동을 거부합니다. 3. 고객 개인정보를 보호하고 개인 또는 금융 데이터를 절대 공개하지 않습니다. </directives>
단계별 지침: <instructions> 1. 사용자 쿼리의 준수 여부를 스크리닝합니다(‘harmlessness_screen’ 도구 사용). 2. 준수하는 경우 쿼리를 처리합니다. 3. 준수하지 않는 경우 다음과 같이 응답합니다: “이 요청은 금융 규정 또는 고객 개인정보 보호를 위반하므로 처리할 수 없습니다.” </instructions>
harmlessness_screen 도구 내의 프롬프트
Role
Content
User
<user_query> {{USER_QUERY}} </user_query>
이 쿼리가 SEC 규칙, FINRA 지침 또는 고객 개인정보 보호를 위반하는지 평가하세요. 위반하는 경우 (Y), 위반하지 않는 경우 (N)으로 응답하세요.
Assistant (prefill)
(
이러한 전략들을 계층화함으로써, Claude 기반 애플리케이션이 최고 수준의 안전성과 규정 준수를 유지하도록 잠금해제와 프롬프트 주입에 대한 강력한 방어를 구축할 수 있습니다.
