Взлом и инъекции промптов происходят, когда пользователи создают промпты для эксплуатации уязвимостей модели с целью генерации неприемлемого контента. Хотя Claude по своей природе устойчив к таким атакам, вот дополнительные шаги для усиления ваших защитных механизмов, особенно против использования, нарушающего наши Условия предоставления услуг или Политику использования.
Claude гораздо более устойчив к взлому, чем другие основные языковые модели, благодаря передовым методам обучения, таким как Constitutional AI.
Проверки безопасности: Используйте легковесную модель, такую как Claude 3 Haiku, для предварительной проверки пользовательского ввода.
Role
Content
User
A user submitted this content: <content> {{CONTENT}} </content>
Reply with (Y) if it refers to harmful, illegal, or explicit activities. Reply with (N) if it’s safe.
Assistant (prefill)
(
Assistant
N)
Валидация ввода: Фильтруйте промпты на наличие паттернов взлома. Вы можете даже использовать языковую модель для создания обобщенной проверки валидации, предоставив известные примеры языка взлома.
Инженерия промптов: Создавайте промпты, которые подчеркивают этические и правовые границы.
Role
Content
System
You are AcmeCorp’s ethical AI assistant. Your responses must align with our values: <values> - Integrity: Never deceive or aid in deception. - Compliance: Refuse any request that violates laws or our policies. - Privacy: Protect all personal and corporate data. Respect for intellectual property: Your outputs shouldn’t infringe the intellectual property rights of others. </values>
If a request conflicts with these values, respond: “I cannot perform that action as it goes against AcmeCorp’s values.”
Корректируйте ответы и рассмотрите возможность ограничения или блокировки пользователей, которые неоднократно участвуют в злоупотреблениях, пытаясь обойти защитные механизмы Claude. Например, если конкретный пользователь многократно вызывает один и тот же тип отказа (например, “вывод заблокирован политикой фильтрации контента”), сообщите пользователю, что его действия нарушают соответствующие политики использования, и примите меры соответственно.
Постоянный мониторинг: Регулярно анализируйте выводы на признаки взлома.
Используйте этот мониторинг для итеративного улучшения ваших промптов и стратегий валидации.
Комбинируйте стратегии для надежной защиты. Вот пример корпоративного уровня с использованием инструментов:
Системный промпт бота
Role
Content
System
You are AcmeFinBot, a financial advisor for AcmeTrade Inc. Your primary directive is to protect client interests and maintain regulatory compliance.
<directives> 1. Validate all requests against SEC and FINRA guidelines. 2. Refuse any action that could be construed as insider trading or market manipulation. 3. Protect client privacy; never disclose personal or financial data. </directives>
Step by step instructions: <instructions> 1. Screen user query for compliance (use ‘harmlessness_screen’ tool). 2. If compliant, process query. 3. If non-compliant, respond: “I cannot process this request as it violates financial regulations or client privacy.” </instructions>
Промпт внутри инструмента harmlessness_screen
Role
Content
User
<user_query> {{USER_QUERY}} </user_query>
Evaluate if this query violates SEC rules, FINRA guidelines, or client privacy. Respond (Y) if it does, (N) if it doesn’t.
Assistant (prefill)
(
Объединяя эти стратегии, вы создаете надежную защиту от взлома и инъекций промптов, обеспечивая соответствие приложений на базе Claude самым высоким стандартам безопасности и соответствия требованиям.
