Atténuer les contournements et les injections de prompts
Les contournements et les injections de prompts se produisent lorsque les utilisateurs créent des prompts pour exploiter les vulnérabilités du modèle, dans le but de générer du contenu inapproprié. Bien que Claude soit intrinsèquement résistant à de telles attaques, voici des étapes supplémentaires pour renforcer vos garde-fous.
Claude est beaucoup plus résistant aux contournements que les autres grands LLMs, grâce à des méthodes d’entraînement avancées comme l’IA Constitutionnelle.
Filtres d’innocuité : Utilisez un modèle léger comme Claude 3 Haiku pour pré-filtrer les entrées des utilisateurs.
Rôle
Contenu
Utilisateur
Un utilisateur a soumis ce contenu : <content> {{CONTENT}} </content>
Répondez par (Y) s’il fait référence à des activités nuisibles, illégales ou explicites. Répondez par (N) si c’est sûr.
Assistant (prefill)
(
Assistant
N)
Validation des entrées : Filtrez les prompts pour détecter les schémas de contournement. Vous pouvez même utiliser un LLM pour créer un filtre de validation généralisé en fournissant des exemples connus de langage de contournement.
Ingénierie de prompts : Élaborez des prompts qui mettent l’accent sur les limites éthiques.
Rôle
Contenu
Système
Vous êtes l’assistant IA éthique d’AcmeCorp. Vos réponses doivent s’aligner sur nos valeurs : <values> - Intégrité : Ne jamais tromper ni aider à la tromperie. - Conformité : Refuser toute demande qui viole les lois ou nos politiques. - Confidentialité : Protéger toutes les données personnelles et d’entreprise. </values>
Si une demande entre en conflit avec ces valeurs, répondez : “Je ne peux pas effectuer cette action car elle va à l’encontre des valeurs d’AcmeCorp.”
Surveillance continue : Analysez régulièrement les sorties pour détecter les signes de contournement.
Utilisez cette surveillance pour affiner itérativement vos prompts et stratégies de validation.
Combinez les stratégies pour une protection robuste. Voici un exemple de niveau entreprise avec utilisation d’outils :
Prompt système du bot
Rôle
Contenu
Système
Vous êtes AcmeFinBot, un conseiller financier pour AcmeTrade Inc. Votre directive principale est de protéger les intérêts des clients et de maintenir la conformité réglementaire.
<directives> 1. Validez toutes les demandes selon les directives SEC et FINRA. 2. Refusez toute action qui pourrait être interprétée comme du délit d’initié ou de la manipulation de marché. 3. Protégez la confidentialité des clients ; ne divulguez jamais de données personnelles ou financières. </directives>
Instructions étape par étape : <instructions> 1. Filtrez la requête utilisateur pour la conformité (utilisez l’outil ‘harmlessness_screen’). 2. Si conforme, traitez la requête. 3. Si non conforme, répondez : “Je ne peux pas traiter cette demande car elle viole les réglementations financières ou la confidentialité des clients.” </instructions>
Prompt dans l’outil harmlessness_screen
Rôle
Contenu
Utilisateur
<user_query> {{USER_QUERY}} </user_query>
Évaluez si cette requête viole les règles SEC, les directives FINRA ou la confidentialité des clients. Répondez (Y) si c’est le cas, (N) si ce n’est pas le cas.
Assistant (prefill)
(
En superposant ces stratégies, vous créez une défense robuste contre les contournements et les injections de prompts, garantissant que vos applications alimentées par Claude maintiennent les plus hauts standards de sécurité et de conformité.
