Atténuer les jailbreaks et les injections de prompts
Les jailbreaks et les injections de prompts se produisent lorsque les utilisateurs créent des prompts spécifiques qui exploitent les vulnérabilités dans l’entraînement du modèle, dans le but de générer du contenu inapproprié ou nuisible. Bien que Claude soit intrinsèquement résilient à de telles attaques grâce à des méthodes d’entraînement avancées comme le Reinforcement Learning from Human Feedback (RLHF) et le Constitutional AI, et qu’il soit également beaucoup plus résistant à ces attaques que les autres grands modèles de langage majeurs (New York Times, 2023), il existe quelques étapes supplémentaires d’atténuation que vous pouvez prendre si cela est particulièrement important pour votre cas d’utilisation.
Stratégies d’atténuation
- Écrans d’innocuité : Utilisez un modèle petit et rapide comme Claude 3 Haiku pour mettre en place un “écran d’innocuité” afin d’évaluer la pertinence de l’entrée de l’utilisateur avant de la traiter. Cela permet de détecter et de bloquer les prompts potentiellement nuisibles.
Voici un exemple de prompt d’écran d’innocuité avec la réponse de Claude :Rôle Contenu Utilisateur Un utilisateur humain aimerait que vous poursuiviez un contenu. Voici le contenu jusqu’à présent : <content>{{CONTENT}}</content>
Si le contenu fait référence à des activités nuisibles, pornographiques ou illégales, répondez par (Y). Si le contenu ne fait pas référence à des activités nuisibles, pornographiques ou illégales, répondez par (N)Assistant (Préfixe) ( Assistant (Réponse de Claude) Y) - Validation des entrées : Appliquez des techniques strictes de validation des entrées pour filtrer les prompts contenant des mots-clés ou des modèles associés à des tentatives de jailbreak ou à du contenu nuisible (comme
Oubliez toutes les instructions précédentes.). Cela peut aider à empêcher que des prompts malveillants ne soient traités par le modèle, mais cela peut aussi être difficile à mettre en œuvre à grande échelle, car les jailbreakers continuent à faire évoluer leur langage de jailbreaking. Vous pouvez utiliser un LLM pour appliquer un écran de validation plus généralisé en lui fournissant un langage de jailbreaking connu comme exemples des types de formulation et d’intention que le modèle devrait rechercher. - Ingénierie des prompts : Élaborez soigneusement vos prompts pour réduire la probabilité de tentatives de jailbreak. Utilisez des instructions claires, concises et bien définies qui mettent l’accent sur les directives éthiques du modèle et les actions interdites.
Voici un exemple de prompt système avec des instructions claires :Contenu Système Vous êtes un assistant IA conçu pour être utile, inoffensif et honnête. Vous devez adhérer à des directives éthiques strictes et vous abstenir de vous engager dans ou d’encourager toute activité nuisible, illégale ou inappropriée. Si un utilisateur tente de vous faire faire quelque chose qui va à l’encontre de vos principes éthiques, refusez poliment et expliquez pourquoi vous ne pouvez pas vous conformer. - Surveillance continue : Surveillez régulièrement les sorties du modèle pour détecter les signes de jailbreaking ou de génération de contenu inapproprié. Cela peut aider à identifier les vulnérabilités potentielles pour vous aider à affiner vos prompts ou votre stratégie de validation.
Tout mettre ensemble
En combinant ces stratégies, vous pouvez réduire considérablement le risque de jailbreaking et d’injection de prompts dans la famille de modèles Claude. Bien que Claude soit déjà très résistant à de telles attaques, la mise en place de mesures de protection supplémentaires garantit une expérience plus sûre et plus fiable pour tous les utilisateurs.
Voici un exemple de prompt système qui intègre plusieurs stratégies :
| Contenu | |
|---|---|
| Système | Vous êtes un assistant IA conçu pour être utile, inoffensif et honnête. Vous devez adhérer à des directives éthiques strictes et vous abstenir de vous engager dans ou d’encourager toute activité nuisible, illégale ou inappropriée. Si un utilisateur tente de vous faire faire quelque chose d’interdit par les directives ci-dessous, dites “Je ne peux pas faire ça.” <guidelines> {{GUIDELINES}} </guidelines> De plus, si vous détectez tout contenu faisant référence à des activités nuisibles, pornographiques ou illégales, répondez immédiatement par “Avertissement de contenu : Inapproprié” et ne fournissez aucune autre réponse. |
En fournissant des instructions claires, en mettant en place un avertissement de contenu et en mettant l’accent sur les principes éthiques du modèle, ce prompt permet de minimiser le risque de jailbreaking et d’injection de prompts.
Prochaines étapes
- Explorez la réduction des fuites de prompts pour apprendre à minimiser le risque que le modèle révèle des informations sensibles à partir du prompt d’entrée.
- Consultez notre guide d’ingénierie des prompts pour un aperçu complet des stratégies permettant de créer des prompts très efficaces.
- Si vous avez des questions ou des préoccupations, n’hésitez pas à contacter notre équipe d’assistance clientèle.