Minimiser les hallucinations
Bien que Claude soit incroyablement puissant et polyvalent, il peut parfois générer du texte qui est factuellement incorrect, incohérent ou non pertinent pour le contexte donné.
Ce phénomène est connu sous le nom d‘“hallucination” et peut se produire lorsque le modèle tente de combler les lacunes dans ses connaissances ou lorsque l’entrée est ambiguë.
Explorons diverses stratégies pour minimiser les hallucinations et améliorer la précision et la fiabilité des sorties de Claude. En mettant en œuvre ces techniques, vous pouvez garantir une meilleure expérience utilisateur et des résultats plus fiables.
Permettre à Claude de dire “Je ne sais pas”
Un moyen efficace de réduire les hallucinations est de donner explicitement à Claude la permission de dire “Je ne sais pas”, en particulier lorsqu’on pose des questions factuelles (également connu sous le nom de “donner une porte de sortie à Claude”). Cela permet à Claude de reconnaître ses limites et d’éviter de générer des informations incorrectes.
Voici un exemple d’invite qui encourage Claude à admettre quand il n’a pas la réponse :
| Contenu | |
|---|---|
| Système | Veuillez répondre à la question suivante au mieux de vos capacités. Si vous n’êtes pas sûr ou si vous n’avez pas assez d’informations pour fournir une réponse confiante, dites simplement “Je ne sais pas” ou “Je ne suis pas sûr”. |
| Utilisateur | Quelle est la capitale du Burkina Faso ? |
En donnant à Claude une “porte de sortie” explicite, vous pouvez réduire la probabilité qu’il génère des informations inexactes.
Rappel
Bien que Claude ait lu beaucoup de choses sur Internet et connaisse des choses sur le monde réel, il n’a pas accès à Internet. Claude a été entraîné sur des données qui peuvent dater de plus d’un an. Il ne sait rien non plus des événements actuels.
Demander à Claude des citations directes
Lorsque vous travaillez avec de longs documents, demander à Claude d’extraire des citations mot pour mot pertinentes pour une question spécifique peut aider à minimiser les hallucinations. Cette approche est plus efficace pour les documents plus longs (>300 mots) et peut être moins fiable pour les documents plus courts.
Voici un exemple d’invite qui demande des citations directes :
| Rôle | Contenu |
|---|---|
| Utilisateur | Considérez le document suivant : \ {{DOCUMENT}} \ Veuillez extraire des citations mot pour mot de ce document qui sont pertinentes pour la question <question>{{QUESTION}}</question>. S’il n’y a pas de citations dans ce document qui semblent pertinentes pour cette question, dites “Je ne trouve aucune citation pertinente”. |
En demandant des citations directes, vous pouvez plus facilement vérifier l’exactitude des informations fournies par Claude (et de plus amener Claude à utiliser des citations pour les références en ligne). Vous pouvez également effectuer une correspondance de chaînes ou calculer le pourcentage de chevauchement entre les citations et le document original pour vous assurer que le modèle n’hallucine pas.
Note sur la précision de l’extraction de citations
Vous n’obtiendrez peut-être pas une reproduction à 100% du texte du document original lorsque vous demanderez des citations, mais vous voulez que la fidélité soit élevée. Par exemple, le modèle pourrait ajouter “[sic.]” s’il y a une erreur dans le document, ou ajouter du contexte aux citations comme il [Brian] lui a demandé [Diana] de dîner, ce qui est bien tant que le contenu ajouté est exact.
Si vous pensez que Claude ajoute du contenu inexact, vous voudrez peut-être filtrer pour un degré de chevauchement très élevé et rendre les instructions plus rigoureuses, par exemple en ajoutant quelque chose comme Veuillez vous assurer que vos citations sont directement tirées textuellement du document. N'ajoutez aucun contenu supplémentaire comme des désambiguïsations ou des commentaires.
Vous pouvez en outre utiliser les citations directes que Claude extrait en disant à Claude de ne répondre que s’il y a des informations pertinentes trouvées dans ces citations, ou de fonder sa réponse uniquement sur les informations trouvées dans les citations extraites. Voici un exemple de prompt basé sur les citations de notre bibliothèque de prompts :
| Contenu | |
|---|---|
| Système | Vous êtes un assistant de recherche expert. Voici un document sur lequel vous répondrez à des questions : \ {{DOCUMENT}} \ |