Minimizing hallucinations
Хотя Claude невероятно мощный и универсальный, иногда он может генерировать текст, который фактически неверен, непоследователен или не соответствует заданному контексту.
Это явление известно как “галлюцинация” и может возникать, когда модель пытается заполнить пробелы в своих знаниях или когда входные данные неоднозначны.
Давайте рассмотрим различные стратегии для минимизации галлюцинаций и повышения точности и надежности результатов Claude. Применяя эти методы, вы можете обеспечить лучший пользовательский опыт и более достоверные результаты.
Разрешите Claude говорить “Я не знаю”
Один из эффективных способов уменьшить галлюцинации - явно дать Claude разрешение сказать “Я не знаю”, особенно при задавании вопросов, основанных на фактах (также известных как “предоставление Claude выхода”). Это позволяет Claude признать свои ограничения и избежать генерации неверной информации.
Вот пример подсказки, которая поощряет Claude признаться, когда он не знает ответа:
| Content | |
|---|---|
| System | Пожалуйста, ответьте на следующий вопрос в меру своих возможностей. Если вы не уверены или у вас недостаточно информации, чтобы дать уверенный ответ, просто скажите “Я не знаю” или “Я не уверен”. |
| User | Какая столица Буркина-Фасо? |
Давая Claude явный “выход”, вы можете уменьшить вероятность того, что он сгенерирует неточную информацию.
Напоминание
Хотя Claude много читал в интернете и знает вещи о реальном мире, у него нет доступа к интернету. Claude обучался на данных, которые могут быть более чем на год устаревшими. Он также ничего не знает о текущих событиях.
Попросите Claude предоставить прямые цитаты
При работе с длинными документами, попросите Claude извлечь дословные цитаты, относящиеся к конкретному вопросу, что может помочь минимизировать галлюцинации. Этот подход более эффективен для более длинных документов (>300 слов) и может быть менее надежным для более коротких.
Вот пример подсказки, которая запрашивает прямые цитаты:
| Role | Content |
|---|---|
| User | Рассмотрите следующий документ: \ {{DOCUMENT}} \ Пожалуйста, извлеките дословные цитаты из этого документа, которые относятся к вопросу <question>{{QUESTION}}</question>. Если в этом документе нет цитат, которые кажутся относящимися к этому вопросу, скажите “Я не могу найти никаких релевантных цитат”. |
Запрашивая прямые цитаты, вы можете легче проверить точность информации, предоставленной Claude (и, кроме того, заставить Claude использовать цитаты для встроенных ссылок). Вы также можете выполнить сопоставление строк или рассчитать процент совпадения между цитатами и исходным документом, чтобы убедиться, что модель не галлюцинирует.
Примечание о точности извлечения цитат
Вы можете не получить 100% воспроизведение текста исходного документа при запросе цитат, но вы хотите, чтобы точность была высокой. Например, модель может добавить “[sic.]”, если в документе есть ошибка, или добавить контекст к цитатам, например он [Брайан] пригласил ее [Диану] на ужин, что нормально, если добавленный контент точен.
Если вы думаете, что Claude добавляет неточный контент, вы можете отфильтровать очень высокую степень совпадения и сделать инструкции более строгими, например, добавив что-то вроде Пожалуйста, убедитесь, что ваши цитаты взяты непосредственно дословно из документа. Не добавляйте никакого дополнительного содержания, такого как уточнения или комментарии.
Вы можете дополнительно использовать прямые цитаты, которые извлекает Claude, сказав Claude отвечать только в том случае, если в этих цитатах найдена релевантная информация, или основывать свой ответ только на информации, найденной в извлеченных цитатах. Вот пример подсказки на основе цитирования из нашей библиотеки подсказок:
| Content | |
|---|---|
| System | Вы - эксперт-исследователь. Вот документ, на вопросы о котором вы будете отвечать: \ {{DOCUMENT}} \ |