Посетите наш интерактивный курс по инженерии промптов, чтобы научиться создавать промпты.

Claude предлагает высокий базовый уровень производительности из коробки. Однако инженерия промптов может помочь вам еще больше повысить его производительность и настроить ответы в соответствии с вашим конкретным вариантом использования. Эти методы не являются необходимыми для достижения хороших результатов с Claude, но вы можете найти их полезными для улучшения ваших входных и выходных данных.

Чтобы быстро начать работу с промптом или познакомиться с концепцией промптинга, см. введение в промптинг.

​
Что такое инженерия промптов?

Инженерия промптов - это эмпирическая наука, которая включает в себя итерацию и тестирование промптов для оптимизации производительности. Большая часть усилий, затрачиваемых на цикл инженерии промптов, на самом деле не связана с написанием промптов. Скорее, большая часть времени инженерии промптов тратится на разработку надежного набора оценок, за которыми следует тестирование и итерация в соответствии с этими оценками.

​
Жизненный цикл разработки промптов

Мы рекомендуем принципиальный подход к разработке на основе тестирования, чтобы обеспечить оптимальную производительность промптов. Давайте рассмотрим ключевой процесс высокого уровня, который мы используем при разработке промптов для задачи, как показано на сопроводительной диаграмме.

  1. Определите задачу и критерии успеха: Первый и самый важный шаг - четко определить конкретную задачу, которую вы хотите, чтобы Claude выполнил. Это может быть что угодно, от извлечения сущностей, ответов на вопросы или обобщения текста до более сложных задач, таких как генерация кода или творческое письмо. Как только у вас будет четко определенная задача, установите критерии успеха, которые будут направлять ваш процесс оценки и оптимизации.
    Ключевые критерии успеха, которые следует учитывать, включают:
    • Производительность и точность: Насколько хорошо модель должна справляться с задачей?
    • Задержка: Какое приемлемое время отклика для модели? Это будет зависеть от требований вашего приложения к работе в реальном времени и ожиданий пользователей.
    • Цена: Каков ваш бюджет на запуск модели? Учитывайте такие факторы, как стоимость одного вызова API, размер модели и частота использования.
      Наличие четких, измеримых критериев успеха с самого начала поможет вам принимать обоснованные решения на протяжении всего процесса внедрения и гарантировать, что вы оптимизируете для достижения правильных целей.
  2. Разработайте тестовые случаи: Определив задачу и критерии успеха, следующим шагом будет создание разнообразного набора тестовых случаев, охватывающих предполагаемые варианты использования вашего приложения. Они должны включать как типичные примеры, так и крайние случаи, чтобы гарантировать надежность ваших промптов. Наличие четко определенных тестовых случаев заранее позволит вам объективно измерить производительность ваших промптов в соответствии с критериями успеха.
  3. Разработайте предварительный промпт: Затем создайте начальный промпт, в котором будут описаны определение задачи, характеристики хорошего ответа и любой необходимый контекст для Claude. В идеале вы должны добавить несколько примеров канонических входных и выходных данных, которым Claude должен следовать. Этот предварительный промпт послужит отправной точкой для дальнейшего уточнения.
  4. Протестируйте промпт на тестовых случаях: Подайте ваши тестовые случаи в Claude, используя предварительный промпт. Тщательно оцените ответы модели в сравнении с ожидаемыми результатами и критериями успеха. Используйте последовательную систему оценки, будь то оценка человеком, сравнение с ключом ответа или даже суждение другого экземпляра Claude на основе рубрики. Ключевым моментом является наличие систематического способа оценки производительности.
  5. Уточните промпт: На основе результатов шага 4 итеративно уточняйте свой промпт, чтобы улучшить производительность на тестовых случаях и лучше соответствовать критериям успеха. Это может включать добавление уточнений, примеров или ограничений для направления поведения Claude. Будьте осторожны, чтобы не оптимизировать чрезмерно для узкого набора входных данных, поскольку это может привести к переобучению и плохому обобщению.
  6. Отправьте отполированный промпт: Как только вы получили промпт, который хорошо работает на ваших тестовых случаях и соответствует критериям успеха, пришло время развернуть его в вашем приложении. Следите за производительностью модели в реальных условиях и будьте готовы вносить дальнейшие уточнения по мере необходимости. Могут возникнуть крайние случаи, которые не были предусмотрены в вашем первоначальном тестовом наборе.

На протяжении всего этого процесса стоит начинать с наиболее мощной модели и неограниченной длины промпта, чтобы установить верхний предел производительности. Как только вы достигнете желаемого качества вывода, вы можете экспериментировать с такими оптимизациями, как более короткие промпты или меньшие модели, чтобы при необходимости уменьшить задержку и затраты.

Следуя этой методологии, основанной на тестировании, и тщательно определяя свою задачу и критерии успеха заранее, вы будете на пути к использованию мощи Claude для вашего конкретного варианта использования. Если вы потратите время на разработку надежных тестовых случаев и промптов, вы пожнете плоды с точки зрения производительности модели и ее ремонтопригодности.

​
Методы инженерии промптов

На протяжении всего цикла разработки промптов есть некоторые методы, которые вы можете использовать для улучшения производительности Claude, такие как:

Мы также предоставляем экспериментальный вспомогательный метапромпт, который побуждает Claude создать для вас промпт на основе предоставленных вами рекомендаций. Метапромпт является экспериментальным, но может быть полезен для составления начального промпта или быстрого создания множества вариаций промпта для тестирования.

Примечание: Модели старше семейства Claude 3 могут потребовать больше инженерии промптов. Для получения дополнительной информации см. наше руководство по устаревшим моделям.

​
Дополнительные ресурсы

Чтобы узнать больше об инженерии промптов, ознакомьтесь с этими ресурсами:

Удачного промптинга!

Использование устаревшего инструментаPrompt Generator