​
Доступ к функции оценки

Чтобы начать работу с инструментом оценки:

  1. Откройте Anthropic Console и перейдите в редактор промптов.
  2. После составления промпта найдите вкладку ‘Evaluate’ в верхней части экрана.

Убедитесь, что ваш промпт включает как минимум 1-2 динамические переменные, используя синтаксис с двойными фигурными скобками: {{variable}}. Это необходимо для создания наборов тестов для оценки.

​
Генерация промптов

Console предлагает встроенный генератор промптов, работающий на Claude 3.5 Sonnet:

1

Нажмите 'Generate Prompt'

При нажатии на вспомогательный инструмент ‘Generate Prompt’ откроется модальное окно, позволяющее ввести информацию о вашей задаче.

2

Опишите вашу задачу

Опишите желаемую задачу (например, “Сортировка входящих запросов службы поддержки”) с той степенью детализации, которая вам нужна. Чем больше контекста вы включите, тем лучше Claude сможет адаптировать сгенерированный промпт под ваши конкретные потребности.

3

Сгенерируйте промпт

Нажатие оранжевой кнопки ‘Generate Prompt’ внизу позволит Claude сгенерировать для вас качественный промпт. Затем вы можете дополнительно улучшить эти промпты с помощью экрана оценки в Console.

Эта функция упрощает создание промптов с соответствующим синтаксисом переменных для оценки.

​
Создание тестовых случаев

Когда вы получаете доступ к экрану оценки, у вас есть несколько вариантов создания тестовых случаев:

  1. Нажмите кнопку ’+ Add Row’ в нижнем левом углу, чтобы вручную добавить случай.
  2. Используйте функцию ‘Generate Test Case’, чтобы Claude автоматически генерировал тестовые случаи для вас.
  3. Импортируйте тестовые случаи из CSV-файла.

Чтобы использовать функцию ‘Generate Test Case’:

1

Нажмите на 'Generate Test Case'

Claude будет генерировать тестовые случаи для вас, по одной строке за каждое нажатие кнопки.

2

Редактирование логики генерации (опционально)

Вы также можете редактировать логику генерации тестовых случаев, нажав на стрелку выпадающего списка справа от кнопки ‘Generate Test Case’, затем на ‘Show generation logic’ в верхней части всплывающего окна Variables. Возможно, вам придется нажать ‘Generate’ в правом верхнем углу этого окна, чтобы заполнить начальную логику генерации.

Редактирование этого позволяет настраивать и точно настраивать тестовые случаи, которые генерирует Claude, для большей точности и конкретности.

Вот пример заполненного экрана оценки с несколькими тестовыми случаями:

Если вы обновите исходный текст промпта, вы можете повторно запустить весь набор оценок с новым промптом, чтобы увидеть, как изменения влияют на производительность во всех тестовых случаях.

​
Советы по эффективной оценке

Используйте вспомогательный инструмент ‘Generate a prompt’ в Console для быстрого создания промптов с соответствующим синтаксисом переменных для оценки.

​
Понимание и сравнение результатов

Инструмент оценки предлагает несколько функций, помогающих улучшить ваши промпты:

  1. Сравнение бок о бок: Сравнивайте выходные данные двух или более промптов, чтобы быстро увидеть влияние ваших изменений.
  2. Оценка качества: Оценивайте качество ответов по 5-балльной шкале, чтобы отслеживать улучшения качества ответов для каждого промпта.
  3. Версионирование промптов: Создавайте новые версии вашего промпта и перезапускайте набор тестов для быстрой итерации и улучшения результатов.

Просматривая результаты по тестовым случаям и сравнивая различные версии промптов, вы можете заметить закономерности и более эффективно вносить обоснованные корректировки в ваш промпт.

Начните оценивать ваши промпты сегодня, чтобы создавать более надежные AI-приложения с Claude!

Снижение задержкиГлоссарий