​
Доступ к функции оценки

Чтобы начать работу с инструментом оценки:

  1. Откройте Anthropic Console и перейдите в редактор промптов.
  2. После составления промпта найдите вкладку ‘Evaluate’ в верхней части экрана.

Убедитесь, что ваш промпт включает как минимум 1-2 динамические переменные, используя синтаксис двойных фигурных скобок: {{variable}}. Это необходимо для создания наборов тестов для оценки.

​
Генерация промптов

Console предлагает встроенный генератор промптов, работающий на Claude Opus 4:

1

Нажмите 'Generate Prompt'

Нажатие на вспомогательный инструмент ‘Generate Prompt’ откроет модальное окно, которое позволяет ввести информацию о вашей задаче.

2

Опишите вашу задачу

Опишите желаемую задачу (например, “Сортировка входящих запросов службы поддержки клиентов”) с любым количеством деталей по вашему желанию. Чем больше контекста вы включите, тем лучше Claude сможет адаптировать сгенерированный промпт к вашим конкретным потребностям.

3

Сгенерируйте ваш промпт

Нажатие оранжевой кнопки ‘Generate Prompt’ внизу позволит Claude сгенерировать для вас качественный промпт. Затем вы можете дополнительно улучшить эти промпты, используя экран оценки в Console.

Эта функция упрощает создание промптов с соответствующим синтаксисом переменных для оценки.

​
Создание тестовых случаев

Когда вы получаете доступ к экрану оценки, у вас есть несколько вариантов для создания тестовых случаев:

  1. Нажмите кнопку ’+ Add Row’ в левом нижнем углу, чтобы вручную добавить случай.
  2. Используйте функцию ‘Generate Test Case’, чтобы Claude автоматически генерировал для вас тестовые случаи.
  3. Импортируйте тестовые случаи из CSV-файла.

Чтобы использовать функцию ‘Generate Test Case’:

1

Нажмите на 'Generate Test Case'

Claude будет генерировать тестовые случаи для вас, по одной строке за каждое нажатие кнопки.

2

Редактирование логики генерации (опционально)

Вы также можете редактировать логику генерации тестовых случаев, нажав на стрелку выпадающего списка справа от кнопки ‘Generate Test Case’, затем на ‘Show generation logic’ в верхней части всплывающего окна переменных. Возможно, вам придется нажать `Generate’ в правом верхнем углу этого окна, чтобы заполнить начальную логику генерации.

Редактирование этого позволяет настраивать и точно настраивать тестовые случаи, которые генерирует Claude, для большей точности и конкретности.

Вот пример заполненного экрана оценки с несколькими тестовыми случаями:

Если вы обновите исходный текст промпта, вы можете повторно запустить весь набор оценок с новым промптом, чтобы увидеть, как изменения влияют на производительность во всех тестовых случаях.

​
Советы по эффективной оценке

Используйте вспомогательный инструмент ‘Generate a prompt’ в Console для быстрого создания промптов с соответствующим синтаксисом переменных для оценки.

​
Понимание и сравнение результатов

Инструмент оценки предлагает несколько функций, которые помогут вам улучшить ваши промпты:

  1. Сравнение бок о бок: Сравнивайте выходные данные двух или более промптов, чтобы быстро увидеть влияние ваших изменений.
  2. Оценка качества: Оценивайте качество ответов по 5-балльной шкале, чтобы отслеживать улучшения в качестве ответов для каждого промпта.
  3. Версионирование промптов: Создавайте новые версии вашего промпта и повторно запускайте набор тестов для быстрой итерации и улучшения результатов.

Просматривая результаты по тестовым случаям и сравнивая различные версии промптов, вы можете выявлять закономерности и более эффективно вносить обоснованные корректировки в ваш промпт.

Начните оценивать ваши промпты сегодня, чтобы создавать более надежные AI-приложения с Claude!