​
Доступ к функции оценки

Чтобы начать работу с инструментом оценки:
  1. Откройте Anthropic Console и перейдите к редактору промптов.
  2. После создания вашего промпта найдите вкладку ‘Evaluate’ в верхней части экрана.
Доступ к функции оценки
Убедитесь, что ваш промпт включает как минимум 1-2 динамические переменные, используя синтаксис двойных фигурных скобок: {{variable}}. Это необходимо для создания тестовых наборов оценки.

​
Генерация промптов

Console предлагает встроенный генератор промптов, работающий на Claude Opus 4.1:
1

Нажмите 'Generate Prompt'

Нажатие на вспомогательный инструмент ‘Generate Prompt’ откроет модальное окно, которое позволит вам ввести информацию о вашей задаче.
2

Опишите вашу задачу

Опишите желаемую задачу (например, “Сортировка входящих запросов службы поддержки клиентов”) с любым количеством деталей. Чем больше контекста вы предоставите, тем лучше Claude сможет адаптировать сгенерированный промпт под ваши конкретные потребности.
3

Сгенерируйте ваш промпт

Нажатие оранжевой кнопки ‘Generate Prompt’ внизу заставит Claude сгенерировать высококачественный промпт для вас. Затем вы можете дополнительно улучшить эти промпты, используя экран оценки в Console.
Эта функция упрощает создание промптов с соответствующим синтаксисом переменных для оценки. Генератор промптов

​
Создание тестовых случаев

Когда вы получаете доступ к экрану оценки, у вас есть несколько вариантов создания тестовых случаев:
  1. Нажмите кнопку ’+ Add Row’ в левом нижнем углу, чтобы вручную добавить случай.
  2. Используйте функцию ‘Generate Test Case’, чтобы Claude автоматически сгенерировал тестовые случаи для вас.
  3. Импортируйте тестовые случаи из CSV-файла.
Чтобы использовать функцию ‘Generate Test Case’:
1

Нажмите на 'Generate Test Case'

Claude сгенерирует тестовые случаи для вас, по одной строке за раз при каждом нажатии кнопки.
2

Редактируйте логику генерации (опционально)

Вы также можете отредактировать логику генерации тестовых случаев, нажав на выпадающую стрелку справа от кнопки ‘Generate Test Case’, затем на ‘Show generation logic’ в верхней части всплывающего окна Variables. Возможно, вам придется нажать `Generate’ в правом верхнем углу этого окна, чтобы заполнить начальную логику генерации.Редактирование этого позволяет вам настроить и точно настроить тестовые случаи, которые генерирует Claude, для большей точности и специфичности.
Вот пример заполненного экрана оценки с несколькими тестовыми случаями: Заполненный экран оценки
Если вы обновите текст вашего исходного промпта, вы можете повторно запустить весь набор оценки против нового промпта, чтобы увидеть, как изменения влияют на производительность во всех тестовых случаях.

​
Советы для эффективной оценки

Используйте вспомогательный инструмент ‘Generate a prompt’ в Console для быстрого создания промптов с соответствующим синтаксисом переменных для оценки.

​
Понимание и сравнение результатов

Инструмент оценки предлагает несколько функций, которые помогут вам улучшить ваши промпты:
  1. Сравнение бок о бок: Сравните выходные данные двух или более промптов, чтобы быстро увидеть влияние ваших изменений.
  2. Оценка качества: Оценивайте качество ответов по 5-балльной шкале, чтобы отслеживать улучшения в качестве ответов для каждого промпта.
  3. Версионирование промптов: Создавайте новые версии вашего промпта и повторно запускайте тестовый набор для быстрой итерации и улучшения результатов.
Просматривая результаты по тестовым случаям и сравнивая различные версии промптов, вы можете выявить закономерности и внести обоснованные корректировки в ваш промпт более эффективно. Начните оценивать ваши промпты сегодня, чтобы создавать более надежные AI-приложения с Claude!