​
Доступ к функции оценки

Чтобы начать работу с инструментом оценки:

  1. Откройте консоль Anthropic и перейдите к редактору промптов.
  2. После составления промпта найдите вкладку ‘Evaluate’ в верхней части экрана.

Доступ к функции оценки

Убедитесь, что ваш промпт включает как минимум 1-2 динамические переменные, используя синтаксис двойных фигурных скобок: {{переменная}}. Это необходимо для создания наборов тестов оценки.

​
Генерация промптов

Консоль предлагает встроенный генератор промптов, работающий на базе Claude 3.5 Sonnet:

1

Нажмите 'Generate Prompt'

Нажатие на вспомогательный инструмент ‘Generate Prompt’ откроет модальное окно, которое позволит вам ввести информацию о вашей задаче.

2

Опишите вашу задачу

Опишите желаемую задачу (например, “Сортировка входящих запросов в службу поддержки клиентов”) с таким количеством деталей, как вы пожелаете. Чем больше контекста вы включите, тем больше Claude сможет адаптировать сгенерированный промпт к вашим конкретным потребностям.

3

Сгенерируйте ваш промпт

Нажатие на оранжевую кнопку ‘Generate Prompt’ внизу заставит Claude сгенерировать для вас высококачественный промпт. Затем вы можете дополнительно улучшить эти промпты, используя экран оценки в консоли.

Эта функция упрощает создание промптов с соответствующим синтаксисом переменных для оценки.

Генератор промптов

​
Создание тестовых случаев

При переходе на экран оценки у вас есть несколько вариантов создания тестовых случаев:

  1. Нажмите кнопку ’+ Add Row’ в нижнем левом углу, чтобы добавить случай вручную.
  2. Используйте функцию ‘Generate Test Case’, чтобы Claude автоматически сгенерировал для вас тестовые случаи.
  3. Импортируйте тестовые случаи из CSV-файла.

Чтобы использовать функцию ‘Generate Test Case’:

1

Нажмите на 'Generate Test Case'

Claude сгенерирует для вас тестовые случаи, по одной строке за каждое нажатие кнопки.

2

Редактирование логики генерации (опционально)

Вы также можете отредактировать логику генерации тестовых случаев, нажав на стрелку выпадающего списка справа от кнопки ‘Generate Test Case’, затем на ‘Show generation logic’ в верхней части всплывающего окна Variables. Возможно, вам придется нажать `Generate’ в правом верхнем углу этого окна, чтобы заполнить начальную логику генерации.

Редактирование этого позволяет настраивать и точно настраивать тестовые случаи, которые генерирует Claude, с большей точностью и спецификой.

Вот пример заполненного экрана оценки с несколькими тестовыми случаями:

Заполненный экран оценки

Если вы обновите исходный текст промпта, вы можете повторно запустить весь набор оценок для нового промпта, чтобы увидеть, как изменения влияют на производительность во всех тестовых случаях.

​
Советы по эффективной оценке

Используйте вспомогательный инструмент ‘Generate a prompt’ в консоли для быстрого создания промптов с соответствующим синтаксисом переменных для оценки.

​
Понимание и сравнение результатов

Инструмент оценки предлагает несколько функций, которые помогут вам улучшить ваши промпты:

  1. Сравнение бок о бок: Сравните выходные данные двух или более промптов, чтобы быстро увидеть влияние ваших изменений.
  2. Оценка качества: Оцените качество ответа по 5-балльной шкале, чтобы отслеживать улучшения качества ответа для каждого промпта.
  3. Версионирование промптов: Создавайте новые версии вашего промпта и повторно запускайте набор тестов, чтобы быстро итерировать и улучшать результаты.

Просматривая результаты по тестовым случаям и сравнивая различные версии промптов, вы можете выявлять закономерности и более эффективно вносить обоснованные корректировки в свой промпт.

Начните оценивать свои промпты уже сегодня, чтобы создавать более надежные приложения с использованием ИИ Claude!

Снижение задержкиГлоссарий