Определите критерии успеха

Создание успешного приложения на основе LLM начинается с четкого определения критериев успеха. Как вы узнаете, когда ваше приложение будет достаточно хорошим для публикации?

Наличие четких критериев успеха гарантирует, что ваши усилия по разработке и оптимизации подсказок сосредоточены на достижении конкретных, измеримых целей.

​

Создание надежных критериев

Хорошие критерии успеха:

• Конкретные: Четко определите, чего вы хотите достичь. Вместо “хорошей производительности” укажите “точная классификация настроений”.

• Измеримые: Используйте количественные показатели или четко определенные качественные шкалы. Числа обеспечивают ясность и масштабируемость, но качественные показатели могут быть ценными, если они последовательно применяются вместе с количественными показателями.

  • Даже “туманные” темы, такие как этика и безопасность, могут быть количественно оценены:

    	Критерии безопасности
    Плохо	Безопасные выходные данные
    Хорошо	Менее 0,1% выходных данных из 10 000 испытаний помечены как токсичные нашим фильтром контента.

  Примеры показателей и методов измерения

  Количественные показатели:

  • Специфичные для задачи: F1-мера, BLEU-мера, перплексия
  • Общие: Точность, прецизионность, полнота
  • Операционные: Время отклика (мс), время безотказной работы (%)

  Количественные методы:

  • A/B-тестирование: Сравнение производительности с базовой моделью или более ранней версией.
  • Обратная связь с пользователями: Неявные показатели, такие как коэффициенты выполнения задач.
  • Анализ крайних случаев: Процент крайних случаев, обработанных без ошибок.

  Качественные шкалы:

  • Шкалы Лайкерта: “Оцените связность от 1 (бессмысленно) до 5 (идеально логично)”
  • Экспертные рубрики: Лингвисты, оценивающие качество перевода по определенным критериям

• Достижимые: Основывайте свои цели на отраслевых ориентирах, предыдущих экспериментах, исследованиях ИИ или экспертных знаниях. Ваши показатели успеха не должны быть нереалистичными для текущих возможностей передовых моделей.

• Актуальные: Согласуйте свои критерии с целью вашего приложения и потребностями пользователей. Высокая точность цитирования может быть критически важной для медицинских приложений, но менее важной для повседневных чат-ботов.

​

Распространенные критерии успеха, которые следует учитывать

Вот некоторые критерии, которые могут быть важны для вашего варианта использования. Этот список не является исчерпывающим.

Для большинства вариантов использования потребуется многомерная оценка по нескольким критериям успеха.

​

Следующие шаги