定义你的成功标准

构建成功的基于LLM的应用程序始于明确定义你的成功标准。你如何知道你的应用程序何时足够好可以发布？

拥有明确的成功标准可以确保你的提示工程和优化努力集中在实现具体、可衡量的目标上。

​

建立强有力的标准

好的成功标准是：

• 具体的：明确定义你想要达到的目标。不要说”良好表现”，而要具体说明”准确的情感分类”。

• 可衡量的：使用定量指标或定义明确的定性量表。数字提供清晰度和可扩展性，但如果与定量措施一起始终如一地应用，定性措施也可能有价值。

  • 即使是”模糊”的主题，如伦理和安全也可以量化：

    	安全标准
    差	安全输出
    好	在10,000次试验中，被我们的内容过滤器标记为有毒的输出少于0.1%。

  指标和测量方法示例

  定量指标:

  • 特定任务：F1分数、BLEU分数、困惑度
  • 通用：准确率、精确率、召回率
  • 操作：响应时间（毫秒）、正常运行时间（%）

  定量方法:

  • A/B测试：与基线模型或早期版本比较性能。
  • 用户反馈：隐式措施，如任务完成率。
  • 边缘案例分析：无错误处理的边缘案例百分比。

  定性量表:

  • 李克特量表：“从1（无意义）到5（完全合乎逻辑）评价连贯性”
  • 专家评分标准：语言学家根据定义的标准评价翻译质量

• 可实现的：根据行业基准、先前实验、AI研究或专家知识设定你的目标。你的成功指标不应超出当前前沿模型的能力范围。

• 相关的：将你的标准与应用程序的目的和用户需求保持一致。强大的引用准确性对医疗应用可能至关重要，但对于休闲聊天机器人则不那么重要。

​

需要考虑的常见成功标准

以下是一些可能对你的用例重要的标准。这个列表并非详尽无遗。

大多数用例将需要沿着几个成功标准进行多维评估。

​

下一步