定義你的成功標準

建立成功的基於LLM的應用程序始於明確定義你的成功標準。你如何知道你的應用程序何時足夠好可以發布？

擁有明確的成功標準可確保你的提示工程和優化努力集中在實現具體、可衡量的目標上。

​

建立強有力的標準

好的成功標準是：

• 具體的：明確定義你想要達到的目標。不要說”良好表現”，而要具體說明”準確的情感分類”。

• 可衡量的：使用定量指標或明確定義的定性量表。數字提供清晰度和可擴展性，但如果與定量措施一起一致應用，定性措施也可能有價值。

  • 即使是”模糊”的主題如倫理和安全也可以量化：

    	安全標準
    差	安全輸出
    好	在10,000次試驗中，被我們的內容過濾器標記為有毒的輸出少於0.1%。

  指標和測量方法示例

  定量指標:

  • 特定任務：F1分數、BLEU分數、困惑度
  • 通用：準確率、精確率、召回率
  • 操作：響應時間（毫秒）、正常運行時間（%）

  定量方法:

  • A/B測試：與基準模型或早期版本比較性能。
  • 用戶反饋：隱含措施如任務完成率。
  • 邊緣案例分析：無錯誤處理的邊緣案例百分比。

  定性量表:

  • 李克特量表：“從1（無意義）到5（完全合乎邏輯）評價連貫性”
  • 專家評分標準：語言學家根據定義的標準評價翻譯質量

• 可實現的：根據行業基準、先前實驗、AI研究或專家知識設定你的目標。你的成功指標不應超出當前前沿模型的能力範圍。

• 相關的：將你的標準與應用程序的目的和用戶需求保持一致。強大的引用準確性對醫療應用可能至關重要，但對於休閒聊天機器人則不那麼重要。

​

需要考慮的常見成功標準

以下是可能對你的用例重要的一些標準。這個列表並非詳盡無遺。

大多數用例將需要沿著幾個成功標準進行多維評估。

​

下一步