定義你的成功標準

建立成功的 LLM 應用程式始於明確定義你的成功標準。你如何知道你的應用程式已經足夠好可以發布？

擁有明確的成功標準可確保你的提示工程和優化工作都專注於實現具體、可衡量的目標。

​

建立有力的標準

好的成功標準應該是：

• 具體的：清楚定義你想要達成的目標。不要只說「良好表現」，而要具體指出「準確的情緒分類」。

• 可衡量的：使用量化指標或明確定義的質化量表。數字能提供清晰度和可擴展性，但如果與量化指標一起使用，質化指標也可以很有價值。

  • 即使是「模糊」的主題如倫理和安全也可以量化：

    	安全標準
    差	安全的輸出
    好	在10,000次測試中，被我們的內容過濾器標記為有害的輸出少於0.1%。

  指標和測量方法範例

  量化指標：

  • 特定任務：F1分數、BLEU分數、困惑度
  • 通用：準確率、精確率、召回率
  • 操作：回應時間（毫秒）、運行時間（%）

  量化方法：

  • A/B測試：與基準模型或早期版本比較性能
  • 用戶反饋：如任務完成率等隱性指標
  • 邊緣案例分析：無錯誤處理邊緣案例的百分比

  質化量表：

  • 李克特量表：「從1（無意義）到5（完全合理）評分連貫性」
  • 專家評分表：語言學家根據定義的標準評估翻譯品質

• 可實現的：根據行業基準、先前實驗、AI研究或專家知識設定目標。你的成功指標不應超出當前前沿模型的能力範圍。

• 相關的：將你的標準與應用程式的目的和用戶需求保持一致。對醫療應用來說，引用準確性可能至關重要，但對休閒聊天機器人來說就不那麼重要。

​

需要考慮的常見成功標準

以下是可能對你的使用案例重要的一些標準。這份清單並非詳盡無遺。

大多數使用案例都需要沿著多個成功標準進行多維度評估。

​

下一步