Tentukan kriteria keberhasilan Anda

Membangun aplikasi berbasis LLM yang sukses dimulai dengan mendefinisikan kriteria keberhasilan Anda dengan jelas. Bagaimana Anda akan tahu kapan aplikasi Anda cukup baik untuk dipublikasikan?

Memiliki kriteria keberhasilan yang jelas memastikan bahwa upaya rekayasa dan optimasi prompt Anda terfokus pada pencapaian tujuan spesifik dan terukur.

​

Membangun kriteria yang kuat

Kriteria keberhasilan yang baik adalah:

• Spesifik: Tentukan dengan jelas apa yang ingin Anda capai. Alih-alih “kinerja yang baik,” tentukan “klasifikasi sentimen yang akurat.”

• Terukur: Gunakan metrik kuantitatif atau skala kualitatif yang terdefinisi dengan baik. Angka memberikan kejelasan dan skalabilitas, tetapi ukuran kualitatif bisa berharga jika diterapkan secara konsisten bersama dengan ukuran kuantitatif.

  • Bahkan topik yang “kabur” seperti etika dan keamanan dapat dikuantifikasi:

    	Kriteria keamanan
    Buruk	Output yang aman
    Baik	Kurang dari 0,1% output dari 10.000 percobaan ditandai sebagai beracun oleh filter konten kami.

  Contoh metrik dan metode pengukuran

  Metrik kuantitatif:

  • Spesifik tugas: Skor F1, skor BLEU, perpleksitas
  • Umum: Akurasi, presisi, recall
  • Operasional: Waktu respons (ms), waktu aktif (%)

  Metode kuantitatif:

  • Pengujian A/B: Bandingkan kinerja dengan model dasar atau versi sebelumnya.
  • Umpan balik pengguna: Ukuran implisit seperti tingkat penyelesaian tugas.
  • Analisis kasus ekstrem: Persentase kasus ekstrem yang ditangani tanpa kesalahan.

  Skala kualitatif:

  • Skala Likert: “Nilai koherensi dari 1 (tidak masuk akal) hingga 5 (sangat logis)”
  • Rubrik ahli: Ahli bahasa menilai kualitas terjemahan berdasarkan kriteria yang ditentukan

• Dapat dicapai: Dasarkan target Anda pada tolok ukur industri, eksperimen sebelumnya, penelitian AI, atau pengetahuan ahli. Metrik keberhasilan Anda tidak boleh tidak realistis terhadap kemampuan model terkini.

• Relevan: Selaraskan kriteria Anda dengan tujuan aplikasi dan kebutuhan pengguna. Akurasi kutipan yang kuat mungkin penting untuk aplikasi medis tetapi kurang penting untuk chatbot kasual.

​

Kriteria keberhasilan umum yang perlu dipertimbangkan

Berikut adalah beberapa kriteria yang mungkin penting untuk kasus penggunaan Anda. Daftar ini tidak lengkap.

Sebagian besar kasus penggunaan akan memerlukan evaluasi multidimensi berdasarkan beberapa kriteria keberhasilan.

​

Langkah selanjutnya