Menggunakan Alat Evaluasi
Anthropic Console memiliki alat Evaluasi yang memungkinkan Anda menguji prompt Anda dalam berbagai skenario.
Mengakses Fitur Evaluasi
Untuk memulai dengan alat Evaluasi:
- Buka Anthropic Console dan navigasikan ke editor prompt.
- Setelah menyusun prompt Anda, cari tab ‘Evaluate’ di bagian atas layar.
Pastikan prompt Anda menyertakan setidaknya 1-2 variabel dinamis menggunakan sintaks kurung ganda: {{variable}}. Ini diperlukan untuk membuat set uji evaluasi.
Menghasilkan Prompt
Console menawarkan pembuat prompt bawaan yang ditenagai oleh Claude 3.5 Sonnet:
Klik 'Generate Prompt'
Mengklik alat bantu ‘Generate Prompt’ akan membuka modal yang memungkinkan Anda memasukkan informasi tugas Anda.
Jelaskan tugas Anda
Jelaskan tugas yang Anda inginkan (misalnya, “Memilah permintaan dukungan pelanggan yang masuk”) dengan detail sebanyak atau sesedikit yang Anda inginkan. Semakin banyak konteks yang Anda sertakan, semakin baik Claude dapat menyesuaikan prompt yang dihasilkan dengan kebutuhan spesifik Anda.
Hasilkan prompt Anda
Mengklik tombol oranye ‘Generate Prompt’ di bagian bawah akan membuat Claude menghasilkan prompt berkualitas tinggi untuk Anda. Anda kemudian dapat meningkatkan prompt tersebut menggunakan layar Evaluasi di Console.
Fitur ini memudahkan pembuatan prompt dengan sintaks variabel yang sesuai untuk evaluasi.
Membuat Kasus Uji
Ketika Anda mengakses layar Evaluasi, Anda memiliki beberapa pilihan untuk membuat kasus uji:
- Klik tombol ’+ Add Row’ di kiri bawah untuk menambahkan kasus secara manual.
- Gunakan fitur ‘Generate Test Case’ agar Claude secara otomatis menghasilkan kasus uji untuk Anda.
- Impor kasus uji dari file CSV.
Untuk menggunakan fitur ‘Generate Test Case’:
Klik pada 'Generate Test Case'
Claude akan menghasilkan kasus uji untuk Anda, satu baris setiap kali Anda mengklik tombol.
Edit logika pembuatan (opsional)
Anda juga dapat mengedit logika pembuatan kasus uji dengan mengklik panah dropdown di sebelah kanan tombol ‘Generate Test Case’, kemudian klik ‘Show generation logic’ di bagian atas jendela Variabel yang muncul. Anda mungkin perlu mengklik ‘Generate’ di kanan atas jendela ini untuk mengisi logika pembuatan awal.
Mengedit ini memungkinkan Anda untuk menyesuaikan dan menyempurnakan kasus uji yang dihasilkan Claude dengan presisi dan spesifisitas yang lebih besar.
Berikut contoh layar Evaluasi yang telah diisi dengan beberapa kasus uji:
Jika Anda memperbarui teks prompt asli, Anda dapat menjalankan kembali seluruh rangkaian evaluasi terhadap prompt baru untuk melihat bagaimana perubahan mempengaruhi kinerja di semua kasus uji.
Tips untuk Evaluasi Efektif
Gunakan alat bantu ‘Generate a prompt’ di Console untuk dengan cepat membuat prompt dengan sintaks variabel yang sesuai untuk evaluasi.
Memahami dan membandingkan hasil
Alat Evaluasi menawarkan beberapa fitur untuk membantu Anda menyempurnakan prompt Anda:
- Perbandingan berdampingan: Bandingkan output dari dua atau lebih prompt untuk dengan cepat melihat dampak perubahan Anda.
- Penilaian kualitas: Nilai kualitas respons pada skala 5 poin untuk melacak peningkatan kualitas respons per prompt.
- Versi prompt: Buat versi baru dari prompt Anda dan jalankan kembali rangkaian pengujian untuk dengan cepat melakukan iterasi dan meningkatkan hasil.
Dengan meninjau hasil di seluruh kasus uji dan membandingkan versi prompt yang berbeda, Anda dapat melihat pola dan membuat penyesuaian yang tepat pada prompt Anda dengan lebih efisien.
Mulai evaluasi prompt Anda hari ini untuk membangun aplikasi AI yang lebih kuat dengan Claude!
Was this page helpful?