Rekayasa prompt
Kunjungi tutorial rekayasa prompt kami untuk mempelajari prompting melalui kursus interaktif.
Claude menawarkan performa dasar tingkat tinggi langsung dari awal. Namun, rekayasa prompt dapat membantu Anda meningkatkan performa lebih lanjut dan menyesuaikan respons agar lebih sesuai dengan kasus penggunaan spesifik Anda. Teknik-teknik ini tidak diperlukan untuk mencapai hasil yang baik dengan Claude, tetapi Anda mungkin merasa teknik-teknik ini berguna dalam meningkatkan input & output Anda.
Untuk memulai dengan cepat menggunakan prompt atau berkenalan dengan konsep prompting, lihat pengantar prompting.
Apa itu rekayasa prompt?
Rekayasa prompt adalah ilmu empiris yang melibatkan iterasi dan pengujian prompt untuk mengoptimalkan performa. Sebagian besar upaya yang dihabiskan dalam siklus rekayasa prompt sebenarnya bukan dalam menulis prompt. Sebaliknya, mayoritas waktu rekayasa prompt dihabiskan untuk mengembangkan serangkaian evaluasi yang kuat, diikuti dengan pengujian dan iterasi terhadap evaluasi tersebut.
Siklus pengembangan prompt
Kami merekomendasikan pendekatan pengembangan berbasis pengujian yang prinsipil untuk memastikan performa prompt yang optimal. Mari kita telusuri proses tingkat tinggi utama yang kami gunakan saat mengembangkan prompt untuk suatu tugas, seperti yang diilustrasikan dalam diagram yang menyertai.
- Tentukan tugas dan kriteria keberhasilan: Langkah pertama dan paling penting adalah dengan jelas mendefinisikan tugas spesifik yang ingin Anda lakukan dengan Claude. Ini bisa berupa apa saja mulai dari ekstraksi entitas, menjawab pertanyaan, atau meringkas teks hingga tugas yang lebih kompleks seperti pembuatan kode atau penulisan kreatif. Setelah Anda memiliki tugas yang terdefinisi dengan baik, tetapkan kriteria keberhasilan yang akan memandu proses evaluasi dan optimasi Anda.
Kriteria keberhasilan utama yang perlu dipertimbangkan meliputi:
- Performa dan akurasi: Seberapa baik model perlu berkinerja pada tugas tersebut?
- Latensi: Berapa waktu respons yang dapat diterima untuk model? Ini akan bergantung pada persyaratan waktu nyata aplikasi Anda dan ekspektasi pengguna.
- Harga: Berapa anggaran Anda untuk menjalankan model? Pertimbangkan faktor-faktor seperti biaya per panggilan API, ukuran model, dan frekuensi penggunaan. Memiliki kriteria keberhasilan yang jelas dan terukur sejak awal akan membantu Anda membuat keputusan yang tepat sepanjang proses adopsi dan memastikan bahwa Anda mengoptimalkan untuk tujuan yang tepat.
- Kembangkan kasus uji: Dengan tugas dan kriteria keberhasilan yang telah ditentukan, langkah selanjutnya adalah membuat serangkaian kasus uji yang beragam yang mencakup kasus penggunaan yang dimaksudkan untuk aplikasi Anda. Ini harus mencakup contoh khas dan kasus tepi untuk memastikan prompt Anda kuat. Memiliki kasus uji yang terdefinisi dengan baik di awal akan memungkinkan Anda untuk mengukur kinerja prompt Anda secara objektif terhadap kriteria keberhasilan Anda.
- Rekayasa prompt awal: Selanjutnya, buat prompt awal yang menguraikan definisi tugas, karakteristik respons yang baik, dan konteks yang diperlukan untuk Claude. Idealnya, Anda harus menambahkan beberapa contoh input dan output kanonik untuk diikuti oleh Claude. Prompt awal ini akan berfungsi sebagai titik awal untuk penyempurnaan.
- Uji prompt terhadap kasus uji: Masukkan kasus uji Anda ke Claude menggunakan prompt awal. Evaluasi dengan cermat respons model terhadap output yang diharapkan dan kriteria keberhasilan Anda. Gunakan rubrik penilaian yang konsisten, baik itu evaluasi manusia, perbandingan dengan kunci jawaban, atau bahkan penilaian Claude lain berdasarkan rubrik. Kuncinya adalah memiliki cara yang sistematis untuk menilai kinerja.
- Sempurnakan prompt: Berdasarkan hasil dari langkah 4, sempurnakan prompt Anda secara iteratif untuk meningkatkan kinerja pada kasus uji dan lebih memenuhi kriteria keberhasilan Anda. Ini mungkin melibatkan penambahan klarifikasi, contoh, atau batasan untuk memandu perilaku Claude. Berhati-hatilah untuk tidak terlalu mengoptimalkan untuk serangkaian input yang sempit, karena ini dapat menyebabkan overfitting dan generalisasi yang buruk.
- Kirim prompt yang telah dipoles: Setelah Anda tiba pada prompt yang berkinerja baik di seluruh kasus uji Anda dan memenuhi kriteria keberhasilan Anda, saatnya untuk menerapkannya dalam aplikasi Anda. Pantau kinerja model di lapangan dan bersiaplah untuk melakukan penyempurnaan lebih lanjut sesuai kebutuhan. Kasus tepi mungkin muncul yang tidak diantisipasi dalam set uji awal Anda.
Sepanjang proses ini, sebaiknya mulailah dengan model yang paling mampu dan panjang prompt yang tidak dibatasi untuk menetapkan batas atas kinerja. Setelah Anda mencapai kualitas output yang diinginkan, Anda kemudian dapat bereksperimen dengan optimasi seperti prompt yang lebih pendek atau model yang lebih kecil untuk mengurangi latensi dan biaya sesuai kebutuhan.
Dengan mengikuti metodologi berbasis pengujian ini dan dengan cermat mendefinisikan tugas dan kriteria keberhasilan Anda di awal, Anda akan berada di jalur yang tepat untuk memanfaatkan kekuatan Claude untuk kasus penggunaan spesifik Anda. Jika Anda menginvestasikan waktu dalam merancang kasus uji dan prompt yang kuat, Anda akan menuai manfaatnya dalam hal kinerja model dan kemampuan pemeliharaan.
Teknik rekayasa prompt
Sepanjang siklus pengembangan prompt Anda, ada beberapa teknik yang dapat Anda gunakan untuk meningkatkan kinerja Claude, seperti:
- Jelas & langsung: Berikan instruksi yang jelas dan konteks untuk memandu respons Claude
- Gunakan contoh: Sertakan contoh dalam prompt Anda untuk menggambarkan format atau gaya output yang diinginkan
- Beri Claude peran: Persiapkan Claude untuk menempati peran tertentu (seperti peran ahli) untuk meningkatkan kinerja untuk kasus penggunaan Anda
- Gunakan tag XML: Sertakan tag XML untuk menyusun prompt dan respons untuk kejelasan yang lebih baik
- Rantai prompt: Bagi tugas kompleks menjadi langkah-langkah yang lebih kecil dan dapat dikelola untuk hasil yang lebih baik
- Biarkan Claude berpikir: Dorong pemikiran langkah demi langkah untuk meningkatkan kualitas output Claude
- Pra-isi respons Claude: Mulailah respons Claude dengan beberapa kata untuk memandu outputnya ke arah yang diinginkan
- Kontrol format output: Tentukan format output yang diinginkan untuk memastikan konsistensi dan keterbacaan
- Minta Claude untuk menulis ulang: Minta revisi berdasarkan rubrik agar Claude melakukan iterasi dan meningkatkan outputnya
- Tips jendela konteks panjang: Optimalkan prompt yang memanfaatkan jendela konteks Claude yang lebih panjang
Kami juga menyediakan metaprompt pembantu eksperimental yang meminta Claude untuk membuat prompt untuk Anda berdasarkan pedoman yang Anda berikan. Metaprompt bersifat eksperimental, tetapi mungkin berguna untuk menyusun prompt awal atau dengan cepat membuat banyak variasi prompt untuk pengujian.
Catatan: Model yang lebih lama dari keluarga Claude 3 mungkin memerlukan lebih banyak rekayasa prompt. Untuk informasi lebih lanjut, lihat panduan model lama kami.
Sumber Daya Tambahan
Untuk mempelajari lebih lanjut tentang rekayasa prompt, lihat sumber daya berikut:
- Buku resep Anthropic: Sekumpulan resep dalam bentuk notebook Jupyter yang menampilkan kode yang dapat disalin yang menunjukkan cara menggunakan Claude dalam berbagai cara yang menarik dan efektif dalam skenario yang lebih canggih, seperti mengunggah PDF, penggunaan alat dan pemanggilan fungsi, embedding, dan banyak lagi
- Tutorial interaktif rekayasa prompt: Tutorial langkah demi langkah yang praktis untuk memudahkan mempelajari strategi prompting yang efektif (memerlukan kunci API)
- Juga tersedia kunci jawaban jika Anda ingin melihat contoh solusi.
- Perpustakaan prompt: Kumpulan prompt yang telah ditulis sebelumnya untuk tugas umum, menyenangkan, dan bermanfaat untuk berbagai kasus penggunaan pribadi dan profesional
- SDK Klien: seperangkat alat untuk memudahkan Anda membangun dan mengintegrasikan Claude ke dalam aplikasi Anda
Selamat prompting!