Mengurangi latensi

​

Memahami latensi

Latensi, dalam konteks LLM seperti Claude, mengacu pada waktu yang dibutuhkan model untuk memproses input Anda (prompt) dan menghasilkan output (respons, juga dikenal sebagai “penyelesaian”). Latensi dapat dipengaruhi oleh berbagai faktor, seperti ukuran model, kompleksitas prompt, dan infrastruktur yang mendasari model dan titik interaksi.

Selalu lebih baik untuk terlebih dahulu merekayasa prompt yang bekerja dengan baik tanpa batasan model atau prompt, dan kemudian mencoba strategi pengurangan latensi setelahnya. Mencoba mengurangi latensi secara prematur mungkin mencegah Anda menemukan seperti apa kinerja puncak.

​

Mengukur latensi

Saat membahas latensi, Anda mungkin menemukan beberapa istilah dan pengukuran:

• Latensi dasar: Ini adalah waktu yang dibutuhkan model untuk memproses prompt dan menghasilkan respons, tanpa mempertimbangkan token input dan output per detik. Ini memberikan gambaran umum tentang kecepatan model.
• Waktu ke token pertama (TTFT): Metrik ini mengukur waktu yang dibutuhkan model untuk menghasilkan token pertama dari respons, sejak prompt dikirim. Ini sangat relevan ketika Anda menggunakan streaming (lebih lanjut tentang itu nanti) dan ingin memberikan pengalaman yang responsif kepada pengguna Anda.

Untuk pemahaman yang lebih mendalam tentang istilah-istilah ini, lihat glosarium kami.

​

Strategi untuk mengurangi latensi

Sekarang setelah Anda memiliki pemahaman yang lebih baik tentang latensi, mari kita membahas tiga strategi efektif untuk membantu Anda meminimalkannya dan membuat aplikasi yang didukung Claude lebih cepat dari sebelumnya.

​

1. Pilih model yang tepat

Salah satu cara paling mudah untuk mengurangi latensi adalah memilih model yang sesuai untuk kasus penggunaan Anda. Anthropic menawarkan berbagai model dengan kemampuan dan karakteristik kinerja yang berbeda:

• Claude 3 Haiku: Sebagai model tercepat kami, Haiku sangat ideal untuk aplikasi yang membutuhkan respons cepat dan dapat mentoleransi ukuran model yang sedikit lebih kecil.
• Claude 3 Sonnet: Menyeimbangkan antara kecepatan dan ukuran model, Sonnet menawarkan kinerja yang lebih baik daripada Haiku dengan tetap mempertahankan latensi yang relatif cepat.
• Claude 3 Opus: Sebagai model terbesar dan terkuat kami, Opus sangat cocok untuk tugas-tugas kompleks yang menuntut output dengan kualitas tertinggi. Namun, ia mungkin memiliki latensi yang lebih tinggi dibandingkan dengan Haiku dan Sonnet.

Pertimbangkan kebutuhan spesifik Anda dan pilih model yang paling sesuai dengan kebutuhan Anda dalam hal kecepatan dan kualitas output. Untuk detail lebih lanjut tentang metrik model, lihat halaman ikhtisar model kami.

​

2. Optimalkan panjang prompt dan output

Cara efektif lainnya untuk mengurangi latensi adalah meminimalkan jumlah token baik dalam prompt input maupun output yang diharapkan. Semakin sedikit token yang harus diproses dan dihasilkan model, semakin cepat responsnya.

Berikut beberapa tips untuk membantu Anda mengoptimalkan prompt dan output:

• Jelas tapi ringkas: Tujukan untuk menyampaikan maksud Anda dengan jelas dan ringkas dalam prompt. Hindari detail yang tidak perlu atau informasi yang berlebihan, sambil mengingat bahwa Claude tidak memiliki konteks pada kasus penggunaan Anda dan mungkin tidak membuat lompatan logika yang dimaksudkan jika instruksi tidak jelas.
• Minta respons yang lebih pendek: Minta Claude secara langsung untuk ringkas. Keluarga model Claude 3 memiliki kemampuan pengarahan yang lebih baik dibandingkan generasi sebelumnya. Jika Claude menghasilkan output yang terlalu panjang, minta Claude untuk mengurangi kecerewetannya.

  Catatan: Karena cara LLM menghitung token alih-alih kata, meminta jumlah kata yang tepat atau batas jumlah kata bukanlah strategi yang efektif dibandingkan dengan meminta batasan jumlah paragraf atau kalimat.

• Tetapkan batas output yang sesuai: Gunakan parameter max_tokens untuk menetapkan batas keras pada panjang maksimum respons yang dihasilkan. Ini mencegah Claude menghasilkan output yang terlalu panjang.

  Catatan: Ketika respons mencapai max_tokens token, respons akan dipotong, mungkin di tengah kalimat atau di tengah kata, jadi ini adalah teknik kasar yang mungkin memerlukan pemrosesan pasca dan biasanya paling sesuai untuk respons pilihan ganda atau jawaban singkat di mana jawaban muncul tepat di awal.

• Bereksperimen dengan temperature: Parameter temperature mengontrol keacakan output. Nilai yang lebih rendah (misalnya, 0,2) terkadang dapat menghasilkan respons yang lebih fokus dan lebih pendek, sementara nilai yang lebih tinggi (misalnya, 0,8) dapat menghasilkan output yang lebih beragam tetapi berpotensi lebih panjang.

Menemukan keseimbangan yang tepat antara kejelasan prompt, kualitas output, dan jumlah token mungkin memerlukan beberapa eksperimen, tetapi itu sangat berharga jika mencapai latensi optimal penting untuk kasus penggunaan Anda.

Untuk informasi lebih lanjut tentang parameter, kunjungi dokumentasi API kami.

​

3. Manfaatkan streaming

Streaming adalah fitur yang memungkinkan model untuk mulai mengirim kembali responsnya sebelum output lengkap selesai. Ini dapat secara signifikan meningkatkan responsivitas yang dirasakan dari aplikasi Anda, karena pengguna dapat melihat output model secara real-time.

Dengan streaming diaktifkan, Anda dapat memproses output model saat tiba, memperbarui antarmuka pengguna atau melakukan tugas lain secara paralel. Ini dapat sangat meningkatkan pengalaman pengguna dan membuat aplikasi Anda terasa lebih interaktif dan responsif.

Kunjungi streaming Messages untuk mempelajari tentang bagaimana Anda dapat mengimplementasikan streaming untuk kasus penggunaan Anda.

​

Membungkus

Mengurangi latensi dapat menjadi penting untuk membangun aplikasi yang responsif dan menarik dengan Claude, tergantung pada kasus penggunaan Anda. Dengan memilih model yang tepat, mengoptimalkan prompt dan output, serta memanfaatkan streaming, Anda dapat secara signifikan meningkatkan kecepatan dan kinerja keseluruhan proyek yang didukung Claude. Menemukan keseimbangan yang sempurna mungkin memerlukan beberapa uji coba, tetapi hasilnya sangat berharga.

Jika Anda memiliki pertanyaan lebih lanjut atau membutuhkan panduan tambahan, jangan ragu untuk menghubungi komunitas kami di server Discord atau tim dukungan pelanggan kami. Kami selalu siap membantu dan mendukung Anda dalam perjalanan Anda dengan Claude.

Selamat coding! Semoga aplikasi Anda secepat kekuatannya!