Glosarium

​

Jendela konteks

“Jendela konteks” mengacu pada jumlah teks yang dapat dilihat kembali dan dirujuk oleh model bahasa saat menghasilkan teks baru. Ini berbeda dari korpus data besar yang digunakan untuk melatih model bahasa, dan sebaliknya mewakili “memori kerja” untuk model. Jendela konteks yang lebih besar memungkinkan model untuk memahami dan merespons prompt yang lebih kompleks dan panjang, sementara jendela konteks yang lebih kecil dapat membatasi kemampuan model untuk menangani prompt yang lebih panjang atau mempertahankan koherensi selama percakapan yang diperpanjang.

Lihat tabel perbandingan model kami untuk daftar ukuran jendela konteks berdasarkan model.

​

Fine-tuning

Fine-tuning adalah proses pelatihan lebih lanjut model bahasa yang telah dilatih sebelumnya menggunakan data tambahan. Ini menyebabkan model mulai merepresentasikan dan meniru pola dan karakteristik dari dataset fine-tuning. Claude bukanlah model bahasa mentah; ia telah di-fine-tune untuk menjadi asisten yang membantu. API kami saat ini tidak menawarkan fine-tuning, tetapi silakan tanyakan kepada kontak Anthropic Anda jika Anda tertarik untuk menjelajahi opsi ini. Fine-tuning dapat berguna untuk mengadaptasi model bahasa ke domain, tugas, atau gaya penulisan tertentu, tetapi memerlukan pertimbangan yang cermat terhadap data fine-tuning dan dampak potensial pada kinerja dan bias model.

​

HHH

Tiga H ini mewakili tujuan Anthropic dalam memastikan bahwa Claude bermanfaat bagi masyarakat:

• AI yang helpful akan berusaha untuk melakukan tugas atau menjawab pertanyaan yang diajukan dengan sebaik-baiknya, memberikan informasi yang relevan dan berguna.
• AI yang honest akan memberikan informasi yang akurat, dan tidak berimajinasi atau mengada-ada. Ia akan mengakui keterbatasan dan ketidakpastiannya bila perlu.
• AI yang harmless tidak akan menyinggung atau diskriminatif, dan ketika diminta untuk membantu dalam tindakan berbahaya atau tidak etis, AI harus dengan sopan menolak dan menjelaskan mengapa ia tidak dapat mematuhinya.

​

Latensi

Latensi, dalam konteks AI generatif dan model bahasa besar, mengacu pada waktu yang dibutuhkan model untuk merespons prompt tertentu. Ini adalah penundaan antara mengirimkan prompt dan menerima output yang dihasilkan. Latensi yang lebih rendah menunjukkan waktu respons yang lebih cepat, yang sangat penting untuk aplikasi real-time, chatbot, dan pengalaman interaktif. Faktor-faktor yang dapat memengaruhi latensi termasuk ukuran model, kemampuan perangkat keras, kondisi jaringan, dan kompleksitas prompt serta respons yang dihasilkan.

​

LLM

Model bahasa besar (Large Language Models/LLM) adalah model bahasa AI dengan banyak parameter yang mampu melakukan berbagai tugas yang mengejutkan berguna. Model-model ini dilatih pada sejumlah besar data teks dan dapat menghasilkan teks seperti manusia, menjawab pertanyaan, meringkas informasi, dan banyak lagi. Claude adalah asisten percakapan berdasarkan model bahasa besar yang telah di-fine-tune dan dilatih menggunakan RLHF untuk menjadi lebih helpful, honest, dan harmless.

​

Pretraining

Pretraining adalah proses awal pelatihan model bahasa pada korpus teks yang besar dan tidak berlabel. Dalam kasus Claude, model bahasa autoregressive (seperti model dasar Claude) di-pretrain untuk memprediksi kata berikutnya, mengingat konteks teks sebelumnya dalam dokumen. Model yang telah di-pretrain ini tidak secara inheren baik dalam menjawab pertanyaan atau mengikuti instruksi, dan sering memerlukan keterampilan mendalam dalam rekayasa prompt untuk memunculkan perilaku yang diinginkan. Fine-tuning dan RLHF digunakan untuk menyempurnakan model yang telah di-pretrain ini, menjadikannya lebih berguna untuk berbagai tugas.

​

RAG (Retrieval augmented generation)

Retrieval augmented generation (RAG) adalah teknik yang menggabungkan pengambilan informasi dengan generasi model bahasa untuk meningkatkan akurasi dan relevansi teks yang dihasilkan, dan untuk lebih mendasarkan respons model pada bukti. Dalam RAG, model bahasa ditingkatkan dengan basis pengetahuan eksternal atau sekumpulan dokumen yang dimasukkan ke dalam jendela konteks. Data diambil pada saat runtime ketika kueri dikirim ke model, meskipun model itu sendiri tidak harus mengambil data (tetapi dapat dengan penggunaan alat dan fungsi pengambilan). Saat menghasilkan teks, informasi yang relevan terlebih dahulu harus diambil dari basis pengetahuan berdasarkan prompt input, dan kemudian diteruskan ke model bersama dengan kueri asli. Model menggunakan informasi ini untuk memandu output yang dihasilkannya. Ini memungkinkan model untuk mengakses dan memanfaatkan informasi di luar data pelatihannya, mengurangi ketergantungan pada hafalan dan meningkatkan akurasi faktual dari teks yang dihasilkan. RAG dapat sangat berguna untuk tugas-tugas yang memerlukan informasi terkini, pengetahuan spesifik domain, atau kutipan sumber secara eksplisit. Namun, efektivitas RAG bergantung pada kualitas dan relevansi basis pengetahuan eksternal dan pengetahuan yang diambil pada saat runtime.

​

RLHF

Reinforcement Learning from Human Feedback (RLHF) adalah teknik yang digunakan untuk melatih model bahasa yang telah di-pretrain agar berperilaku sesuai dengan preferensi manusia. Ini dapat mencakup membantu model mengikuti instruksi dengan lebih efektif atau bertindak lebih seperti chatbot. Umpan balik manusia terdiri dari peringkat satu set dua atau lebih teks contoh, dan proses reinforcement learning mendorong model untuk lebih menyukai output yang mirip dengan yang berperingkat lebih tinggi. Claude telah dilatih menggunakan RLHF untuk menjadi asisten yang lebih membantu. Untuk detail lebih lanjut, Anda dapat membaca makalah Anthropic tentang subjek ini.

​

Suhu

Suhu adalah parameter yang mengontrol keacakan prediksi model selama generasi teks. Suhu yang lebih tinggi menghasilkan output yang lebih kreatif dan beragam, memungkinkan beberapa variasi dalam pengungkapan dan, dalam kasus fiksi, variasi dalam jawaban juga. Suhu yang lebih rendah menghasilkan output yang lebih konservatif dan deterministik yang tetap menggunakan pengungkapan dan jawaban yang paling mungkin. Menyesuaikan suhu memungkinkan pengguna untuk mendorong model bahasa untuk menjelajahi pilihan dan urutan kata yang jarang, tidak umum, atau mengejutkan, daripada hanya memilih prediksi yang paling mungkin. Claude Slackbot menggunakan suhu non-nol saat menghasilkan respons, yang memungkinkan beberapa variasi dalam jawabannya sambil mempertahankan koherensi dan relevansi.

​

TTFT (Time to first token)

Time to First Token (TTFT) adalah metrik kinerja yang mengukur waktu yang dibutuhkan model bahasa untuk menghasilkan token pertama dari outputnya setelah menerima prompt. Ini adalah indikator penting dari responsivitas model dan sangat relevan untuk aplikasi interaktif, chatbot, dan sistem real-time di mana pengguna mengharapkan umpan balik awal yang cepat. TTFT yang lebih rendah menunjukkan bahwa model dapat mulai menghasilkan respons lebih cepat, memberikan pengalaman pengguna yang lebih mulus dan menarik. Faktor-faktor yang dapat memengaruhi TTFT termasuk ukuran model, kemampuan perangkat keras, kondisi jaringan, dan kompleksitas prompt.

​

Token

Token adalah unit individu terkecil dari model bahasa, dan dapat sesuai dengan kata, subkata, karakter, atau bahkan byte (dalam kasus Unicode). Untuk Claude, satu token kurang lebih mewakili 3,5 karakter bahasa Inggris, meskipun jumlah pastinya dapat bervariasi tergantung pada bahasa yang digunakan. Token biasanya tersembunyi saat berinteraksi dengan model bahasa pada tingkat “teks” tetapi menjadi relevan saat memeriksa input dan output persis dari model bahasa. Ketika Claude diberikan teks untuk dievaluasi, teks (yang terdiri dari serangkaian karakter) dikodekan menjadi serangkaian token untuk diproses oleh model. Token yang lebih besar memungkinkan efisiensi data selama inferensi dan pretraining (dan digunakan bila memungkinkan), sementara token yang lebih kecil memungkinkan model untuk menangani kata-kata yang tidak umum atau tidak pernah terlihat sebelumnya. Pilihan metode tokenisasi dapat memengaruhi kinerja model, ukuran kosakata, dan kemampuan untuk menangani kata-kata di luar kosakata.