​
Memahami jendela konteks

“Jendela konteks” mengacu pada keseluruhan jumlah teks yang dapat dilihat kembali dan dirujuk oleh model bahasa saat menghasilkan teks baru ditambah teks baru yang dihasilkannya. Ini berbeda dari korpus data besar yang digunakan untuk melatih model bahasa, dan lebih mewakili “memori kerja” untuk model. Jendela konteks yang lebih besar memungkinkan model untuk memahami dan merespons prompt yang lebih kompleks dan panjang, sementara jendela konteks yang lebih kecil dapat membatasi kemampuan model untuk menangani prompt yang lebih panjang atau mempertahankan koherensi selama percakapan yang panjang.

Diagram di bawah ini mengilustrasikan perilaku jendela konteks standar untuk permintaan API1:

1Untuk antarmuka chat, seperti untuk claude.ai, jendela konteks juga dapat diatur pada sistem “masuk pertama, keluar pertama” yang bergulir.

  • Akumulasi token progresif: Saat percakapan berlanjut melalui giliran, setiap pesan pengguna dan respons asisten terakumulasi dalam jendela konteks. Giliran sebelumnya dipertahankan sepenuhnya.
  • Pola pertumbuhan linear: Penggunaan konteks tumbuh secara linear dengan setiap giliran, dengan giliran sebelumnya dipertahankan sepenuhnya.
  • Kapasitas 200K token: Total jendela konteks yang tersedia (200.000 token) mewakili kapasitas maksimum untuk menyimpan riwayat percakapan dan menghasilkan output baru dari Claude.
  • Aliran input-output: Setiap giliran terdiri dari:
    • Fase input: Berisi semua riwayat percakapan sebelumnya ditambah pesan pengguna saat ini
    • Fase output: Menghasilkan respons teks yang menjadi bagian dari input di masa mendatang

​
Jendela konteks dengan pemikiran diperpanjang

Saat menggunakan pemikiran diperpanjang, semua token input dan output, termasuk token yang digunakan untuk pemikiran, dihitung terhadap batas jendela konteks, dengan beberapa nuansa dalam situasi multi-giliran.

Token anggaran pemikiran adalah subset dari parameter max_tokens Anda, ditagih sebagai token output, dan dihitung terhadap batas tarif.

Namun, blok pemikiran sebelumnya secara otomatis dihapus dari perhitungan jendela konteks oleh API Anthropic dan bukan bagian dari riwayat percakapan yang “dilihat” model untuk giliran berikutnya, menjaga kapasitas token untuk konten percakapan yang sebenarnya.

Diagram di bawah ini menunjukkan manajemen token khusus ketika pemikiran diperpanjang diaktifkan:

  • Menghapus pemikiran diperpanjang: Blok pemikiran diperpanjang (ditunjukkan dalam warna abu-abu gelap) dihasilkan selama fase output setiap giliran, tetapi tidak dibawa ke depan sebagai token input untuk giliran berikutnya. Anda tidak perlu menghapus blok pemikiran sendiri. API Anthropic secara otomatis melakukan ini untuk Anda jika Anda mengembalikannya.
  • Detail implementasi teknis:
    • API secara otomatis mengecualikan blok pemikiran dari giliran sebelumnya ketika Anda mengembalikannya sebagai bagian dari riwayat percakapan.
    • Token pemikiran diperpanjang ditagih sebagai token output hanya sekali, selama pembuatannya.
    • Perhitungan jendela konteks efektif menjadi: jendela_konteks = (token_input - token_pemikiran_sebelumnya) + token_giliran_saat_ini.
    • Token pemikiran mencakup blok thinking dan blok redacted_thinking.

Arsitektur ini efisien dalam penggunaan token dan memungkinkan penalaran ekstensif tanpa pemborosan token, karena blok pemikiran dapat memiliki panjang yang substansial.

Anda dapat membaca lebih lanjut tentang jendela konteks dan pemikiran diperpanjang dalam panduan pemikiran diperpanjang kami.

​
Jendela konteks dengan pemikiran diperpanjang dan penggunaan alat

Diagram di bawah ini mengilustrasikan manajemen token jendela konteks saat menggabungkan pemikiran diperpanjang dengan penggunaan alat:

1

Arsitektur giliran pertama

  • Komponen input: Konfigurasi alat dan pesan pengguna
  • Komponen output: Pemikiran diperpanjang + respons teks + permintaan penggunaan alat
  • Perhitungan token: Semua komponen input dan output dihitung terhadap jendela konteks, dan semua komponen output ditagih sebagai token output.
2

Penanganan hasil alat (giliran 2)

  • Komponen input: Setiap blok di giliran pertama serta tool_result. Blok pemikiran diperpanjang harus dikembalikan dengan hasil alat yang sesuai. Ini adalah satu-satunya kasus di mana Anda harus mengembalikan blok pemikiran.
  • Komponen output: Setelah hasil alat diteruskan kembali ke Claude, Claude akan merespons hanya dengan teks (tanpa pemikiran diperpanjang tambahan sampai pesan user berikutnya).
  • Perhitungan token: Semua komponen input dan output dihitung terhadap jendela konteks, dan semua komponen output ditagih sebagai token output.
3

Langkah Ketiga

  • Komponen input: Semua input dan output dari giliran sebelumnya dibawa ke depan dengan pengecualian blok pemikiran, yang dapat dihilangkan sekarang setelah Claude menyelesaikan seluruh siklus penggunaan alat. API akan secara otomatis menghapus blok pemikiran untuk Anda jika Anda mengembalikannya, atau Anda bebas untuk menghapusnya sendiri pada tahap ini. Di sinilah Anda akan menambahkan giliran User berikutnya.
  • Komponen output: Karena ada giliran User baru di luar siklus penggunaan alat, Claude akan menghasilkan blok pemikiran diperpanjang baru dan melanjutkan dari sana.
  • Perhitungan token: Token pemikiran sebelumnya secara otomatis dihapus dari perhitungan jendela konteks. Semua blok sebelumnya lainnya masih dihitung sebagai bagian dari jendela token, dan blok pemikiran dalam giliran Assistant saat ini dihitung sebagai bagian dari jendela konteks.
  • Pertimbangan untuk penggunaan alat dengan pemikiran diperpanjang:
    • Saat memposting hasil alat, seluruh blok pemikiran yang tidak dimodifikasi yang menyertai permintaan alat tertentu (termasuk bagian tanda tangan/diredaksi) harus disertakan.
    • Perhitungan jendela konteks efektif untuk pemikiran diperpanjang dengan penggunaan alat menjadi: jendela_konteks = token_input + token_giliran_saat_ini.
    • Sistem menggunakan tanda tangan kriptografis untuk memverifikasi keaslian blok pemikiran. Kegagalan untuk mempertahankan blok pemikiran selama penggunaan alat dapat merusak kontinuitas penalaran Claude. Dengan demikian, jika Anda memodifikasi blok pemikiran, API akan mengembalikan error.

Model Claude 4 mendukung pemikiran yang diselingi, yang memungkinkan Claude untuk berpikir di antara panggilan alat dan membuat penalaran yang lebih canggih setelah menerima hasil alat.

Claude Sonnet 3.7 tidak mendukung pemikiran yang diselingi, sehingga tidak ada penyelingan pemikiran diperpanjang dan panggilan alat tanpa giliran pengguna non-tool_result di antaranya.

Untuk informasi lebih lanjut tentang penggunaan alat dengan pemikiran diperpanjang, lihat panduan pemikiran diperpanjang kami.

​
Manajemen jendela konteks dengan model Claude yang lebih baru

Dalam model Claude yang lebih baru (dimulai dengan Claude Sonnet 3.7), jika jumlah token prompt dan token output melebihi jendela konteks model, sistem akan mengembalikan error validasi daripada diam-diam memotong konteks. Perubahan ini memberikan perilaku yang lebih dapat diprediksi tetapi memerlukan manajemen token yang lebih hati-hati.

Untuk merencanakan penggunaan token Anda dan memastikan Anda tetap dalam batas jendela konteks, Anda dapat menggunakan API penghitungan token untuk memperkirakan berapa banyak token yang akan digunakan oleh pesan Anda sebelum mengirimkannya ke Claude.

Lihat tabel perbandingan model kami untuk daftar ukuran jendela konteks berdasarkan model.

​
Langkah selanjutnya

Tabel perbandingan model

Lihat tabel perbandingan model kami untuk daftar ukuran jendela konteks dan harga token input / output berdasarkan model.

Ikhtisar pemikiran diperpanjang

Pelajari lebih lanjut tentang cara kerja pemikiran diperpanjang dan cara mengimplementasikannya bersama fitur lain seperti penggunaan alat dan caching prompt.