​

Memahami jendela konteks

“Jendela konteks” mengacu pada keseluruhan jumlah teks yang dapat dilihat kembali dan direferensikan oleh model bahasa ketika menghasilkan teks baru ditambah teks baru yang dihasilkannya. Ini berbeda dari korpus data besar yang digunakan untuk melatih model bahasa, dan sebaliknya mewakili “memori kerja” untuk model. Jendela konteks yang lebih besar memungkinkan model untuk memahami dan merespons prompt yang lebih kompleks dan panjang, sementara jendela konteks yang lebih kecil dapat membatasi kemampuan model untuk menangani prompt yang lebih panjang atau mempertahankan koherensi selama percakapan yang diperpanjang.

Diagram di bawah ini mengilustrasikan perilaku jendela konteks standar untuk permintaan API¹:

¹Untuk antarmuka chat, seperti untuk claude.ai, jendela konteks juga dapat diatur pada sistem bergulir “masuk pertama, keluar pertama”.

• Akumulasi token progresif: Saat percakapan berlanjut melalui giliran, setiap pesan pengguna dan respons asisten terakumulasi dalam jendela konteks. Giliran sebelumnya dipertahankan sepenuhnya.
• Pola pertumbuhan linear: Penggunaan konteks tumbuh secara linear dengan setiap giliran, dengan giliran sebelumnya dipertahankan sepenuhnya.
• Kapasitas 200K token: Total jendela konteks yang tersedia (200.000 token) mewakili kapasitas maksimum untuk menyimpan riwayat percakapan dan menghasilkan output baru dari Claude.
• Alur input-output: Setiap giliran terdiri dari:
  • Fase input: Berisi semua riwayat percakapan sebelumnya ditambah pesan pengguna saat ini
  • Fase output: Menghasilkan respons teks yang menjadi bagian dari input masa depan

​

Jendela konteks dengan extended thinking

Ketika menggunakan extended thinking, semua token input dan output, termasuk token yang digunakan untuk berpikir, dihitung terhadap batas jendela konteks, dengan beberapa nuansa dalam situasi multi-turn.

Token anggaran thinking adalah subset dari parameter max_tokens Anda, ditagih sebagai token output, dan dihitung terhadap batas rate.

Namun, blok thinking sebelumnya secara otomatis dihapus dari perhitungan jendela konteks oleh Anthropic API dan bukan bagian dari riwayat percakapan yang “dilihat” model untuk giliran selanjutnya, mempertahankan kapasitas token untuk konten percakapan aktual.

Diagram di bawah ini mendemonstrasikan manajemen token khusus ketika extended thinking diaktifkan:

• Menghapus extended thinking: Blok extended thinking (ditampilkan dalam abu-abu gelap) dihasilkan selama fase output setiap giliran, tetapi tidak dibawa ke depan sebagai token input untuk giliran selanjutnya. Anda tidak perlu menghapus blok thinking sendiri. Anthropic API secara otomatis melakukan ini untuk Anda jika Anda mengirimkannya kembali.
• Detail implementasi teknis:
  • API secara otomatis mengecualikan blok thinking dari giliran sebelumnya ketika Anda mengirimkannya kembali sebagai bagian dari riwayat percakapan.
  • Token extended thinking ditagih sebagai token output hanya sekali, selama generasinya.
  • Perhitungan jendela konteks efektif menjadi: context_window = (input_tokens - previous_thinking_tokens) + current_turn_tokens.
  • Token thinking mencakup blok thinking dan blok redacted_thinking.

Arsitektur ini efisien token dan memungkinkan penalaran ekstensif tanpa pemborosan token, karena blok thinking dapat memiliki panjang yang substansial.

​

Jendela konteks dengan extended thinking dan penggunaan tool

Diagram di bawah ini mengilustrasikan manajemen token jendela konteks ketika menggabungkan extended thinking dengan penggunaan tool:

• Pertimbangan untuk penggunaan tool dengan extended thinking:
  • Ketika memposting hasil tool, seluruh blok thinking yang tidak dimodifikasi yang menyertai permintaan tool spesifik tersebut (termasuk bagian signature/redacted) harus disertakan.
  • Perhitungan jendela konteks efektif untuk extended thinking dengan penggunaan tool menjadi: context_window = input_tokens + current_turn_tokens.
  • Sistem menggunakan tanda tangan kriptografis untuk memverifikasi keaslian blok thinking. Gagal mempertahankan blok thinking selama penggunaan tool dapat merusak kontinuitas penalaran Claude. Jadi, jika Anda memodifikasi blok thinking, API akan mengembalikan error.

​

Jendela konteks 1M token

Claude Sonnet 4 mendukung jendela konteks 1 juta token. Jendela konteks yang diperpanjang ini memungkinkan Anda untuk memproses dokumen yang jauh lebih besar, mempertahankan percakapan yang lebih panjang, dan bekerja dengan basis kode yang lebih ekstensif.

Untuk menggunakan jendela konteks 1M token, sertakan header beta context-1m-2025-08-07 dalam permintaan API Anda:

from anthropic import Anthropic

client = Anthropic()

response = client.beta.messages.create(
    model="claude-sonnet-4-20250514",
    max_tokens=1024,
    messages=[
        {"role": "user", "content": "Process this large document..."}
    ],
    betas=["context-1m-2025-08-07"]
)

Pertimbangan penting:

• Status beta: Ini adalah fitur beta yang dapat berubah. Fitur dan harga dapat dimodifikasi atau dihapus dalam rilis masa depan.
• Persyaratan tingkat penggunaan: Jendela konteks 1M token tersedia untuk organisasi di tingkat penggunaan 4 dan organisasi dengan batas rate kustom. Organisasi tingkat yang lebih rendah harus maju ke tingkat penggunaan 4 untuk mengakses fitur ini.
• Ketersediaan: Jendela konteks 1M token saat ini tersedia di Anthropic API dan Amazon Bedrock. Dukungan untuk Google Vertex AI akan menyusul.
• Harga: Permintaan yang melebihi 200K token secara otomatis dikenakan tarif premium (2x input, 1.5x output pricing). Lihat dokumentasi harga untuk detail.
• Batas rate: Permintaan konteks panjang memiliki batas rate khusus. Lihat dokumentasi batas rate untuk detail.
• Pertimbangan multimodal: Ketika memproses sejumlah besar gambar atau pdf, perhatikan bahwa file dapat bervariasi dalam penggunaan token. Ketika memasangkan prompt besar dengan sejumlah besar gambar, Anda mungkin mencapai batas ukuran permintaan.

​

Manajemen jendela konteks dengan model Claude yang lebih baru

Dalam model Claude yang lebih baru (dimulai dengan Claude Sonnet 3.7), jika jumlah token prompt dan token output melebihi jendela konteks model, sistem akan mengembalikan error validasi daripada secara diam-diam memotong konteks. Perubahan ini memberikan perilaku yang lebih dapat diprediksi tetapi memerlukan manajemen token yang lebih hati-hati.

Untuk merencanakan penggunaan token Anda dan memastikan Anda tetap dalam batas jendela konteks, Anda dapat menggunakan API penghitungan token untuk memperkirakan berapa banyak token yang akan digunakan pesan Anda sebelum mengirimkannya ke Claude.

Lihat tabel perbandingan model kami untuk daftar ukuran jendela konteks berdasarkan model.

​

Langkah selanjutnya