Agen yang memanggil model tiga puluh kali berturut-turut mengirim teks yang hampir sama sebanyak tiga puluh kali: definisi tool yang sama, instruksi yang sama, riwayat percakapan yang terus bertambah. Prompt caching membuat penyedia layanan tidak perlu memproses ulang bagian yang sudah pernah dilihat. Jika dipakai dengan benar, ini sering menjadi salah satu optimasi termurah. Jika asal pakai, dasbor Anda menampilkan "cache aktif" sementara sebagian besar token tetap ditagih penuh. Panduan ini menjelaskan cara kerja mekanismenya di berbagai penyedia, biayanya, dan hal-hal yang diam-diam merusaknya.
Catatan soal bukti: mekanisme penyedia di bawah ini bersumber dari dokumentasi resmi, sebagaimana diringkas dalam tinjauan riset 2026. Angka yang hanya berasal dari sumber sekunder seperti tutorial atau blog diberi label laporan komunitas. Harga dan ukuran minimum sering berubah, jadi periksa dokumentasi terbaru sebelum menyusun anggaran.
Prompt Caching dalam Angka
0,1x
pengali harga Anthropic yang didokumentasikan untuk membaca input dari cache, dibandingkan input biasa
1,25x
pengali yang didokumentasikan untuk menulis entri cache lima menit
27,8%
peluang minimum terjadinya satu hit berikutnya agar penulisan cache lima menit balik modal (hitungan dari pengali tersebut)
Prinsipnya: prefix yang persis sama, dicocokkan byte demi byte
Model bahasa memproses prompt dari token pertama hingga terakhir. Jika bagian awal permintaan baru identik dengan permintaan sebelumnya, penyedia dapat memakai ulang status internal yang sudah dihitung untuk bagian itu, tanpa menghitungnya lagi. Kata kuncinya adalah identik. Caching bekerja pada prefix, sehingga perubahan di bagian awal prompt membatalkan semua yang ada setelahnya.
Dokumentasi Anthropic menjelaskan pencocokan prefix yang persis dengan urutan pencarian tetap: tools lebih dulu, lalu system prompt, lalu pesan. Satu byte yang berubah sebelum titik cache membatalkan titik itu dan semua yang ada di bawahnya. Cache juga memiliki cakupan: model yang berbeda, dan di sebagian penyedia organisasi atau workspace yang berbeda, berarti cache terpisah meskipun byte-nya sama.
Inilah sebabnya urutan prompt penting. Letakkan yang tidak pernah berubah di bagian atas (definisi tool, instruksi tetap, materi referensi) dan yang berubah di setiap giliran di bagian bawah (pesan terbaru pengguna, tanggal saat ini, kutipan hasil pencarian).
Perbedaan Antarpenyedia
| Penyedia | Cara caching dipicu | Kontrol dan visibilitas |
|---|---|---|
| Anthropic | Breakpoint eksplisit (hingga empat) yang ditandai dalam permintaan | Masa berlaku default lima menit, opsi satu jam pada model yang didukung; usage melaporkan token pembuatan cache dan pembacaan cache secara terpisah |
| OpenAI | Otomatis untuk prompt yang cukup panjang; panduan terbaru mendokumentasikan panjang minimum, opsi retensi, dan perilaku cache-key yang berbeda menurut generasi model | `prompt_cache_key` dapat membantu routing atau pencatatan terpisah tetapi tidak menjamin hit; usage melaporkan token ter-cache |
| DeepSeek | Cache disk otomatis, upaya terbaik, dimulai dari token pertama dalam unit penyimpanan 64 token | Melaporkan jumlah token hit dan miss; tanpa breakpoint atau kontrol masa berlaku |
| Lainnya | Kimi mendokumentasikan implicit caching dengan opsi lima menit dan satu jam serta penagihan penulisan cache; Z.AI menampilkan usage token ter-cache dengan kontrol terbatas; Cloudflare mendokumentasikan caching prefix persis pada model tertentu dan header session-affinity | Bervariasi menurut penyedia |
Laporan komunitas menambahkan detail yang perlu Anda verifikasi sendiri, misalnya bahwa Gemini menawarkan implicit caching dan mode eksplisit dengan biaya penyimpanan per jam. Ukuran prompt minimum berbeda menurut penyedia dan model. Dokumentasi Anthropic mencantumkan batas minimum antara 512 hingga 4.096 token tergantung model, dan panduan OpenAI menyatakan batas minimumnya bervariasi menurut model dan pengaturan permintaan, sehingga prompt pendek bisa saja tidak pernah di-cache tanpa pesan kesalahan. Panduan OpenAI juga mendokumentasikan opsi retensi yang berbeda menurut generasi model, jadi baca halaman untuk model yang benar-benar Anda panggil.
Biayanya dan Kapan Layak Dipakai
Pengali yang didokumentasikan Anthropic umumnya 1,25 kali harga input normal untuk menulis entri lima menit, 2 kali untuk entri satu jam, dan 0,1 kali untuk membaca. Jadi menulis hanya menambah biaya kecil, sedangkan membaca memberi diskon besar. Titik impasnya mudah dihitung. Misalkan `a` adalah pengali tulis, `r` pengali baca, `N` jumlah permintaan berikutnya yang dapat memakai ulang entri, dan `p` peluang tiap permintaan benar-benar hit. Caching menguntungkan jika `N × p × (1 − r) > a − 1`.
Dengan angka lima menit, satu permintaan lanjutan hanya perlu peluang hit 27,8% agar biaya penulisan tertutup. Dengan angka satu jam, syaratnya menjadi `N × p > 1.11`, sehingga satu pemakaian ulang yang pasti terjadi belum cukup, sedangkan dua hit penuh sudah cukup. Ini hitungan berdasarkan pengali yang didokumentasikan, bukan jaminan penyedia, dan tidak memperhitungkan kualitas maupun latensi. Meski begitu, hitungan ini menjelaskan mengapa meng-cache prompt yang hanya dipakai sekali itu merugikan, sedangkan meng-cache prefix panjang yang dipakai bersama puluhan kali sangat menguntungkan.
Permintaan keep-alive yang melakukan ping ke cache agar tidak kedaluwarsa hanya layak jika biaya ping lebih murah daripada biaya prefix dingin yang dihindari. Cache otomatis berbasis upaya terbaik tidak boleh dianggap sebagai sewa yang bisa dipertahankan dengan ping.
Apa yang Merusak Cache Hit
Sebagian besar hit yang hilang berasal dari daftar kebiasaan yang pendek.
- Teks yang berubah-ubah di bagian atas. Stempel waktu, ID permintaan, atau catatan per pengguna di system prompt mengubah prefix di setiap panggilan. Sebuah laporan isu publik pada proyek agen open-source menggambarkan metadata yang berubah-ubah di system prompt menggagalkan caching Anthropic dan menaikkan biaya sekitar seratus kali lipat. - Definisi tool yang tidak stabil. Urutan kunci yang berubah dalam skema JSON, atau kumpulan tool yang berganti antargiliran, mengubah byte bahkan sebelum percakapan dimulai. - Menulis ulang riwayat. Meringkas atau mengedit giliran sebelumnya mengubah prefix. Menambahkan di akhir ramah terhadap cache; menulis ulang tidak. - Berpindah model atau akun. Masing-masing punya domain cache sendiri, sehingga fallback ke model lain dimulai dari nol meskipun teksnya identik. - Panggilan pertama paralel. Jika beberapa permintaan dengan prefix yang sama dikirim bersamaan, semuanya bisa miss karena belum ada yang selesai menulis entri. Panduan Anthropic adalah menunggu respons pertama sebelum menyebar ke banyak permintaan. - Menunggu terlalu lama. Entri yang kedaluwarsa di antara dua panggilan adalah penulisan tanpa pembacaan.
Manajemen konteks berkaitan dengan hal ini. Kompresi apa pun yang mengedit bagian tengah percakapan membatalkan cache dari titik itu ke bawah. Makalah ACON menyampaikan hal serupa: penulisnya menyatakan bahwa kompresi riwayat jarang menurunkan biaya setelah overhead cache dihitung, sedangkan penghematan datang dari kompresi output tool yang baru. Lihat tulisan pendamping tentang context rot dan kompresi output tool untuk pembahasan trade-off tersebut.
Prompt Caching Bukan Response Caching
Keduanya berbeda. Prompt caching memakai ulang hasil komputasi penyedia atas input yang berulang, dan tetap menghasilkan jawaban baru. Response caching, yang ditawarkan sebagian lapisan proxy, menyimpan jawaban sebelumnya dan memutarnya ulang untuk permintaan yang cocok. Dokumentasi salah satu proxy open-source yang banyak dipakai memperingatkan bahwa semantic response caching cocok untuk prompt sekali jalan dan sangat bermasalah pada lalu lintas agen, karena jawaban yang diputar ulang melewatkan tool baru, bukti baru, dan pemeriksaan kebijakan baru.
Ukur Hasilnya
Jangan menyimpulkan adanya hit dari sebuah pengaturan. Baca kolom usage yang dikembalikan setiap penyedia: token pembuatan cache, pembacaan cache, input tanpa cache, dan output. Ada dua jebakan penting. Hitungan gaya OpenAI memasukkan token ter-cache ke dalam total prompt, sehingga perlu pengurangan untuk mendapatkan porsi yang tidak ter-cache. Selain itu, respons streaming hanya mengembalikan usage di akhir, dan pada OpenAI hanya jika opsi stream untuk usage diaktifkan, sehingga stream yang terputus bisa membuat Anda tanpa angka sama sekali. Catat data yang hilang sebagai tidak diketahui, bukan nol.
Lalu lacak biaya per tugas yang berhasil, bukan hanya persentase token ter-cache. Hit rate yang tinggi bisa menyembunyikan beberapa panggilan dingin yang mahal, dan agen yang berputar tanpa perlu tetap mahal meskipun setiap putarannya ter-cache.
Pertanyaan yang Sering Diajukan
Panduan OpenAI menyatakan caching tidak mengubah cara token output dihasilkan, dan penyedia lain menggambarkannya sebagai pemakaian ulang pemrosesan input. Dampaknya ada pada biaya dan latensi. Permintaan yang identik tetap tidak dijamin menghasilkan output yang identik.
Ubah Target Iklim Jadi Portofolio Terverifikasi
TREEO menghubungkan seluruh siklus karbon — kelayakan, simulasi, pemantauan real-time, dan pelaporan siap registri — dengan memadukan konsultasi ahli dan teknologi dMRV agar bukti sudah tersedia sebelum ada yang memintanya.



