blog/prompt-injection-architecture-not-filters-dual-llm-camel-hero
← Back to blog

Prompt Injection Tak Bisa Difilter: Solusinya Arsitektur

Teknologi•18 November 2026•TREEO Indonesia•4 min read

Setiap beberapa bulan, muncul filter baru yang menjanjikan penghentian prompt injection. Tidak ada satu pun yang menuntaskan masalah ini karena alasan struktural. Setelah memahaminya, pertahanan yang berguna akan terlihat berbeda. Panduan ini menjelaskan alasannya, lalu membahas hasil yang dilaporkan pertahanan yang sudah dipublikasikan, biayanya, dan di mana penegakan aturan seharusnya berada.

Prompt injection dalam angka

satu

urutan token memuat prompt sistem, permintaan pengguna, halaman yang diambil, dan output tool sekaligus

lebih dari 90%

tingkat keberhasilan serangan yang dilaporkan terhadap 12 pertahanan yang telah dipublikasikan ketika penyerang menyesuaikan diri, menurut sebuah blog survei 2026

77% vs 84%

tingkat keberhasilan tugas AgentDojo yang dilaporkan untuk CaMeL dibandingkan baseline tanpa pertahanan

97%

tingkat keberhasilan serangan black-box PoisonedRAG yang dilaporkan pada satu dataset tanya jawab

Mengapa filter saja tidak cukup

Model bahasa membaca satu aliran token. Prompt sistem, permintaan pengguna, halaman web yang diambil agen, dan output sebuah tool digabung menjadi satu, dan model tidak punya batas tegas yang menandai mana yang instruksi dan mana yang data. Seperti dikatakan salah satu sumber, model tidak peduli siapa yang menulis instruksi tersebut. Itulah akar indirect prompt injection: penyerang tidak pernah berbicara langsung dengan sistem, tetapi menyisipkan teks di dokumen, email, halaman web, atau deskripsi tool yang kemudian dibaca agen.

Sebuah blog survei 2026 (belum melalui tinjauan sejawat) melaporkan bahwa OpenAI, Anthropic, dan Google DeepMind mengakui pada 2025 bahwa prompt injection tidak dapat diselesaikan sepenuhnya dalam arsitektur model saat ini. Atribusi ini bersumber dari pihak kedua, jadi anggap sebagai informasi yang dilaporkan, bukan kutipan. Konsekuensinya mudah dinyatakan: pertahanan apa pun yang ditulis sebagai instruksi prompt dapat ditimpa oleh saluran yang sama dengan yang hendak dilindunginya.

Besarnya kerusakan bergantung pada apa yang bisa dilakukan agen. "Lethal trifecta" dari Simon Willison menyebut kombinasi berbahaya: akses ke data pribadi, paparan terhadap konten tidak tepercaya, dan kemampuan berkomunikasi ke luar. Serangannya bukan sekadar teori. Peneliti menjelaskan EchoLeak (CVE-2025-32711, CVSS 9,3), jalur pencurian data tanpa klik di Microsoft 365 Copilot yang bekerja melalui rendering gambar Markdown.

Apa yang dilaporkan pertahanan-pertahanan ini

PertahananGagasanHasil yang dilaporkanKeterbatasan yang dilaporkan
Spotlighting (Microsoft Research, 2024)Tandai teks tidak tepercaya dengan pembatas, datamarking, atau encoding agar model tahu bahwa itu dataDalam eksperimen Microsoft, keberhasilan serangan turun dari lebih dari 50% menjadi di bawah 2%Hanya dorongan probabilistik; kompetisi red-teaming oleh manusia berhasil menjebolnya
Penyaringan dengan classifier, misalnya LlamaFirewall dari Meta (April 2025)Classifier kecil, ditambah auditor penalaran, memeriksa input dan tindakanPada rangkaian uji Meta, satu classifier menurunkan keberhasilan dari 17,6% ke 7,5%; auditor mencapai 2,9%; gabungan 1,75%Sisa 1,75% tetap menjadi risiko untuk tindakan berisiko tinggi; classifier dapat melewatkan pemanggilan tool yang tampak wajar
Pola Dual-LLM (Willison, April 2023)Model berhak istimewa yang memegang tool tidak pernah membaca teks tidak tepercaya; model terkarantina membacanya tanpa toolMenutup sebagian besar jalur pencurian dataModel terkarantina masih bisa dimanipulasi sehingga mengembalikan nilai yang salah
CaMeL (Google, DeepMind, dan ETH Zurich, Maret 2025)Kompilasi permintaan pengguna menjadi program; data tidak tepercaya tidak dapat mengubah alur kontrol; kebijakan diperiksa pada pemanggilan tool77% tugas AgentDojo terselesaikan dibandingkan 84% tanpa pertahananSeseorang harus menulis dan memelihara kebijakan; permintaan persetujuan menyebabkan kelelahan pengguna

Baca tabel dengan mempertimbangkan catatan keterbatasan dari sumbernya sendiri. Angka spotlighting berasal dari eksperimen Microsoft sendiri, dan tidak ada sumber yang menunjukkan metode ini tetap bertahan terhadap penyerang yang beradaptasi. Angka classifier berasal dari evaluasi vendor sendiri. Penulis CaMeL mengklaim sifat keamanan yang dapat dibuktikan, sementara penilaian Willison adalah bahwa prompt injection belum sepenuhnya terselesaikan bahkan dengan CaMeL. Pendekatan classifier juga membawa biaya pada kegunaan: penulis salah satu makalah 2026 melaporkan bahwa classifier injeksi hasil pelatihan cukup merugikan kinerja pada tugas yang tidak berbahaya.

Injeksi tanpa instruksi: PoisonedRAG

Filter yang disetel untuk mendeteksi teks mirip instruksi punya titik buta kedua. PoisonedRAG, makalah USENIX Security 2025, memakai pengetahuan berbahaya, bukan instruksi: serangan ini menanamkan bagian teks yang membuat retriever menampilkan fakta palsu, lalu membiarkan model menjawab berdasarkan fakta tersebut. Penulisnya berpendapat bahwa injeksi gaya instruksi yang diperluas ke retrieval mengabaikan retriever dan kurang tersembunyi, karena instruksi semacam itu dapat dideteksi dengan tingkat true-positive yang tinggi. Tingkat keberhasilan serangan yang mereka laporkan, dari tabel makalah:

DatasetPrompt injectionPoisonedRAG (black box)
Natural Questions0.620.97
HotpotQA0.930.99
MS MARCO0.710.91

Implikasinya, pertahanan yang bergantung pada string "mirip instruksi" tidak bisa melihat fakta yang diracuni. Kepercayaan pada sumber retrieval dan integritas indeks adalah kontrol tersendiri. Logika yang sama berlaku untuk memori yang tersimpan, yang dibahas di peracunan memori agen.

Mengapa angka benchmark statis menyesatkan

Blog survei yang sama, yang melaporkan serangan adaptif menembus seluruh 12 pertahanan yang dipublikasikan dengan keberhasilan di atas 90%, juga mengutip MELON, sebuah pertahanan, dengan keberhasilan serangan 0,32% pada AgentDojo. Kedua angka ini berasal dari pengaturan yang berbeda, yang satu hasil benchmark dan yang lain hasil serangan adaptif, sehingga tidak bisa dibaca sebagai peringkat. Angka rendah pada benchmark statis hanya sedikit menjelaskan ketahanan terhadap serangan adaptif, dan blog survei tersebut mencatat bahwa setidaknya satu makalah guardrail sama sekali tidak menguji serangan adaptif. Pertanyaan yang jujur untuk setiap pertahanan bukanlah "berapa skornya", melainkan "apakah pertahanan ini pernah diserang oleh pihak yang secara khusus berusaha mengalahkannya".

Tegakkan kebijakan di tempat yang tidak bisa dibantah model

Jika deteksi pasti akan selalu bocor, biaya sebuah serangan yang lolos ditentukan oleh apa yang boleh dilakukan agen. Sumber-sumber yang ada mengarah pada kontrol yang berada di luar model:

- Keputusan kebijakan di engine terpisah. Open Policy Agent menjelaskan antarmuka evaluasi untuk meminta keputusan kebijakan yang memisahkannya dari aplikasi. Sebuah tutorial pihak ketiga menunjukkan polanya untuk agen: cegat pemanggilan tool sebelum efek samping terjadi, kirim nama tool, argumen, dan identitas agen ke engine, lalu terima keputusan izinkan, tolak disertai alasan, atau eskalasi ke manusia. Alasannya, apakah sebuah tool dijalankan ditentukan oleh kebijakan yang berversi dan dapat diuji, bukan oleh model. - Hook gateway. Beberapa gateway LLM mendokumentasikan hook yang berjalan sebelum pemanggilan, bersamaan dengan pemanggilan, dan sesudahnya, di mana pengecualian yang dimunculkan akan memblokir permintaan. Satu tinjauan independen menyebut gateway sebagai titik penegakan dan guardrail sebagai mesin deteksi di belakangnya, serta mengingatkan bahwa guardrail yang hanya membaca pesan pengguna akan melewatkan injeksi yang masuk lewat hasil tool atau deskripsi tool. Untuk streaming, satu gateway mendokumentasikan bahwa pemeriksaan pasca-pemanggilan berjalan pada respons yang sudah dirakit setelah dikirim, sehingga hanya berfungsi sebagai audit kecuali hook per-chunk digunakan. - Aturan egress dan konfirmasi. Satu aturan konkret dari blog survei: jika penerima sebuah email berasal dari konten hasil retrieval, bukan dari pengguna atau buku alamatnya, wajibkan konfirmasi eksplisit. - Batas radius dampak. Tool dengan hak akses minimum, persetujuan manusia untuk tindakan yang tidak dapat dibatalkan, dan allow-list jaringan.

Policy engine juga punya perdebatannya sendiri. Seorang vendor berpendapat bahwa engine serbaguna tidak dirancang untuk jalur eksekusi agen; itu adalah pernyataan vendor tanpa pengukuran independen dalam sumber-sumber yang ada. Untuk melihat bagaimana prinsip ini diterapkan dalam desain sistem, lihat prinsip arsitektur agen spasial.

Pertanyaan yang Sering Diajukan

Hasil yang dilaporkan menunjukkan classifier menurunkan keberhasilan serangan tetapi menyisakan residu, dapat merugikan kegunaan pada tugas yang tidak berbahaya, dan dapat melewatkan pemanggilan tool yang tampak wajar. Anggap classifier sebagai pengurang noise.

Ubah Target Iklim Jadi Portofolio Terverifikasi

TREEO menghubungkan seluruh siklus karbon, mulai dari kelayakan, simulasi, pemantauan real-time, hingga pelaporan siap registri, dengan memadukan konsultasi ahli dan teknologi dMRV agar bukti sudah tersedia sebelum ada yang memintanya.

Related Articles

Pertahanan Prompt Injection: Dual-LLM, CaMeL, Spotlighting | TREEO Indonesia