blog/keamanan-chatbot-ai-bahasa-lokal-benchmark-uu-pdp-hero
← Back to blog

Chatbot AI dalam Bahasa Lokal: Benchmark Keamanan, Celah Bukti, dan Rujukan Hukum

Technology•17 November 2026•TREEO Indonesia•4 min read

Chatbot yang melayani warga Indonesia akan menerima pertanyaan dalam bahasa Indonesia baku, bahasa gaul, campuran dengan bahasa daerah, bahkan dalam bahasa Jawa atau Sunda. Sebagian besar tolok ukur keamanan model bahasa dibuat dalam bahasa Inggris. Tulisan ini merangkum apa yang benar-benar terukur untuk konteks Indonesia menurut sumber publik yang ditinjau, apa yang belum ada, dan rujukan hukum yang perlu dibaca langsung dari teks resminya. Sumbernya bercampur: ada makalah konferensi, ada pracetak, dan ada blog serta halaman portal, sehingga angka di bawah sebaiknya dibaca sebagai petunjuk, bukan kepastian.

Konteks Indonesia dalam angka

2.014

pasangan perintah dan jawaban dalam IndoSafety-Train

5

ragam bahasa dalam IndoSafety: Indonesia baku, Indonesia gaul, Jawa, Sunda dan Minang

22

bahasa yang dicakup JailNewsBench, di 34 wilayah dengan sekitar 300 ribu contoh

17 Oktober 2022

tanggal mulai berlaku UU 27/2022 menurut halaman BPK

Yang terukur: IndoSafety

IndoSafety, dipresentasikan di EMNLP 2025, digambarkan penulisnya sebagai set evaluasi keamanan pertama yang diverifikasi manusia dan disusun untuk konteks Indonesia ("pertama" adalah klaim penulis). Cakupannya lima ragam bahasa: Indonesia baku dan gaul, serta Jawa, Sunda dan Minang. Taksonomi risikonya disusun dari kepekaan sosial budaya setempat, bukan terjemahan dari set bahasa Inggris. Contoh pendorongnya: sebuah model berpusat Indonesia memberi jawaban tidak aman atau tidak pantas ketika ditanya tentang tradisi seperti Kejawen dan Kuda Lumping, sehingga terjemahan set bahasa Inggris dinilai tidak cukup. Upaya sebelumnya dikritik karena hanya memuat 187 contoh dan bertumpu pada terjemahan TruthfulQA dan ToxiGen.

Sepuluh model diuji, antara lain GPT-4o, Claude 3, Qwen, Gemma 2, LLaMA-3.1, Sailor2, SeaLLMs dan SEA-LION. Temuannya: model berbeda-beda dalam menangani isi sensitif, terutama pada ragam gaul dan bahasa daerah, dan penyetelan lanjutan (fine-tuning) dengan data IndoSafety meningkatkan keamanan di bahasa daerah walaupun data latihnya hanya bahasa Indonesia baku. Untuk menilai jawaban, penulis membandingkan penilaian GPT-4o dengan penilaian manusia pada 100 pasangan per subset. Kesesuaiannya tinggi: korelasi Pearson 0,72 untuk bahasa baku dan 0,71 untuk bahasa gaul.

Batasannya dinyatakan penulis sendiri: isinya perintah yang lugas. IndoSafety tidak menilai serangan tidak langsung maupun sensitivitas berlebihan (menolak yang sebenarnya aman). Jadi angkanya bukan ukuran ketahanan terhadap penyerang yang beradaptasi.

Yang terukur sebagian: lintas bahasa

SumberYang dilaporkanCatatan
JailNewsBenchKetahanan terhadap jailbreak yang memancing berita palsu; 34 wilayah, 22 bahasa, 5 serangan; tingkat keberhasilan serangan (ASR) maksimum 86,3%Dalam kutipan yang tersedia, tidak terkonfirmasi apakah ada baris bahasa Indonesia
XL-SafetyBench5.500 kasus uji di 10 pasangan negara-bahasa; ASR rendah pada sebagian model lokal bisa berarti model tidak menanggapi, bukan menolak dengan prinsipKeberadaan pasangan Indonesia tidak terkonfirmasi dalam kutipan
"Dual Curse" (makalah sosioteknis, halaman sumber tidak terkonfirmasi)Konten berbahaya naik dari 1% di bahasa Inggris ke 35% di bahasa seperti Hausa, Igbo dan Jawa; model hadiah hanya 49 sampai 50% akurat di bahasa sumber daya rendahAngka dari satu makalah; sumber ini menyebut Jawa secara eksplisit

Dua pelajaran praktis. Pertama, JailNewsBench menemukan bahwa pertahanan untuk topik berbahasa Inggris dan terkait AS justru lebih lemah daripada wilayah lain, sehingga "bahasa Inggris pasti paling aman" bukan asumsi yang aman. Kedua, ASR yang rendah belum tentu baik: sistem yang diam atau tidak membantu juga tampak aman pada metrik itu.

Yang tidak ditemukan: angka akurasi pengklasifikasi keamanan untuk bahasa Indonesia, dan set uji jailbreak khusus Indonesia dengan ASR terpublikasi. Ini sejalan dengan cara mengukur pagar pengaman secara umum (lihat pengukuran guardrail LLM, dalam bahasa Inggris): hitung kesalahan per ragam bahasa pada korpus Anda sendiri.

Celah deteksi data pribadi

IndoLEM adalah tolok ukur tujuh tugas NLP Indonesia (Koto dkk., 2020), dan IndoBERT adalah model BERT satu bahasa yang dilatih pada sekitar 220 juta kata dari Wikipedia, berita Kompas, Tempo dan Liputan6, serta korpus web. Penulisnya melaporkan IndoBERT unggul pada sebagian besar tugas. IndoLEM memang memuat tugas pengenalan entitas bernama (misalnya NER UI dengan 1.530 contoh latih), tetapi sumber yang ditinjau tidak memuat skor per model untuk tugas itu.

Yang lebih penting adalah yang tidak ada. Tidak ada sumber yang menguji IndoBERT sebagai pendeteksi data pribadi, dan tidak ada yang menunjukkan pengenal bahasa Indonesia untuk Presidio, kerangka sumber terbuka populer untuk deteksi dan penyamaran PII. Sebuah blog menggambarkan Presidio sebagai kerangka (regex, aturan, dan NER dengan spaCy secara bawaan) yang model NER-nya bisa diganti dengan GLiNER, Flair atau model kustom, serta mencatat bahwa NER bawaan kesulitan dengan nama non-Barat. Tolok ukur PII yang dikutip tidak memuat bahasa Indonesia. Kesimpulannya: dalam bahan riset ini, deteksi PII bahasa Indonesia adalah celah, bukan fitur yang bisa diandalkan. Bila Anda membutuhkannya, ukur sendiri.

Rujukan hukum: metadata, bukan nasihat

Bagian ini hanya memuat metadata yang ada pada sumber resmi. Sumber riset memuat halaman abstrak dan metadata, bukan teks pasal, sehingga tulisan ini tidak menjelaskan isi kewajiban atau sanksi. Baca teks resminya dan konsultasikan dengan penasihat hukum untuk penerapannya.

- UU Nomor 27 Tahun 2022 tentang Pelindungan Data Pribadi. Tercatat di database JDIH BPK sebagai LN.2022/No.196, TLN No.6820. Berlaku mulai 17 Oktober 2022 menurut halaman BPK, dan terdaftar di JDIH Kemkomdigi dengan ID 832. Abstrak resmi menyebut materi yang diatur: asas, jenis data pribadi, hak subjek data, pemrosesan, kewajiban pengendali dan prosesor, transfer data pribadi, sanksi administratif, kelembagaan, kerja sama internasional, partisipasi masyarakat, penyelesaian sengketa dan hukum acara, larangan dalam penggunaan data pribadi, dan ketentuan pidana. - PP Nomor 71 Tahun 2019 tentang Penyelenggaraan Sistem dan Transaksi Elektronik. Ditetapkan 4 Oktober 2019 dan diundangkan 10 Oktober 2019, tercatat sebagai LN.2019/No.185, TLN No.6400, dan berlaku sejak diundangkan.

Daftar materi dalam abstrak hanya menunjukkan topik yang diatur. Ia tidak menunjukkan bunyi syarat atau besaran sanksi.

Tata kelola AI: status per Mei 2026

Menurut berita JDIH Kemkomdigi yang terbit 6 Mei 2026, pembahasan lintas kementerian atas dua rancangan peraturan presiden, yaitu RPerpres tentang Etika Kecerdasan Artifisial dan RPerpres tentang Peta Jalan Kecerdasan Artifisial Nasional 2026 sampai 2029, tuntas pada 5 Mei 2026, setelah rapat bertahap pada 27 April dan 5 Mei. Keduanya akan diajukan kepada Presiden untuk ditetapkan. Penyusunannya berjalan sejak 2025 melalui konsultasi publik, diskusi kelompok terarah, dan harmonisasi pada Maret 2026.

Perhatikan tanggalnya: pada tanggal sumber itu statusnya masih rancangan. Sumber riset tidak memuat nomor, tanggal penetapan atau isi norma, dan tidak menyebut apakah penetapan terjadi setelah Mei 2026. Cek status terbarunya di JDIH sebelum mengandalkan salah satunya.

Untuk cara menimbang klaim AI yang bersifat hukum, lihat regulasi RAG dan realita AI hukum. Untuk mengukur apakah jawaban chatbot setia pada sumbernya, lihat evaluasi kesetiaan jawaban RAG.

Frequently Asked Questions

Ya, IndoSafety mencakup bahasa Indonesia baku dan gaul serta Jawa, Sunda dan Minang. Penulisnya mengakui isinya perintah yang lugas, tanpa serangan tidak langsung.

Turn climate goals into a verified portfolio

TREEO connects the full carbon cycle — eligibility, simulation, real-time monitoring and registry-ready reporting — combining expert consulting with dMRV technology so the evidence exists before anyone asks for it.

Related Articles