blog/halusinasi-rag-evaluasi-kesetiaan-jawaban-hero
← Back to blog

Halusinasi RAG: Benchmark Kesetiaan Jawaban yang Ada dan yang Belum Ada

Technology•16 November 2026•TREEO Indonesia•4 min read

Sistem RAG (retrieval-augmented generation) menjawab pertanyaan dengan mencari dokumen lebih dulu, lalu meminta model bahasa menulis jawaban dari dokumen itu. Risikonya, model menambahkan hal yang tidak ada di dokumen. Untuk bahasa Inggris, ada banyak benchmark yang mengukur hal ini. Untuk bahasa Indonesia, hasil penelusuran ini menemukan jauh lebih sedikit. Tulisan ini merangkum apa yang sudah ada dan apa yang tidak boleh Anda anggap sudah tersedia.

Catatan tentang bukti: dari 186 sumber dalam penelusuran, hanya satu yang merupakan literatur yang telah ditelaah sejawat. Yang dibahas di bawah adalah sebuah tesis, repositori kode, tutorial, dan beberapa makalah pracetak (preprint). Angkanya sebaiknya dibaca sebagai petunjuk, bukan sebagai tolok ukur baku.

Bukti untuk bahasa Indonesia

145 dokumen dan 40 pertanyaan

ukuran satu benchmark RAG berbahasa Indonesia di sebuah repositori terbuka

tidak ada

skor pengambilan dokumen (retrieval) berbahasa Indonesia yang ditemukan dalam sumber penelusuran ini

306 bahasa

cakupan MultiWikiQA, tetapi bahasa Indonesia tidak disebut eksplisit di kutipan sumber

Apa arti "kesetiaan jawaban"

Kesetiaan jawaban (faithfulness) mengukur apakah klaim dalam jawaban didukung oleh konteks yang diberikan. Menurut tutorial RAGAS berbahasa Indonesia yang ditinjau, jawaban dipecah menjadi klaim-klaim individual, tiap klaim diperiksa terhadap konteks, lalu dihitung rasio klaim yang didukung terhadap seluruh klaim. Skor 1,0 berarti semua klaim didukung, dan 0,0 berarti tidak ada. RAGAS adalah kerangka kerja sumber terbuka yang memakai model bahasa sebagai penilai.

Dua catatan. Pertama, kesetiaan tidak sama dengan kebenaran: jawaban yang setia pada dokumen yang keliru tetap salah. Kedua, penilai otomatis juga merupakan model bahasa, sehingga hasilnya perlu dicek dengan sampel yang dinilai manusia. Untuk penjelasan lebih umum tentang pengukuran per klaim, lihat tulisan kami tentang pengukuran halusinasi RAG (dalam bahasa Inggris).

Tiga sumber yang ditemukan

SumberYang diukurYang perlu diingat
Tesis Teknik Elektro ITB, tanya jawab Al-Qur'an terjemahan bahasa IndonesiaF1 berbasis BERTScore terhadap jawaban acuanBERTScore mengukur kemiripan semantik dengan jawaban acuan, bukan kesetiaan per klaim
Repositori rag-retrieval-benchmarkFaithfulness, Answer Relevancy, Answer Accuracy (RAGAS)Satu korpus kecil dari satu perusahaan, satu penilai LLM, tanpa penilaian manusia independen
Tutorial RAGAS berbahasa IndonesiaDefinisi dan cara hitung faithfulnessTutorial, bukan benchmark

Tesis ITB. Penelitian ini menyoroti risiko halusinasi pada domain keagamaan, tempat tafsir yang tampak logis tetapi tidak didukung sumber dapat menyesatkan. Arsitekturnya memakai dua jenis kueri (step-back prompting dan HyDE), pencarian hibrida (semantik dan kata kunci) dengan reranking, serta prompt yang membatasi model pada konteks dan meminta rujukan metadata. Efektivitas diukur dengan BERTScore: F1 naik dari 0,6887 menjadi 0,7261 dengan teknik optimasi, menjadi 0,7521 setelah pembersihan data dan perbaikan konfigurasi, dan mencapai 0,8837 dengan pencarian hibrida. Pengujian memakai model Llama-3.1 dan Llama-4. Tesis ini juga menyebut evaluasi halusinasi dengan parameter faithfulness, factuality dan semantic grounding, tetapi angka F1 di atas adalah kemiripan dengan jawaban acuan, jadi tidak boleh dibaca sebagai "tingkat halusinasi".

Repositori benchmark. Repositori ini membandingkan BM25, Multilingual-E5 (pencarian vektor atau dense) dan Hybrid RRF pada 145 dokumen katalog produk dan layanan (53 produk AC, 71 layanan AC dan 21 CCTV) dengan 40 pertanyaan: 10 masing-masing untuk kategori exact, semantic, multi-constraint dan fine-grained. Setiap pertanyaan punya tepat satu dokumen relevan. Korpusnya terutama berbahasa Indonesia dengan istilah teknis, nama merek dan beberapa istilah Inggris. Eksperimen utama menghasilkan 120 jawaban (40 pertanyaan kali 3 metode), dinilai dengan RAGAS 0.4.3. BM25 mendapat Faithfulness 0,9380 dan Multilingual-E5 0,9667. Skor Faithfulness untuk Hybrid RRF tidak tercantum utuh di kutipan sumber, sehingga tidak dilaporkan di sini.

Angka setinggi itu tidak berarti masalah halusinasi sudah selesai. Penulis repositori sendiri mencatat keterbatasannya: korpus dari satu perusahaan mitra pada domain AC dan CCTV, 40 pertanyaan yang disusun manual, penilaian relevansi oleh penulis pertama tanpa anotator independen, hanya satu model dense, tanpa reranker, satu model pembangkit jawaban, satu konfigurasi penilai LLM, dan tanpa evaluasi manusia independen.

Yang belum ada

Penelusuran ini tidak menemukan:

- Benchmark pengambilan dokumen berbahasa Indonesia dengan angka seperti nDCG atau recall. Tidak ada sumber yang menyebut benchmark bernama "IndoBench". - Papan peringkat halusinasi untuk bahasa Indonesia, atau persentase jawaban berhalusinasi. Yang ada hanya skor faithfulness pada skala 0 sampai 1. - Skor embedding untuk bahasa Indonesia. Sumber tentang MTEB hanya memuat tabel gabungan tanpa rincian per bahasa, dan tidak memuat skor Cohere embed-v4 sama sekali. Perbandingan embedding komersial dan terbuka untuk bahasa Indonesia tidak bisa dijawab dari sumber ini. - Akurasi verifier lintas bahasa. Pembuat model Lynx menyebut bahwa sebagian besar HaluBench berbahasa Inggris dan menjadikan bahasa non-Inggris sebagai pekerjaan lanjutan. Sebuah tesis di TU Wien menyatakan benchmark RAG multibahasa dengan anotasi manusia pada skala RAGTruth belum ada.

Benchmark bahasa yang ada, dan batasnya

Beberapa benchmark mencakup bahasa Indonesia, tetapi bukan untuk RAG:

- Komodo-7B adalah model 7 miliar parameter untuk bahasa Indonesia, Inggris dan 11 bahasa daerah. Makalahnya terbit Maret 2024 dan melaporkan perplexity: pada bahasa Indonesia, Komodo-7B-Base mendapat 5,6477 dibanding 6,2608 untuk Llama-2-7B-Base (lebih rendah lebih baik). Ini mengukur kemampuan memprediksi teks, bukan kesetiaan atau pengambilan dokumen. - SeaBench menilai kemampuan percakapan multi-giliran dan kepatuhan pada instruksi dalam bahasa Indonesia, Thai dan Vietnam; bersama SeaExam, makalahnya terbit di Findings of NAACL 2025. Hanya pertanyaan publik yang dirilis, dan penilai bawaannya adalah model bahasa. Benchmark ini tidak mengukur pengambilan dokumen. - MultiWikiQA dan MultiWikiQHalluA memakai konteks Wikipedia dalam 306 bahasa untuk mengukur pemahaman bacaan dan halusinasi, dengan 4.000 data latih dan 1.000 data uji per bahasa. Apakah bahasa Indonesia termasuk di dalamnya tidak dinyatakan eksplisit di kutipan sumber, jadi anggap belum terkonfirmasi.

Apa yang bisa dilakukan

Karena bukti publik terbatas, pendekatan yang paling masuk akal adalah menyusun set uji sendiri dari dokumen dan pertanyaan nyata Anda. Sebuah panduan praktisi menyarankan memulai dengan sepuluh sampai dua puluh pertanyaan yang jawaban dan potongan sumbernya sudah diketahui, lalu memperluasnya. Laporkan skor pengambilan dokumen dan kesetiaan jawaban secara terpisah supaya terlihat tahap mana yang gagal. Periksa penilai otomatis dengan sampel berlabel manusia yang dinilai memakai rubrik bersama. Sebagai contoh lain bahwa angka benchmark tidak otomatis berlaku di lapangan, lihat bukti tentang batas akurasi AI pada estimasi biomassa hutan (dalam bahasa Inggris).

Frequently Asked Questions

Penelusuran ini menemukan satu benchmark RAG kecil di repositori terbuka dan satu tesis, tetapi tidak menemukan benchmark pengambilan dokumen atau papan peringkat halusinasi yang mapan untuk bahasa Indonesia.

Turn climate goals into a verified portfolio

TREEO connects the full carbon cycle — eligibility, simulation, real-time monitoring and registry-ready reporting — combining expert consulting with dMRV technology so the evidence exists before anyone asks for it.

Related Articles