"Seberapa sering model berhalusinasi?" terdengar seperti satu pertanyaan. Dalam sistem retrieval-augmented generation (RAG), pertanyaan ini sebenarnya terdiri dari beberapa pertanyaan. Retriever bisa saja mengambil bagian teks yang salah. Generator bisa mengabaikan bagian yang benar. Jawaban bisa setia pada sumber yang ternyata keliru. Satu skor untuk jawaban akhir tidak dapat membedakan semua ini, dan angka yang dipublikasikan untuk berbagai alat mengukur hal yang berbeda. Panduan ini menjelaskan cara kerja ukuran yang umum dipakai dan cara membacanya.
Catatan soal bukti: hampir semua rujukan di sini berupa preprint, panduan vendor, atau halaman leaderboard. Hanya satu dari 186 sumber dalam riset di balik tulisan ini yang telah ditelaah sejawat. Angka-angka diberi atribusi agar Anda bisa menimbangnya.
Pengukuran per Klaim dalam Angka
didukung ÷ total
cara menghitung faithfulness setelah jawaban dipecah menjadi klaim atomik
mendekati 50%
akurasi detektor halusinasi terbaik pada benchmark FaithBench (preprint)
1 dari 20
jawaban tanpa dukungan yang tetap lolos dari penilai dengan tingkat deteksi 95% (hitungan sederhana)
Faithfulness adalah Pecahan Klaim
Resep yang umum terdiri dari tiga langkah: pecah jawaban menjadi klaim atomik, periksa setiap klaim terhadap konteks yang diambil, lalu laporkan persentase klaim yang didukung. Skor faithfulness 1,0 berarti setiap klaim didukung, dan 0,0 berarti tidak ada yang didukung. Tutorial RAGAS berbahasa Indonesia menjelaskan perhitungan yang persis sama.
RAGAS adalah kerangka kerja sumber terbuka yang menerapkan gagasan ini dengan model bahasa besar sebagai penilai. RAGAS melaporkan empat skor: faithfulness, answer relevance, context precision, dan context recall. RAGAS digambarkan dapat menilai pipeline tanpa jawaban ground-truth, meski tutorial berbahasa Indonesia yang sama mencatat bahwa context recall tetap memerlukan jawaban referensi, jadi periksa metrik mana yang Anda aktifkan.
FActScore menerapkan logika yang sama pada teks panjang. FActScore memecah hasil generasi menjadi fakta atomik dan mengukur persentase fakta yang didukung oleh sumber referensi tepercaya. Ini penting karena jawaban panjang bisa tampak kuat secara keseluruhan, tetapi tetap memuat satu angka yang salah atau satu atribusi karangan. Vonis lulus/gagal untuk seluruh jawaban akan menyembunyikannya.
Pendekatan ketiga, ARES, melatih penilai ringan dengan data sintetis ditambah penilaian manusia yang terkurasi, sehingga setiap evaluasi baru lebih murah daripada memanggil model besar. Imbal baliknya adalah upaya persiapan: Anda memerlukan contoh berlabel manusia terlebih dahulu.
Faithful Tidak Sama dengan Benar
Faithfulness menanyakan apakah jawaban didukung oleh konteks yang diambil. Faithfulness tidak menanyakan apakah konteks itu benar. Jika dokumen sumber memuat kesalahan, jawaban bisa mendapat skor faithfulness nyaris sempurna dan tetap salah. Faithfulness adalah pemeriksaan terhadap generator, bukan terhadap korpus.
Mengapa Satu Skor Menyembunyikan Tahap yang Gagal
Sebuah panduan vendor tentang evaluasi RAG menyampaikan hal yang mudah dibuktikan dalam praktik: jika Anda hanya menilai jawaban akhir, Anda tidak bisa tahu apakah retrieval atau generasi yang gagal, padahal kedua kegagalan itu butuh perbaikan yang berlawanan. Bukti yang hilang memerlukan retrieval atau chunking yang lebih baik. Bukti yang diabaikan memerlukan perubahan pada prompt, pilihan model, atau pemeriksaan setelah generasi.
Jadi, laporkan setidaknya dua kelompok angka:
| Tahap | Yang Perlu Ditanyakan | Ukuran Umum |
|---|---|---|
| Retrieval | Apakah bagian teks yang dibutuhkan berhasil diambil? | Recall@k, context precision, context recall |
| Generasi | Apakah setiap klaim bersumber dari apa yang diambil? | Faithfulness, answer relevance |
| Jawaban Utuh | Apakah benar dan dikutip dengan semestinya? | Akurasi berbasis referensi, pemeriksaan sitasi, rubrik manusia |
Sebuah panduan praktisi menyarankan memulai dengan sepuluh sampai dua puluh pertanyaan nyata yang memiliki jawaban dan bagian sumber yang sudah diketahui benar. Golden set kecil ini menjadi baseline untuk menilai setiap perubahan berikutnya. Panduan itu juga merekomendasikan penilaian rubrik oleh manusia dengan tingkat kesepakatan yang terukur, bukan tinjauan informal.
Penilainya Juga Sebuah Model
Penilai LLM memiliki titik buta yang sama dengan generator yang mereka nilai. Penilai yang ditanya "apakah ini berlandaskan sumber?" bisa tertipu oleh frasa meyakinkan yang sama yang menipu generator. Kesalahan deteksi juga membesar seiring volume: penilai yang menangkap 95% jawaban tanpa dukungan tetap meloloskan satu dari dua puluh, yang berarti banyak kelolosan dalam sistem yang sibuk.
Preprint FaithBench menunjukkan betapa sulitnya deteksi. Ringkasannya dipilih karena para detektor tidak sepakat soal ringkasan tersebut, dan para penulis melaporkan bahwa model deteksi terbaik pun hanya mencapai akurasi mendekati 50% di sana. Preprint berikutnya, yang memakai balanced accuracy dan F1-macro, bukan akurasi biasa, membandingkan detektor pada empat dataset dan menemukan bahwa GPT-4o dan o3-mini-high zero-shot berkinerja terbaik, tetapi rata-rata balanced accuracy tetap di bawah 78% dan F1-macro di bawah 72%. Dalam studi itu, balanced accuracy tertinggi pada FaithBench adalah 68,8%, dan F1-macro tertinggi, 63,7%, diraih model kecil HHEM yang menilai klaim demi klaim. Makalah yang sama mencatat bahwa detektor kecil hasil fine-tuning bisa bersaing dengan penilai LLM zero-shot. Karena artikel FaithBench dipilih menggunakan detektor termasuk HHEM, detektor tersebut mungkin tampak lebih buruk di sana daripada pada teks biasa.
Membaca Leaderboard Halusinasi
Leaderboard publik yang paling dikenal adalah milik Vectara, yang memakai model HHEM untuk menilai seberapa sering model bahasa berhalusinasi saat diminta merangkum dokumen. Repositorinya menyebutkan beberapa batasan yang perlu diingat:
- Leaderboard ini mengukur konsistensi faktual terhadap dokumen sumber dalam tugas perangkuman, bukan akurasi faktual secara menyeluruh. - Ringkasan dihitung sebagai halusinasi jika skor HHEM di bawah 0,5 pada skala 0 sampai 1. Tingkat halusinasi yang dilaporkan adalah 100 dikurangi tingkat konsistensi faktual. - Tingkat ini dihitung hanya pada artikel yang benar-benar dirangkum model, sehingga tingkat jawaban dan rata-rata panjang ringkasan dilaporkan bersamanya. - Versi saat ini memakai dataset lebih dari 7.700 artikel dari bidang hukum, kedokteran, keuangan, pendidikan, dan teknologi, yang tidak dipublikasikan. Blog Vectara menyebut tingkat halusinasi model-model teratas naik pada dataset yang lebih baru, lebih panjang, dan lebih sulit ini, sehingga angka dari versi yang berbeda tidak dapat dibandingkan. - Leaderboard ini berjalan pada HHEM-2.3, model komersial, sedangkan HHEM-2.1-Open adalah varian terbukanya.
Repositori itu berpendapat bahwa leaderboard ini merupakan indikator yang baik untuk sistem RAG dan agentic yang merangkum hasil pencarian. Makalah FaithBench melaporkan bahwa peringkat modelnya umumnya selaras dengan leaderboard. Anggap itu sebagai alasan untuk memakainya dalam menyaring model secara kasar, bukan sebagai uji penerimaan untuk korpus, bahasa, atau jenis pertanyaan Anda sendiri.
Satu peringatan lagi tentang benchmark pada umumnya. Tingkat kesulitan sering ditetapkan dengan sengaja. HealthBench Professional, misalnya, menaikkan proporsi contoh sulit sekitar 3,5 kali dibanding kumpulan kandidatnya dan menyatakan bahwa skor absolutnya tidak boleh dibaca sebagai tingkat di dunia nyata. Setiap benchmark punya rancangan sendiri seperti ini, jadi persentase utama adalah pernyataan tentang instrumen dan tugas tersebut, bukan "tingkat halusinasi" yang berlaku di mana saja.
Daftar Periksa Singkat
1. Tetapkan satu instrumen bernama dan laporkan setiap angka bersamanya. 2. Nilai retrieval dan generasi secara terpisah. 3. Pecah jawaban menjadi klaim untuk skor generasi. 4. Simpan satu set kecil berlabel manusia untuk memeriksa penilai otomatis Anda. 5. Sebutkan apakah Anda mengukur faithfulness atau kebenaran.
Untuk dua sudut pandang terkait, baca mengapa RAG naif atas regulasi gagal dan hasil benchmark untuk estimasi biomassa berbasis AI.
Pertanyaan yang Sering Diajukan
Setelah jawaban dipecah menjadi klaim atomik, 90% di antaranya dinilai didukung oleh konteks yang diambil. Skor ini tidak menjelaskan apakah konteksnya sendiri benar.
Ubah Target Iklim Jadi Portofolio Terverifikasi
TREEO menghubungkan seluruh siklus karbon — kelayakan, simulasi, pemantauan real-time, dan pelaporan siap registri — dengan memadukan konsultasi ahli dan teknologi dMRV, sehingga bukti sudah tersedia sebelum ada yang menanyakannya.



