Agen deep research menjalankan banyak pencarian, membaca halaman, lalu menulis laporan bersitasi. Sitasi inilah yang membuat laporan tampak tepercaya. Di sitasi pula beberapa studi menemukan masalah. Panduan ini menjelaskan apa yang diukur studi-studi tersebut, mengapa tautan yang bisa dibuka bukan bukti apa pun, dan cara memeriksa sitasi sebelum laporan dipakai.
Sebagian besar bukti di bawah ini berasal dari preprint dan komentar independen atas studi, bukan uji coba yang telah ditinjau sejawat. Setiap studi memakai definisi yang berbeda, sehingga angkanya tidak dapat dijumlahkan atau dibandingkan peringkatnya.
Masalah Sitasi yang Dilaporkan
3% hingga 13%
URL sitasi yang dilaporkan sebagai halusinasi (tanpa catatan di Wayback Machine), pada model dan agen komersial (preprint)
5% hingga 18%
URL sitasi yang tidak dapat dibuka saat evaluasi (preprint yang sama)
sekitar 42%
rata-rata penurunan akurasi pemeriksaan fakta antara 2 dan 150 panggilan alat, sementara validitas tautan tetap di atas 92% (preprint, melalui komentar)
Empat arti "akurasi sitasi"
Riset yang ditinjau di sini memakai sedikitnya empat konstruk. Pisahkan keempatnya.
| Konstruk | Pertanyaannya | Angka yang dilaporkan |
|---|---|---|
| URL halusinasi | Apakah alamat ini punya catatan di Wayback Machine, atau kemungkinan tidak pernah ada? | 3% hingga 13% URL sitasi |
| URL tidak dapat dibuka | Apakah gagal dimuat hari ini? | 5% hingga 18% |
| Referensi palsu | Apakah penulis atau judulnya dikarang? | sekitar 47% hingga 50% untuk dua produk pada satu tugas dermatologi (komentar) |
| Klaim tanpa dukungan | Apakah sumber yang dikutip benar-benar mendukung pernyataan tersebut? | akurasi pemeriksaan fakta turun sekitar 42% seiring kedalaman riset |
Studi tingkat URL
Sebuah preprint oleh Rao, Wong, dan Callison-Burch memeriksa URL sitasi dari 10 model dan agen pada DRBench, mencakup 53.090 URL, serta dari 3 model pada ExpertQA, mencakup 168.021 URL di 32 bidang akademik. Preprint ini melaporkan bahwa 3% hingga 13% URL adalah halusinasi dan 5% hingga 18% tidak dapat dibuka. Agen deep research menghasilkan jauh lebih banyak sitasi per kueri dibandingkan model bahasa berbantuan pencarian, tetapi juga menghasilkan URL halusinasi dengan tingkat lebih tinggi. Komentar independen atas preprint yang sama menyebut mode deep research milik satu vendor memiliki tingkat halusinasi tertinggi, 13,3%, sambil menghasilkan 113,1 URL per kueri.
Topik berpengaruh. Tingkat URL tidak terbuka berkisar dari 5,4% di bidang bisnis hingga 11,4% di teologi. Sebagian model mengarang setiap alamat yang gagal dibuka, sementara model lain memiliki banyak alamat yang dulu ada lalu mati. Kedua kasus ini perlu penanganan berbeda: tautan mati mungkin pernah nyata, sedangkan tautan karangan tidak pernah ada.
Tautan yang berfungsi bukan klaim yang terbukti
Temuan paling berguna menyangkut kesenjangan antara tampilan luar dan substansi. Preprint kedua, tentang atribusi sumber, menilai sitasi pada tiga dimensi: apakah tautan berfungsi, apakah isinya relevan, dan apakah sumber mendukung pernyataan. Preprint ini menguji 14 model pada 130 kueri riset dari DeepResearch Bench dan BrowseComp. Komentar atasnya melaporkan bahwa ketika panggilan alat naik dari 2 menjadi 150, akurasi pemeriksaan fakta turun sekitar 42% rata-rata pada dua model frontier, sementara validitas dan relevansi tautan tetap di atas 92% di setiap kedalaman. Para penulis menyimpulkan ada kesenjangan antara kualitas sitasi di permukaan dan keandalan faktual, bahwa akurasi faktual adalah dimensi terlemah di semua penyedia, dan bahwa pencarian yang lebih dalam tidak menghasilkan sitasi yang lebih akurat. Mereka merekomendasikan pemantauan kualitas sitasi di dalam alur kerja agen.
Seorang praktisi menceritakan satu kasus nyata. Sebuah jawaban AI mengklaim imbal hasil di atas 700% atas biaya coaching. Sitasinya nyata dan angkanya nyata, tetapi studi tersebut mengukur peningkatan produktivitas di perusahaan besar dan tidak berlaku untuk kasus coaching konsumen. Kegagalan seperti ini lolos dari klik tautan, lolos dari pemeriksa tautan, dan lolos dari peninjau yang hanya memeriksa tiga sitasi secara acak.
Sebuah makalah tolok ukur terkait memperingatkan bahwa tulisan yang fasih dan sitasi yang selaras dapat menyembunyikan cacat faktual, sehingga evaluasi sitasi sendiri merupakan pekerjaan ahli yang lambat. Makalah lain menemukan satu agen yang sama sekali tidak menghasilkan sitasi pada dua tolok ukur, dan satu kerangka kerja yang sering mengutip tetapi dengan kesetiaan yang buruk pada sumbernya.
Referensi Palsu dalam Tinjauan Literatur
Studi atas tinjauan literatur buatan AI menemukan pola yang sama di tingkat referensi. Sebuah artikel di JMIR Mental Health melaporkan bahwa tingkat fabrikasi dan akurasi bervariasi menurut gangguan dan tingkat kespesifikan prompt, serta tidak menemukan bukti jelas bahwa tingkat halusinasi lebih rendah pada versi model yang lebih baru. Penelitian sebelumnya yang dikutipnya menemukan tingkat sitasi fiktif sebesar 27,3% di ilmu alam dan 23,4% di humaniora.
Komentar independen atas tinjauan terhadap lima agen deep research pada tugas literatur dermatologi menyebut dua di antaranya menghasilkan sekitar 47% hingga 50% referensi dengan penulis atau judul palsu. Pada produk ketiga, sekitar 95% sitasi dapat diidentifikasi dan sekitar 70% sepenuhnya benar, namun lebih dari 50% pernyataan yang dikutip memuat setidaknya satu ketidakakuratan halus. Komentar tersebut menekankan bahwa ini adalah uji tekanan skenario terburuk di bidang yang padat sitasi, bukan sifat umum produk-produk tersebut.
Di luar agen riset, evaluasi tahun 2024 dari RegLab Stanford, sebagaimana diringkas dalam sebuah dokumen pelatihan, menemukan bahwa tiga alat riset hukum berbasis pengambilan menghasilkan jawaban salah atau halusinasi pada 17% hingga 33% kasus, meski vendor mengklaim sebaliknya. Lihat mengapa pengambilan naif atas regulasi gagal untuk bukti tersebut.
Rutinitas Pemeriksaan
1. Buka setiap URL. Catat tanggalnya. Untuk yang gagal, periksa arsip untuk melihat apakah halaman itu pernah ada. 2. Verifikasi pengenal. Cari setiap DOI di Crossref atau OpenAlex, lalu bandingkan judul dan penulis yang ditampilkan dengan sitasinya. Panduan tinjauan sistematis membahas pencatatan sumber. 3. Buka sumber dan temukan kutipannya. Apakah memuat angka atau pernyataan yang dikaitkan padanya? Catat cakupannya: populasi, lokasi, tahun, satuan. 4. Ambil contoh berdasarkan risiko. Periksa setiap angka yang menentukan keputusan. Untuk sisanya, perbanyak contoh seiring bertambahnya kedalaman riset dan jumlah sitasi. 5. Catat hasilnya. Simpan data sitasi mana yang diperiksa, oleh siapa, dan apa temuannya.
Pertanyaan yang Sering Diajukan
Satu preprint melaporkan 3% hingga 13% halusinasi dan 5% hingga 18% tidak dapat dibuka, pada model dan agen komersial. Angkanya berbeda menurut sistem, topik, dan tanggal, jadi anggap sebagai kisaran, bukan aturan.
Ubah Target Iklim Jadi Portofolio Terverifikasi
TREEO menghubungkan seluruh siklus karbon — kelayakan, simulasi, pemantauan real-time, dan pelaporan siap registri — memadukan konsultasi ahli dengan teknologi dMRV agar bukti sudah tersedia sebelum ada yang menanyakannya.



