Tinjauan sistematis adalah tinjauan pustaka yang bisa diulang oleh orang lain. Tinjauan ini menyebutkan pertanyaan, sumber, string pencarian, aturan penyaringan, dan jumlah rekaman, sehingga pembaca tahu apa yang ditemukan dan apa yang tidak disertakan. Itulah alasan para pengambil keputusan memintanya. Itu juga alasan prosesnya lambat, dan mengapa alat AI terasa menggoda.
Mengapa tinjauan sistematis sulit
67 minggu
rata-rata waktu untuk menyelesaikan satu tinjauan sistematis
0,98 dan 0,27
recall dan presisi yang dilaporkan dalam satu studi penyaringan dengan LLM
39,5%
sensitivitas gabungan satu alat pencarian AI dalam uji independen
Pilih standar pelaporan yang tepat
PRISMA 2020 adalah daftar periksa pelaporan yang paling dikenal, dan berasal dari tinjauan medis. Makalah tahun 2018 tentang pelaporan bukti lingkungan mengkaji standar QUOROM dan PRISMA (2009) sebelumnya, mencatat bahwa standar itu dikembangkan untuk bidang kedokteran, dan menyoroti 12 masalah utama dalam menerapkan PRISMA pada konservasi dan pengelolaan lingkungan.
Jawaban untuk bidang lingkungan adalah ROSES, singkatan dari RepOrting standards for Systematic Evidence Syntheses. Collaboration for Environmental Evidence mengumumkannya pada 1 Maret 2018, dan artikel yang memperkenalkannya ditulis oleh Haddaway, Macura, Whaley, dan Pullin. ROSES menyediakan formulir untuk protokol dan laporan tinjauan maupun peta bukti, serta templat diagram alir. Standar ini dirancang untuk topik lingkungan, tetapi disebut dapat diterapkan luas di berbagai disiplin. EQUATOR mencantumkan pembaruan yang sedang disusun, terdaftar pada 28 Oktober 2026, sehingga versi perlu diperhatikan.
Dua poin lain tentang proses. Protokol untuk tinjauan Collaboration for Environmental Evidence harus didaftarkan dan ditelaah sejawat melalui proses editorialnya, jadi draf dari perangkat lunak tidak bisa menggantikannya. Evaluasi terhadap tinjauan yang sudah terbit juga menunjukkan pentingnya standar: satu evaluasi atas lebih dari 1.000 sintesis bukti yang terbit antara 2018 dan 2020 menemukan bahwa sebagian besar bermasalah dalam transparansi dan replikabilitas.
Susun pertanyaan penelitian
| Kerangka | Unsur | Digunakan untuk |
|---|---|---|
| PICO | Populasi, Intervensi, Pembanding, Luaran | Efek suatu intervensi |
| PECO | Paparan menggantikan Intervensi | Efek suatu paparan; diakui oleh Collaboration for Environmental Evidence |
| SPIDER | Sampel, Fenomena yang Diminati, Desain, Evaluasi, Jenis penelitian | Pertanyaan kualitatif dan metode campuran |
Apa pun yang Anda pilih, jelaskan alasannya. Daftar periksa yang diperluas dalam PRISMA 2020 meminta peninjau menjelaskan struktur pencarian apa pun yang tidak berbasis PICO.
Apa yang harus dicatat
PRISMA 2020 spesifik soal catatan pencarian:
- Item 6 mewajibkan pencatatan setiap basis data, register, situs web, organisasi, dan daftar referensi yang dicari atau dirujuk, beserta tanggal pencarian terakhir masing-masing. - Item 7 mewajibkan strategi pencarian lengkap untuk setiap sumber, termasuk filter dan batasan. - Item 8 mewajibkan proses seleksi: berapa peninjau yang menyaring setiap rekaman, apakah mereka bekerja secara independen, dan rincian alat otomatisasi apa pun. - Item 16a mewajibkan hasil dari rekaman yang teridentifikasi hingga studi yang disertakan, idealnya dalam diagram alir.
Daftar periksa ini terbit dengan lisensi CC BY 4.0, sehingga redaksinya boleh digunakan ulang dengan atribusi. Jika LLM menyaring rekaman apa pun, item 8 menyatakan hal itu harus dilaporkan sebagai alat otomatisasi.
Untuk sumber, menurut dokumentasinya, OpenAlex menyediakan penggunaan dasar gratis tanpa kunci, dan kunci gratis menaikkan anggaran harian sepuluh kali lipat. Crossref dapat memverifikasi DOI. Apa pun yang Anda pakai, catat tanggalnya.
Apa yang terukur dari penyaringan AI
Menyaring ribuan judul dan abstrak adalah tahap ketika bantuan AI paling menggoda. Buktinya beragam:
| Studi atau hasil | Temuan |
|---|---|
| Tinjauan studi penyaringan berbasis LLM sebelumnya | Setara hingga, dan kadang melampaui, level mahasiswa magister, tetapi belum mencapai level doktor |
| Satu hasil yang dilaporkan | Recall 0,98 dengan presisi 0,27 |
| 34.528 studi dari 24 tinjauan dan 9 LLM | Selisih rata-rata antarmodel terbaik kecil, tetapi selisih antartugas penyaringan jauh lebih besar |
| Sepuluh tinjauan, empat metode prompting | Metode few-shot dinamis menghasilkan F1 tertinggi |
| Studi alur kerja 2026 dengan 1.131 rekaman | LLM lebih cocok untuk alur kerja yang tervalidasi, dapat diaudit, dan diawasi manusia daripada untuk eksklusi otonom |
Recall tinggi dengan presisi rendah itu berguna: model menandai hampir semua yang relevan, lalu manusia membuang alarm palsunya. Kinerja bergantung pada topik, jadi validasi pada tinjauan Anda sendiri lebih baik daripada memercayai angka di judul. Studi alur kerja 2026 menambahkan bahwa tidak ada satu metrik pun yang menggambarkan alur kerja penyaringan. Kesepakatan, pemulihan rekaman yang memenuhi syarat, dan beban kerja yang dihemat adalah hal yang berbeda, dan masing-masing perlu dilaporkan.
Alat active learning menimbulkan peringatan serupa. ASReview dapat mengurangi beban penyaringan hingga 95% dengan recall tetap tinggi, tetapi penentuan titik berhenti bersifat subjektif. Komentar atas studi 2026 (Kempny dan rekan) menyebut kebiasaan berhenti yang umum, seperti berhenti setelah 100 rekaman tidak relevan berturut-turut atau setelah 5% dari dataset, sangat dipertanyakan. Studi itu sendiri menemukan bahwa penyaringan tambahan yang dibutuhkan berkisar dari 2% hingga 61% tergantung dataset.
Alat pencarian AI bukan strategi pencarian
Sebuah studi independen menguji apakah alat riset AI Elicit dapat menemukan studi yang disertakan dalam empat tinjauan terbit: satu farmakologi, satu bedah, dan dua kesehatan masyarakat. Sensitivitas gabungannya 39,5% (kisaran 25,5% hingga 69,2%), dibandingkan 94,5% untuk pencarian tradisional. Presisinya lebih tinggi, 41,8% dibandingkan 7,55%. Sensitivitas paling rendah pada tinjauan kesehatan masyarakat dan paling tinggi pada tinjauan intervensi obat. Para penulis menyimpulkan bahwa alat ini memberi hasil cepat dengan presisi tinggi dan menemukan beberapa studi unik, tetapi sebaiknya menjadi pelengkap, bukan metode mandiri.
Perlakukan klaim vendor soal kecepatan dan cakupan sebagai klaim semata. Studi tersebut mencatat bahwa sebagian besar evaluasi alat semacam ini berasal dari pengembangnya sendiri dan terbaca seperti pemasaran. Untuk alat Consensus, panduan perpustakaan riset menyatakan alat itu tidak dapat dipakai untuk tinjauan sistematis atau meta-analisis karena penelusurannya tidak dapat direproduksi atau diaudit dalam pengertian PRISMA.
Rutinitas yang bisa dijalankan
1. Pilih ROSES atau PRISMA serta kerangka pertanyaan, dan catat alasannya. 2. Cari di beberapa sumber, catat masing-masing beserta tanggalnya, dan simpan string lengkapnya. 3. Biarkan LLM melakukan penyaringan awal jika Anda mau, tetapi catat sebagai alat otomatisasi, libatkan manusia dalam prosesnya, dan validasi recall pada sampel yang Anda saring sendiri. 4. Jangan biarkan model mengeluarkan rekaman sendirian. 5. Periksa setiap referensi yang dikutip dengan DOI-nya sebelum masuk ke laporan.
Untuk peringatan terkait klaim AI, lihat apa yang ditunjukkan tolok ukur yang ditelaah sejawat tentang estimasi biomassa oleh AI dan mengapa pembacaan regulasi oleh AI perlu diperiksa.
Pertanyaan yang Sering Diajukan
PRISMA banyak digunakan, tetapi makalah tahun 2018 tentang versi 2009 menyoroti 12 masalah utama dalam menerapkan PRISMA pada konservasi dan pengelolaan lingkungan. ROSES dirancang untuk sintesis bukti lingkungan.
Ubah target iklim menjadi portofolio terverifikasi
TREEO menghubungkan seluruh siklus karbon, mulai dari kelayakan, simulasi, pemantauan real-time, hingga pelaporan siap registri, dengan memadukan konsultasi ahli dan teknologi dMRV agar bukti sudah tersedia sebelum ada yang memintanya.



