blog/systematic-reviews-environmental-evidence-prisma-roses-llm-hero
← Back to blog

Tinjauan Sistematis untuk Bukti Lingkungan: PRISMA, ROSES, dan Kemampuan Nyata Penyaringan AI

Teknologi•13 November 2026•TREEO Indonesia•4 min read

Tinjauan sistematis adalah tinjauan pustaka yang bisa diulang oleh orang lain. Tinjauan ini menyebutkan pertanyaan, sumber, string pencarian, aturan penyaringan, dan jumlah rekaman, sehingga pembaca tahu apa yang ditemukan dan apa yang tidak disertakan. Itulah alasan para pengambil keputusan memintanya. Itu juga alasan prosesnya lambat, dan mengapa alat AI terasa menggoda.

Mengapa tinjauan sistematis sulit

67 minggu

rata-rata waktu untuk menyelesaikan satu tinjauan sistematis

0,98 dan 0,27

recall dan presisi yang dilaporkan dalam satu studi penyaringan dengan LLM

39,5%

sensitivitas gabungan satu alat pencarian AI dalam uji independen

Pilih standar pelaporan yang tepat

PRISMA 2020 adalah daftar periksa pelaporan yang paling dikenal, dan berasal dari tinjauan medis. Makalah tahun 2018 tentang pelaporan bukti lingkungan mengkaji standar QUOROM dan PRISMA (2009) sebelumnya, mencatat bahwa standar itu dikembangkan untuk bidang kedokteran, dan menyoroti 12 masalah utama dalam menerapkan PRISMA pada konservasi dan pengelolaan lingkungan.

Jawaban untuk bidang lingkungan adalah ROSES, singkatan dari RepOrting standards for Systematic Evidence Syntheses. Collaboration for Environmental Evidence mengumumkannya pada 1 Maret 2018, dan artikel yang memperkenalkannya ditulis oleh Haddaway, Macura, Whaley, dan Pullin. ROSES menyediakan formulir untuk protokol dan laporan tinjauan maupun peta bukti, serta templat diagram alir. Standar ini dirancang untuk topik lingkungan, tetapi disebut dapat diterapkan luas di berbagai disiplin. EQUATOR mencantumkan pembaruan yang sedang disusun, terdaftar pada 28 Oktober 2026, sehingga versi perlu diperhatikan.

Dua poin lain tentang proses. Protokol untuk tinjauan Collaboration for Environmental Evidence harus didaftarkan dan ditelaah sejawat melalui proses editorialnya, jadi draf dari perangkat lunak tidak bisa menggantikannya. Evaluasi terhadap tinjauan yang sudah terbit juga menunjukkan pentingnya standar: satu evaluasi atas lebih dari 1.000 sintesis bukti yang terbit antara 2018 dan 2020 menemukan bahwa sebagian besar bermasalah dalam transparansi dan replikabilitas.

Susun pertanyaan penelitian

KerangkaUnsurDigunakan untuk
PICOPopulasi, Intervensi, Pembanding, LuaranEfek suatu intervensi
PECOPaparan menggantikan IntervensiEfek suatu paparan; diakui oleh Collaboration for Environmental Evidence
SPIDERSampel, Fenomena yang Diminati, Desain, Evaluasi, Jenis penelitianPertanyaan kualitatif dan metode campuran

Apa pun yang Anda pilih, jelaskan alasannya. Daftar periksa yang diperluas dalam PRISMA 2020 meminta peninjau menjelaskan struktur pencarian apa pun yang tidak berbasis PICO.

Apa yang harus dicatat

PRISMA 2020 spesifik soal catatan pencarian:

- Item 6 mewajibkan pencatatan setiap basis data, register, situs web, organisasi, dan daftar referensi yang dicari atau dirujuk, beserta tanggal pencarian terakhir masing-masing. - Item 7 mewajibkan strategi pencarian lengkap untuk setiap sumber, termasuk filter dan batasan. - Item 8 mewajibkan proses seleksi: berapa peninjau yang menyaring setiap rekaman, apakah mereka bekerja secara independen, dan rincian alat otomatisasi apa pun. - Item 16a mewajibkan hasil dari rekaman yang teridentifikasi hingga studi yang disertakan, idealnya dalam diagram alir.

Daftar periksa ini terbit dengan lisensi CC BY 4.0, sehingga redaksinya boleh digunakan ulang dengan atribusi. Jika LLM menyaring rekaman apa pun, item 8 menyatakan hal itu harus dilaporkan sebagai alat otomatisasi.

Untuk sumber, menurut dokumentasinya, OpenAlex menyediakan penggunaan dasar gratis tanpa kunci, dan kunci gratis menaikkan anggaran harian sepuluh kali lipat. Crossref dapat memverifikasi DOI. Apa pun yang Anda pakai, catat tanggalnya.

Apa yang terukur dari penyaringan AI

Menyaring ribuan judul dan abstrak adalah tahap ketika bantuan AI paling menggoda. Buktinya beragam:

Studi atau hasilTemuan
Tinjauan studi penyaringan berbasis LLM sebelumnyaSetara hingga, dan kadang melampaui, level mahasiswa magister, tetapi belum mencapai level doktor
Satu hasil yang dilaporkanRecall 0,98 dengan presisi 0,27
34.528 studi dari 24 tinjauan dan 9 LLMSelisih rata-rata antarmodel terbaik kecil, tetapi selisih antartugas penyaringan jauh lebih besar
Sepuluh tinjauan, empat metode promptingMetode few-shot dinamis menghasilkan F1 tertinggi
Studi alur kerja 2026 dengan 1.131 rekamanLLM lebih cocok untuk alur kerja yang tervalidasi, dapat diaudit, dan diawasi manusia daripada untuk eksklusi otonom

Recall tinggi dengan presisi rendah itu berguna: model menandai hampir semua yang relevan, lalu manusia membuang alarm palsunya. Kinerja bergantung pada topik, jadi validasi pada tinjauan Anda sendiri lebih baik daripada memercayai angka di judul. Studi alur kerja 2026 menambahkan bahwa tidak ada satu metrik pun yang menggambarkan alur kerja penyaringan. Kesepakatan, pemulihan rekaman yang memenuhi syarat, dan beban kerja yang dihemat adalah hal yang berbeda, dan masing-masing perlu dilaporkan.

Alat active learning menimbulkan peringatan serupa. ASReview dapat mengurangi beban penyaringan hingga 95% dengan recall tetap tinggi, tetapi penentuan titik berhenti bersifat subjektif. Komentar atas studi 2026 (Kempny dan rekan) menyebut kebiasaan berhenti yang umum, seperti berhenti setelah 100 rekaman tidak relevan berturut-turut atau setelah 5% dari dataset, sangat dipertanyakan. Studi itu sendiri menemukan bahwa penyaringan tambahan yang dibutuhkan berkisar dari 2% hingga 61% tergantung dataset.

Alat pencarian AI bukan strategi pencarian

Sebuah studi independen menguji apakah alat riset AI Elicit dapat menemukan studi yang disertakan dalam empat tinjauan terbit: satu farmakologi, satu bedah, dan dua kesehatan masyarakat. Sensitivitas gabungannya 39,5% (kisaran 25,5% hingga 69,2%), dibandingkan 94,5% untuk pencarian tradisional. Presisinya lebih tinggi, 41,8% dibandingkan 7,55%. Sensitivitas paling rendah pada tinjauan kesehatan masyarakat dan paling tinggi pada tinjauan intervensi obat. Para penulis menyimpulkan bahwa alat ini memberi hasil cepat dengan presisi tinggi dan menemukan beberapa studi unik, tetapi sebaiknya menjadi pelengkap, bukan metode mandiri.

Perlakukan klaim vendor soal kecepatan dan cakupan sebagai klaim semata. Studi tersebut mencatat bahwa sebagian besar evaluasi alat semacam ini berasal dari pengembangnya sendiri dan terbaca seperti pemasaran. Untuk alat Consensus, panduan perpustakaan riset menyatakan alat itu tidak dapat dipakai untuk tinjauan sistematis atau meta-analisis karena penelusurannya tidak dapat direproduksi atau diaudit dalam pengertian PRISMA.

Rutinitas yang bisa dijalankan

1. Pilih ROSES atau PRISMA serta kerangka pertanyaan, dan catat alasannya. 2. Cari di beberapa sumber, catat masing-masing beserta tanggalnya, dan simpan string lengkapnya. 3. Biarkan LLM melakukan penyaringan awal jika Anda mau, tetapi catat sebagai alat otomatisasi, libatkan manusia dalam prosesnya, dan validasi recall pada sampel yang Anda saring sendiri. 4. Jangan biarkan model mengeluarkan rekaman sendirian. 5. Periksa setiap referensi yang dikutip dengan DOI-nya sebelum masuk ke laporan.

Pertanyaan yang Sering Diajukan

PRISMA banyak digunakan, tetapi makalah tahun 2018 tentang versi 2009 menyoroti 12 masalah utama dalam menerapkan PRISMA pada konservasi dan pengelolaan lingkungan. ROSES dirancang untuk sintesis bukti lingkungan.

Ubah target iklim menjadi portofolio terverifikasi

TREEO menghubungkan seluruh siklus karbon, mulai dari kelayakan, simulasi, pemantauan real-time, hingga pelaporan siap registri, dengan memadukan konsultasi ahli dan teknologi dMRV agar bukti sudah tersedia sebelum ada yang memintanya.

Related Articles