ALAT PENILAIAN KRITIS JBI

UNTUK PENILAIAN RISIKO

BIAS UNTUK UJI COBA
TERKONTROL SECARA ACAK
2023
PERKENALAN
JBI adalah organisasi global yang mempromosikan dan mendukung keputusan berbasis bukti yang
meningkatkan kesehatan dan penyampaian layanan kesehatan.
JBI menawarkan serangkaian solusi unik untuk mengakses, menilai, dan menerapkan bukti terbaik
yang tersedia.
Pendekatan JBI terhadap layanan kesehatan berbasis bukti adalah unik. JBI menganggap layanan
kesehatan berbasis bukti sebagai pengambilan keputusan yang mempertimbangkan kelayakan,
kesesuaian, kebermaknaan, dan efektivitas (FAME) praktik layanan kesehatan.
Tinjauan Sistematis JBI
Inti dari sintesis bukti adalah tinjauan sistematis literatur tentang intervensi, kondisi, atau masalah
tertentu. Tinjauan sistematis pada dasarnya adalah analisis bukti yang tersedia dan penilaian
keefektifan atau sebaliknya dari suatu praktik, yang melibatkan serangkaian langkah kompleks. JBI
mengambil pandangan khusus tentang apa yang dianggap sebagai bukti dan metode yang
digunakan untuk mensintesis berbagai jenis bukti tersebut. Sejalan dengan pandangan bukti yang
lebih luas ini, JBI telah mengembangkan teori, metodologi, dan proses yang ketat untuk penilaian
kritis dan sintesis dari beragam bentuk bukti ini untuk membantu pengambilan keputusan klinis
dalam perawatan kesehatan. Panduan sekarang ada untuk melakukan tinjauan penelitian
efektivitas, penelitian kualitatif, prevalensi/insiden, etiologi /risiko, evaluasi ekonomi, teks/opini,
akurasi tes diagnostik, metode campuran, tinjauan payung dan tinjauan pelingkupan. Informasi
lebih lanjut mengenai tinjauan sistematis JBI dapat ditemukan di Manual JBI untuk Sintesis Bukti.
Alat Penilaian Kritis JBI
Semua tinjauan sistematis menggabungkan proses kritik atau penilaian bukti penelitian. Tujuan
dari penilaian untuk bukti kuantitatif ini adalah untuk menentukan sejauh mana studi telah
mengatasi kemungkinan bias dalam desain, pelaksanaan, dan analisisnya. Semua makalah yang
dipilih untuk dimasukkan dalam tinjauan sistematis (yaitu - yang memenuhi kriteria inklusi yang
dijelaskan dalam protokol) harus menjalani penilaian yang ketat oleh dua penilai kritis. Hasil
penilaian ini kemudian dapat digunakan untuk menginformasikan sintesis dan interpretasi hasil
penelitian. Meskipun dirancang untuk digunakan dalam tinjauan sistematis, alat penilaian kritis JBI
juga dapat digunakan saat membuat Topik yang Dinilai Kritis (CAT), di klub jurnal, dan sebagai alat
pendidikan.
Bagaimana alat-alat ini dikembangkan?
Alat penilaian kritis JBI telah dikembangkan oleh JBI dan kolaborator. Iterasi khusus dari alat ini
dikembangkan oleh Kelompok Metode Efektivitas JBI setelah diawasi oleh Komite Ilmiah JBI.
Seperti versi sebelumnya dari alat-alat ini, versi ini menyajikan pertanyaan-pertanyaan yang
mengisyaratkan kepada para peninjau untuk mengidentifikasi apakah perlindungan bias tertentu
telah terpenuhi, dalam literatur utama yang sedang ditinjau. Namun, tidak seperti iterasi
sebelumnya dari alat ini, versi ini telah memisahkan pertanyaan apakah mereka memberikan
jawaban yang berkaitan dengan validitas kesimpulan internal, eksternal atau statistik. Untuk
pertanyaan yang berkaitan dengan validitas internal, ini telah dipisahkan lebih lanjut untuk
mengidentifikasi domain bias apa yang mereka rujuk. Terakhir, alat ini juga telah disusun untuk
memfasilitasi penilaian terkait bias pada tingkat yang berbeda (misalnya bias pada tingkat hasil
atau bias pada tingkat hasil) jika sesuai.
Alat-alat ini telah disetujui setelah tinjauan sejawat ekstensif oleh Komite Ilmiah JBI.
Cara mengutip: Barker TH, Stone JC, Sears K, Klugar M, Tufanaru C, Leonardi-Bee J, Aromataris E,
Munn Z. Alat penilaian kritis JBI yang direvisi untuk penilaian risiko bias untuk uji coba terkontrol
secara acak . Sintesis Bukti JBI. 2023;21(3):494-506
Penilai: Tanggal Penilaian: Nomor Rekam:

Penulis Studi: Judul Studi: Tahun Studi:

Validitas internal Ya TIDAK Tidak T/A

Pilihan - Komentar/Pembenaran
jelas

Bias terkait dengan pemilihan dan alokasi

1 Apakah pengacakan benar digunakan untuk penugasan ☐ ☐ ☐ ☐

peserta ke kelompok perlakuan?

2 Apakah alokasi untuk kelompok perlakuan disembunyikan? ☐ ☐ ☐ ☐

3 Apakah kelompok perlakuan serupa pada awal? ☐ ☐ ☐ ☐

Bias terkait dengan pemberian intervensi/paparan

4 Apakah peserta buta terhadap tugas pengobatan? ☐ ☐ ☐ ☐

5 Apakah mereka yang memberikan pengobatan buta ☐ ☐ ☐ ☐

terhadap penugasan pengobatan?

6 Apakah kelompok perlakuan diperlakukan secara identik ☐ ☐ ☐ ☐

selain dari intervensi yang diminati?

Bias terkait dengan penilaian, deteksi dan pengukuran hasil

7 Apakah penilai hasil buta terhadap tugas pengobatan? Ya TIDAK Tidak T/A
jelas

Hasil 1 ☐ ☐ ☐ ☐
Hasil 2 ☐ ☐ ☐ ☐
Hasil 3 ☐ ☐ ☐ ☐
 Hasil 4 ☐ ☐ ☐ ☐
Hasil 5 ☐ ☐ ☐ ☐
Hasil 6 ☐ ☐ ☐ ☐
Hasil 7 ☐ ☐ ☐ ☐

8 Apakah hasil diukur dengan cara yang sama untuk Ya TIDAK Tidak T/A
kelompok perlakuan? jelas

Hasil 1 ☐ ☐ ☐ ☐
Hasil 2 ☐ ☐ ☐ ☐
Hasil 3 ☐ ☐ ☐ ☐
Hasil 4 ☐ ☐ ☐ ☐
Hasil 5 ☐ ☐ ☐ ☐
Hasil 6 ☐ ☐ ☐ ☐
Hasil 7 ☐ ☐ ☐ ☐

9 Apakah hasil diukur dengan cara yang dapat diandalkan Ya TIDAK Tidak T/A
jelas

Hasil 1 ☐ ☐ ☐ ☐
Hasil 2 ☐ ☐ ☐ ☐
Hasil 3 ☐ ☐ ☐ ☐
Hasil 4 ☐ ☐ ☐ ☐
Hasil 5 ☐ ☐ ☐ ☐
 Hasil 6 ☐ ☐ ☐ ☐
Hasil 7 ☐ ☐ ☐ ☐

Bias terkait dengan retensi peserta

10 Apakah tindak lanjut lengkap dan jika tidak, apakah

perbedaan antar kelompok dalam hal tindak lanjut
dijelaskan dan dianalisis secara memadai?

Hasil 1 Tidak
Ya TIDAK T/A
jelas

Hasil 1 ☐ ☐ ☐ ☐
Hasil 2 ☐ ☐ ☐ ☐
Hasil 3 ☐ ☐ ☐ ☐
Hasil 2 Ya TIDAK Tidak T/A
jelas

Hasil 1 ☐ ☐ ☐ ☐

Hasil 2 ☐ ☐ ☐ ☐
Hasil 3 ☐ ☐ ☐ ☐
Hasil 3 Ya TIDAK Tidak T/A
jelas

Hasil 1 ☐ ☐ ☐ ☐
Hasil 2 ☐ ☐ ☐ ☐
Hasil 3 ☐ ☐ ☐ ☐
Hasil 4 Ya TIDAK Tidak T/A
 jelas

Hasil 1 ☐ ☐ ☐ ☐
Hasil 2 ☐ ☐ ☐ ☐
Hasil 3 ☐ ☐ ☐ ☐
Hasil 5 Ya TIDAK Tidak T/A
jelas

Hasil 1 ☐ ☐ ☐ ☐
Hasil 2 ☐ ☐ ☐ ☐
Hasil 3 ☐ ☐ ☐ ☐
Hasil 6 Ya TIDAK Tidak T/A
jelas

Hasil 1 ☐ ☐ ☐ ☐
Hasil 2 ☐ ☐ ☐ ☐
Hasil 3 ☐ ☐ ☐ ☐
Hasil 7 Ya TIDAK Tidak T/A
jelas

Hasil 1 ☐ ☐ ☐ ☐
Hasil 2 ☐ ☐ ☐ ☐
Hasil 3 ☐ ☐ ☐ ☐

Validitas Kesimpulan Statistik

11 Apakah peserta dianalisis dalam kelompok yang diacak?

Hasil 1 Ya TIDAK Tidak T/A
jelas

Hasil 1 ☐ ☐ ☐ ☐
Hasil 2 ☐ ☐ ☐ ☐
Hasil 3 ☐ ☐ ☐ ☐
Hasil 2 Ya TIDAK Tidak T/A
jelas

Hasil 1 ☐ ☐ ☐ ☐
Hasil 2 ☐ ☐ ☐ ☐
Hasil 3 ☐ ☐ ☐ ☐
Hasil 3 Ya TIDAK Tidak T/A
jelas

Hasil 1 ☐ ☐ ☐ ☐
Hasil 2 ☐ ☐ ☐ ☐
Hasil 3 ☐ ☐ ☐ ☐
Hasil 4 Ya TIDAK Tidak jelas T/A

Hasil 1 ☐ ☐ ☐ ☐
Hasil 2 ☐ ☐ ☐ ☐
Hasil 3 ☐ ☐ ☐ ☐
Hasil 5 Ya TIDAK Tidak jelas T/A

Hasil 1 ☐ ☐ ☐ ☐
Hasil 2 ☐ ☐ ☐ ☐
Hasil 3 ☐ ☐ ☐ ☐
 Hasil 6 Ya TIDAK Tidak jelas T/A

Hasil 1 ☐ ☐ ☐ ☐
Hasil 2 ☐ ☐ ☐ ☐
Hasil 3 ☐ ☐ ☐ ☐
Hasil 7 Ya TIDAK Tidak jelas T/A

Hasil 1 ☐ ☐ ☐ ☐

Hasil 2 ☐ ☐ ☐ ☐
Hasil 3 ☐ ☐ ☐ ☐

12 Apakah analisis statistik yang tepat digunakan?

Hasil 1 Ya TIDAK Tidak jelas T/A

Hasil 1 ☐ ☐ ☐ ☐
Hasil 2 ☐ ☐ ☐ ☐
Hasil 3 ☐ ☐ ☐ ☐
Hasil 2 Ya TIDAK Tidak jelas T/A

Hasil 1 ☐ ☐ ☐ ☐
Hasil 2 ☐ ☐ ☐ ☐
Hasil 3 ☐ ☐ ☐ ☐
Hasil 3 Ya TIDAK Tidak jelas T/A

Hasil 1 ☐ ☐ ☐ ☐
Hasil 2 ☐ ☐ ☐ ☐
 Hasil 3 ☐ ☐ ☐ ☐
Hasil 4 Ya TIDAK Tidak jelas T/A

Hasil 1 ☐ ☐ ☐ ☐
Hasil 2 ☐ ☐ ☐ ☐
Hasil 3 ☐ ☐ ☐ ☐
Hasil 5 Ya TIDAK Tidak jelas T/A

Hasil 1 ☐ ☐ ☐ ☐
Hasil 2 ☐ ☐ ☐ ☐
Hasil 3 ☐ ☐ ☐ ☐
Hasil 6 Ya TIDAK Tidak jelas T/A

Hasil 1 ☐ ☐ ☐ ☐
Hasil 2 ☐ ☐ ☐ ☐
Hasil 3 ☐ ☐ ☐ ☐
Hasil 7 Ya TIDAK Tidak jelas T/A

Hasil 1 ☐ ☐ ☐ ☐
Hasil 2 ☐ ☐ ☐ ☐
Hasil 3 ☐ ☐ ☐ ☐

Ya TIDAK Tidak jelas T/A

13 Apakah desain uji coba sesuai dan setiap penyimpangan ☐ ☐ ☐ ☐

dari desain RCT standar (pengacakan individu, kelompok
paralel) diperhitungkan dalam pelaksanaan dan analisis uji
 coba?

Penilaian keseluruhan: Termasuk:☐ Mengecualikan:☐ Mencari Info Lebih Lanjut: ☐

Komentar:

Tabel 3 – Alat Penilaian Kritis JBI untuk RCT

PERTANYAAN BIMBINGAN
Cara menggunakan Alat JBI untuk Penilaian Risiko Bias
Setiap pertanyaan yang disajikan dalam alat JBI untuk penilaian risiko bias untuk desain penelitian
kuantitatif menjawab pertanyaan yang berkaitan dengan kategori validitas dan domain bias tertentu
. Konsep validitas sering digunakan ketika mengacu pada kesehatan atau ketelitian di mana
penelitian dilakukan, dan apakah hasil penelitian tersebut mungkin benar dan dapat
digeneralisasikan. Di JBI kami telah memecah ini untuk memasukkan tiga kategori terpisah yang
merupakan validitas , ini termasuk validitas internal, validitas eksternal, validitas kesimpulan
statistik. Selain itu, kami juga menyertakan kelengkapan pelaporan.
Pertanyaan yang dikategorikan sebagai "Validitas Internal" kemudian diatur lebih lanjut ke domain
bias tertentu yang terkait. Ranah bias yang digunakan sebagai indikator validitas internal meliputi
bias terkait pemilihan dan alokasi, bias terkait administrasi intervensi/paparan, bias terkait asesmen,
deteksi dan pengukuran hasil, bias terkait retensi partisipan, bias terkait dengan prioritas temporal,
bias terkait dengan klasifikasi paparan, bias terkait dengan faktor perancu dan bias terkait dengan
pelaporan selektif dan/atau bias publikasi.
Untuk informasi lebih lanjut, silakan lihat Barker et al. 2022

Pertanyaan 1: Apakah benar pengacakan digunakan untuk penugasan peserta ke kelompok

perlakuan?
Kategori: Validitas internal
Domain: Bias terkait dengan pemilihan dan alokasi
Penilaian: Tingkat studi
Jika peserta tidak dialokasikan ke kelompok perlakuan dan kontrol dengan tugas acak, ada risiko
bahwa tugas ke kelompok ini dapat dipengaruhi oleh karakteristik yang diketahui dari peserta itu
sendiri. Karakteristik peserta yang diketahui ini dapat mendistorsi perbandingan kelompok (yaitu
apakah kelompok intervensi berisi lebih banyak orang berusia di atas 65 tahun dibandingkan dengan
kontrol?). Penugasan peserta yang benar-benar acak ke dalam kelompok berarti bahwa prosedur
digunakan yang mengalokasikan peserta ke dalam kelompok murni berdasarkan kebetulan, tidak
dipengaruhi oleh karakteristik peserta yang diketahui. Peninjau harus memeriksa detail tentang
prosedur pengacakan yang digunakan untuk alokasi peserta ke kelompok belajar. Apakah prosedur
kebetulan (acak) yang sebenarnya digunakan? Misalnya, apakah daftar nomor acak digunakan?
Apakah daftar nomor acak yang dihasilkan komputer digunakan? Apakah seorang ahli statistik, di
luar tim peneliti berkonsultasi untuk pembuatan urutan pengacakan? Selain itu, peninjau harus
memeriksa bahwa penulis tidak menyatakan bahwa mereka telah menggunakan pendekatan acak
ketika mereka malah menggunakan pendekatan sistematis (seperti mengalokasikan berdasarkan hari
dalam seminggu).

Pertanyaan 2: Apakah alokasi untuk kelompok disembunyikan?

Kategori: Validitas internal
Domain: Bias terkait dengan pemilihan dan alokasi
Penilaian: Tingkat studi
Jika mereka yang mengalokasikan peserta ke kelompok yang dibandingkan mengetahui kelompok
mana yang selanjutnya dalam proses alokasi, (yaitu, kelompok perlakuan atau kontrol), ada risiko
bahwa mereka mungkin dengan sengaja dan sengaja melakukan intervensi dalam alokasi pasien. Hal
ini dapat mengakibatkan alokasi preferensial pasien ke kelompok perlakuan atau ke kelompok
kontrol. Ini dapat secara langsung mendistorsi hasil penelitian, karena peserta tidak lagi memiliki
kesempatan yang sama dan acak untuk menjadi bagian dari setiap kelompok yang dibandingkan.
Penyembunyian alokasi mengacu pada prosedur yang mencegah mereka mengalokasikan pasien
untuk mengetahui sebelum alokasi pengobatan atau kontrol mana yang berikutnya dalam proses
alokasi. Peninjau harus memeriksa detail tentang prosedur yang digunakan untuk penyembunyian
alokasi. Apakah prosedur penyembunyian alokasi yang tepat digunakan? Misalnya, apakah
pengacakan sentral digunakan? Apakah amplop yang diberi nomor berurutan, tidak tembus cahaya,
dan tersegel digunakan? Apakah paket obat berkode digunakan?

Pertanyaan 3: Apakah kelompok perlakuan serupa pada awal?

Kategori: Validitas internal
Domain: Bias terkait dengan pemilihan dan alokasi
Penilaian: Tingkat studi
Seperti pertanyaan 1, setiap perbedaan antara karakteristik peserta yang diketahui termasuk dalam
kelompok yang dibandingkan merupakan ancaman terhadap validitas internal. Jika perbedaan
karakteristik ini memang ada, maka ada potensi bahwa 'akibat' tidak dapat dikaitkan dengan
'penyebab ' potensial (intervensi atau pengobatan yang diperiksa). Ini karena 'efek' dapat dijelaskan
oleh perbedaan antara karakteristik peserta dan bukan karena intervensi/perlakuan yang diminati.
Peninjau harus memeriksa karakteristik yang dilaporkan untuk peserta. Apakah peserta dari
kelompok yang dibandingkan mirip dengan karakteristik yang dapat menjelaskan efek bahkan tanpa
'penyebab ', misalnya usia, tingkat keparahan penyakit, stadium penyakit, kondisi yang menyertai
dan sebagainya ? Peninjau harus memeriksa proporsi peserta dengan karakteristik spesifik yang
relevan dalam kelompok yang dibandingkan. [Catatan: JANGAN hanya mempertimbangkan nilai-P
untuk pengujian statistik perbedaan antar kelompok sehubungan dengan karakteristik dasar.]

Pertanyaan 4: Apakah peserta buta terhadap tugas pengobatan?

Kategori: Validitas internal
Domain: Bias terkait administrasi intervensi/paparan
Penilaian: Tingkat studi
Partisipan yang menyadari alokasi mereka untuk perlakuan atau kontrol mungkin berperilaku,
merespons, atau bereaksi berbeda terhadap perlakuan (atau kontrol) yang ditugaskan kepada
mereka dibandingkan dengan peserta yang tetap tidak mengetahui alokasi mereka. Membutakan
peserta adalah teknik yang digunakan untuk meminimalkan risiko ini. Blinding mengacu pada
prosedur yang mencegah peserta mengetahui kelompok mana yang mereka alokasikan. Jika
penyamaran telah diikuti, peserta tidak menyadari apakah mereka berada dalam kelompok yang
menerima perlakuan yang diinginkan atau jika mereka berada dalam kelompok lain yang menerima
intervensi kontrol. Peninjau harus memeriksa detail yang dilaporkan dalam artikel tentang
penyamaran peserta sehubungan dengan penugasan perawatan. Apakah prosedur penyamaran yang
tepat digunakan? Misalnya, apakah kapsul atau jarum suntik identik digunakan? Apakah perangkat
identik digunakan? Waspadai berbagai istilah yang digunakan, blinding terkadang disebut juga
dengan masking.

Pertanyaan 5: Apakah mereka yang memberikan pengobatan buta terhadap penugasan

pengobatan?
Kategori: Validitas internal
Domain: Bias terkait administrasi intervensi/paparan
Penilaian: Tingkat studi
Seperti pertanyaan 4, mereka yang memberikan perlakuan yang mengetahui alokasi peserta untuk
perlakuan atau kontrol, dapat memperlakukan peserta secara berbeda dibandingkan dengan mereka
yang tetap tidak mengetahui alokasi peserta. Ada risiko bahwa setiap perubahan potensial dalam
perilaku dapat mempengaruhi penerapan perlakuan yang dibandingkan dan hasil penelitian dapat
terdistorsi. Membutakan mereka yang memberikan pengobatan digunakan untuk meminimalkan
risiko ini. Ketika tingkat penyamaran ini telah tercapai, mereka yang memberikan perlakuan tidak
menyadari jika mereka memperlakukan kelompok yang menerima perlakuan yang diinginkan atau
jika mereka memperlakukan kelompok lain yang menerima intervensi kontrol. Peninjau harus
memeriksa detail yang dilaporkan dalam artikel tentang penyamaran mereka yang memberikan
perawatan sehubungan dengan penugasan perawatan. Apakah ada informasi dalam artikel tentang
mereka yang memberikan perawatan? Apakah mereka yang memberikan pengobatan tidak
mengetahui tugas peserta untuk kelompok yang dibandingkan?

Pertanyaan 6: Apakah kelompok perlakuan diperlakukan sama selain intervensi yang diminati?
Kategori: Validitas internal
Domain: Bias terkait administrasi intervensi/paparan
Penilaian: Tingkat studi
Untuk mengaitkan 'akibat' dengan 'penyebab ', (dengan asumsi tidak ada bias yang terkait dengan
pemilihan dan alokasi) tidak boleh ada perbedaan lain antara kelompok dalam hal perlakuan atau
perawatan yang diterima, selain perlakuan atau intervensi yang dikontrol oleh para peneliti. Jika ada
paparan atau perlakuan lain yang terjadi bersamaan dengan 'penyebab ' (perlakuan atau intervensi
yang diinginkan), maka 'akibat' berpotensi tidak dikaitkan dengan 'penyebab ' yang diperiksa
(perawatan yang diselidiki). Hal ini karena masuk akal bahwa 'akibat' dapat dijelaskan oleh paparan
atau perlakuan lain yang terjadi bersamaan dengan 'sebab '. Peninjau harus memeriksa paparan
yang dilaporkan atau intervensi yang diterima oleh kelompok pembanding. Apakah ada paparan atau
perawatan lain yang terjadi bersamaan dengan 'penyebabnya '? Apakah masuk akal bahwa 'akibat'
dapat dijelaskan oleh paparan atau perlakuan lain yang terjadi bersamaan dengan 'penyebab '?
Apakah jelas bahwa tidak ada perbedaan lain antara kelompok dalam hal perlakuan atau perawatan
yang diterima, selain perawatan atau intervensi yang diminati?

Pertanyaan 7: Apakah penilai hasil buta terhadap tugas pengobatan?

Kategori: Validitas internal
Domain: Bias terkait penilaian, deteksi, dan pengukuran hasil
Penilaian: Tingkat hasil
Seperti pertanyaan 4 dan 5, mereka yang menilai hasil yang mengetahui alokasi peserta untuk
perlakuan atau kontrol, dapat memperlakukan peserta secara berbeda dibandingkan dengan mereka
yang tetap tidak mengetahui alokasi peserta. Oleh karena itu, ada risiko bahwa pengukuran hasil
antar kelompok mungkin terdistorsi, dan hasil penelitian itu sendiri mungkin terdistorsi. Penilai hasil
yang membutakan digunakan untuk meminimalkan risiko ini. Peninjau harus memeriksa detail yang
dilaporkan dalam artikel tentang pembutakan penilai hasil sehubungan dengan penugasan
pengobatan. Apakah ada informasi dalam artikel tentang penilai hasil? Apakah mereka yang menilai
efek pengobatan pada hasil tidak mengetahui penugasan peserta ke kelompok yang dibandingkan?

Pertanyaan 8: Apakah hasil diukur dengan cara yang sama untuk kelompok perlakuan?
Kategori: Validitas internal
Domain: Bias terkait penilaian, deteksi, dan pengukuran hasil
Penilaian: Tingkat hasil
Jika hasilnya tidak diukur dengan cara yang sama pada kelompok yang dibandingkan, ada ancaman
terhadap validitas internal sebuah penelitian. Setiap perbedaan dalam pengukuran hasil mungkin
disebabkan oleh metode pengukuran yang digunakan antara kedua kelompok, dan bukan karena
intervensi/perlakuan yang diinginkan. Peninjau harus memeriksa apakah hasilnya diukur dengan cara
yang sama. Instrumen atau skala yang digunakan sama? Waktu pengukuran yang sama? Prosedur
dan instruksi pengukuran yang sama?

Pertanyaan 9: Apakah hasil diukur dengan cara yang dapat diandalkan?

Kategori: Validitas internal
Domain: Bias terkait penilaian, deteksi, dan pengukuran hasil
Penilaian: Tingkat hasil
Pengukuran hasil yang tidak dapat diandalkan adalah salah satu ancaman yang melemahkan validitas
inferensi tentang hubungan statistik antara 'penyebab ' dan 'efek' yang diperkirakan dalam
penelitian yang mengeksplorasi efek kausal. Pengukuran hasil yang tidak dapat diandalkan adalah
salah satu penjelasan masuk akal yang berbeda untuk kesalahan inferensi statistik sehubungan
dengan keberadaan dan besarnya efek yang ditentukan oleh perlakuan (' penyebab '). Peninjau
harus memeriksa detail tentang keandalan pengukuran yang digunakan, seperti jumlah penilai ,
pelatihan penilai , reliabilitas intra- penilai dan antar penilai dalam studi (tidak seperti yang
dilaporkan dalam sumber eksternal). Pertanyaan ini adalah tentang reliabilitas pengukuran yang
dilakukan dalam penelitian, bukan tentang validitas instrumen/skala pengukuran yang digunakan
dalam penelitian. Terakhir, beberapa hasil mungkin tidak bergantung pada instrumen atau skala
(misalnya kematian) dan reliabilitas pengukuran mungkin perlu dinilai dalam konteks penelitian yang
sedang ditinjau. [Catatan: Dua ancaman penting lainnya yang melemahkan validitas inferensi tentang
hubungan statistik antara 'penyebab ' dan 'akibat' adalah kekuatan statistik yang rendah dan
pelanggaran asumsi uji statistik. Kedua ancaman lainnya dieksplorasi dalam Pertanyaan 12).]

Pertanyaan 10: Apakah tindak lanjut lengkap dan jika tidak, apakah perbedaan antar kelompok
dalam hal tindak lanjut dijelaskan dan dianalisis secara memadai?
Kategori: Validitas internal
Domain: Bias terkait dengan retensi peserta
Penilaian: Tingkat hasil
Untuk pertanyaan ini, tindak lanjut mengacu pada periode dari saat pengacakan hingga titik mana
pun di mana kelompok dibandingkan selama uji coba. Pertanyaan ini menanyakan apakah ada
pengetahuan lengkap (pengukuran, pengamatan, dll.) selama durasi uji coba untuk semua peserta
yang dialokasikan secara acak. Jika ada tindak lanjut yang tidak lengkap dari semua peserta yang
dialokasikan secara acak, ini dikenal sebagai pengurangan pasca penugasan. Karena RCT tidak
sempurna, hampir selalu ada gesekan pasca penugasan, dan fokus dari pertanyaan ini adalah pada
eksplorasi yang tepat dari gesekan pasca penugasan. Jika memang ada perbedaan sehubungan
dengan gesekan pasca penugasan antara kelompok RCT yang dibandingkan, maka ada ancaman
terhadap validitas internal penelitian tersebut. Ini karena perbedaan-perbedaan ini dapat
memberikan penjelasan alternatif yang masuk akal untuk 'akibat' yang diamati bahkan tanpa adanya
'penyebab ' (perlakuan atau intervensi kepentingan). Penting untuk dicatat bahwa terkait dengan
pengurangan pasca penugasan, tidak cukup mengetahui jumlah peserta dan proporsi peserta
dengan data yang tidak lengkap; alasan mangkir sangat penting dalam analisis risiko bias.
Peninjau harus memeriksa apakah ada perbedaan sehubungan dengan mangkir antara kelompok
yang dibandingkan. Jika tindak lanjut tidak lengkap (informasi tidak lengkap tentang semua peserta),
periksa rincian yang dilaporkan tentang strategi yang digunakan untuk mengatasi tindak lanjut yang
tidak lengkap. Ini dapat mencakup deskripsi mangkir (angka absolut; proporsi; alasan mangkir) dan
analisis dampak (analisis dampak mangkir pada hasil). Apakah ada deskripsi tentang tindak lanjut
yang tidak lengkap termasuk jumlah peserta dan alasan spesifik untuk mangkir? Bahkan jika tindak
lanjut tidak lengkap, tetapi seimbang antar kelompok, jika alasan mangkir berbeda (misalnya, efek
samping yang disebabkan oleh intervensi kepentingan), ini dapat menimbulkan risiko bias jika tidak
dieksplorasi dengan tepat dalam analisis. Jika ada perbedaan antara kelompok sehubungan dengan
mangkir (jumlah/proporsi dan alasan), apakah ada analisis pola mangkir? Jika ada perbedaan antara
kelompok sehubungan dengan mangkir, apakah ada analisis dampak mangkir terhadap hasil?
[Catatan: Pertanyaan 10 BUKAN tentang analisis niat untuk mengobati (ITT); pertanyaan 11 tentang
analisis ITT.]

Pertanyaan 11: Apakah peserta dianalisis dalam kelompok yang diacak?

Kategori: Validitas kesimpulan statistik
Penilaian: Tingkat hasil
Pertanyaan ini adalah tentang analisis niat untuk mengobati (ITT). Ada berbagai strategi analisis
statistik yang tersedia untuk analisis data dari RCT, seperti analisis niat-to-treat (dikenal juga sebagai
niat untuk mengobati; disingkat, ITT), analisis per-protokol, dan analisis as-treated. Dalam analisis
ITT, peserta dianalisis dalam kelompok yang diacak. Ini berarti bahwa terlepas dari apakah peserta
menerima intervensi atau kontrol sebagaimana ditugaskan, mengeluh dengan tugas yang
direncanakan atau berpartisipasi selama durasi studi, mereka masih termasuk dalam analisis. Analisis
ITT membandingkan hasil peserta dari kelompok awal yang dibuat oleh alokasi acak awal peserta ke
kelompok tersebut. Peninjau harus memeriksa apakah analisis ITT dilaporkan; periksa rincian ITT.
Apakah peserta dianalisis dalam kelompok yang awalnya diacak, terlepas dari apakah mereka
berpartisipasi dalam kelompok tersebut, dan terlepas dari apakah mereka menerima intervensi yang
direncanakan?
[Catatan: Analisis ITT adalah jenis analisis statistik yang direkomendasikan dalam pernyataan
Consolidated Standards of Reporting Trials (CONSORT) tentang praktik terbaik dalam pelaporan uji
coba, dan dianggap sebagai penanda kualitas metodologi yang baik dari analisis hasil uji coba acak .
ITT memperkirakan efek dari penawaran intervensi, yaitu efek dari menginstruksikan peserta untuk
menggunakan atau mengambil intervensi; ITT itu tidak memperkirakan efek dari menerima
intervensi kepentingan.]

Pertanyaan 12: Apakah analisis statistik yang tepat digunakan?

Kategori: Validitas kesimpulan statistik
Penilaian: Tingkat hasil
Analisis statistik yang tidak tepat dapat menyebabkan kesalahan inferensi statistik sehubungan
dengan keberadaan dan besarnya pengaruh yang ditentukan oleh perlakuan ( 'penyebab '). Kekuatan
statistik yang rendah dan pelanggaran asumsi uji statistik adalah dua ancaman penting yang
melemahkan validitas inferensi tentang hubungan statistik antara 'sebab ' dan 'akibat'. Peninjau
harus memeriksa aspek-aspek berikut: apakah asumsi uji statistik dihormati; jika analisis kekuatan
statistik yang sesuai dilakukan; jika ukuran efek yang sesuai digunakan; jika metode statistik yang
sesuai digunakan mengingat sifat data dan tujuan analisis statistik (asosiasi antara variabel; prediksi;
analisis kelangsungan hidup, dll.).

Pertanyaan 13: Apakah desain percobaan sesuai dan setiap penyimpangan dari desain RCT standar
(pengacakan individu, kelompok paralel) diperhitungkan dalam pelaksanaan dan analisis
percobaan?
Kategori: Validitas kesimpulan statistik
Penilaian: Tingkat studi
Tipikal, RCT kelompok paralel mungkin tidak selalu sesuai tergantung pada sifat pertanyaan yang
diajukan. Oleh karena itu, beberapa desain RCT tambahan mungkin telah digunakan yang masing-
masing datang dengan pertimbangan tambahannya sendiri.
Uji coba silang hanya boleh dilakukan pada orang dengan kondisi kronis dan stabil, di mana
intervensi menghasilkan efek jangka pendek (yaitu pengurangan gejala). Uji coba silang harus
memastikan ada periode pencucian yang tepat di antara perawatan. Ini juga dapat dipertimbangkan
dalam pertanyaan 6.
Cluster RCT mengacak kelompok individu atau kelompok (misalnya komunitas, bangsal, dll. ),
membentuk 'cluster.' Saat kami menilai hasil pada tingkat individu dalam uji coba klaster, ada
masalah unit analisis, karena individu dalam klaster berkorelasi. Ini harus dipertimbangkan oleh
penulis studi ketika melakukan analisis, dan idealnya penulis akan melaporkan koefisien korelasi
intra-cluster. Ini juga dapat dipertimbangkan dalam pertanyaan 12.
RCT stepped wedge mungkin tepat untuk menetapkan kapan dan bagaimana intervensi yang
menguntungkan dapat diimplementasikan dengan baik dalam pengaturan yang ditentukan, atau
karena pertimbangan logistik, praktis, atau keuangan dalam peluncuran pengobatan/intervensi baru.
Analisis data dalam uji coba ini harus dilakukan dengan tepat, mengingat pengaruh waktu. Ini juga
dapat dipertimbangkan dalam pertanyaan 12.