Meta-analisis

Workshop Jamovi
29-30 September 2018

Rizqy Amelia Zein

Departemen Psikologi Kepribadian dan Sosial
Awal mulanya… (Wampold, Ahn & Kim 2000)
• Pada tahun 1952, Hans J. Eysenck menelaah artikel-artikel
yang diterbitkan mengenai efektivitas Psikoterapi, namun
menyimpulkan bahwa Psikoterapi tidak ada kaitannya
dengan recovery, dan dengan begitu, tidak ada gunanya.
– Setelah menelaah naskah yang terpublikasi selama 20 tahun,
Eysenck bahkan menyimpulkan korelasi antara Psikoterapi dengan
recovery adalah inverse, semakin sering Psikoterapi dilakukan,
recovery makin mengecil.
• Pada tahun 1978, Gene V. Glass melakukan agregasi hasil
statistik dari 375 penelitian Psikoterapi
– Glass (termasuk Smith) menyimpulkan Psikoterapi umumnya
efektif
– Glass menyebutkan metode yang ia lakukan sebagai meta-analisis
Kapan digunakan?
• Meta-analisis dapat dilakukan pada (sekumpulan) hasil penelitian (sebagai
kelompok sampel) yang…
– Empiris, bukan teoritik
– Menjelaskan temuan penelitian dengan paradigma kuantitatif (bukan kualitatif), sehingga
membutuhkan informasi mengenai mean dan varians
– Mengandung informasi statistik yang dapat dikomparasikan (contoh: effect size, koefisien
korelasi, odds ratio, dll.)
– Kalau tidak ada informasi mengenai ES, setidaknya ada informasi yang dapat digunakan untuk
menghitung/mengestimasi ES
– Menginvestigasi konstruk dan korelasi antar konstruk yang memang comparable
Ragam penelitian meta-analisis
• Central tendency
– Prevalensi dan rerata skor
• Perbedaan antara dua kelompok independen (between groups)
– Desain penelitian eksperimental
– Bisa jadi non-eksperimental, mengukur perbedaan natural antara dua kelompok
• Perbedaan dalam satu kelompok (within groups)
– Desain penelitian eksperimental
– Repeated measurements
• Statistical association antara dua variabel
– Pengukuran (reliabilitas & validitas)
– Koefisien korelasi (Pearson’s r)
Asumsi dasar: the replication continuum
Pure Conceptual
Replications Replications

• Dalam melakukan meta-analisis, kita harus mengasumsikan bahwa kumpulan

penelitian yang akan dianalisis menginvestigasi hal yang sama.
• Sehingga penelitian-penelitian tsb merupakan replikasi dari penelitian serupa.
Meskipun level replikasinya berbeda-beda, mulai dari yang persis sama (pure),
sampai yang hanya mereplikasi konsepnya saja.
• Apabila kumpulan penelitian yang akan dianalisis mendekati pure replication, maka
akan lebih mudah dikomparasikan.
Tantangannya…
• Pertanyaan utama yang ingin dijawab melalui
meta-analisis adalah:
Kalau ternyata ES bervariasi, faktor apa yang
membuatnya bervariasi?
• Oleh karena itu, kita harus mencatat semua hal-
hal penting dari kumpulan penelitian yang
dianalisis. Contoh:
– Rasio gender
– M dan SD usia partisipan, dsb…
• Implikasinya….
– Proses yang melelahkan dan emotionally & physically
exhausting!
Jadi.. Bagaimana cara memilahnya?
• Tentukan kriteria ekslusi dan inklusi
• Tentukan basis data (contoh: Portal Garuda, Indonesia ONE Search, Google Scholar,
PubMed, PsycNet, dsb.) sebagai sumber pencarian
• Tentukan kata kunci yang akan dimasukkan dalam basis data
• Tentukan jenis dokumen yang akan dicakup
– Artikel penelitian yang diterbitkan di berkala ilmiah
– Prosiding
– Tesis/disertasi/skripsi
– Working paper
• Ikut PRISMA statement dalam memutuskan mana penelitian yang dimasukkan
menjadi sampel
• Siapkan spreadsheet yang digunakan untuk menginput data
Informasi yang dapat dicoding selain ES
• Label (ID) studinya
• Sample size (kalau 2 kelompok berarti n masing-masing kelompok)
• Atribut sampel (M dan SD usia, proporsi gender, dsb.)
• DV & IV sekaligus cara pengukuran dan properti psikometriknya (reliabilitas &
validitas)
• M dan SD dari masing-masing DV dan IV
• Teknik uji hipotesis yang digunakan
• Desain penelitiannya (within atau between groups? True atau quasi?)
• Manipulasi IV sekaligus manipulation check-nya
• Kualitas penelitiannya → risk descriptor
– Lihat contoh di kriteria & asesmen kualitas.pdf
ES yang tak sama 
• Bagaimana kalau ES di sampel meta-
analisis kita tidak sama, karena
menggunakan teknik analisis yang
berbeda?
• Caranya:
– Distandardisasi (lihat gambar)
– Dikonversi → lihat file “converting effect
size.xls”
Statistical testnya…
• Uji heterogenitas
– Menguji H0: semua penelitian yang di meta-analisis memiliki ES yang sama di populasi → X2
– Random effect dan fixed effect model --- forest plot
– Meta-regression
• Publication bias
– Penelitian dengan p<0.05 lebih besar kemungkinannya untuk diterbitkan di jurnal dengan faktor
dampak yang besar → memicu file-drawer effect
– Kontradiksi yang menarik: justru penelitian yang didesain dengan hati-hati, justru kecil
kemungkinannya mendapatkan p<0.05 daripada penelitian yang dilakukan dengan sembrono
– Dapat dideteksi dengan: Funnel plot, Meta-regression, fail-safe N
Uji heterogenitas (1)
Langkah-langkahnya:
• Menguji H0: semua penelitian yang di-meta-analisis memiliki ES yang sama pada
populasi studinya (dengan X2)
• Membuat forest plot
• Memilih antara random model atau fixed model
• Pilih metode estimatornya (DerSimonian-Laird, Hunter & Schimdt, MLE, Sidik &
Jonkman, Bayesian, dll.)
Uji heterogenitas (2)
• Bila hasil uji heterogenitas (X2) tidak signifikan, atau tingkat heterogenitas (Higgins’
I2) sangat rendah, berarti:
– ES sampel penelitian yang dimeta-analisis tidak ada perbedaan berarti, sehingga
pooled/summary ES dapat diinterpretasi

Tetapi!!
• Uji heterogenitas memiliki power yang rendah (karena biasanya jumlah sampelnya
(k) kecil), sehingga tidak mampu mendeteksi adanya perbedaan (apabila ada) yang
terjadi sebenarnya
• Sehingga, meskipun pooled/summary ES dapat diinterpretasi, tidak dapat dijadikan
bukti homogenitas
Uji heterogenitas (3)
• Bila hasil uji heterogenitas (X2) signifikan, tingkat heterogenitas
(Higgins’ I2) sangat tinggi berarti:
– ES sampel penelitian yang dimeta-analisis ada perbedaan berarti,
sehingga pooled/summary ES dapat tidak dapat diinterpretasi
– Menjadi bukti bahwa ES dalam sampel penelitian yang dimeta-analisis
mengalami variasi yang berarti
– Dapat ditindaklanjuti dengan mencari tahu penyebab heterogenitas
studi
– Lakukan meta-regression (mixed effects model)
Higgins I 2

• Higgins, et al. (2003) menyarankan aturan

interpretasi I2 sebagai berikut:
– I2 = 0% → heterogenitas hampir tidak terjadi
– I2 = 25% → heterogenitas rendah
– I2 = 50% → heterogenitas sedang
– I2 = 75% → heterogenitas tinggi

• I2 tidak pernah mencapai 100% dan nilai diatas 90%

jarang sekali terjadi
Forest plot (Oosterhout, et al. 2016)
• Berikut ini adalah forest plot yang menggambarkan efek metacognitive training pada
penurunan simtom positif pasien Skizofrenia.
Investigasi penyebab heterogenitas
• Subgroup analysis
– Menganalisis perbedaan ES pada sub-kelompok, seperti gender, SES, tingkat
pendidikan, dll yang (dihipotesiskan) sebagai penyebab heterogenitas
– Bisa dilakukan dengan ANOVA
• Dapat dilakukan dengan teknik meta-regression
– Yaitu dengan memasukkan informasi tambahan (yang dihipotesiskan) menjadi
penyebab heterogenitas dalam model sebagai covariates, contohnya:
√ Rerata usia
√ Rasio gender
√ Reliabilitas alat ukur, dll.
Random vs fixed effect (1)
Fixed effect model
• Mengasumsikan ES sama di semua
studi
• Kalaupun ES berbeda, murni akibat
sampling error yang bervariasi
Random effect model
• Mengasumsikan ES bervariasi di semua
studi
• Penelitian-penelitian yang di meta-
analisis, merupakan sampel dari semua
studi dengan ES bervariasi
Random vs fixed effect (2)
Fixed effect model
Ketika uji heterogenitas signifikan, maka
• Summary/pooled ES yang skewed
karena memberikan bobot yang terlalu
besar pada penelitian dengan ES yang
besar
• 95% confidence interval yang terlalu
sempit
• P-value yang secara abnormal terlalu
kecil
Random effect model
Ketika uji heterogenitas signifikan, maka
• Kemungkinan menghasilkan
summary/pooled ES dengan
interpretasi yang berbeda
• 95% confidence interval yang
cenderung melebar
• P-value yang lebih besar
Random vs fixed effect (3)
Fixed effect model
Ketika uji heterogenitas TIDAK signifikan,
maka
• Summary/pooled ES yang bermakna
• 95% confidence interval yang juga
akurat
• P-value yang akurat juga
Random effect model
Ketika uji heterogenitas TIDAK signifikan,
maka
• Summary/pooled ES yang bermakna
• 95% confidence interval yang
cenderung terlalu melebar
• P-value yang cenderung besar
 Random atau fixed effects?
• Tidak ada satupun metode yang universal yang untuk memilih diantara keduanya
• Keduanya akan cenderung menghasilkan pooled ES yang sama ketika heterogenitas
tidak ekstrim
Namun rasionalnya:
• Apakah asumsi yang dibutuhkan untuk melakukan FEM memungkinkan untuk
dipenuhi? Mungkinkah ES yang ingin kita teliti benar-benar sama di semua studi? Kalau
tidak yakin, sebaiknya pilih REM
• Kalau asumsi FEM mungkin dapat dipenuhi, apakah datanya kompatibel? Cek forest
plot, heterogeneity test dan I2nya
• Apabila kita mempertimbangkan menggunakan REM, apakah penelitian yang menjadi
sampel memberikan gambaran/variasi ES yang menarik untuk diteliti? Apakah
mengetahui pooled/summary ESnya memang berguna?
– Kalau iya, gunakan FEM
– Bila tidak, lebih baik gunakan narrative review
Bias publikasi
• Sangat lazim di komunitas kita, bahwa penelitian dengan p<0.05 dianggap
‘substansial’ sedangkan p>0.05 dianggap ‘bencana’
• Sehingga p<0.05 yang lebih berpeluang diterbitkan di terbitan berkala ilmiah
• Penelitian yang dilakukan dengan hati-hati dan scientifically rigorous, justru lebih
berpeluang mendapatkan p>0.05 daripada penelitian yang dilakukan secara
sembrono dan asal-asalan
• Hanya mengambil penelitian yang dipublikasi saja (tanpa penelitian lainnya yang
tidak dipublikasi) akan menghasilkan model meta-analisis yang terlalu optimistis
Identifikasi bias publikasi
• Funnel plot
– Lihat bentuknya!
– Apabila simetris, maka tidak terjadi bias publikasi
– Apabila titik-titik studi berada di bagian bawah
kurva, maka estimasi ES cenderung kurang akurat
– Studi dengan estimasi ES akurat terletak di bagian
atas kurva
– Egger’s test → p<0.05 berarti terjadi bias
• Fail-safe N
– Untuk mendeteksi file-drawer effect
– Memperkirakan berapa banyak penelitian yang
tidak terpublikasi dengan hasil tidak signifikan
yang diperlukan untuk membuat pooled ES
menjadi 0 (no effect)
Yuk kita coba!
Latihan
• Kita ingin menyelidiki korelasi antara dukungan sosial dengan kecenderungan
depresi
– Pada populasi orang Indonesia dan dituliskan dalam Bahasa Indonesia
• ES yang dimeta-analisis adalah raw Pearson’s r
• Kita mengasumsikan ES akan sangat bervariasi dalam k sehingga kita akan
menggunakan REM
• Systematic review sudah dilakukan dengan kriteria ekslusi & inklusi tertentu,
sehingga menghasilkan k=13
• Buka “Meta analysis SS Dep.omv”
• Yuk kita coba!
Langkah-langkahnya
Untuk REM
• Klik MAJOR dan pilih correlation coefficients
• Masukkan variabel raw r ke kolom correlations, n pada kolom sample sizes, study
label pada study label
• Klik model options, lalu pilih DerSimonian-Laird dalam kolom model estimators,
pilih raw correlation coefficients dalam kolom model measures
Yuk kita interpretasikan!
Random effects model
• Dari tabel output diketahui
I2 = 89.05%, sangat tinggi!
• ES terlalu bervariasi,
sehingga pooled ES tidak
bermakna apa-apa.
• Untuk itu, kita perlu
mencari penyebab
heterogenitasnya dengan
melakukan meta-regression
• Masukkan variable
vulnerable participants? ke
kolom moderator
Forest plot
• Dari forest plot
diketahui bahwa pooled
ES adalah -0.28
• Tapi, tidak bermakna
karena heterogenitas
tinggi
• Penelitian dg estimasi
paling akurat adalah
Faradhiga (2015)
Bias publikasi
• Funnel plot menunjukkan bentuk
asimetris, menandakan adanya bias
publikasi
• Fail-safe N analysis menunjukkan bahwa
apabila ada 628.000 penelitian yang tidak
terpublikasi dengan hasil tidak signifikan,
maka pooled ES menjadi 0 (no effect)
Meta-regression (mixed-effects)
• Kerentanan partisipan bukan
variabel yang signifikan dalam
menentukan heterogenitas
• Taraf heterogenitas (I2) hanya
berkurang sedikit daripada
sebelumnya
Bias publikasi
• Funnel plot menjadi simetris…
tapi titik ada dibawah (estimasi
tidak akurat)