Sepuluh Kesalahan dalam Menyimpulkan Hasil Analisis Statistik

(Rumsey, 2007. Intermediate Statistics for Dummies)

1. Statistik membuktikan ….
2. Terlalu Mendewakan Nilai Signifikan
3. Kesalahan Menyimpulkan Hubungan Sebab-Akibat
4. Mengasumsikan Data Berdistribusi Normal. . .
5. Hanya Menampilkan Hasil-hasil yang "Penting" …
6. Sampel yang besar selalu “lebih baik”
7. Random Sampel, Tapi . . .
8. Seribu Responden sama dengan 1.000 Respon….
9. Hasil penelitian selalu dapat menggambarkan populasi umum....
10. Lewatkan informasi penting dan dirasa tidak perlu…

1.Statistik membuktikan ….

Faktanya statistik tidak pernah membuktikan apapun. Statistik hanyalah alat bantu.
Statistik membantu dalam menguji suatu teori (menerima atau menolak) berdasarkan
data/sampel yang dikumpulkan, kemudian ia meninggalkan Anda untuk membuat
kesimpulan sendiri.
Statistik hanya membimbing Anda/sebagai alat bantu untuk percaya/untuk
menyimpulkan – tapi tidak pernah statistik membuktikan apapun.

2. Terlalu Mendewakan Nilai Signifikan

Suatu penelitian efek minum teh terhadap kejadian jantung koroner (PJK) pada 4000
orang, ditemukan insiden PJK pada yang biasa minum teh adalah 17% dan pada yang
tidak biasa minum teh 15% (berbeda 2%) dengan nilai-p = 0,048. Peneliti menyimpulkan
"Saya percaya kebiasaan minum teh berisiko untuk PJK dengan nilai-p 0,048 yang secara
statistik signifikan (nilai-p kurang dari 0,05)".
Penelitian lain, untuk membuktikan teori ESP (anjing punya indera ke-enam) dilakukan 10
kali percobaan terhadap anjing, ternyata 65 persen benar dengan nilai-p = 0,345. Secara
teknis 65% lebih tinggi dari nilai yang diharapkan 50 persen), namun itu tidak cukup untuk
menjamin signifikan secara statistik (percobaan terlalu sedikit hanya 10 kali). Dengan kata
lain, tidak cukup bukti untuk mendukung teori ESP . Peneliti menyimpulkan " Anjing-
anjing itu benar 65 persen. Walaupun secara statistik tidak signifikan, tapi saya percaya
bahwa anjing memiliki ESP ".

3. Kesalahan Menyimpulkan Hubungan Sebab-Akibat

Suatu penelitian terhadap diare pada Balita, hasil analisis regresi logistik multivariat
menyimpulkan bahwa faktor paling utama adalah kepemilikan antene parabola.
Sarannya: “pasanglah antene parabola untuk menurunkan kejadian diare pada Balita”.

Suatu penelitian terhadap nilai ujian mahasiswa, hasil analisis regresi linier multivariat
menyimpulkan bahwa faktor utama yang menentukan nilai ujian adalah lama waktu
belajar dan lama waktu tidur pada malam sebelum ujian. Simpulannya adalah belajar
lebih lama dan tidur lebih lama pada malam sebelum ujian menyebabkan nilai ujian
lebih tinggi.

Semua penelitian memerlukan cara untuk mengendalikan faktor terkait lainnya

(konfounding). Satu-satunya cara untuk mengendalikan faktor-faktor lain adalah dengan
melakukan eksperimen
(lengkap dengan kelompok perlakuan dan kelompok kontrol serta konfounding).
Mengklaim penyebab tanpa melakukan eksperimen adalah kesalahan fatal beberapa
peneliti ketika mereka menarik kesimpulan.

4. Mengasumsikan Data Berdistribusi Normal. . .

Asumsi adalah sesuatu yang Anda percaya tanpa memeriksanya. Asumsi dapat
menyebabkan salah
analisis. Misalnya uji-T atau Anova hanya akurat apabila data berdistribusi normal
(statistik parametrik), jika tidak normal harus digunakan uji median atau kruskal-wallis
(statistik non parametrik).
Peneliti sering hanya berasumsi data berdistribusi normal tanpa memastikan secara tepat.

5. Hanya Menampilkan Hasil-hasil yang "Penting" …

Sebagai seorang analis data, Anda harus menghindari untuk melaporkan hanya hasil yang
signifikan, menarik, dan bermakna saja. Tetapi harus menampilkan juga hasil yang tidak
signifikan, tidak menarik, dan tidak bermakna secara berimbang.
Seorang peneliti harus jujur melaporkan apa adanya, jangan ada yang ditutup-tutupi.

6. Sampel yang besar selalu “lebih baik”

Semakin besar sampel, semakin tinggi akurasi (kesalahan akibat pengambilan

sampel/sampling error semakin kecil), dan semakin tinggi kemungkinan untuk menolak
Ho (semakin tinggi kemampuan untuk mendeteksi adanya perbedaan antar kelompok).
Kemampuan untuk mendeteksi perbedaan antar kelompok disebut kekuatan uji (power of
the test).

Contoh: Dinkes Kab X melaporkan cakupan imunisasi Bayi telah mencapai 80%. Untuk
membuktikannya, dilakukan survei terhadap 200 anak usia 12-24 bulan yang dipilih secara
acak, ditemukan cakupan imunisasi lengkap adalah 77,5%. Setelah dilakukan uji statistik
beda proporsi didapatkan nilai-p 0,123, gagal menolak Ho, disimpulkan cakupan 77,5%
sama dengan 80%. Laporan Dinkes benar.

Sebuah LSM kesehatan tidak puas dengan hasil tersebut, mereka minta dilakuan survei
ulang dengan jumlah sampel yang lebih besar. Dilakukanlah survei kedua dengan 1.200
sampel, ditemukan cakupan imunisasi lengkap 78%. Setelah dilakukan uji statistik
didapatkan nilai-p 0,048, Ho ditolak, disimpulkan cakupan imunisasi 78% lebih rendah dari
80%. Cakupan imunisasi belum mencapai 80%, laporan Dinkes salah.
7. Random Sampel, Tapi . . .

Pada peringatan hari AIDS sedunia, Anda berdiri di pintu suatu Mall di Kota Depok
kemudian meminta kesediaan pengunjung untuk mengisi kuesioner tentang HIV/AIDS.
Sebanyak 200 pengunjung berhasil mengisi kuesioner dan 20 orangnya memiliki
pengetahuan yang baik. Kemudian anda simpulkan bahwa hanya 10% penduduk kota
Depok yang memiliki pengetahuan yang baik tentang HIV/AIDS. Kesimpulan anda salah,
karena sampel anda tidak dipilih secara random dari populasi penduduk di kota Depok.

Pada peringatan hari Kesehatan Nasional, Anda mendatangi semua Puskesmas di Kota
Depok (32 Puskesmas), kemudian memeriksa tinggi badan dan berat anak balita
pengunjung puskesmas pada hari itu. Sebanyak 320 balita berhasil anda periksa, dan anda
menyimpulkan bahwa prevalensi gizi kurang dan gizi buruk di kota Depok adalah sekian
persen. Kesipulan anda salah, karena sampel anda tidak dipilih secara random dari
populasi Balita di kota Depok.

Untuk memilih penduduk di Kota Depok secara random, anda membutuhkan daftar yang
berisi Nomor, Nama, dan Alamat semua penduduk dewasa (misalnya Daftar penduduk
berusia 15 -- 49 tahun) kemudian pilih secara acak menggunakan bilangan random di
program Excel.
Untuk memilih anak Balita di Kota Depok secara random, anda membutuhkan daftar yang
berisi Nomor, Nama dan Alamat semua balita (anak usia 0-59 bulan) kemudian pilih
secara acak menggunakan bilangan random di program Excel.

8. Seribu Responden sama dengan 1.000 Respon….

Adanya bias (selection bias, information bias, dan confounding) akan membuat rancu hasil
survei (internal validity rendah). Salah satu bentuk selection bias adalah non-respon atau
drop-out. Survei yang dilakukan dengan metode telepon, email, surat POS, dan sejenisnya
sangat rawan terhadap non-respon.

Contoh: Dari 4000 responden yang kirimkan kuesioner via POS tentang kecurangan pada
laporan pajak, hanya 1000 responden yang mengisi dan mengembalikan kuesioner. Dari
1000 responden, sebanyak 400 mengaku melakukan kecurangan pada laporan pajaknya
(400/1000 = 40%).
Apa yang terjadi dengan 3000 responden lainnya, hanya Tuhan yang tahu? Tetapi peneliti
yang cermat juga bisa tahu. Anggaplah 2000 dari mereka langsung membuang kuesioner
karena merasa takut ketahuan telah melakukan kecurangan pada laporan pajaknya dan
1000 lainnya tidak berminat untuk mengisi kuesioner dan juga tidak melakukan
kecurangan pada laporan pajaknya. Jadi, sebetulnya yang melakukan kecurangan pada
laporan pajak = (400 + 2000)/4000 = 60%

9. Hasil penelitian selalu dapat menggambarkan populasi umum....

Dalam mengeneralisasikan hasil studi harus dipastikan siapa sampel dari studi tersebut
(eksternal validity). Jangan sampai terjadi sampel yang ditarik dari daftar telepon PT
Telkom, daftar alamat email, daftar mahasiswa, daftar pelanggan koran/majalah dan
sejenisnya kemudian disimpulkan hasil studi dapat menggambarkan populasi umum.

Contoh: Survei tentang calon presiden, jika hanya ditanyakan pada penduduk yang
memiliki nomor telepon, dipastikan hasilnya tidak akan akurat untuk menggambarkan
pilihan calon presiden dari penduduk Indonesia. Survei tentang seks pranikah pada
mahasiswa UI tidak dapat menggambarkan perilaku seks pranikah pada generasi muda
Indonesia.

10. Lewatkan informasi penting dan dirasa tidak perlu…

Pembaca sering hanya menelan mentah-mentah hasil survei tanpa memikirkan apakah
internal validity sudah akurat (selection bias, information bias, confounding) dan
eksternal validity sudah akurat (sampling and generalization).

Kesalahan ini dapat terjadi karena:

1. Peneliti: Keterbatasan waktu, prosedur, sampel, dll
2. Media: Keterbatasan tempat dan waktu (deadline), dll
3. Pembaca: Meyakini informasi yang belum tentu benar hanya karena sumber
informasi (informan) sudah dipercaya (tetangga, teman, koran langganan, twitter,
facebook, dll)
 Sepuluh Panduan Praktis dalam Statistik:
(Rumsey, 2007. Intermediate Statistics for Dummies)

1. Membandingkan nilai rerata dengan One-way ANOVA

2. Melakukan uji multiple comparison (perbandingan ganda)
3. Melihat efek nilai rerata dari 2 faktor dengan Two-way ANOVA
4. Memprediksi variabel kuantitatif (var.numerik) dengan regresi linier
5. Memprediksi probabilitas (var.kategorik) dengan regresi logistik
6. Gunakan regresi non-linier untuk korelasi yang tidak linier (kuadratik, log, dll)
7. Memprediksi probabilitas (var.kategorik) dengan regresi logistik
8. Gunakan chi-square untuk menguji independensi (korelasi antara variabel kategorik)
9. Mencek spesifik-model dengan uji Goodness-of-fit
10. Mencek fit-model dengan menggunakan nilai R2