Reliabilitas & Validitas Penelitian

drg. Sulastrianah

 Pengukuran Proses kuantifikasi thd hasil observasi dengan memperhatikan referensi tertentu dan dinyatakan dalam unit yang baku atau yang dianggap baku. Ketepatan alat ukur sangat memberi pengaruh pada kekuatan penelitian

Variasi Pengukuran
Setiap pengukuran selalu terbuka kemungkinan mengalami variabilitas hasil pengukuran. Dalam penelitian perlu diwaspadai Peneliti harus memahami sumber variasi dan strategi untuk mengeliminasi kesalahan pengukuran

Masih dapat diterima

Variasi pengukuran
Harus dikoreksi

Memperoleh kesimpulan yang benar

 Sumber variasi
Sumber Variasi Pengukuran - instrumen -Pemeriksa Variasi Biologis -Pada satu subyek Perubahan variabel karena waktu dan keadaan - Antar subyek Perbedaan biologis dari satu subyek ke subyek lainnya Alat dan cara pengukuran Orang yang mengukur Keterangan

 Karakteristik alat ukur dan pengukuran yang penting Keandalan (reliabilitas) Kesahihan (validitas)

Reliabilitas
Nama lain : Keterandalan, reliabilitas, reprodusibilitas, presisi, ketepatan pengukuran Suatu pengukuran dianggap andal apabila ia memberikan nilai yang sama atau hampir sama apabila pengukuran dilakukan berulang-ulang

Contoh
Kateter intrakardiak memberikan nilai tekanan ruang jantung yang lebih kurang tetap (keandalannya baik) Kuesioner untuk mengukur kualitas hidup sering memberikan nilai yang berbeda bila dilakukan berulang-ulang (keandalannya kurang baik)

Penilaian Reliabilitas Pengukuran

Reliabilitas pengukuran variabel numerik dapat dilihat melalui: Koefisien Variasi SD/rerata Semakin kecil Koefisien Variasi semakin andal pengukuran/ reliabilitas semakin tinggi Semakin besar Koefisien Variasi semakin kurang andal pengukuran/ reliabilitas semakin rendah Standar Deviasi (SD)

Interval Kepercayaan

 Contoh Pengukuran kadar natrium serum dilakukan dengan alat A dan alat B. Pengukuran pada satu sampel dilakukan sebanyak masing-masing 20 kali dengan hasil sebagai berikut: Alat A (mEq/l): 136, 132, 133, 137, 134, 135, 134, 135, 138, 132,134,136,138, 133,134,135,135,135, 132,136. 135, 139, 132, 132, 130, 136, 140, 135, 136, 135, 129, 136, 134, 133, 133, 136, 136, 134, 137, 136.

Alat B (mEq/l):

Pengukuran dengan alat A Rerata = 134,7 SD = 1,76 Koefisien variasi = 1,76/134,7 = 0,0137 Pengukuran dengan alat B Rerata = 134,7 SD = 2,71 Koefisien variasi = 2,71/134,7 = 0,0201 Meskipun kedua alat memiliki rerata yang sama, akan tetapi koefisien variasi pengukuran A lebih kecil sehingga pengukuran A lebih reliabel dibanding pengukuran B

 Reliabilitas pengukuran berskala nominal Cara yang banyak digunakan adalah dengan mengukur nilai Kappa () Nilai kappa adalah rasio antara kesesuian bukan karena faktor peluang dengan kemungkinan terbesar kesesuaian bukan karena peluang untuk set tersebut. Nilai kappa ideal adalah 1, namun hal ini hampir tidak pernah diperoleh > 0,8 = sangat baik 0,6-0,8 = memadai <0,6 = kurang baik

Contoh: Dua orang dokter diminta menilai gambar USG kepala untuk memperlihatkan adanya perdarahan intrakranial. Mereka diminta menyatakan apakah gambaran USG kepala itu normal atau tidak normal.

No 1 2

Dokter A Normal Abnormal

Dokter B Normal Abnormal

No 16 17

Dokter A Normal Normal

Dokter B Abnormal Normal

3
4 5 6 7 8 9 10 11 12 13 14 15

Normal
Normal Normal Abnormal Abnormal Abnormal Abnormal Normal Normal Normal Abnormal Abnormal Abnormal

Abnormal
Normal Normal Abnormal Abnormal Normal Abnormal Abnormal Normal Normal Abnormal Abnormal Normal

18
19 20 21 22 23 24 25 26 27 28 29 30

Abnormal
Normal Abnormal Normal Normal Normal Normal Abnormal Abnormal Abnormal Normal Abnormal Normal

Normal
Abnormal Abnormal Abnormal Normal Abnormal Normal Normal Normal Normal Abnormal Abnormal Normal

Normal Normal Tidak

A

Tidak
B

9
C D

7 10 17

16 14 30

4 13

Tabel 2x2 menunjukkan kesesuaian antara pemeriksaan USG kepala pada 30 bayi oleh 2 dokter. Derajat kesesuaian (kappa) dihitung dengan langkah-langkah sebagai berikut:
Kesesuaian nyata Kesesuaian karena peluang Kesesuaian bukan karena peluang Potensi kesesuaian bukan karena peluang Kappa = (9+10)/30 = (16x13)/30 + (14x17)/30 = (63,3-14,9)% = (100-14,9)% = 48,4/85,1 = 63,3% = 14,9% = 48,4% = 85,1% = 0,57

Strategi meningkatkan reliabilitas pengukuran

Reliabilitas pengukuran dipengaruhi oleh kesalahan acak (random error), makin besar kesalahan berarti makin tidak reliabel pengukuran. Terdapat 3 sumber kesalahan yang dapat mempengaruhi pengukuran Variabilitas pengamat Variabilitas subyek Variabilitas instrumen
Cara mengurangi random error 1 Standarisasi cara pengukuran Sumber random error Pengamat, subyek

2
3 4 5

Pelatihan
Penyempurnaan instrumen Automatisasi instrumen Mengulang pengukuran

Pengamat
Alat ukur, pengamat Pengamat, subyek Pengamat, subyek, alat ukur

Validitas
Nama lain: kesahihan Menunjukkan berapa dekat alat ukur menyatakan apa yang seharusnya diukur Contoh: Timbangan merupakan alat yang sahih untuk mengukur berat badan Volume air mata bukan ukuran yang sahih untuk mengukur kesedihan

Penilaian validitas alat ukur

Validitas alat ukur berskala numerik Dilakukan dengan membandingkannya dengan alat ukur yang baku sebagai penera Contoh: timbangan berat badan dibandingkan dengan alat timbangan baku, kemudian dinyatakan sebagai selisih antara rerata nilai baku dengan nilai pengukuran yang diperoleh, dibagi dengan nilai baku.

 Validitas alat ukur berskala nominal Dapat dinilai dengan membandingkannya dengan alat terbaik yang ada (gold standard) dan dapat dinilai sensitifitas dan spesifisitas, serta nilai prediksinya Baku emas merupakan alat terbaik yang ada (meskipun bukan yang termurah atau termudah)

 Sensitifitas Bila subyek benar-benar sakit, berapa besar kemungkinan bahwa hasil pengukuran positif atau abnormal Sensitifitas merupakan proporsi subyek yang sakit dengan hasil uji positif (true positif) dibandingkan dengan seluruh subyek yang sakit (true positif + false negative)

 Spesifisitas Bila subyek tidak sakit, berapa besar kemungkinan hasil uji akan negatif. Menunjukkan kemampuan suatu uji untuk menentukan bahwa subyek tidak sakit Merupakan proporsi subyek sehat yang memberi hasil uji negatif (true negative) dibandingkan dengan seluruh subyek yang tidak sakit (true negative + false positive).

Gold Standard

Ya

Tidak B
D B+D

Hasil Uji

Ya
Tidak

A
C A+C

A+B
C+D A+B+C+D

Sensitifitas Spesifisitas Nilai prediksi positif Nilai prediksi negatif

= A/(A+C) = D/(B+D) = A/(A+B) = D/(C+D)

 Validitas pengukuran dipengaruhi oleh bias pengukuran (measurement bias), makin besar bias berarti makin tidak valid pengukuran. Bias pengukuran Bias pemeriksa Bias subyek Bias instrumen

Strategi meningkatkan validitas pengukuran

Cara mengurangi measurement bias
1 2 3 Melakukan pemeriksaan tanpa setahu subyek Melakukan pemeriksaan tanpa mengetahui identitas subyek Kalibrasi alat Contoh Anak kecil diwawancara sambil diajak nermain Membaca foto USG tanpa tahu identitas pasien Kalibrasi timbangan tiap minggu