1 Nabila Puspita Dewi –Skenario 2 IKGMP

Validitas dan Reliabilitas Data

Sumber:
1. WHO Oral Health Surveys Basic Methods p. 25-28
2. Heale, R. and Twycross, A. (2015). Validity and reliability in quantitative studies. Evidence Based Nursing,
[online] 18(3), pp.66-67. Available at: https://ebn.bmj.com/content/ebnurs/18/3/66.full.pdf.

 Validitas adalah sejauh mana konsep tersebut diukur secara akurat dalam sebuah penelitian,
 Secara umum, terdapat 3 tipe validitas

Tipe Validitas Deskripsi

Content Validity Sejauh mana instrumen penelitian secara akurat mengukur seluruh aspek yang
diperlukan
Construct Validity Sejauh mana instrumen penelitian mengukur aspek/construct yang dimaksud 
terdapat 3 bukti yang menyatakan suatu instrument memiliki construct validity:
homogenitas, konvergensi, theory evidence
Criterion Validity Sejauh mana instrument penelitian terkait dengan instrument lain yang mengukur
variable yang sama, diukur dengan 3 cara :
 Convergent validity: instrument highly correlated dengan instrument yang
mengukur variable yang sama
 Divergent validity: instrumen poorly correlated dengan instrument yang
mengukur variable berbeda
 Predictive validity: instrument seharusnye memeiliki korelasi tinggi dengan
future criterions

 Reliabilitas adalah konsistensi dari suatu pengukuran

 Secara umum terdapat tiga atribut reliabilitas

Atribut Reliabilitas Deskripsi

Homogenitas (internal Sejauh mana seluruh item pada skala mengukur sebuah aspek/construct 
consistency) ditentukan dengan uji Cronbach’s α
Stabilitas Konsistensi hasil dari suatu instrument setelah penelitian berulang
Ekuivalensi Konsistensi antara respons berbagai pengguna instrumen  ujinya melibatkan
proses agreement antara dua atau lebih observer

Pelatihan dan Kalibrasi Pemeriksa

 Seluruh pemeriksa dilatih untuk konsisten dalam menentukan pertimbangan klinis dan menggunakan standar
umum WHO
 Dua alasan utama adanya variabilitas dalam penilaian klinis:
o Ketidakkonsistenan dalam penilaian pada setiap tingkatan penyakit pada rongga mulut
o Faktor fisik dan psikologis yang berhubungan dengan pemeriksa  kelelahan, fluktuasi ketertarikan
dalam belajar, perbedaan dalam visual dan tactile sense
 Ketika survei dilakukan oleh sekelompok penguji  disarankan adanya epidemiolog yang terlatih untuk menjadi
validator dari tim survei
 Kalibrator (orang yang mengkalibrasi) harus memeriksa minimal 25 subjek yang akan diperiksa oleh setiap
anggota tim survei
 Training yang dilakukan memakan waktu 2 hari, kalibrasi dilakukan 2-3 hari setelahnya  dbisa lebih bergantung
dengan jumlah penguji serta jumlah indeks yang akan digunakan dalam survei
 Penting untuk menilai konsistensi setiap pemeriksa (intra-examiner reproducibility) serta variasi antar
pemeriksa (inter-examiner reproducibility)
o Setiap pemeriksa harus terlebih dahulu memeriksa 10 subjek  setiap pemeriksa kemudian harus
memeriksa 20 subjek dan membandingkan hasil pemeriksaannya dengan pemeriksa lain  jika ada
perbedaan yang besar, subjek harus diperiksa ulang sehingga inter-examiner difference dapat direview
dan diselesaikan melalui diskusi grup
o Untuk konsistensi penguji harus dalam kisaran 85-95%  apabila penilaian yang dilakukan oleh
beberapa penguji berbeda secara signifikan, meskipun ada upaya untuk memperbaiki kinerja, tetap
harus dikeluarkan dari tim
 Karena selalu ada variasi antar pemeriksa, maka dalam survei, mereka harus memeriksa dengan proporsi yang
sama dari setiap subgroup sampel utama
2 Nabila Puspita Dewi –Skenario 2 IKGMP

 Seluruh hal ini PENTING karena jika semua anggota tim survei tidak bisa membuat penilaian secara konsistem,
variasi kelompok dalam prevalensi atau keparahan penyakit akan menjadi tidak akurat atau salah ditafsirkan

Duplicate Examinations
 Pemeriksa mungkin mengubah cara pemeriksaan selama serangkaian proses pemeriksaan  untuk mendeteksi
dan mengkoreksi, disarankan bagi seriap pemeriksa untuk melakukan duplikasi pengujian pada 5-10% besar
sampel (tidak kurang dari 25 subjek)
 Duplikasi pengujian dapat dilakukan pada orang-orang dengan kelompok usia 12-15 tahun, karena lebih mudah
diakses, bisa juga pada orang dewasa
 Pemeriksa tidak boleh bisa mengidentifikasi subjek yang ia lakukan pemeriksaan ulang, atau tau bahwa subjek
tersebut sebelumnya sudah diperiksa  dapat mempengaurhi ketelitian dan kualitas uji duplikasi tersebut
 Duplikasi dilakukan pada awal survei, tengah survei dan akhir survei

Estimasi Reproduksibilitas Pencatatan

 Konsistensi inter- dan intra-examiner dapat dinilai dengan beberapa cara :
o Menunjukkan persentase agreement (kesepakatan) antar skor, c/ persentase subjek yang dinilai secara
bersamaan oleh dua operator berbeda  paling mudah  jika prevalensi penyakit rendah, maka tidak
bisa memberikan penilaian reproduksibilitas yang akurat
o Menilai keseluruhan agreement antar pemeriksa dengan statistic kappa  lebih akurat
 Statistik Kappa mengaitkan pengukuran agreement aktual dengan derajat agreement yang dapat terjadi
kebetulan
 Formula kappa:

Dimana
P0 = proporsi observed agreement (a + d)
Pe = proporsi agreemen yang bisa berubah sewaktu-waktu (a + c) × (a + b) untuk gigi sehat dan (b + d) × (c + d)
untuk gigi karies, atau Pe juga bisa diukur sebagai

 Kalkulasi nilai kappa dalam pemeriksaan karies

a : proporsi gigi yang kedua pemeriksa menganggap sehat

b : proporsi gigi yang pemeriksa 1 menganggap sehat dan pemeriksa 2 menganggap karies
c : proporsi gigi yang pemeriksa 1 menganggap karies dan pemeriksa 2 menganggap sehat
d : proporsi gigi dimana kedua pemeriksa menggangap karies
 Interpretasi statistic Kappa
o <0,20 : pure agreement
o 0,21-0,40 : fair agreement
o 0,41-0,60 : moderate agreement
o 0,61-0,80 : substantial agreement
o 0,81-1 : almost perfect agreement

TAMBAHAN DK 2
 Statistik Kappa disebut juga untuk mengukur interrater reliability
 Kappa dengan substantial agreement  misal 0,61 agreement dapat disebut problematik
 Jadi, skor Kappa yang direkomendasikan sebagai nilai minimum yang diterima adalah 0,80  masuk ke kategori
almost perfect agreement