Kualitas Data Penelitian
Indang Trihandini
Kualitas Data
Pengembangan alat ukur dan
Pengukurannya
Pengembangan disain Penelitian
Tahapan Pengembangan
Alat Uji
Konsepsualisasi Alat Uji
Konstruksi Alat Uji
Uji coba Alat Uji
Analisis
Revisi
Konsepsualisasi Alat Uji
Langkah awal dalam pengembangan alat uji adalah
mengembangkan konsep dari hal yang ingin diuji.
Dalam langkah ada beberapa pertanyaan yg harus
diperhatikan:
Apa yg akan diukur oleh alat uji?
Apa tujuan alat uji tersebut?
Apakah alat uji ini diperlukan
Siapa yg akan menggunakan alat uji ini?
Siapa yg akan diuji?
Bagaimana ujian dilakukan?
Apakah diperlukan pelatihan khusus?
Siapa yg diuntungkan dg ujian ini?
Apakah ada kerugian bagi subyek dg melakukan ujian ini?
Konstruksi Alat Uji
Dalam konstruksi alat uji, ada
beberapa hal yg perlu diperhatikan:
Skala
Hanya benar/salah untuk tiap item
Likert
Cara penulisan item
Skoring dari alat uji
Uji Coba Alat Uji
Ujicoba harus dilakukan pada subyek yang
sama dengan subyek yang akan
menggunakan alat uji
Ujicoba harus dilakukan pada kondisi yang
sama dengan kondisi alat uji akan
dilakukan
Analisis
Kuantitatif: Item Analysis
Kualitatif
KUALITAS DATA
VALIDITAS
Menunjukkan sejauhmana suatu alat
(instrumrn) mengukur apa yang
seharusnya diukur (Ghiselli, 1981).
Sementara itu Azwar (2000) mengartikan
validitas sebagai sejauhmana ketepatan
dan kecermatan suatu alat ukur dalam
melakukan fungsi ukurnya. Isaac dan
Michael (1981) menjelaskan bahwa
informasi validitas menunjukkan tingkat
dari kemampuan test untuk mencapai
sasarannya. Dengan demikian validitas
mengukur ketepatan (akurasi).
RELIABILITAS
Seberapa besar variasi tidak sistematik dari
penjelasan kuantitatif dari karakteristik individu
jika individu yang sama diukur berkali kali (Ghiseli,
1981). Ukuran yang menunjukkan stabilitas dan
konsistensi suatu instrumen yang mengukur suatu
konsep dan berguna untuk mengukur kebaikan
(goodness) dari suatu pengukur (Sekaran, 2003).
Dengan demikian reliabilitas pada dasarnya
adalah sejauh mana hasil suatu pengukuran
dapat dipercaya. Kepercayaan itu dalam bentuk
keandalan instrumen yaitu konsistensi hasil dari
waktu kewaktu jika suatu instrumen digunakan
pada subjek.
Contoh
Si A memiliki berat badan 68 kg pada saat
ditimbang dengan menggunakan timbangan
standar penelitian. Di sebuah mall si A
melakukan penimbangan dan hasilnya
beratnya adalah 75 kg. Karena kurang percaya
dengan hasilnya, si A melakukan penimbangan
lagi di timbangan yang sama di mall tersebut
dan beratnya tetap 75 kg.
Contoh di atas menggambarkan timbangan di
mall memiliki reliabilitas yang baik (hasilnya
selalu konsisten), tetapi validitas buruk (tidak
mengukur hal yang sebenarnya)
Reliabilitas
Temporal/intra observer reliability
Agreement/inter observer reliability
Internal Consistency
Temporal/intra observer
reliability
Pengukuran pada subyek yang sama
oleh orang yang sama pada waktu yang
berbeda menghasilkan hasil yang sama
Dapat diukur dengan test-retest
correlation coefficient
Masalah:
Jika pertanyaan yang sama diulang pada jangka waktu
pendek, ingatan dari respons yang pertama dapat
mempengaruhi respons yang kedua sehingga nilai r
cenderung tinggi
Perubahan pada subyek yang diukur dapat terjadi
bukan akibat kesalahan pengukuran (unreliability)
tetapi juga akibat perubahan pada faktor mendasar
yang diukur (instability).
Agreement/inter observer
reliability
Marginal homogeneity:
mengukur seberapa jauh 2 atau lebih
pengamat menghasilkan hasil yang sama
secara umum (distribusi tepi/marginal
distribution) pada saat mengelompokkan
individu yang sama. Diukur dengan Mc
Nemar test
Kesesuaian/Agreement:
mengukur seberapa jauh 2 atau lebih
pengamat setuju pada pengelompokkan
seluruh individu pada kelompok yang
diamati. Diukur dengan koefisien Kappa.
Inter observers agreement
u/ variabel
kategori/binomial
Pendekatan yg paling sederhana adalah
dihitung berapa % yg penilaiannya
sama
Tapi cara ini tidak memperhatikan penilaian
yg sama karena kebetulan saja (by chance)
Pehitungan yg lebih baik dg indeks Kappa,
yg sudah memperhitungkan penilaian yg
sama akibat kebetulan saja
Kappa: Observed Expected_ agreement
1 Expected _ agreement
Koefisien Kappa
Penilaian:
K=1 : Perfect agreement
K=0.80 - 0.99: Excellent agreement
K=0.60 0.79: Good agreement
K=0.40 0.59: Fair agreement
K < 0.40 : Poor agreement
Kappa
Expected agreement dihitung berdasarkan
hukum probabilitas u/ 2 kejadian yg saling
bebas:
P(A&B) = P(A)*P(B)
Denominator pada rumus Kappa adalah
kesesuaian potensial kedua pengamat yg
bukan karena kebetulan (potensial level of
agreement beyond chance)
Jadi Kappa merupakan rasio antara:
kesesuaian antar 2 pengamat yg bukan
karena kebetulan terhadap kesesuaian
potensial kedua pengamat yg bukan karena
kebetulan
Contoh: Kappa
Kesesuaian yg tampak: ((56+22)/90)*100% =
87%
Kesesuaian akibat kebetulan dihitung dari tabel
nilai ekspektasi jika kedua hasil pengamatan
tidak saling sesuai
Sama dg perhitungan nilai ekspektasi pd tabel chisquare
Contoh: Kappa
Tabel nilai ekspektasi:
Kesesuaian akibat kebetulan:
Hasil postitif: ((42.5/58)*(42.5/66))*100% =
47%
Hasil negatif: ((8.5/32)*(8.5/24))*100% = 10%
Total: 47% + 10% = 57%
Contoh: Kappa
Perhitungan Kappa:
0.87 0.57
0.70
1 0.57
Patokan interpretasi Kappa (Byrt, 1996):
93-100% : Excellent agreement
81-92% : Very good agreement
61-80%: Good agreement
41-60%: Fair agreement
21-40%: Slight agreement
1-20%: Poor agreement
< 0% : No agreement
Pendekatan Klasik u/ Var
Kontinyu
Kesesuaian antar pegamatan dilakukan
diuji dengan
Uji t
Korelasi
Masalah
Pada uji t rata-rata tidak berbeda tidak
menjadi kedua pengamat sesuai
Korelasi tiggi (bahkan sampai 1) tidak
menjamin kedua pengamat sesuai
Kedua uji statistik tersebut tidak dirancang
untuk menguji kesesuaian antar pengamat
& kurang teoat jika digunakan
Contoh
Data:
Kesesuaian Jelek
T-test menunjukkan tidak beda
T-test
Paired Samples Test
Paired Differences
Pair 1
Obs1 - Obs2
Mean
.20000
Std. Deviation
1.78885
Std. Error
Mean
.80000
95% Confidence
Interval of the
Difference
Lower
Upper
-2.02116
2.42116
df
.250
Sig. (2-tailed)
.815
Contoh
Data
Kesesuaian jelek
Korelasi = 1
Concordance correlation
Memperhitungkan kesesuaian, bukan
korelasi saja (Lin, 1989)
Rumus:
c
2rsx s y
s s x y
2
x
2
y
Bland & Altman Plot
Plot antara rata-rata nilai pengamat 1 & 2 dengan
beda nilai pengamat 1 & 2
Dihitung juga limit of agreement:
d 1,96* s
d 1,96* s
Interpretasi limit of agreement sangat tergantung
pada alat yang diukur
Pada Stata dapat dilakukan dengan perintah
concord
Hasil Stata
Concordance correlation coefficient (Lin, 1989, 2000):
rho_c
SE(rho_c)
Obs
[
95% CI
]
P
CI type
--------------------------------------------------------------0.998
0.001
85
0.997 0.999
0.000
asymptotic
0.996 0.998
0.000 z-transform
Pearson's r = 0.998
Reduced major axis:
Pr(r = 0) = 0.000
Slope =
1.007
C_b = rho_c/r = 1.000
Intercept =
-0.581
Difference = obsj_1 - obsk_1
Difference
95% Limits Of Agreement
Average
Std Dev.
(Bland & Altman, 1986)
--------------------------------------------------------------0.282
2.119
-3.871
4.436
Correlation between difference and mean = 0.099
-5
Difference of obsj_1 and obsk_1
0
5
10
15
Hasil Stata
50
100
150
Mean of obsj_1 and obsk_1
observed average agreement
y=0 is line of perfect average agreement
200
250
95% limits of agreement
Internal Consistency
Digunakan untuk mengukur apakah
sejumlah pertanyaan/pengukuran
mengukur hal yang sama
Contoh: pengetahuan tentang pencegahan
HIV/AIDS diukur dengan 10 pertanyaan
ya/tidak. Pengetahuan diukur dengan
menjumlahkan pertanyaan yang dijawab
secara benar. Internal consistency menilai
apakah 10 pertanyaan tsb mengukur hal
yang sama.
Internal Consistency
Internal consistency diukur dengan
menggunakan koefisien Cronbach
Alpha
Penilaian Cronbach Alpha sama
dengan penilaian pada koefisien
Kappa
Validitas
Validitas Internal
Content Validity
Criterion Validity
Construct Validity
Validitas Eksternal
Validitas Internal
Digunakan untuk menjawab pertanyaan
apakah penelitian sudah menggunakan
konsep yang seharusnya (actually).
1. Content Validity
2. Criterion-related validity
3. Construct validity
Validitas internal biasanya membantu
mengatasi kelemahan validitas eksternal.
Content Validity
Menggambarkan seberapa jauh kumpulan
variabel (item) yang menghasilkan indek
komposit menggambarkan satu konsep
tertentu
Contoh: kumpulan pertanyaan untuk
mengukur depresi
Face validity: seberapa jauh satu variabel
menggambarkan konsep yang ingin diukur
Penilaian content atau face validity lebih
judmental oleh expert bukan statistik
Criterion Validity
Menggambarkan seberapa jauh hasil satu
pengukuran sesuai dengan hasil
pengukuran lain dengan menggunakan
instrumen yang dianggap standar
Criterion validity dinilai dengan
membandingkan hasil satu pengukuran
dengan pengukuran menurut gold
standard
Criterion Validity
Sensitifitas:
Probabilitas hasil test menujukkan hasil positif
jika pada gold standar hasilnya positif
Spesifisitas:
Probabilitas hasil test menunjukkan hasil
negatif jika pada gold standar hasilnya negatif
Nilai prediksi positif:
Probabilitas diperolehnya hasil gold standard
positif jika hasil test positif
Nilai prediksi negatif:
Probabilitas diperolehnya hasil gold standar
negatif jika hasil test negatif.
Criterion Validity
Gold standard
Test
A+B
C+D
A+C
B+D
Jumlah
Jumlah
Sensitifitas: A/(A+C)
Spesifisitas: D/(B+D)
Nilai presiksi positif: A/(A+B)
Nilai prediksi negatif: D/(C+D)
Construct Validity
Menggambarkan seberapa jauh hasil
satu pengukuran sesuai dengan hasil
pengukuran lain yang secara teoritis
menggambarkan konsep yang diukur
Contoh: apakah skor depresi yang
dikembangkan dapat membedakan
orang depresi dengan orang tidak
depresi (menurut PPDGJ/ICD 10)
Validitas Eksternal
Bila data yang dicapai dapat
digeneralisasi kesemua objek, situasi dan
waktu yang berbeda.
1. Pemilihan sampel yang tidak bias.
2. Jumlah Sampel besar
3. Melibatkan banyak situasi
4. Periode waktu yang relatif panjang
Reliable
Not Valid
Valid
Not
Reliable
Neither
Reliable Not
Valid
Both
Reliable
and Valid
Langkah dalam melakukan uji validitas
dan reliabilitas internal adalah sebagai
berikut:
1. Cobalah item di lapangan kepada paling
sedikit 30 orang responden (batas sampel
besar dalam statistik)
2. Tabulasi data yang telah masuk
3. Ujilah validitas dan reliabilitasnya
-Uji validitas dilakukan dengan mengkorelasikan skor
item dengan skor total.
-Korelasi Rank Spearman jika data yang diperoleh
adalah data ordinal,
-sedangkan jika data yang diperoleh data interval kita
bisa menggunakan korelasi Product Moment.
-Sedangkan uji reliabilitas yang paling sering digunakan
adalah uji, Cronbach Alpha, Hoyt dan Spearman Brown
Contoh hasil uji validitas Contoh
hasil uji validitas
Validitas concurent (serentak)
Berikut hasil uji suatu instrumen terhadap dua kelompok
karyawan yang kehadiran bekerjanya baik dan kurang
baik tentang imej mereka terhadap perusahaan:
Contoh hasil uji validitas Contoh
hasil uji validitas
Validitas prediktif.
Berikut hasil uji suatu instrumen terhadap karyawan
pada saat masuk dan setelah bekerja
Correlations
seleksi
seleksi
kerja
Pearson Correlation
Sig. (2-tailed)
N
Pearson Correlation
Sig. (2-tailed)
N
1
.
10
.852**
.002
10
**. Correlation is significant at the 0.01 level
(2-tailed).
kerja
.852**
.002
10
1
.
10
Validitas konvergen
Berikut output uji korelasi
Validitas
diskriminan
Stabilitas
Reliabilitas
Test-retest
reliability
Pararel Form
reliability
Goodness
Konsistensi
Interitem consis
Tency reliability
Validitas
Validitas
Internal
Validitas
Isi
Validitas
muka
Validitas
Dg kriteria
Validitas
Prediktif
Validitas
Eksternal
Split half
Validitas
Konstruk
Validitas
Validitas
Validitas
Concurent Convergen Diskriminan
Validitas Penelitian
Validitas sampel pada penelitian
ditentukan oleh cara pengambilan
sampel
Cara pengambilan sampel dirancang
untuk meminimalkan
Bias
Confounding
Bias
Deviation of results or inferences from the
truth, or processes leading to such deviation.
Any trend in the collection, analysis,
interpretation, publication, or review of data
that can lead to conclusions that are
systematically different from the truth.
Last J: A Dictionary of Epidemiology, ed. by J. Last,
3rd Edition, IEA
Jenis Bias
Bias Seleksi
Terjadi jika sampel tidak
mencerminkan populasi target
Bias Informasi
Terjadi akibat distorsi informasi pada
saat pengumpulan data
Bias Seleksi
Definisi yg kurang tepat dari target
populasi
Terjadi jika kasus yang terkumpul pada
sampel tidak mewakili kasus di populasi
Competing risk bias
Healthcare access bias
Neyman bias
Berksons bias
Over matching
Dll
Bias Seleksi
Kerangka sampel yg kurang akurat
Terjadi karena kerangka sampel yang
digunakan tidak menggambarkan
populasi
Non random sampling bias
Telephone random sampling bias
Prosedur diagnostik yg berbeda
Terjadi jika pajanan mempengaruhi
prosedur diagnosis penyakit
Detection bias
Bias Seleksi
Missing subjects/Variables
Losses/withdrawal to follow up
Missing information in multivariate
analysis
Non response bias
Bias Informasi
Bias misklasifikasi
Salah melakukan klasifikasi penyakit/pajanan akibat
sensitifitas & spesifisitas alat ukur yang kurang
Differential misclassification
Non differential misclassication
Misklasifikasi terjadi akibat
Detection bias
Observer bias
Recall bias
Reporting bias
Hawthorne effect
Bias Informasi
Ecological Fallacy
Bias terjadi jika analisis dilakukan pada tingkat
ekologi (kec, kab, prop, negara) untuk membuat
kesimpulan pada tingkat individu
Dapat dihindari dengan analisis multilevel
Regression to the mean
Terjadi pada studi longitudinal yang variabel
dependenya berskala kontinyu. Hasil pengukuran
cenderung akan mendekati rata-ratanya pada
pengukuran berulang.
Dapat diminimalkan dengan menggunakan
kelompok pembanding
Confounding
Confounding = bias estimasi efek pajanan
terhadap penyakit akibat perbandingan tidak
seimbang antara kelompok terpajan dengan
kelompok tidak terpajan
Terjadi akibat adanya perbedaan risiko terjadinya
penyakit pada kelompok terpajan dengan
kelompok tidak terpajan
Risiko terjadinya penyakit berbeda meskipun
pajanan dihilangkan pada kelompok terpajan
Syarat Confounding
C merupakan faktor risiko D
C memiliki asosiasi dengan E
Contoh confounding
Kelompok gizi baik
BBLR+
Anemia +
18
Anemia 2
Jumlah
20
BBLR34
6
40
Jumlah
52
8
60
BBLR-
Jumlah
OR = (18*6)/(34*2) = 1,58
Kelompok gizi kurang
BBLR+
Anemia +
6
Anemia 34
Jumlah
40
OR = (6*18)/(2*34) = 1,58
2
18
20
8
52
60
Contoh confounding
Kelompok gizi kurang dan gizi baik
BBLR+
BBLRJumlah
Anemia +
24
36
60
Anemia 36
24
60
Jumlah
60
60
120
OR = (24*24)/(36*36)=0,44
Contoh confounding
Distibusi status gizi menurut anemia
Gizi kurang Gizi baik
Jumlah
Anemia +
8
52
60
Anemia 52
8
60
Jumlah
60
60
120
Contoh confounding
Hubungan status gizi dengan BBLR
BBLR+
BBLRJumlah
Gizi kurang
40
20
60
Gizi baik
20
40
60
Jumlah
60
60
120
OR = (40*40)/(20*20) = 4,00
Contoh confounding
Pada contoh, status gizi merupakan
confounder karena
Status gizi kurang merupakan faktor risiko BBLR
Distribusi status gizi tidak seimbang pada ibu
anemia dan ibu non anemia
Hasil analisis menunjukkan status gizi merupakan
faktor risiko BBLR
Pengontrolan Confounding
Pada Desain
Restriksi
Matching
Pada Pengumpulan Data
Confounding harus diukur
Pada Analisis
Analisis multivariat
