Chapter 10

part 2
Audia Amara (1906350420)
Muhammad Ilhan (1906397393)
Putri Viera Anisa R (1906350143)
 Bahasan
01 02 03
Item Analysis Intrarater and Intraclass
Interrater Correlation
Reliability Coefficient

05 06
Standard Error of Generalizability
Measurement Theory
 ITEM
ANALYSIS
 ITEM ANALYSIS
Dalam analisis reabilitas SPSS dapat digunakan untuk menghasilkan informasi
tentang karakteristik item dan hubungannya satu sama lain

Informasi ini dapat digunakan untuk membuat keputusan tentang

mempertahankan atau menghapus masing-masing item

Analisis Item → Proses meninjau karakteristik item dan keterkaitannya satu

sama lain serta skalanya
EXHIBIT 10.4. SPSS PRINTOUT FOR USE IN ITEM ANALYSIS FOR
THE MATERNAL INVOLVEMENT SCALE
 EXHIBIT 10.4. SPSS PRINTOUT FOR USE IN ITEM ANALYSIS FOR
THE MATERNAL INVOLVEMENT SCALE
Case Processing Summary

Bagian pertama
menunjukan jumlah kasus
yang diproses
EXHIBIT 10.4. SPSS PRINTOUT FOR USE IN ITEM ANALYSIS FOR
THE MATERNAL INVOLVEMENT SCALE
Reliability Statistics

Reabilitas dihitung hanya untuk

kasus dimana semua item pada
skala sudah terjawab.
EXHIBIT 10.4. SPSS PRINTOUT FOR USE IN ITEM ANALYSIS FOR
THE MATERNAL INVOLVEMENT SCALE
Item Statistics

● Rata-rata & Std. Deviasi →

menentukan masuk akal atau
tidak
● Jika rata-rata lebih atau
kurang dari skala respon yang
diharapkan, adanya kesalahan
entri atau item dengan kata
negatif belum dikodekan ulang
 EXHIBIT 10.4. SPSS PRINTOUT FOR USE IN ITEM ANALYSIS FOR
THE MATERNAL INVOLVEMENT SCALE
Interitem Covariance Matrix

● Nilai-nilai dalam matriks

digunakan untuk menghitung
koefisien alpha.
● Meskipun matriks ini
memberikan informasi yang
sama dengan matriks korelasi,
namun sulit untuk
diinterpretasikan karena tidak
terstandarisasi
 EXHIBIT 10.4. SPSS PRINTOUT FOR USE IN ITEM ANALYSIS FOR
THE MATERNAL INVOLVEMENT SCALE
Interitem Correlation Matrix
● Matriks korelasi memberikan hubungan
dalam bentuk standar dan membuatnya
lebih mudah untuk membedakan
hubungan yang lebih kuat dan lebih
lemah

● Item yang berhubungan erat akan

memiliki nilai yang tinggi dan item yang
memiliki hubungan yang lemah akan
memiliki nilai yang rendah. Umumnya,
dalam pengembangan skala, nilai
antara 0,20 dan 0,80 dianggap ideal

● <0,20 = item memiliki sedikit kesamaan

dengan item lainnya
● <0,80 = redundansi
 EXHIBIT 10.4. SPSS PRINTOUT FOR USE IN ITEM ANALYSIS FOR
THE MATERNAL INVOLVEMENT SCALE
Summary Item Statistics

● Tinjauan bagian ini menghasilkan

informasi untuk menentukan
apakah nilai berada dalam
kisaran yang diharapkan.
● Angka yang paling penting di
bagian ini adalah korelasi
interitem rata-rata
● Nilai yang lebih tinggi
menunjukan keterkaitan yang
lebih besar
EXHIBIT 10.4. SPSS PRINTOUT FOR USE IN ITEM ANALYSIS FOR
THE MATERNAL INVOLVEMENT SCALE

Item-Total Statistics

● Kolom pertama mencantumkan item,

● Kolom kedua memberikan nilai
rata-rata skala yang baru jika item
terkait dihapus
● Kolom ketiga memberikan varian baru.
● Kolom keempat adalah kolom yang
paling diminati dalam pengembangan
skala
● Kolom ini memberikan indikasi
seberapa dekat setiap item dikaitkan
dengan skala total.
● Jika suatu item berhubungan kuat
dengan skala total, maka nilai
korelasinya akan lebih tinggi
 EXHIBIT 10.4. SPSS PRINTOUT FOR USE IN ITEM ANALYSIS FOR
THE MATERNAL INVOLVEMENT SCALE
Scale Statistics
Tips bagi item yang tidak memenuhi kriteria
Jika terdapat item yang tidak memenuhi kriteria, peneliti dapat:

1. Menghilangkan item tersebut dari skala

2. Mengulang item tersebut agar lebih konsisten dengan item

lainnya

3. Mempertahankan item tersebut dalam skala untuk evaluasi lebih

lanjut
Intrarater and
Interrater
Reliability
 INTRARATER & INTERRATER RELIABILITY
Reliability

Definisi Nilai reliabilitas

Sejauh mana suatu Reliability
Berkisar antara 0 dan 1.
pengukuran dapat mencerminkan adanya
Semakin dekat ke angka
derajat korelasi dan
direplikasi 1, reliabilitasnya semakin
agreement antara
pengukuran
kuat
 INTRARATER & INTERRATER RELIABILITY

Test
Interrater Intrarater
retest
reliability reliability
reliability

Mencerminkan variasi Mencerminkan variasi Mencerminkan variasi

antara 2 atau lebih pengukuran yang data yang diukur oleh 1
penilai yang mengukur diambil oleh instrumen penilai di 2 percobaan
kelompok subjek yang pada subjek yang sama, atau lebih.
sama. kondisi sama
 INTRARATER & INTERRATER RELIABI

Zero Discrimination Day Infographics

Cara cepat dan mudah untuk menentukan
interrater agreement adalah dengan
1 menghitung persentase kesepakatan

Hal tersebut dilakukan dengan membagi

berapa kali jumlah penilai setuju dengan
2 jumlah seluruh observasi berpasangan
yang dilakukan

Jumlah total observasi berpasangan

sama dengan jumlah kesepakatan
3 ditambah jumlah ketidaksepakatan antara
tiap penilai.
INTRARATER & INTERRATER RELIABILITY

Menentukan interrater agreement

Cara cepat dan mudah untuk menentukan interrater
agreement adalah dengan menghitung persentase
kesepakatan (agreement)

Number of Agreements
Percentage of
Agreements =
Number of Agreements + Number of Disagreement
 INTRACLASS
CORRELATION
COEFFICIENT
 Intraclass correlation coefficient

ICC Modern
ICC modern dihitung dengan mean squares
(kuadrat rata-rata) yang diperoleh dari hasil
analisis varian

1954 Saat ini

ICC banyak digunakan dalam kedokteran
The Intraclass Correlation (ICC)
perawatan konservatif untuk mengevaluasi
pertama kali diperkenalkan oleh Fisher
reliabilitas interrater, test-retest, dan
sebagai modifikasi dari korelasi Pearson
intrarater
INTRACLASS CORRELATION
COEFFICIENT

ICC didefinisikan sebagai rasio varian

yang terdapat dalam variabel yang
diminati dibagi
Bagian denganmenunjukan
pertama total varians
(mencakup
jumlahvarians dalam
kasus yang variabel
diproses
ditambah varians kesalahan).
 PERAN ICC
Evaluasi reliabilitas interrater, test-retest, dan intrarater
berperan sangat penting untuk clinical assessment. Hal ini
dikarenakan dengan evaluasi ini, dapat ditarik kesimpulan
yang rasional dari suatu pengukuran.

Dengan evaluasi ini, tingkat kepercayaan pada suatu

pengukuran juga menjadi lebih terjamin.
 Intraclass correlation coefficient

Praktisi kesehatan secara Tanpa melakukan studi

teratur melakukan 01 reliabilitas secara pribadi,
berbagai pengukuran. 03 pengetahuan ini hanya
dapat diperoleh melalui
literatur ilmiah.
Seberapa reliabel
pengukuran menjadi ICC akan membantu
sangat penting untuk
membantu para praktisi
02 04 pembaca untuk memahami
praktik klinis mereka sendiri
memutuskan apakah dan untuk menafsirkan studi
pengukuran tersebut yang dipublikasikan dengan
memiliki value. lebih baik.
Standard Error of Measurement
Rumus untuk menghitung standar kesalahan pengukuran ditunjukkan pada
Persamaan (Crocker & Algina, 1986)
Misalkan Jenn menerima skor 88 persen pada tes metode penelitiannya,
yang memiliki standar deviasi 5,5 dan reliabilitas 0,78. Untuk menentukan
seberapa akurat skor Jenn, kita dapat menghitung interval kepercayaan di
sekitar skornya menggunakan Persamaan:

Kesalahan standar pengukuran memberi Jenn indikasi seberapa besar

nilainya bisa berubah jika dia mengikuti tes lagi. Untuk menghitung interval
kepercayaan, kita cukup menjumlahkan dan mengurangkan kesalahan
standar pengukuran ke dan dari skor Jenn.
Dalam mata kuliah ini, ia juga mendapat nilai 88 persen. Namun, standar
deviasinya adalah 3,1 dan reliabilitasnya adalah 0,88. Jika Jenn akan
mengikuti tes lagi, dia bisa mengharapkan lebih sedikit fluktuasi dalam
skornya, berdasarkan perhitungan berikut. Hasil ini menunjukkan bahwa jika
Jenn mengikuti tes lagi, nilainya kemungkinan akan berada dalam 1,1 poin
di atas atau di bawah 88 persen sekitar 68 dari 100 kali.
 Generalizability Theory
Brennan (2001) mengembangkan metode analisis untuk melakukan studi GT.

● Dengan menggunakan kerangka kerja ANOVA, prosedur GT mempartisi

komponen varian menjadi apa yang disebabkan oleh variasi orang dan apa
yang disebabkan oleh perbedaan komponen kesalahan yang ditentukan oleh
peneliti.

● Dengan menggunakan informasi dari analisis GT, peneliti dapat memodifikasi

proses pengukuran (misalnya instrumen itu sendiri, prosedur pengumpulan
data, atau prosedur pengelolaan data) untuk mengurangi sumber kesalahan
yang teridentifikasi (Brennan, 2001).

Terdapat 2 jenis analisis dalam GT yaitu studi generalisasi dan

studi keputusan.
Model studi GT-nya terdiri dari partisipan (objek pengukuran) yang melengkapi skala dalam dua
kesempatan. Dimulai dengan studi G, yang tujuannya adalah untuk membagi varians keseluruhan
dalam kumpulan skor (varians skor yang diamati) menjadi apa yang disebabkan oleh objek
pengukuran (peserta), interaksi antara objek pengukuran dan faset, dan varian residual atau
kesalahan yang tidak dijelaskan oleh model tertentu. Komponen varians yang paling menarik
dijelaskan oleh faset dan interaksinya dengan komponen lain dalam model.
Diagram yang berguna dari komponen varians yang dipertimbangkan dalam model seperti yang
diusulkan Ni'Keta disajikan oleh Brennan (2001) dan ditunjukkan pada
Dekomposisi varian untuk studi G ditunjukkan pada Persamaan
Dalam menginterpretasikan hasil studi G, kita mulai dengan menguji varian yang
disebabkan oleh partisipan. Komponen varians ini analog dengan varians skor
sebenarnya dalam CTT dan menunjukkan perbedaan di antara peserta. Secara
umum diharapkan varians peserta menjadi relatif besar bila dibandingkan dengan
komponen varians lainnya. Komponen yang tersisa dikaitkan dengan kesalahan.
Dalam analisis ini, varian kesalahan terbesar dikaitkan dengan item. Varians
kesalahan item sedikit lebih dari tiga kali lipat dari varians karena kesempatan, yang
berarti bahwa item adalah sumber variabilitas yang lebih besar daripada
kesempatan.
 Referensi
Koo, T.K. and Li, M.Y. (2016) A Guideline of Selecting and Reporting Intraclass Correlation
Coefficients for Reliability Research, Journal of chiropractic medicine. U.S. National Library
of Medicine. Available at: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4913118/
(Accessed: November 23, 2022).

Konicki, D.I.C. (2005) Measurement in Health Behavior: Methods for Research and
Evaluation. 1st edn. San Francisco: Jossey-Bass.