Estimasi Reliabilitas Antar Rater

(Interrater Reliability) dengan SPSS

Dalam proses uji reliabilitas alat ukur, pendekatan konsistensi internal dengan koefisien
Alpha Cronbach menjadi koefisien reliabilitas yang menjadi yang paling populer. Pendekatan ini
cocok digunakan untuk alat ukur yang sifatnya self repport, sehingga reliabilitas dimaknai sebagai
konsistensi jawaban dari responden terhadap item-item dalam alat ukur. Pendekatan lain yang
menggunakan prinsip berbeda adalah reliabilitas antar rater. Pendekatan ini dipakai untuk
menilai kesepakatan antar rater dalam menilai suatu individu. Dengan demikian reliabilitas
tersebut melekat pada skor yang diberikan, bukan pada alat ukurnya. Misalkan dalam suatu
kompetisi lompat indah, dua juri menilai seberapa indah lompatan atlet tersebut. Jika kedua juri
tersebut memiliki penilaian yang hampir sama, maka ada kesepakatan penilaian, yang berarti
reliabilitasnya tinggi. Namun sebaliknya, jika juri pertama menilai lompatannya sangat indah
sedangkan juri kedua menilai lompatannya biasa saja, maka tidak ada kesepakatan.

Ada dua teknik untuk estimasi reliabilitas antar rater yang dapat digunakan, yakni dengan
koefisien Kappa dari Cohen dan Intraclass Correlation Coefficients (ICC).

Koefisien kappa cocok digunakan saat:

 Rater yang dipakai hanya dua rater

 Skor hasil penilaiannya bersifat kategori dan hanya dua kategori

Intraclass Correlation Coefficients (ICC) cocok digunakan saat:

 Rater yang dipakai banyak, lebih dari dua

 Skor hasil penilaiannya bersifat kontinum

Sumber: https://www.semestapsikometrika.com/2018/10/estimasi-reliabilitas-antar-rater.html
 Estimasi reliabilitas antar rater dengan Koefisien Kappa

Contoh kasus

Dua orang Psikolog (yang berperan sebagai rater) menilai 10 orang di kelas apakah
mereka mengalami gangguan konsetrasi atau tidak. Cara kedua rater menilai adalah dengan
memberi skor 1 jika mengalami gangguan konsentrasi, dan 0 jika tidak mengalami. Peneliti
hendak mencari seberapa jauh kesamaan rater dalam menilai gangguan konsentrasi yang
muncul. Data yang diperoleh adalah sebagai berikut:

Siswa Rater1 Rater2

A 1 1
B 1 1
C 0 0
D 1 1
E 1 1
F 0 1
G 0 0
H 0 0
I 1 1
J 0 0

Analisis Koefisien Kappa dengan SPSS

Untuk mengestimasi koefisien Kappa di SPSS, ikuti langkah berikut:

1. Tekan Analyze – descriptive statistics – crosstab

2. Masukkan variabel “rater1” pada rows dan “rater2” pada coloumn(s)
3. Masuk ke menu statistics, lalu centang menu kappa - tekan Continue
4. Masuk ke menu Cells, lalu pilih menu Total di bawah Percentages - tekan Continue
5. Klik OK

Sumber: https://www.semestapsikometrika.com/2018/10/estimasi-reliabilitas-antar-rater.html
Interpretasi Ouput

rater1 * rater2 Crosstabulation

rater2
.00 1.00 Total
rater1 .00 Count 4 1 5
% of Total 40.0% 10.0% 50.0%
1.00 Count 0 5 5
% of Total 0.0% 50.0% 50.0%
Total Count 4 6 10
% of Total 40.0% 60.0% 100.0%

Symmetric Measures
Asymptotic Approximate
a b
Value Standard Error Approximate T Significance
Measure of Agreement Kappa .800 .186 2.582 .010
N of Valid Cases 10
a. Not assuming the null hypothesis.
b. Using the asymptotic standard error assuming the null hypothesis.

Tabel pertama memperlihatkan konsistensi penilaian antar rater. Terlihat bahwa dari 10
orang yang dinilai, terdapat 9 orang yang dinilai konsisten, yakni 4 orang sama-sama dinilai tidak
mengalami gangguan konsentrasi dan 5 orang sama-sama dinilai mengalami gangguan. Hanya 1
orang yang dinilai berbeda, rater1 menilai tidak ada gangguan sedangkan rater2 menilai ada
gangguan.

Tabel kedua menunjukkan Reliabilitas antar rater, yaitu K=0,800. Ayimptotic standardized
error menunjukkan kesalahan pengukuran terstandar, yakni semakin kecil semakin reliabel.

Menurut Fleiss (1975) kategori nilai kappa adalah sebagai berikut :

k < 0.40 poor agreement

0.40 < k < 0.75 good, and

k > 0.75 excellent agreement.

Sumber: https://www.semestapsikometrika.com/2018/10/estimasi-reliabilitas-antar-rater.html
 Estimasi reliabilitas antar rater dengan Intraclass Correlation Coefficients (ICC)

Contoh kasus

Empat orang observer diminta untuk menilai tingkat keaktifan pada 10 siswa di dalam
kelas. Skor yang diberikan observer berkisar antara 1-5. Skor 1 menunjukkan tidak aktif sama
sekali, sementara skor 5 menunjukkan siswa sangat aktif. Peneliti hendak mencari seberapa jauh
kesepakatan rater dalam menilai keaktifan siswa. Data yang diperoleh adalah sebagai berikut:

Siswa Rater1 Rater2 Rater3 Rater4

A 1 1 2 1
B 2 2 2 3
C 3 3 3 3
D 4 4 4 4
E 5 5 5 5
F 4 4 4 4
G 3 3 3 3
H 2 2 2 2
I 1 2 1 1
J 3 2 2 2

Analisis Intraclass Correlation Coefficients dengan SPSS

Untuk mengestimasi Intraclass Correlation Coefficients di SPSS, ikuti langkah berikut:

1. Pilih Menu Analyze – Scale - Reliability Analysis
2. Masukkan variabel Rater1, Rater2, Rater3, dan Rater4 ke dalam kotak Item
3. Pilih Statistics
4. Pilih kotak F-test dan centang Intraclass Correlation Coefficients
5. Pilihlah jenis analisis sesuai dengan default SPSS, yaitu Two Way Mixed dan Consistency
dengan Confidence Interval 95%

Sumber: https://www.semestapsikometrika.com/2018/10/estimasi-reliabilitas-antar-rater.html
Interpretasi Ouput

Reliability Statistics
Cronbach's
Alpha N of Items
.982 4

ANOVA
Sum of Squares df Mean Square F Sig
Between People 55.400 9 6.156
Within People Between Items .000 3 .000 .000 1.000
Residual 3.000 27 .111
Total 3.000 30 .100
Total 58.400 39 1.497
Grand Mean = 2.8000

Intraclass Correlation Coefficient

Intraclass 95% Confidence Interval F Test with True Value 0
b
Correlation Lower Bound Upper Bound Value df1 df2 Sig
a
Single Measures .932 .834 .980 55.400 9 27 .000
Average Measures .982c .953 .995 55.400 9 27 .000
Two-way mixed effects model where people effects are random and measures effects are fixed.
a. The estimator is the same, whether the interaction effect is present or not.
b. Type C intraclass correlation coefficients using a consistency definition. The between-measure variance is excluded from
the denominator variance.
c. This estimate is computed assuming the interaction effect is absent, because it is not estimable otherwise.

Tabel pertama menunjukkan output jika diestimasi dengan menggunakan koefisien Alpha.
Tabel menunjukkan reliabilitas Alpha yang memuaskan, yakni 0,982.

Tabel kedua adalah keluaran analisis melalui ANOVA. Dari output tersebut menunjukkan
tidak adanya perbedaan penilaian antar rater (p> 0,05)

Tabel ketiga menunjukkan output ICC dengan reliabilitas antar rater yang cukup memuaskan,
yakni rxx = 0,932

Sumber: https://www.semestapsikometrika.com/2018/10/estimasi-reliabilitas-antar-rater.html
 Referensi

Fleiss, J. L. (1975). Measuring Agreement between Two Judges on the Presence or

Absence of a Trait. Biometrics, 31(3), 651 ‐ 659.

Sumber: https://www.semestapsikometrika.com/2018/10/estimasi-reliabilitas-antar-rater.html