Bab A120001

Bab 12
Reliabilitas Penilai dan Pengamat

------------------------------------------------------------------------------
------------------------------------------------------------------------------
Bab 12
A. Dasar
1. Penilai dan Pengamat
• Ada kalanya sekor tidak langsung diperoleh

dari responden
• Kita menggunakan penilai dan pengamat untuk

menentukan sekor
• Dalam pemberian sekor, penilai dan pengamat

mengikuti kriteria tertentu
------------------------------------------------------------------------------
------------------------------------------------------------------------------
2. Reliabilitas Penilaian dan Pengamatan
• Penilaian dan pengamatan menggunakan lebih dari

satu penilai dan lebih dari satu pengamat
• Karena mengikuti kriteria penilaian dan

pengamatan, perlu ada kecocokan di antara
mereka
• Kecocokan ini merupakan reliabilitas yang sejenis

dengan reliabilitas ukur-ukur setara
• Mula-mula, kecocokan dilakukan pada saat uji coba

penilai dan pengamat sehingga dapat dilakukan
koreksi yang diperlukan
• Pada saat penilaian dan pengamatan, digunakan

penilai dan pengamat yang sudah diketahui
kecocokannya
------------------------------------------------------------------------------
------------------------------------------------------------------------------
Kecocokan Intra-penilai/pengamat
• Penilai atau pengamat melakukan penilaian

atau pengamatan lebih dari sekali
• Kecocokan di antara penilaian atau

pengamatan ttu
• Setara dengan ukur-ukur ulang
Kecocokan Inter-penilai/pengamat
• Penilaian atau pengamatan dilakukan oleh lebih

dari satu penilai atau satu pengamat
• Kecocokan di antara penilaian atau

pengamatan itu
• Setara dengan ukur-ukur setara
Perhitungn untuk mereka adalah sama

------------------------------------------------------------------------------
------------------------------------------------------------------------------
3. Jenis Kecocokan
Kecocokan hasil penilaian dan pengamatgan dapat

berupa
• Kecocokan peringkat
• Kecocokan kategori
Kecocokan Peringkat
• Sekor dapat saja berbeda tetapi kedudukan

relatif di antara sekor atribut yang dinilai atau
diamati adalah sama atau bersamaan
Kecocokan Kategori
• Hasil penilaian dan pengamatan berupa

kategori dan hasil penilaian dan pengamatan
menunjuk ke kategori yang sama atau
bersamaan
------------------------------------------------------------------------------
Reliabilitas Peniliai dan Pengamat
------------------------------------------------------------------------------
3. Kecocokan Peringkat
Dua penilai X dan Y memberi sekor kepada

sejumlah atribut
Yang dinilai
1 2 3 4 5
Peni- X 80 70 60 50 40
lai Y 60 50 45 40 35
Kecocokan dapat dinyatakan melalui
• Koefisien korelasi Pearson (parametrik) atau

rho Spearman (nonparametrik)
• Koefisien kecocokan tau Kendall

------------------------------------------------------------------------------
------------------------------------------------------------------------------
Dari contoh di atas, kecocokan peringkat melalui

koefisien korelasi adalah
Koefisien Korelasi Pearson
 = 0,900
Koefisien Korelasi rho Spearman
 = 0,900
Koefisien tau Kendall
 = 0,800
Koefisien ini dijadikan ukuran kecocokan peringkat

penilaian di antara pengamat X dan Y
------------------------------------------------------------------------------
------------------------------------------------------------------------------
4. Kecocokan Kategori
• Pengamat X dan Y mengamati hal yang sama serta

menentukan kategori dari amatan mereka
• Misalnya keadaan kelas mereka amati serta

mencatatnya setiap 5 detik. Keadaan kelas (guru
berbicara, murid bertanya, …) dibagi menjadi lima
kategori K1, K2, K3, K4, dan K5
• Hasil amatan menunjukkan
Kelas X Y
1 K1 K1
2 K1 K1
3 K1 K2
4 K1 K2
. . .
. . .
. . .
------------------------------------------------------------------------------
------------------------------------------------------------------------------
Dari contoh di atas tampak bahwa hasil amatan X

dan Y itu
• Ada yang cocok seperti dua-duanya K1

• Ada yang tidak cocok, satu K1 lainnya K2
Hasil amatan ini dapat disusun ke dalam matriks

hasil amatan
Pengamat X
K1 K2 K3 K4 K5
K1 2
Peng- K2 2
amat K3
Y K4
K5
------------------------------------------------------------------------------
------------------------------------------------------------------------------
• Pengamat X dan Y mengamati hal yang sama serta

menentukan kategori dari amatan mereka
• Misalnya keadaan keadaan pasien yang diamati

untuk menentukan sakit A, B, atau C. Hasil amatan
menujukkan pasien yang sakit
• Hasil amatan menunjukkan
Pasien X Y
1 A A
2 A A
3 A B
4 B C
. . .
. . .
. . .
------------------------------------------------------------------------------
------------------------------------------------------------------------------
Dari contoh di atas tampak bahwa hasil amatan X

dan Y itu
• Ada yang cocok seperti dua-duanya A

• Ada yang tidak cocok, satu A lainnya B
Hasil amatan ini dapat disusun ke dalam matriks

hasil amatan
Pengamat X
A B C
A 2
Peng-
amat B 2
Y
C
------------------------------------------------------------------------------
------------------------------------------------------------------------------
B. Kecocokan Menurut Kategori
1. Kecocokan Kategori
• Kita membicarakan kecocokan penilai dan

pengamat menurut kategori yang mereka
berikan
• Hasil penilaian dan pengamatan disusun ke

dalam matriks penilaian dan pengamatan
• Ukuran matriks bergantung kepada banyaknya

kategori yang dihasilkan dari penilaian dan
pengamatan
• Hasil penilaian dan pengamatan menunjukkan

adanya kecocokan dan adanya ketidakcocokan
• Mereka dapat dinyatakan ke dalam frekuensi

dan juga ke dalam proporsi
------------------------------------------------------------------------------
------------------------------------------------------------------------------
2. Matriks Penilai dan Pengamat
Matriks dapat disusun ke dalam frekuensi atau ke

dalam proporsi
Contoh 1 (dalam frekuensi)
Penilai P1 dan P2 menilai karangan dalam sekor A,

B, dan C
P2 ni0
A B C
A 75 1 4 80
P1 B 5 4 1 10
C 0 0 10 10
n0i 80 5 15 100
------------------------------------------------------------------------------
------------------------------------------------------------------------------
Contoh 2 (dalam proporsi)
Contoh 1 diubah menjadi proporsi
P2 pi0
A B C
A 0,75 0,01 0,04 0,80
P1 B 0,05 0,04 0,01 0,10
C 0 0 0,10 0,10
p0i 0,80 0,05 0,15 1,00
n = jumlah seluruhnya p = proporsi seluruhnya

nii = jumlah yang cocok pii = proporsi yang cocok
ni0 = P1 untuk semua P2 pi0 = P1 untuk semua P2
n0i = P2 untuk semua P1 p0i = P2 untuk semua P1
------------------------------------------------------------------------------
------------------------------------------------------------------------------
Contoh 3 (frekuensi)
Penilaian keadaan kelas dari pengamat P1 dan P2

untuk kategori amatan K1, K2, K2, K4, K5
P2 ni0
K1 K2 K3 K4 K5
K1 4 4 0 0 0 8
K2 2 8 0 0 0 10
P1 K3 0 0 6 0 0 6
K4 0 3 6 7 0 16
K5 0 5 0 0 5 10
n0i 6 20 12 7 5 50
------------------------------------------------------------------------------
------------------------------------------------------------------------------
Contoh 4 (proporsisi)
Contoh 3 dalam bentuk proporsi
P2 pi0
K1 K2 K3 K4 K5
K1 0,08 0,08 0 0 0 0,16
K2 0,04 0,16 0 0 0 0,20
P1 K3 0 0 0,12 0 0 0,12
K4 0 0,06 0,12 0,14 0 0,32
K5 0 0,10 0 0 0,10 0.20
p0i 0,12 0,40 0,24 0,14 0,10 1,00

------------------------------------------------------------------------------
------------------------------------------------------------------------------
3. Matriks Per Kategori
• Matriks penilaian dan pengamatan dapat direduksi

menjadi matriks untuk setiap kategori
• Sebagai contoh, dari Contoh 1 dan 2, kita dapat

menyusun matriks hanya untuk A. Kita dapat
menyusun matriks hanya untuk B, serta hanya
untuk C.
• Pada matriks per kategori, hanya frekuensi atau

proporsi matriks itu yang diperhatikan, sedangkan
kategori lainnya digabung dan diberi label ‘lainnya.’
• Ada tiga penggabungan: penggabungan pada baris

kategori (kecuali kategori), pada lajur kategori
(kecuali kategori), dan pada sisanya
------------------------------------------------------------------------------
------------------------------------------------------------------------------
Contoh 5
Dari contoh 1, matriks untuk kategori A
P2 ni0
A B C
A 75 1 4 80
P1 B 5 4 1 10
C 0 0 10 10
n0i 80 5 15 100
P2 ni0
A Lain-nya
A 75 5 80
P1 Lain-nya 5 15 20
n0i 80 20 100
------------------------------------------------------------------------------
------------------------------------------------------------------------------
Contoh 6
Dari contoh 2, matriks untuk kategori A
P2 pi0
A B C
A 0,75 0,01 0,04 0,80
P1 B 0,05 0,04 0,01 0,10
C 0,00 0,00 0,10 0,10
p0i 0,80 0,05 0,15 1,00
P2 pi0
A Lain-nya
A 0,75 0,05 0,80
P1 Lain-nya 0,05 0,15 0,20
p0i 0,80 0,20 1,00
------------------------------------------------------------------------------
------------------------------------------------------------------------------
Contoh 7
Dari contoh 1, matriks untuk kategori B
P2 ni0
A B C
A 75 1 4 80
P1 B 5 4 1 10
C 0 0 10 10
n0i 80 5 15 100
P2 ni0
B Lain-nya
B 4 6 10
P1 Lain-nya 1 89 90
n0i 5 95 100
------------------------------------------------------------------------------
------------------------------------------------------------------------------
Contoh 8
Dari contoh 2, matriks untuk kategori B
P2 pi0
A B C
A 0,75 0,01 0,04 0,80
P1 B 0,05 0,04 0,01 0,10
C 0,00 0,00 0,10 0,10
p0i 0,80 0,05 0,15 1,00
P2 pi0
B Lain-nya
B 0,04 0,06 0,10
P1 Lain-nya 0,01 0,89 0,90
p0i 0,05 0,95 1,00
------------------------------------------------------------------------------
------------------------------------------------------------------------------
Contoh 9
Dari contoh 1 dan 2, susun matriks untuk C
dalam bentuk frekuensi dan proprosi
ni0
P2
pi0
C Lain-
nya
C
P1 Lain-
nya
n0i
p 0i
------------------------------------------------------------------------------
------------------------------------------------------------------------------
Contoh 10
Dari contoh 3 dan 4, susun matriks untuk K1
ni0
P2
pi0
K1 Lain-
nya
K1
P1 Lain-
nya
n0i
p 0i
------------------------------------------------------------------------------
------------------------------------------------------------------------------
Contoh 11
ni0
P2
pi0
K2 Lain-
nya
K2
P1 Lain-
nya
n0i
p 0i
------------------------------------------------------------------------------
------------------------------------------------------------------------------
Contoh 12
ni0
P2
pi0
K3 Lain-
nya
K3
P1 Lain-
nya
n0i
p 0i
------------------------------------------------------------------------------
------------------------------------------------------------------------------
Contoh 13
ni0
P2
pi0
K4 Lain-
nya
K4
P1 Lain-
nya
n0i
p 0i
------------------------------------------------------------------------------
------------------------------------------------------------------------------
Contoh 14
ni0
P2
pi0
K5 Lain-
nya
K5
P1 Lain-
nya
n0i
p 0i
------------------------------------------------------------------------------
------------------------------------------------------------------------------
C. Indeks Kecocokan Per Kategori
1. Dasar indeks kecocokan
• Indeks kecocokan di antara penilai dan pengamat

adalah ukuran kecocokan penilaian dan
pengamatan di antara mereka
• Indeks kecocokan didasarkan pada besarnya

kategori yang cocok nii atau pii di dalam matriks
penilaian dan pengamatan
• Di dalam sejumlah indeks kecocokan, besarnya

kategori yang cocok ini masih perlu dikurangi
dengan besarnya kategori kebetulan cocok
• Dengan dasar ini serta sejumlah variasi ditemukan

berbagai jenis indeks kecocokan
------------------------------------------------------------------------------
------------------------------------------------------------------------------
Berbagai jenis indeks kecocokan
Ada sejumlah indeks kecocokan penilai dan pengamat

per kategori. Indeks kecocokan per kategori yang
dibicarakan di sini meliputi
• Indeks kecocokan (Holley dan Guilford)

• Indeks kecocokan (Maxwell)
• Indeks kecocokan kappa (Cohen)
• Indeks kecocokan (Goodman dan Kruskal)
• Indeks kecocokan (Rogot dan Goldberg)
Indeks kecocokan (Holley dan Guilford) adalah

kecocokan nominal yang hanya terdiri atas kategori
yang cocok
Indeks kecocokan kappa (Cohen) mengurangi kategori

kecocokan dengan kebetulan cocok. Indeks kecocokan
kappa ini banyak digunakan orang
------------------------------------------------------------------------------
------------------------------------------------------------------------------
2. Matriks Umum Kecocokan Per Kategori
Kita buat matriks umum dengan proporsi

sebagai berikut
P2 pi0
Kate- Lain-
gori nya
Kate- a b p1
gori
P1 Lain- c d q1
nya
p0i p2 q2 1,00
Kecocokan terletak pada a dan d

a+b+c+d=1 p 1 + q1 = 1
p2 + q2 = 1
------------------------------------------------------------------------------
------------------------------------------------------------------------------
3. Indeks Kecocokan (Holley dan Guilford)
Indeks kecocokan diperoleh dari a dan d
P0 = a + d
a b p1
Contoh 15 c d q1
p2 q2
Dari contoh 5, 6, 7, 8, dan 9
p0 (A) = 0,75 + 0,15 = 0,90

p0 (B) =
p0(C) =
Contoh 16
Daro contoh 10, 11,12, 13, dan 14
p0 (K1) =
p0 (K2) =
p0(K3) =
p0(K4) =
p0(K5) =
------------------------------------------------------------------------------
------------------------------------------------------------------------------
4. Indeks Kecocokan (Maxwell)
Indeks kecocokan ini adalah
p’0 = 2 p0 – 1
dengan p0 dari indeks kecocokan (Holley dan Guilford)
Contoh 17
Dari contoh 15,
p’0 (A) = (2)(0,90) – 1 = 0,80

p’0 (B) =
p’0 (C) =
Contoh 18
Dari contoh 16,
p’0 (K1) =
p’0 (K2) =
p’0 (K3) =
p’0 (K4) =
p’0 (K5) =
------------------------------------------------------------------------------
------------------------------------------------------------------------------
5. Indeks Kecocokan Kappa dari Cohen
Pada dasarnya, indeks kecocokan kappa dari

Cohen ini menggunakan kategori cocok I0 dikurangi
dengan kategori kebetulan cocok Ie
Kategori kebetulan cocok diperoleh dari hubungan

independensi pada probabilitas
Ie = P(A∩B) = P(A) . P(B)
Dengan demikian indeks kecocokan kappa dari

Cohen menjadi
I  Ie
 0
1  Ie a b p1
( a  d )  ( p1 p2  q1q2 )
 c d q1
1  ( p1 p2  q1q2 )
2( ad  bc ) p2 q2

p1q2  p2 q1
------------------------------------------------------------------------------
------------------------------------------------------------------------------
Contoh 19
Dari contoh 6, indeks kecocokan kappa Cohen

dari A adalah
P2 pi0
A Lain-nya
A 0,75 0,05 0,80
P1 Lain-nya 0,05 0,15 0,20
p0i 0,80 0,20 1,00
2(0,75  0,15  0,05  0,05)

 ( A) 
0,80  0,20  0,80  0,20
 0,6875
------------------------------------------------------------------------------
------------------------------------------------------------------------------
Dari contoh 8, indeks kecocokan kappa Cohen

dari B adalah
P2 pi0
B Lain-nya
B 0,04 0,06 0,10
P1 Lain-nya 0,01 0,89 0,90
p0i 0,05 0,95 1,00
2(0,04  0,89  0,06  0,01)

 ( B) 
0,10  0,95  0,05  0,90
 0,5000
Contoh 20
Dari contoh 8, indeks kecocokan kappa dari C

adalah
(C) =
------------------------------------------------------------------------------
------------------------------------------------------------------------------
Contoh 21
Dari contoh 9 sampai 13, indeks kecocokan kappa

adalah
(K1) =
(K2) =
(K3) =
(K4) =
(K5) =
• Catatan:
Indeks kecocokan kappa ini yang paling umum

digunakan orang
------------------------------------------------------------------------------
------------------------------------------------------------------------------
6. Indeks Kecocokan Spesifik
Ada dua macam indeks kecocokan berupa ps dan

p’s masing-masing menggunakan kategori cocok
dan kategori tidak cocok, dengan rumus
2a 2d
ps  ps' 
2a  b  c 2d  b  c
a b
Contoh 22 c d
Dari contoh 6, 7, dan 8, indeks kecocokan

spesifik adalah
ps(A) = 0,9375 p’s(A) = 0,7500
ps(B) = p’s(B) =
ps(C) = p’s(C) =
------------------------------------------------------------------------------
------------------------------------------------------------------------------
Contoh 23
Dari contoh 9 sampai 13, indeks kecocokan spesifik

adalah
ps(K1) = p’s(K1) =
ps(K2) = p’s(K2) =
ps(K3) = p’s(K3) =
ps(K4) = p’s(K4) =
ps(K5) = p’s(K5) =
------------------------------------------------------------------------------
------------------------------------------------------------------------------
7. Indeks Kecocokan (Goodman dan Kruskal)
Indeks kecocokan ini adalah
2a  ( b  c )
r  a b
2a  ( b  c ) c d
Contoh 24
Dari contoh 6 sampai 13,
r(A) = 0,875
r(B) =
r(C) =
r(K1) =
r(K2) =
r(K3) =
r(K4) =
r(K5) =
------------------------------------------------------------------------------
Reliabilitas Penilia dan Pengamat
------------------------------------------------------------------------------
8. Indeks kecocokan (Rogot dan Goldberg)
Indeks kecocokan ini menggunakan rumus
a d a b p1
A 
p1  p2 q1  q2 c d q1
p2 q2
Contoh 25
Dari contoh 6 sampai 13, indeks kecocokan

adalah
A(A) = 0,84375
A(B) =
A(C) =
A(K1) =
A(K2) =
A(K3) =
A(K4) =
A(K5) =
------------------------------------------------------------------------------
------------------------------------------------------------------------------
D. Koefisien Kecocokan Semua Kategori
1. Dasar Perhitungan
Kecocokan per kategori dinamakan indeks

kecocokan.
Kecocokan sekaligus untuk semua kategori

dinamakan koefisien kecocokan
Perhitungan koefisien kecocokan dilakukan melalui

matriks kecocokan lengkap (yang belum direduksi)
Perhitungan dapat dilakukan melalui frekuensi atau

pun melalui proporsi
Pada perhitungan melalui frekuensi,
nii = frekuensi kategori cocok

ni0 = frekuensi pada P1 untuk semua P2
n0i = frekuensi pada P2 untuk semua P1
n = frekuensi semua kategori
------------------------------------------------------------------------------
------------------------------------------------------------------------------
2. Jenis Koefisien Kecocokan
Seperti pada indeks kecocokan per kategori, pada

koefisien kecocokan semua kategori, terdapat
sejumlah koefisien kecocokan. Di sini dibicarakan
koefisien kecocokan
• Koefisien kecocokan nominal

• Koefisien kecocokan marginal
• Koefisien kecocokan kappa dari Cohen
• Keofisien kecocokan pi dari Scott
• Koefisien kecocokan kappa perluasan Light
• Koefisien kecocokan pi modifikasi Flander
• Koefisien kecocokan pi modifikasi Garrett
Koefisien kecocokan nominal hanya menghitung

kategori cocok
Koefisien kecocokan kappa dari Cohen mengurangi

kategori cocok dengan kategori kebetulan cocok.
Koefisien kecocokan kappa dari Cohen ini banyak
digunakan orang.
------------------------------------------------------------------------------
------------------------------------------------------------------------------
3. Matriks Kecocokan Semua Kategori
Matriks kecocokan semua kategori mencatat frekuensi

atau proporsi kategori yang cocok maupun yang tidak
cocok di antara dua pengamat
Penilai P1 dan P2 menilai karangan dalam sekor A,

B, dan C
P2 ni0
A B C
A 75 1 4 80
P1 B 5 4 1 10
C 0 0 10 10
n0i 80 5 15 100
------------------------------------------------------------------------------
------------------------------------------------------------------------------
Penilai P1 dan P2 menghasilkan penilaian

sebagai berikut
ni0
P2
L1 L2 L3 L4
L1 4 1 5
P1 L2 1 3 1 5
L3 1 5 6
L4 1 3 4
n0i 5 5 7 3 20
------------------------------------------------------------------------------
------------------------------------------------------------------------------
Pengamatan keadaan kelas dari pengamat P1 dan

P2 untuk kategori amatan K1, K2, K2, K4, K5
P2 ni0
K1 K2 K3 K4 K5
K1 4 4 0 0 0 8
K2 2 8 0 0 0 10
P1 K3 0 0 6 0 0 6
K4 0 3 6 7 0 16
K5 0 5 0 0 5 10
n0i 6 20 12 7 5 50
------------------------------------------------------------------------------
------------------------------------------------------------------------------
Pengamatan dari pengamat P1 dan P2

menghasilkan matriks sebagai berikut
P2
R1 R2 R3 R4 R5 R6
R1 5 1 2
R2 2 6
P1 R3 4 2
R4 5 1
R5 4
R6 2 6
------------------------------------------------------------------------------
Reliabilitas penilai dan pengamat
------------------------------------------------------------------------------
4. Koefisien Kecocokan Nominal
Koefisien ini hanya memperhatikan kategori cocok

yakni jumlah dari nii untuk dibagi dengan frekuensi
total n.
n11
1
P0   nii n22
n
n33
Contoh 30
n
Dari contoh 26 sampai 29
Contoh 26: P0 = 89/100 = 0,89

Contoh 27: P0 =
Contoh 28: P0 =
Contoh 29: P0 =
------------------------------------------------------------------------------
------------------------------------------------------------------------------
5. Koefisien Kecocokan Marginal
Koefisien ini memperhatikan margin yakni ni0 dan

n0i
Untuk setiap kategori pada margin,
Minimun( ni 0 atau n0 i )
P0 i 
Maksimum( ni 0 atau n0 i )
Koefisien kecocokan marginal adalah
1
P0 
k
 P0 i
k  banyaknya kategori
n10
n20
n30
n01 n02 n03 n

------------------------------------------------------------------------------
------------------------------------------------------------------------------
Contoh 31
Dari contoh 26, koefisien kecocokan marginal
__
i P0i
1 80/80 = 1,00 __ 1
2 5/10 = 0,50 P0 = ----- 2,17 = 0,72
3 10/15 = 0,67 3
2,17
Contoh 32
Dari contoh 27 sampai 29, koefisien kecocokan

__ __
Contoh 27: P0 = Contoh 28: P0 =
__
Contoh 29: P0 =
------------------------------------------------------------------------------
------------------------------------------------------------------------------
6. Koefisien Kecocokan Kappa Cohen
Koefisien ini mengurangi kategori cocok dengan

kebetulan cocok
Kebetulan cocok menggunakan hubungan

independensi pada probabilitas P(A∩B)=P(A).P(B)
Komponen cocok
n11 n10
1
P0   nii n22 n20
n n33 n30
n01 n02 n03 n
Komponen kebetulan cocok
ni 0 n0 i 1
Pe    2 n i0 n0 i
n n n
Koefisien kecocokan kappa Cohen
P0  Pe

1  Pe
------------------------------------------------------------------------------
------------------------------------------------------------------------------
Contoh 33
Dari contoh 26,
i nii ni0 x n0i

1 75 80 x 80 = 6400 P0 = 89/100 = 0,89
2 4 10 x 5 = 50
3 10 10 x 15 = 150 Pe = 6600/10000
89 6600 = 0,66
n = 100 n2 = 10000
P0  Pe 0,89  0,66
   0,676
1  Pe 1  0,66
Dari contoh 27: =

------------------------------------------------------------------------------
------------------------------------------------------------------------------
7. Koefisien Kecocokan Pi Scott
Koefisien ini juga mengurangkan kebetulan cocok

dari kategori cocok
Kebetulan cocok dihitung dari kuadrat kategori

cocok
n11
Kategori cocok
n22
1
P0 
n
 nii n33
n
Kategori kebetulan cocok
2
n  1
Pe    ii   2  (n ii ) 2
 n n
Koefisien kecocokan Pi Scott
P0  Pe

1  Pe
------------------------------------------------------------------------------
------------------------------------------------------------------------------
Contoh 34
Dari contoh 26,
i nii n2ii
1 75 75 x 75 = 5625 P0 = 89/100 = 0,89
2 4 4 x 4 = 16
3 10 10 x 10 = 100 Pe = 5731/10000
89 5731 = 0,5731
n = 100 n2 = 10000
P0  Pe 0,89  0,5731
   0,7423
1  Pe 1  0,5731
Dari contoh 27:  =

------------------------------------------------------------------------------
------------------------------------------------------------------------------
8. Koefisien Kecocokan Kappa Perluasan Light
Koefisien kecocokan ini merupakan modifikasi

dari koefisien kecocokan kappa dari Cohen
d0 = 1 – P0
de = 1 – Pe
Koefisien Kecocokan
d0
  1
de
Contoh 35
Dari contoh 26 melalui contoh 33,
d0 = 1 – P0 = 1 – 0,89 = 0,11
de = 1 – Pe = 1 – 0,66 = 0,34
 = 0,6765
Dari contoh 27:  =

------------------------------------------------------------------------------
------------------------------------------------------------------------------
9. Koefisien Kecocokan Pi Modifikasi Flander
Koefisien ini merupakan modifikasi dari koefisien

kecocokan Pi dari Scott
Kecocokan
n0 i ni 0
P0 f  1   
n n'
Kebetulan cocok
2
1 n n 
Pef    0 i  i 0 
4  n n' 
n = total amatan P1 n’ = total amatan P2
Koefisien kecocokan
P0 f  Pef
f 
1  Pef
------------------------------------------------------------------------------
------------------------------------------------------------------------------
Contoh 36
Dari contoh 26,

2
noi ni 0 n0 i ni 0  n0 i ni 0 
i    
n n' n n'  n n' 
1 0,80 0,80 0 2,56
2 0,05 0,10 0,05 0,0225
3 0,15 0,10 0,05 0,0625
0,10 2,6450
P0f = 1 – 0,10 = 0,90

Pef = ¼(2,6450) = 0,66125
f = (0,90 – 0,66) / (1 – 0,66) = 0,71
Dari contoh 27: f =

------------------------------------------------------------------------------
------------------------------------------------------------------------------
10. Koefisien Kecocokan Pi Modifikasi Garrett
Koefisien ini merupakan modifikasi dari koefisien

kecocokan Pi dari Scott
Komponen cocok
Minimum ( ni 0 atau n0 i )
P0 i 
Maksimum ( ni 0 atau ni 0 )
1
P0 
k
 P0i
k  jumlah kategori
Komponen kebetulan cocok
2
 1 
Peg   
 n  n' 
 (ni0  n0 i ) 2
Koefisien kecocokan
P0  Peg
g 
1  Peg
------------------------------------------------------------------------------
------------------------------------------------------------------------------
Contoh 37
Dari contoh 26
n0 i ni 0
i P0 i ( n0 i  ni 0 ) 2
n n'
1 80 80 1 25600
2 5 10 0,5 225
3 15 10 0,67 625
2,17 26450
___
P0 = 0,72 Peg = 0,66
g = 0,1785
Dari contoh 27: g =

------------------------------------------------------------------------------
------------------------------------------------------------------------------
E. Pengujian Hipotesis dan Estimasi Koefisien

Kecocokan Kappa dari Cohen
1. Hipotesis H0:  = 0
Pengujian hipotesis dan estimasi ini tidak biasa

ditemukan di dalam statistika sehingga secara
khusus dikemukakan di sini
Distribusi probabilitas pensampelan adalah

distribusi probabilitas normal
Kekeliruan baku untuk  = 0 adalah
k
1
  pe  p   p0 i pi 0 ( pi 0  p0 i )
2
e
(1  pe ) n i 1
Nilai baku

z

------------------------------------------------------------------------------
------------------------------------------------------------------------------
2. Hipotesis H0:  = 0 (0  0)
Kekeliruan baku untuk  = 0 (0  0) adalah
A B C
 
(1  pe ) n
k
A   pii 1  ( pi 0  p0 i )(1   )
2
i 1
B  (1   ) 2  pij ( p0 i  p j 0 ) 2
i j
C    pe (1   )
2
dengan nilai baku
 0
z

------------------------------------------------------------------------------
------------------------------------------------------------------------------
3. Estimasi 
Pada interval keyakinan (1–) nilai  terletak di

antara
s  z 1     s  z 1 
( ) ( )
2 2
dengan kekeliruan baku seperti pada  = 0 serta

s = koefisien kappa pada sampel

Bab A120001

Diunggah oleh

Informasi Dokumen

Hak Cipta

Format Tersedia

Bagikan dokumen Ini

Bagikan atau Tanam Dokumen

Opsi Berbagi

Apakah menurut Anda dokumen ini bermanfaat?

Apakah konten ini tidak pantas?

Hak Cipta:

Format Tersedia

Bab A120001

Diunggah oleh

Hak Cipta:

Format Tersedia

Bab 12

Reliabilitas Penilai dan Pengamat

Reliabilitas Penilai dan Pengamat

1. Penilai dan Pengamat

• Ada kalanya sekor tidak langsung diperoleh

• Kita menggunakan penilai dan pengamat untuk

• Dalam pemberian sekor, penilai dan pengamat

2. Reliabilitas Penilaian dan Pengamatan

• Penilaian dan pengamatan menggunakan lebih dari

• Karena mengikuti kriteria penilaian dan

• Kecocokan ini merupakan reliabilitas yang sejenis

• Mula-mula, kecocokan dilakukan pada saat uji coba

• Pada saat penilaian dan pengamatan, digunakan

• Penilai atau pengamat melakukan penilaian

• Kecocokan di antara penilaian atau

• Setara dengan ukur-ukur ulang

• Penilaian atau pengamatan dilakukan oleh lebih

• Kecocokan di antara penilaian atau

• Setara dengan ukur-ukur setara

Perhitungn untuk mereka adalah sama

Kecocokan hasil penilaian dan pengamatgan dapat

• Sekor dapat saja berbeda tetapi kedudukan

• Hasil penilaian dan pengamatan berupa

Dua penilai X dan Y memberi sekor kepada

Kecocokan dapat dinyatakan melalui

• Koefisien korelasi Pearson (parametrik) atau

• Koefisien kecocokan tau Kendall

Dari contoh di atas, kecocokan peringkat melalui

Koefisien Korelasi Pearson

Koefisien Korelasi rho Spearman

Koefisien tau Kendall

Koefisien ini dijadikan ukuran kecocokan peringkat

• Pengamat X dan Y mengamati hal yang sama serta

• Misalnya keadaan kelas mereka amati serta

• Hasil amatan menunjukkan

Dari contoh di atas tampak bahwa hasil amatan X

• Ada yang cocok seperti dua-duanya K1

Hasil amatan ini dapat disusun ke dalam matriks

• Pengamat X dan Y mengamati hal yang sama serta

• Misalnya keadaan keadaan pasien yang diamati

• Hasil amatan menunjukkan

Dari contoh di atas tampak bahwa hasil amatan X

• Ada yang cocok seperti dua-duanya A

Hasil amatan ini dapat disusun ke dalam matriks

B. Kecocokan Menurut Kategori

• Kita membicarakan kecocokan penilai dan

• Hasil penilaian dan pengamatan disusun ke

• Ukuran matriks bergantung kepada banyaknya

• Hasil penilaian dan pengamatan menunjukkan

• Mereka dapat dinyatakan ke dalam frekuensi

2. Matriks Penilai dan Pengamat

Matriks dapat disusun ke dalam frekuensi atau ke

Contoh 1 (dalam frekuensi)

Penilai P1 dan P2 menilai karangan dalam sekor A,

Contoh 2 (dalam proporsi)

Contoh 1 diubah menjadi proporsi

A 0,75 0,01 0,04 0,80

P1 B 0,05 0,04 0,01 0,10

p0i 0,80 0,05 0,15 1,00

n = jumlah seluruhnya p = proporsi seluruhnya

Penilaian keadaan kelas dari pengamat P1 dan P2

Contoh 3 dalam bentuk proporsi

K1 0,08 0,08 0 0 0 0,16

K2 0,04 0,16 0 0 0 0,20