MelibatkanRaterdalamPengembanganAlatUkur

WahyuWidhiarso|wahyu_psy@ugm.ac.id
FakultasPsikologiUniversitasGadjahMada

1 Pengantar
Tulisan berikut akan membahas masalah bagaimana melibatkan rater dalam
pengembanganalatukurdankoefisienpsikometrisapasajayangterkaitdengannya.
MengapaMelibatkanrater?Adabanyakpertimbanganmengapamelibatkanrater.Berikut
iniduaalasanmengapapenelitimelibatkanrater.
a. Meningkatkankualitasalatukuryangdikembangkan
Melibatkan pakar dalam menilai butirbutir yang kita tulis akan memastikan bahwa
butir yang kita buat relevan dengan apa yang kita ukur dan mewakili keseluruhan
domain ukur. Misalnya, meminta praktisi di bidang marketing untuk mengevaluasi
butir skala kepuasan konsumen akan memastikan bahwa butirbutir yang kita tulis
mewakiliindikatorindikatorkonsumenyangpuas.
b. Jenisalatukuryangdikembangkan
Jikaselfreportadalahinstrument yangdiisisendiriolehresponden,makainstrumen
observasimenggunakanrateruntukmemberikanpenilaian.

2 Aplikasi
Propertipsikometrisyangbiasadipakaiuntukmengevaluasialatukuradalahreliabilitas
dan validitas. Pelibatan rater dalam pengembangan alat ukur membantu kita untuk
mengevaluasi alat ukur yang kita kembangkan. Fungsi rater tergantung pada kebutuhan
kita, rater sebagai penilai instrument yang kita kembangkan ataukah rater sebagai
pemberi skor instrument observasi. Penilaian rater terhadap instrument biasanya
dinamakandenganjudgementprofessionalkarenamerekamemilikikapabilitasdalamhal
konstrakyangkitaukur.Rateryangbertugasmemberikanskortidakharusprofesionaldi
bidangitu,tetapibisajugaindividuyangterlatihuntukmengobservasidalambidangyang
kitaukur.

2.1
2.1.1

StudiValiditas
IndeksRasioValiditasIsi(CVR)

Dalam pendekatan ini, sebuah panel subjekmatter experts diminta untuk menunjukkan
apakahsuatuaitempengukurandalamsatuskalalainnyaadalahpentingsebagaibentuk
operasionalisasi bangunan teori. Masukan panel ini kemudian digunakan untuk
menghitung CVR untuk setiap item engan calon dalam instrumen pengukuran. Untuk
mengukur CVR, sejumlah ahli (panel) diminta untuk memeriksa setiap item pada
instrumenpengukuran.Penyekoranterdiridaritigaalternatif,yaituaitemtertentuadalah
relevan, kurang relevan atau tidak relevan dengan domain yang diukur. Penyekoran ini
dilakukan terhadap semua aitem. Prosedur menghitung CVR bisa dilihat di Widhiarso
(2010)
Kategorisasi Nilai CVR Lawshe (1975) menyajikan sebuah tabel CVR nilai minimum
berdasarkan uji signifikansi satu ekor dengan p =. 05. Karena nilai CVR tergantung pada
jumlah panel maka nilai CVR tergantung pada jumlah panel yang digunakan . Sebagai
contoh,LawshemenyimpulkanbahwanilaiCVRdari0,29akanbaikbaikuntuk40panelis
yang digunakan, sebuah CVR dari 0,51 akan cukup dengan 14 panelis, tapi CVR minimal
0,99 akan diperlukan dengan tujuh atau lebih sedikit Panelis. Jelas, berikut rekomendasi
1

Lawshe yang ketat akan membutuhkan sejumlah besar rater. Perhatikan bahwa, dalam
prakteknya,positifCVRnilainilaiyanglebihrendahdalambesarnyadariyangdibutuhkan
dengan menggunakan kriteria Lawshe yang kadangkadang digunakan sebagai dasar
untuk berdebat untuk bukti validitas isi ketika sejumlah relatif kecil rater digunakan
untukmemberikanperingkat.

2.2

StudiReliabilitas

Studi reliabilitas yang melibatkan rater biasanya dinamakan dengan kesepakatan antar
rater(interrateragreement)ataureliabilitasantarrater(interraterreliability).Jikapada
kasus selfreport reliabilitas ditunjukkan dengan konsistensi internal yang terlihat dari
antara satu butir dan butir lainnya memiliki korelasi yang tinggi, maka dalam kasus
reliabilitas antar rater yang diuji konsistensinya adalah raternya. Jadi posisi butir
digantikandenganposisiorang(rater).
Raterrateryangmemilikikesepakatantinggiterlihatdariposisisubjekyangdiobservasi.
Jika urutan skor subjek dari Rater A dan B hampir sama maka kedua rater memiliki
kesepakatan yang tinggi (Ebel & Frisbie, 1991). Hal ini dikarenakan kesepatakan
dioperasionalkan dalam bentuk korelasi. Dari 10 siswa yang diobservasi oleh dua orang
rater. Jika penilaian rater A terhadap siswa P paling tinggi dibanding dengan siswa
lainnya, dan Rater B juga demikian maka kedua rater dapat dikatakan konsisten. Dalam
halinimasalahapakahRaterApelitmemberikanskorsedangkanraterBtergolongmurah
dalammemberikanskortidakmempengaruhi.

2.2.1

KoefisienKappadariCohen

Cohen(1960)mengembangkankoefisienuntukmengukurkesepakatanantarrateryang
kemudiandikenaldengankoefisienkappa.
PenggunaanKoefisienkappatepatdigunakanketika(a)rateryangdipakaitidakbanyak.
Biasanyasatusubjekdinilaiolehduarater.(b)Skorhasilpenilaiannyabersifatkategori.
Biasanyajugahanyaduakategoriyangdikode0atau1.
Contoh Kasus Dua orang psikolog menilai 10 orang klien apakah mereka perlu
mendapatkanterapiataukahtidak.Padakasusiniterlihatjumlahraternyaadalahduadan
kategoriskorjugadua.
ContohOuputAnalisisBerikutinicontohhasilanalisisdenganmenggunakanprogram
SPSS.Hasilanalisismenunjukkankesepakatanantarratersebesar0.72.Tampakbahwa
keduapsikologmemilikiindekskesepakatanyangcukuptinggi.
Count

Rater_A

Tidak Perlu Terapi

Perlu Terapi

Total

Measure of Agreement
N of Valid Cases

Kappa

Rater_B
Tidak Perlu Terapi
Perlu Terapi
5
1
1
8
6
9

Value
.722
15

Asymp.
a
Std. Error
.183

Total
6
9
15

Approx. T
2.797

Approx. Sig.
.005

KategorisasiAdaduaorangahliyangmengkategorikannilaikoefisienkappayaituLandis
danKoch(1977)danFleiss(1975).MenurutLandisdanKoch(1977)kategorinilaikappa
adalahsebagaiberikut:
<0.00pooragreement
0.00<<0.20slight
0.21<<0.40fair
0.41<<0.60moderate
0.61<<0.80substantial,and
0.81<<1.00almostperfectagreement.

MenurutFleiss(1981)kategorinilaiadalahsebagaiberikut:

<0.40pooragreement
0.40< <0.75good,and
>0.75excellentagreement.

ProsedurselengkapnyamenghitungkoefisienKappabisamelihatpadatulisanWidhiarso
(2005)

2.2.2

KoefisienKorelasiintraKelas

Koefisienkorelasiintrakelas(intraclasscorrelationcoefficients;ICC)yangdikembangkan
oleh Pearson (1901). Koefisien ini dikembangkan berdasarkan analisis varians namun
padakasustertentuhasilnyamemilikikemiripandengankoefisienalpha.
PenggunaanKoefisienICCtepatdigunakanketika(a)rateryangdipakaibanyakdan(b)
skorhasilpenilaiannyabersifatkontinum.
Contoh Kasus Enam orang psikolog menilai 10 orang anak apakah berapa banyak
perilaku bullying yang mereka lakukan pada satu periode amatan. Contoh hasil
pengamatanditampilkanpadaTabeldibawahini.
Subjek

Rater_1

Rater_2

Rater_k

1
2
3
n

1
4
3
5

2
4
3
5

1
3
3
6

Contoh Ouput Analisis Berikut ini contoh hasil analisis dengan menggunakan program
SPSS. Hasil analisis menunjukkan ratarata kesepakatan antar rater sebesar 0.972
sedangkanuntuksatuorangraterkonsistensinyaadalah0.811.
Intraclass Correlation Coefficient

Single Measures
Average Measures

Intraclass
Correlation
.811
.972

95% Confidence Interval

Lower Bound Upper Bound
.783
.837
.967
.976

Value
35.287
35.287

F Test with True Value 0

df1
df2
299.0
2093
299.0
2093

Sig
.000
.000

ProsedurselengkapnyamenghitungICCbisamelihatpadatulisanWidhiarso(2005)

3 Penutup
Kesepakatanantarraterdapatdicapaiketikamasingmasingratermemilikipersepsi
yangsamaterhadapapayangdinilaidandiobservasi.Olehkarenaitupanduanobservasi
yangjelasdanoperasionalsertapembekalanyangcukupkepadaratersebelumterjunke
lapanganakansangatmembantudalammendapatkannilaikesepakatanantarrateryang
tinggi.

DAFTARPUSTAKA
Cohen,J.(1960).ACoefficientofAgreementforNominalScales.Educationaland
PsychologicalMeasurement,20(1),3746.doi:10.1177/001316446002000104.
Ebel,R.L.,&Frisbie,D.A.(1991).EssentialsofEducationalMeasurement.NewJersey:
PrenticeHall.
Fleiss,J.L.(1975).MeasuringAgreementbetweenTwoJudgesonthePresenceorAbsence
ofaTrait.Biometrics,31(3),651659.
Landis,J.R.,&Koch,G.G.(1977).TheMeasurementofObserverAgreementforCategorical
Data.Biometrics,33(1),159174.
Lawshe,C.H.(1975).Aquantitativeapproachtocontentvalidity.PersonnelPsychology,
(28),563575.
Pearson,K.(1901).Mathematicaldistributionstothetheoryofevolution.Philosophical
TransactionsoftheRoyalSocietyofLondon,197,385497.
Widhiarso,W.(2010).ProsedurPengujianValiditasIsimelaluiIndeksRasioValiditasIsi
(CVR).RetrievedFebruary22,2011,from
http://wahyupsy.blog.ugm.ac.id/2010/06/16/prosedurpengujianvaliditasisi
melaluiindeksrasiovaliditasisicvr/.
Widhiarso,W.(2005).MengestimasiReliabilitas.Yogyakarta:FakultasPsikologiUGM.