ASSESMEN

PEMBELAJARAN
Page | 0

REABILITAS INTER RETER

Oleh :

Hanriansyah Jaya
12B08096

PENDIDIKAN TEKNOLOGI KEJURUAN

PPs UNIVERSITAS NEGERI

MAKASAR

2013
ASSESMEN PEMBELAJARAN UNM

HANRIANSYAH JAYA

REABILITAS INTER RETER

DAFTAR ISI

Page | 1

DAFTAR ISI
.

PENDAHULUAN

RINGKASAN MATERI
.

CONTOK KASUS
..

KESIMPULAN

11

DAFTAR ISI
12

ASSESMEN PEMBELAJARAN UNM

HANRIANSYAH JAYA

REABILITAS INTER RETER

Page | 2

PENDAHULUAN
Ada banyak pertimbangan mengapa melibatkan rater. Berikut ini dua
alasan mengapa peneliti melibatkan rater.
a. Meningkatkan kualitas alat ukur yang dikembangkan
Melibatkan pakar dalam menilai butirbutir yang kita tulis akan
memastikan bahwA butir yang kita buat relevan dengan apa yang
kita ukur dan mewakili keseluruhan domain ukur. Misalnya,
meminta praktisi di bidang marketing untuk mengevaluasi butir
skala kepuasan konsumen akan memastikan bahwa butirbutir
yang kita tulis mewakili indikatorindikator konsumen yang puas.
b. Jenis alat ukur yang dikembangkan
Jika self report adalah instrument yang diisi sendiri oleh responden,
maka instrument observasi menggunakan rater untuk memberikan
penilaian.

ASSESMEN PEMBELAJARAN UNM

HANRIANSYAH JAYA

REABILITAS INTER RETER

Page | 3

RINGKASAN MATERI
Reabilitas Inter-Rater

Digunakan untuk menilai kekonsistenan pengukuran antar waktu

yang

berbeda.

Studi

reliabilitas

yang

melibatkan

rater

biasanya

dinamakan dengan kesepakatan antar rater (inter rater agreement) atau

reliabilitas antar rater (interrater reliability). Jika pada kasus selfreport
reliabilitas ditunjukkan dengan konsistensi internal yang terlihat dari
antara satu butir dan butir lainnya memiliki korelasi yang tinggi, maka
dalam kasus reliabilitas antar rater yang diuji konsistensinya adalah
raternya. Jadi posisi butir digantikan dengan posisi orang (rater).
Raterrater yang memiliki kesepakatan tinggi terlihat dari posisi
subjek yang diobservasi. Jika urutan skor subjek dari Rater A dan B hampir
sama maka kedua rater memiliki kesepakatan yang tinggi (Ebel & Frisbie,
1991). Hal ini dikarenakan kesepatakan dioperasionalkan dalam bentuk
korelasi. Dari 10 siswa yang diobservasi oleh dua orang rater. Jika
penilaian rater A terhadap siswa P paling tinggi dibanding dengan siswa
lainnya, dan Rater B juga demikian maka kedua rater dapat dikatakan
konsisten. Dalam hal ini masalah apakah Rater A pelit memberikan skor
sedangkan rater B tergolong murah dalam memberikan skor tidak
mempengaruhi.

ASSESMEN PEMBELAJARAN UNM

HANRIANSYAH JAYA

REABILITAS INTER RETER

Inter-Rater or Inter-Observer Reliability

Kapanpun kita menggunakan manusia sebagai bagian dari proses

pengukuran, maka selalu ada kekhawatiran apakah hasilnya itu terandal Page | 4
atau konsisten. Manusia cenderung melakukan ketidakkonsistenan karena
mudah terpengaruh. Misalkan saja, kita akan merasa capaek setelah
melakukan pekerjaan cukup lama, ktia kadang-kadang memiliki suasana
hati yang berbeda-beda, kadangkala juga antar manusia memiliki
pemahaman

yang

berbeda

terhadap

suatu

hal.

Jadi

bagaimana

menentukan apakah dua pengamat/pengukur yang dilibatkan memiliki

kekonsistenan antar mereka? Masalah ini sering kali tidak dimasukkan
langsung dalam studi (penelitian yang dilakukan). Namun jika muncul
ketidakkonsistenan, kita akhirnya terjebak karena memiliki data yang
tidak

bisa

diandalkan.

Yang

paling

baik

adalah

melakukan

studi

pendahuluan untuk memeriksa hal ini. Jika penelitian itu berlangsung

dalam jangka yang cukup panjang, perlu juga diperiksa kekonsistenan
para pengukur/pengamat dari waktu ke waktu untuk memerikasa ada
tidaknya perubahan.
Ada dua cara utama yang bisa digunakan untuk menduga inter-rate
reliability. Jika pengukuran yang dilakukan melibatkan pengelompokkan,
yaitu petugas pengukur/pengamat melakukan pengelompokkan berdasar
apa yang ia lihat, kita bisa menghitung berapa persentase kesepakatan
antar petugas. Sebagai contoh, misalkan kita memiliki 100 objek yang
diamati dan dinilai/diukur oleh dua orang petugas. Untuk setiap objek
amatan, petugas harus menentukan objek tersebut masuk kedalam satu
dari tiga kelompok. Misalkan saja habwa ada 86 dari 100 objek yang
dikelompokkan pada kelompok yang sama oleh kedua petugas. Pada
contoh ini, persentase kesepakatan adalah 86%. Memang, itu adalah
dugaan yang kasar, tapi memebrikan petunjuk berapa besar kesepakatan
yang terjadi. Dan ini bisa dilakukan tidak tergantung berapa banyak
kelompok yang ditentukan.

ASSESMEN PEMBELAJARAN UNM

HANRIANSYAH JAYA

REABILITAS INTER RETER

Cara yang lain untuk menduga besarnya inter-rater reliability adalah

jika

pengukuran

yang

dilakukan

menghasilkan

nilai

yang

kontinu

(numerik). Dalam hal ini, yang harus kita lakukan adalah menghitung
korelasi antar rating yang dihasilkan oleh kedua petugas pengukur. Sebagi
contoh, mereka mungkin kita minta untuk memberikan penilaian terhadap

Page | 5

keaktifan kelas kulaih, dengan memberi nilai antara 1 sampai 7. Kedua

pengamat memberikan nilai untuk beberapa kelas. Korelasi antar nilai
yang dihasilkan oleh keduanya bisa dijadikan penduga reliabilitas atau
konsistensi

antar

petugas.

Kita juga bisa menganggap bahwa reliabilitas jenis ini sebagai upaya
mengkalibrasi petugas. Ada hal-hal lain yang bisa diupayakan untuk
mengevaluasi keterandalan antar petugas, namun tidak menduga berapa
besar nilainya. Misalkan, seseorang perawat yang bekerja di bagian
psychiatric setiap pagi harus memeriksa pasien dengan mengajukan 10
butir pertanyaan. Dari pertanyaan tersebut perawat menilai kondisi
pasien. Tentu saja kita tidak bisa mengharapkan perawat tersebut ada
setiap hari, sehingga kadang kala harus digantikan oleh yang lain. Jelas
bahwa harus ada kesepakatan antar perawat. Untuk memeriksanya
mungkin diperlukan pertemuan mingguan membahas hasil penilaian,
sehinggga jika ada ketidaksepakatan antar perawat bisa diluruskan
disana.

INTER-RATER RELIABILITY
UJI INTERRATER RELIAILITY
Pada penelitian kesehatan seringkali kita menggunakan teknik
pengamatan (observasi), misalna ingin mengetahui perilaku perawat
dalam

melakukan

ashan

keperawatan

mengamati

dokter

dalam

melakukan pegkajian terhadap pasien, dll. Dengan metode pengamatan

observasi( seringkali antara peneliti dengan pengumpul data terjadi
perbedaan persepsi teradap kajian yang diamati. Agar data yang
dihasilkan valid, maka harus ada penyamaan persepsi antara peneliti
dengan si pengumpul data. Uji interrater reliability merupakan jenis uji
ASSESMEN PEMBELAJARAN UNM

HANRIANSYAH JAYA

REABILITAS INTER RETER

yang digunakan untuk menyamakan persepsi dalam hal ini antara peneliti
dan si pegunpul data. Alat yang digunakan untuk uji ini adalah uji statistic
Kappa.
Page | 6

Ketentuan uji:

Kalau si pengumpul data banyak maka uji dilakukan terhadap

masing-masing pengumpul data

Dilakuka terhadap masing-masing pertanyaan

Peneliti dan si pegumpul data bersama-sama mengobservasi

Waktu mengobservasi antara peneliti dan si pengumpul data tidak

boleh berbeda
Perinsip Uji :

Bila nilai koefisien kappa > 0,6 atau p value & alpha (0,05), maka
persepsi antara peneliti dengan si penumpul data sama

Bila nilai koefisien kappa < 0,6 atau p value & alpha (0,05), maka
persepsi antara peneliti dengan si penumpul data terjadi perbedaan

Contoh kasus
Seorang peneliti melakukan peeliian terhadap perlaku perawat dalam
melaksanakan asuhan keperawatan, kemudian dengan instrument lembar
observasi peneliti melakuka pengamatan dank karena guna efesiensi
waktu maka peneliti membutuhkan tim untuk membantu melakukan
observasi maka sebelumnya harus dilakukan uji interrater reliability.
Apakah dalam melakukan pengkajian sampai evaluasi perawat melakukan
dengan baik ?
1. Baik

ASSESMEN PEMBELAJARAN UNM

HANRIANSYAH JAYA

REABILITAS INTER RETER

2. Cukup.
3. Kurang baik
Kemudian dilakukan uji coba dengan pengamatan terhadap 15 perawat
hasilnya Sbb.

Page | 7

Tabulasi Data (Fiftif)

NO
prawat

Peneli
ti

numerat
or

10

11

12

13

14

15

Ujilah apakah ada persamaan persepsi antara peneliti dengan si pengumpul data
?

Langkah penyelesaian :
1. Pilihlah program SPSS dengan mengklik Allprogram dan SPSS For Windows:

ASSESMEN PEMBELAJARAN UNM

HANRIANSYAH JAYA

REABILITAS INTER RETER

Page | 8

Gambar 01

2. Buatlah nama variable dengan mengklik Variable View dam

memasukkannya satu persatu Penelitian dengan megketikkannya di Name
pada kolom Type biarkan tetap Numeric kolom With abaikan saja karena
SPSS akan mengaturnya secara otomatis kolom Label Ketikkan Penelitiankolom Values sampai seperti gambar dibawah ini:

Gambar 02
3. kemudian input atau entry data ke "Data View" sehingga tampak seperti
gambar dibawah ini

ASSESMEN PEMBELAJARAN UNM

HANRIANSYAH JAYA

REABILITAS INTER RETER

Page | 9
Gambar 03
4. Tibalah saatnya melakukan pengujian dengan mengklik tab menu Analyze
Sub menu Desciptif sub-sub menu Crostab seasaat kemudian akan tampil
gambar Crostab.

Gambar 04
5. Pindahkan variable Penelitian ke Row dengan mengklik tanda panah.
Begitupun variable Numerator ke Column(s) sepeti gambar dibawah berikut:

ASSESMEN PEMBELAJARAN UNM

HANRIANSYAH JAYA

REABILITAS INTER RETER

Page | 10

Gambar 05

6. Klik tombol statistik dan klik Kappa

Gambar 06

7. Klik cntinue lalu Ok dan hasilnya sbb:

ASSESMEN PEMBELAJARAN UNM

HANRIANSYAH JAYA

REABILITAS INTER RETER

Gambar 07

8. Interpretasi data : dari hasil uji koefisien kappa = 0.184 dan p value =0,265
dengan hasil ini berarti koefisie kappa < 0,6 dan p value >0,05, dengan

Page | 11

demikian dapat disimulkan ada perbedaan persepsi mengenai perilaku perawat

yang diamati antara peneliti denagn s pegumpul data (si pengumpul data harus
di training terlebih dahulu sebelum melakukan observasi sungguhan)

KESIMPULAN

Kesepakatan antar rater dapat dicapai ketika masingmasing rater

memiliki persepsi yang sama terhadap apa yang dinilai dan diobservasi.
Oleh karena itu panduan observasi yang jelas dan operasional serta
pembekalan yang cukup kepada rater sebelum terjun ke lapangan akan

ASSESMEN PEMBELAJARAN UNM

HANRIANSYAH JAYA

REABILITAS INTER RETER

sangat membantu dalam mendapatkan nilai kesepakatan antar rater yang

tinggi.
Page | 12

DAFTAR PUSTAKA
Emy Budiastuti, RELIABILITAS INTER-RATER PADA PENGUKURAN MENJAHIT
BUSANA, Jurusan PTBB FT UNY
Rakim, 2008, Mengukur Validitas dan Reliabilitas Alat Ukur, Rakims Blog,
http://rakim-ypk.blogspot.com/2008/06/mengukur-validitas-danreliabilitas.html di akses tanggal 20 Juni 2013
Tim Pengolahan dan Analisis Data Kesehatan , 2010, Interrater Reliability- UJI
INTERRATER RELIAILITY,

ASSESMEN PEMBELAJARAN UNM

HANRIANSYAH JAYA

REABILITAS INTER RETER

http://ikkibondenkkesmas.blogspot.com/2010/02/interrater-reliability.html
di akses tanggal 22 Juni 2013
Wahyu Widhiarso, 2010, Melibatkan Rater dalam Pengembangan Alat Ukur,
Fakultas Psikologi Universitas Gadjah Mada,
http://widhiarso.staff.ugm.ac.id/files/Melibatkan%20Rater%20dalam
%20Pengembangan%20Alat%20Ukur.pdf /. di akses tanggal 22 Juni 2013

ASSESMEN PEMBELAJARAN UNM

Page | 13

HANRIANSYAH JAYA

REABILITAS INTER RETER