IRT - Darmanto Minggele (18701264006)
IRT - Darmanto Minggele (18701264006)
Darmanto Minggele1
Abstrak
Artikel ini merupakan studi yang bertujuan untuk melakukan estimasi parameter dan juga untuk
mengetahui model fit dari hasil UN mata pelajaran Bahasa Indonesia di Yogyakarta. Data dalam
penelitian ini adalah data hasil Ujian Nasional yang merupakan pola respon siswa dari soal tes
paket 1 untuk mata pelajaran Bahasa Indonesia pada wilayah Yogyakarta tahun 2015 dimana tes
tersebut terdiri dari 50 butir dengan jumlah peserta tes sebanyak 430 siswa. Berdasarkan tabel tes
KMO dan Bartlett diperoleh nilai 0.8 yang bermakna kecukupan data telah terpenuhi dan
berikutnya dilakukan proses analisis faktor sehingga terbentuk 6 komponen dimana setelah
dilakukan rotasi dengan metode varimax dapat disimpulkan bahwa data tidak unidimensi sehingga
dilakukan analisis multidimensi. Dari hasil analisis multidimensi 2-PL diperoleh hasil untuk
parameter diskriminasi butir menyebar pada semua kategori tetapi yang terbanyak ada pada
kategori very high sejumlah 21 butir, dan 10 butir pada kategori high. Selanjutya mengenai
parameter kesulitan butir, nampak bahwa yang tertinggi ada pada kategori very easy dan easy
dengan jumlah butirnya berturut-turut sebanyak 38 dan 10. Kemudian berdasarkan analisis MIRT
ini juga dapat dinyatakan bahwa ada butir-butir dalam tes ini yang tidak fit sehingga seharusnya
tidak digunakan diantaranya butir 3, 5, 8, 18, 22, 25, 27, 31, 36, 41, dan 44. Adapun tindak lanjut
yang dapat diambil dari penelitian ini adalah merekomendasikan penggunaan model MIRT
dikarenakan model ini sangat baik untuk memperoleh hasil analisis yang lebih akurat dalam
mengevaluasi tes dan kompetensi peserta ujian, serta bagi peneliti dapat melakukan analisis-
analisis lebih lanjut terhadap data-data hasil UN guna peningkatan kualitas pendidikan khususnya
di Indonesia.
Keywords
MIRT, UN, Bahasa Indonesia..
A. PENDAHULUAN
Membahas tentang pelaksanaan Ujian Nasional (UN) senantiasa dikaitkan dengan beberapa
hal diantaranya yaitu nilai standar kelulusan, angka kelulusan siswa, dan atau seberapa sulit ukuran
soal bagi peserta ujian (siswa). Menurut Permendiknas nomor 75 tahun 2009, UN adalah kegiatan
pengukuran dan penilaian kompetensi peserta didik secara nasional pada jenjang pendidikan dasar
dan menengah. Berdasarkan peraturan tersebut meyakinkan bahwa UN wajib dilalui oleh setiap
peserta didik, baik pada jenjang pendidikan dasar maupun menengah.
Mengingat urgennya pelaksanaan UN tersebut, maka seluruh komponen pelaksana
pendidikan harus bertanggungjawab guna memperhatikan hal-hal terkait sistematis dan teknis
pembelajaran yang dilakukan menuju UN. Dalam dunia pendidikan khususnya dijenjang dasar dan
menengah UN merupakan salah satu bentuk evaluasi. Dimana pada jenjang SMP/MTs/SMPLB,
1
Guru MAN 1 Flores Timur dan Mahasiswa Program Pascasarjana Penelitian dan Evalausi Pendidikan di Universitas
Negeri Yogyakarta. e-mail: darmantominggele.2018@student.uny.ac.id
dan atau bentuk lain sederajat, Ujian Nasional mencakup mata pelajaran Bahasa Indonesia,
Matematika, Bahasa Inggris dan Ilmu Pengetahuan Alam (POS Ujian Nasional SMP/MTs/SMPLB
Tahun Pelajaran 2014/2015).
Untuk mengetahui kemampuan seseorang di bidang tertentu, tes merupakan salah satu
instrumen yang sering digunakan. Tes dapat digunakan setelah melalui proses pengembangan
dengan terlebih dahulu melakukan perancangan, perakitan dan analisis butir tes berdasarkan
berbagai pendekatan, baik menggunakan teori tes klasik maupun teori respon butir. Pengembangan
tes dengan pendekatan teori respon butir memiliki keunggulan, diantaranya dapat menghasilkan
parameter butir yang independen dari peserta tes dan parameter peserta tes yang bersifat
independen dari sekumpulan butir yang diujikan (Xitao Fan, 1998). Sifat invarian dari model teori
repon butir membuat teori respon butir secara teoritis bisa digunakan untuk menyelesaikan
permasalahan yang tidak dapat diselesaikan oleh teori tes klasik. Pada teori respon butir, ada
asumsi yang harus dipenuhi, yakni independensi lokal dan unidimensi (Hambleton, Swaminathan,
dan Rogers, 1985).
Independensi lokal terjadi jika kemampuan yang mempengaruhi kinerja suatu tes adalah
konstan, artinya respon peserta tes dalam menjawab suatu butir tes independen secara statistik
terhadap respon peserta tes tersebut dalam menjawab butir lainnya. Dengan kata lain, asumsi
independensi lokal menyatakan bahwa tidak ada korelasi antara respon peserta tes pada butir soal
yang berbeda. Ini berarti bahwa kemampuan yang dinyatakan dalam model merupakan satu-
satunya faktor yang mempengaruhi respon peserta tes terhadap butir soal. Unidimensi, artinya tes
hanya mengukur satu kemampuan tertentu. Asumsi unidimensi dapat ditunjukkan jika tes
mengandung hanya satu komponen dominan yang mengukur prestasi suatu subjek. Pada
praktiknya, asumsi unidimensi tidak dapat dipenuhi secara ketat karena adanya faktor-faktor
kognitif, kepribadian, dan administratif dalam tes, seperti kecemasan, motivasi, dan tendensi untuk
menebak. Pada kenyataannya di lapangan, asumsi unidimensi sulit terpenuhi. Hal ini sesuai dengan
pendapat bahwa kebanyakan tes pendidikan dan psikologi pada beberapa tingkat bersifat
multidimensi (Bolt dan Lall, 2003).
Pada data yang realitasnya berbentuk multidimensi, kemudian di analisis dengan model
unidimensi maka akan menyesatkan. Terkait dengan hal ini, pada data yang bersifat multidimensi,
diperlukan analisis dengan pendekatan multidimensi untuk mengestimasi parameter peserta dan
parameter butir. Pada tulisan ini dibahas tentang parameter peserta, parameter butir tes, dan
estimasinya dengan pendekatan teori respon butir multidimensi.
B. METODE
Tes yang digunakan pada analisis ini merupakan tes UN dikarenakan butir tes UN itu sendiri
telah melalui tahapan pengembangan yang baik oleh BSNP. Pada penyelenggaraan tes berskala
besar seperti UN ini, oleh BSNP telah disiapkan tujuh paket tes dengan rincian lima paket untuk
UN utama dan dua paket tes untuk UN susulan pada setiap mata pelajaran baik pada sekolah
tingkat menegah pertama maupun tingkat atas. Pada teori respon butir, tes yang berbentuk multiple
choice atau pilihan majemuk tergolong dalam kategori data dikotomus, sedangkan tes atau
kuisioner yang berbentuk uraian tergolong dalam kategori data politomus. Pada butir dikotomus,
model yang sering digunakan adalah model logistik satu parameter, dua parameter, dan tiga
parameter yang berturut-turut disingkat dengan 1-PL, 2-PL, dan 3-PL. Model logistik satu
parameter sering disebut juga model Rasch. Parameter-parameter model ini meliputi parameter
daya pembeda, tingkat kesulitan dan tebakan semu. Berdasarkan keterangan di atas maka
pemilihan data hasil Ujian Nasional yang diambil yaitu paket 1 untuk mata pelajaran Bahasa
Indonesia pada wilayah Yogyakarta tahun 2015 dimana tes tersebut terdiri dari 50 butir dengan
jumlah peserta tes sebanyak 430 siswa. Berikutnya analisis data dikotomus menggunakan program
R dengan package-package yang telah disiapkan sehingga bisa di lihat model FIT pada analisis
data tersebut.
C. HASIL DAN PEMBAHASAN
Analisis data dikotomus dengan menggunakan teori respon butir, langkah pertama yang
dilakukan adalah menguji dimensi dari data empiris yang telah diperoleh. Pada teori respon butir
unidimensi, hubungan antara 3 parameter yakni tingkat kesulitan butir, daya beda butir dan tebakan
semu secara matematis dinyatakan sebagai berikut (Hambleton, dan Swaminathan, 1985:49;
Hambleton, Swaminathan, dan Rogers, 1991: 17).
Proses pengujian dilakukan dengan analisis faktor eksploratori dengan metode principal
component analysis (PCA). Asumsi awal yang harus dipenuhi dalam analisis faktor eksploratori
adalah tes KMO dan Bartlett sebagai berikut.
Tabel 1. KMO and Bartlett's Test
Kaiser-Meyer-Olkin Measure of Sampling Adequacy. .800
Approx. Chi-Square 4802.807
Bartlett's Test of Sphericity Df 1225
Sig. .000
Dalam penelitian ini, dapat dikatakan telah memiliki kecukupan data yang diindikasikan
dengan KMO = 0.8 > 0.5. Selain itu signifikansi Bartlett’s test menunjukkan bahwa Hipotesis Nol
matriks korelasi merupakan matriks identitas ditolak sehingga data membentuk matriks korelasi
dengan ada hubungan kedekatan antar variabel. Kemudian berdasarkan analisis pada semua data
anti-images correlation maka measures of adequate sampling (MSA) telah memiliki nilai diatas
0,5 sehingga semua data telah layak masuk dalam analisis faktor. Dalam analisis faktor dihasilkan
data pengelompokan sebagai berikut.
Tabel 2. Total Variance Explained
Initial Eigenvalues Extraction Sums of Squared Loadings Rotation Sums of Squared Loadings
Metode principal component analysis (PCA) mereduksi atau mengurangi jumlah variabel
yang diamati menjadi sejumlah kecil komponen utama yang membentuk sebagian besar varian
dari variabel yang diamati. Jumlah faktor dapat ditentukan dengan memilih faktor-faktor yang
memiliki nilai eigen lebih besar dari 1. Nilai ini berarti bahwa faktor-faktor ini lebih dari rata-rata
total varians dalam item, yang dikenal sebagai aturan (Guttman, 1954; Kaiser 1960). Dengan
demikian data empiris menunjukkan bahwa item soal UN untuk mata pelajaran Bahasa Indonesia
terbagi menjadi 6 faktor. Dengan menggunakan rotasi varimax maka 50 butir soal mengelompok
dalam 6 faktor sebagai berikut.
B19 1.2311975 Moderator -2.4682164 Very Easy B44 0 Very Low -4 Very Easy
-
B20 2.5425401 Very High -3.2247468 Very Easy B45 1.8191719 Very High Easy
0.9597908
-
B21 1.3063846 Moderator -2.1539114 Very Easy B46 1.8667918 Very High Very Easy
2.5423986
-
B22 0 Very Low -4 Very Easy B47 1.9242463 Very High Very Easy
2.8187304
-
B23 0.4574012 Low -2.3010343 Very Easy B48 1.5802041 High Very Easy
2.1276154
-
B24 1.3870217 High -2.3223363 Very Easy B49 1.1712108 Moderator Easy
1.0836069
-
B25 0 Very Low -4 Very Easy B50 2.6076906 Very High Easy
1.6545842
Diskriminan atau sering juga disebut slope ditandai oleh suatu kemiringannya. Kemiringan
positif menunjukkan bahwa kemungkinan respons yang benar dari siswa yang baik lebih tinggi
daripada siswa yang buruk, sedangkan kemiringan negatif menggambarkan respon yang
berlawanan. Untuk analisis lebih lanjut, kombinasi diskriminatif dan kesulitan soal dihitung
dengan menggunakan formula berikut.
−𝑑
𝑀𝐷𝐼𝑆𝐶𝑖 = √∑𝑘𝑚=1 𝑎2𝑖𝑚 & 𝑀𝐷𝐼𝐹𝐹𝑖 = 𝑀𝐷𝐼𝑆𝐶
𝑖
.
𝑖
MDISC adalah singkatan dari kombinasi diskriminatif, dan MDIFF menunjukkan kesulitan
item. Menurut Baker (2001) dan Hasmy (2014), kombinasi dari diskriminasi dan kesulitan item
dapat diklasifikasikan masing-masing sebagai berikut.
Tabel 6. Klasifikasi indeks kombinasi diskriminan & kesulitan butir
Diskriminasi butir menyebar pada semua kategori tetapi yang terbanyak ada pada kategori
very high sejumlah 21 butir, dan 10 butir pada kategori high. Selanjutya mengenai kesulitan butir,
nampak bahwa yang tertinggi ada pada kategori very easy dan easy dengan jumlah butirnya
berturut-turut sebanyak 38 dan 10. Bar chart berikut memberikan gambaran tentang diskriminasi
dan kesulitan sebanyak 50 butir dari tes UN yang diberikan.
D. SIMPULAN DAN SARAN
Simpulan dari penelitian ini yaitu: (1) untuk soal mata pelajaran Bahasa Indonesia paket 1
pada wilayah Yogyakarta tahun 2015 berada pada kategori very high dan high untuk parameter
kombinasi diskriminasinya, (2) untuk parameter kombinasi kesulitan butirnya berada pada
kategori very easy dan easy, (3) ada butir-butir dalam tes ini yang tidak fit sehingga seharusnya
tidak digunakan diantaranya butir 3, 5, 8, 18, 22, 25, 27, 31, 36, 41, dan 44.
Rekomendasi sebagai tindak lanjut dari penelitian ini adalah (1) sebaiknya menggunakan
model MIRT untuk data yang berbentuk multidimensi dikarenakan model ini sangat baik untuk
memperoleh hasil analisis yang lebih akurat dalam mengevaluasi tes dan kompetensi peserta ujian,
(2) bagi peneliti untuk ke depannya dapat melakukan analisis-analisis lebih lanjut terhadap data-
data hasil UN guna peningkatan kualitas pendidikan khususnya di Indonesia.
Referensi
Baker, F. (2001). The basic of item response theory. USA: ERIC Clearinghouse on Assessment and
Evaluation.
Bolt, D.M. & Lall, V.M. (2003). Estimation of compensatory and noncompensatory
multidimensional item response models using Marcov chain Monte-Carlo. Applied
Psychological Measurement, 27, 395-414.
Hambleton, R. K., &Swaminathan, H. (1985). Item Response Theory: Principles and Applications.
USA: Kluwer-Nijhoff Publishing.
Hasmy, A. (2014). Compare unidimensional & multidimensional Rasch model for test with
multidimensional construct and items local dependence. Journal of Education and Learning,
8(3), 187-194.
Permendiknas RI Nomor 75 Tahun 2009 tentang Ujian Nasional SMP/MTs Tahun Pelajaran
2009/2010.
Retnawati, Heri. (2014). Teori Respons Butir dan Penerapannya. Parama Publishing, 45-46.
Xitao Fan. (1998). Item response theory and classical test theory : an empirical comparison of their
item/person statistic. Educational and Psychological Measurement, 58, 357-381.