Pendahuluan

Alat ukur yang sahih (valid) dan konsisten (reliable) sangat diperlukan dalam melakukan
pengukuran. Kedua kriteria tersebut akan menghasilkan hasil pengukuran ulang yang sesuai
dengan apa yang akan diukur tanpa terpengaruh faktor lain. Suatu perangkat tes yang
dipengaruhi oleh faktor lain tersebut dapat disebut dengan bias pada suatu tes.
Bias pada suatu tes dan pengukuran mempunyai makna rasial, menekan atau terlalu
fanatic dengan objek yang akan diukur (Osterlind, 1983:10). Bias dalam suatu tes merupakan
suatu kopndisi tes yang terpengaruh oleh faktor-faktor lain di luar tes, tidak adil, tidak konsisten,
dan dapat disebut sebagai kesalahan dalam penggunaan tes. Dengan demikian, jika suatu tes
terdeteksi bias, maka, tes atau pengukuran tersebut tidak dapat dikatakan sebagai tes yang sahih
dan konsisten.
Bias butir memiliki batasan seperti yang sudah disebutkan oleh beberapa ahli. Shepard
(Adams,1992 : 177) dan Mazor et al. (1995 : 133) mengatakan bahwa suatu tes dapat dikatakan
bias jika dua orang peserta tes dengan kemampuan yang sama, dari kelompok yang berbeda tidak
memperoleh peluang menjawab benar yang sama. Dapat disimpulkan bahwa butir tes yang tidak
bias adalah butir yang memberikan peluang yang sama untuk menjawab benar pada peserta tes
yang memiliki kemampuan sama pada kelompok yang berbeda. Bias dibedakan menjadi dua
yaitu bias eksternal dan bias internal.
Bias internal atau yang biasa disebut sebagai bias butir merupakan aspek dari bias dalam
tes yang berkaitan dengan sifat-sifat psikometrik dari suatu butir tes dan tes secara keseluruhan
(Adams, 1992: 178). Prosedur pendeteksian item bias difokuskan pada apakah tiap butir tes
memiliki kesamaan dalam pengukuran sifat-sifat psikometrik. Tes dikatakan biasa jika terdapat
bukti interaksi antar anggota kelompok dengan kinerja butir tes, perbedaan kemampuan antara
kelompok tersebut dikendalikan.
Derajat pada skor tes yang menunjukkan hubungan korelasional dari variabel-variabel
bebas suatu tes dikatakan sebagai bias eksternal Osterlind (1983: 10-11).Permasalahan pada bias
eksternal adalah konsekuensi dalam penggunaan tes seperti keadilan pada penyelenggaraan tes
dan kriteria seleksi yang digunakan. Pihak penyelenggara seharusnya menyelenggarakan tes dan
membuat kriteria seleksi yang adil. Dengan demikian, yang menjadi perhatian dalam eksternal
bias adalah keseluruhan tes (validitas konstrak dan validitas prediktif) baru pada butir-butir tes
itu sendiri. Berdasarkan hal ini, bias eksternal terfokus pada validitas konstrak dan validitas
prediktif dari keseluruhan tes. Istilah yang digunakan untuk mengganti item bias adalah
differential item performance (DIP) atau differential item functioning (DIF) (Adams, 1992: 178).
Penggantian nama tersebut merujurk pada metode pendeteksian item bias dalam
mengidentifikasi butir yang memiliki fungsi berbeda untuk kelompok tes yang berbeda.
Ada beberapa metode untuk mendeteksi DIF dalam suatu perangkat tes. Adams (Keeves,
1992: 180) menyatakan bahwa Analisis Faktor, pengujian daya beda butir menggunakan point-
biserial dan korelasi parsial, pengujian tingkat kesukaran butir menggunakan berbagai
transformasi, metode ANOVA, teori respons butir atau metode latent traits, pendekatan Khi-
kuadrat (Chi-square), menggunakan model Log-linear dan metode statistika Mantel-Haenszel
merupakan metode untuk mendeteksi bias.
 Stark dan Chernyshenko (2002: 4) mengungkapkan beberapa metode pendeteksian
bias baik menggunakan statistik parametrik dan nonparametrik. Metode Khi-kuadrat dari
Lord (Lord's Chi-Square), uji Perbandingan Kemungkinan (Likelihood Ratio test) dan
metode Luas Daerah Bertanda dan Tidak Bertanda (Signed and Unsigned Area Methods)
merupakan metode pendeteksian bias menggunakan statistik parametrik , sedangkan untuk
metode statistika nonparametrik, dapat menggunakan metode Sibtest dan Mantel-
Haenszel. Metode-metode pada statistik paramterik dan nonparametrik hanya dapat
digunakan pada tes yang mengukur satu dimensi (unidimensi). Metode-metode
pendeteksian DIF yang ada baru pada teori respons butir unidimensi pada penskoran
dikotomi (Camilli dan Shepard, 1994) dan teori respons butir multidimensi pada
penskoran dikotomi (Badrun Kartowagiran & Heri Retnawati, 2008; Heri Retnawati,
2008).
Konsep bias butir (differential item fungtioning) didefinisikan sebagai perbedaan peluang
menjawab benar antara dua kelompok, yaitu grup Fokal dan grup Referensi. Pada teori respons
butir unidimensi, DIF dinyatakan sebagai perbedaan peluang menjawab benar suatu butir soal
antara grup Fokal dan grup Referensi. Karena ukuran DIF dinyatakan dengan “seberapa besar
perbedaan” antara kedua grup, pada kurva karakteristik ditandai dengan daerah yang diarsir pada
Gambar 1. Daerah tersebut dinamai dengan daerah bertanda (SIGNED-AREA), yang ukuran
luasnya dapat dihitung secara matematis dengan metode integrasi. Karena ukuran DIF terkait
dengan ukuran luasan daerah sederhana, maka oleh Camilli dan Shepard (1994) metode ini
dinamai dengan Simple Area Indices.

Gambar 1. Kurva Karakteristik Butir dari Dua Kelompok (DIF Uniform)

SIGNED-AREA = ∫ [ P R (θ)−P F (θ )] dθ ...................................………………………..(1)

Gambar 1. Mengenai kurva karakteristik butir dari dua kelompok, kurva karakteristik
butir tidak saling memotong. Karena luas daerah merupakan integrasi dari peluang menjawab
benar grup referensi dikurangi dengan grup fokal, maka jika bernilai positif, butir soal
menguntungkan kelompok referensi, Sebaliknya, jika bernilai negatif, butir soal menguntungkan
grup fokal.
Dalam analisis DIF suatu butir, bisa jadi kurva karakteristik butir dari kedua grup saling
berpotongan. Jika hal ini terjadi, ukuran DIF yang positif dan yang negatif akan saling
meniadakan, seperti yang digambarkan pada Gambar 2. Pada kasus ini, ukuran luasan dapat
dihitung dengan UNSIGNED-AREA yang merupakan integral dari kuadrat selisih antara
peluang menjawab benar grup referensi dengan grup fokal.

Gambar 2. Kurva Karakteristik Butir dari Dua Kelompok (DIF NonUniform)

2
UNSIGNED-AREA = √∫ [ P (θ)−P (θ) ] dθ
R F ...................................……………………..(2)

Cara kedua untuk mengetahui indeks DIF yaitu dengan prinsip perbedaan probabilitas.
Prinsip ini didasarkan pada definisi konsep bias butir sebagai perbedaan peluang menjawab
benar antara dua kelompok yang dinamai grup Fokal dan grup Referensi. Pada teori respons
butir unidimensi, DIF dinyatakan sebagai perbedaan peluang menjawab benar suatu butir soal
antara grup Fokal dan grup Referensi. Karena ukuran DIF dinyatakan dengan “seberapa besar
perbedaan” antara kedua grup, pada kurva karakteristik ditandai dengan daerah yang diarsir pada
Gambar 2. Daerah tersebut dinamai dengan daerah bertanda (SIGNED-AREA), yang ukuran
luasnya dapat dihitung secara matematis dengan metode integrasi. Karena ukuran DIF terkait
dengan ukuran luasan daerah sederhana, maka oleh Camilli dan Shepard (1994) metode ini
dinamai dengan Simple Area Indices.
 Bias butir atau DIF (differential item fungtioning) didefinisikan sebagai perbedaan
peluang menjawab benar dari dua kelompok peserta yaitu kelompok Focal dan kelompok
Referensi (Angoff, 1993; Lawrence, 1994; Hambleton & Rogers, 1995). Dalam teori respons
butir unidimensi, DIF dinyatakan dengan peluang menjawab benar pada kelompok Referensi
dikurangi peluang menjawab benar pada kelompok Focal. Perbedaan peluang, DIF dinyatakan
dengan indeks.
Indeks tersebut menyatakan sifat bias butir sebagai perbedaan peluang menjawab benar
dari suatu tes yang diberikan kepada peserta yang kemampuannya sama, namun grupnya bebeda.
Camilli dan Shepard (1994) secara matematis menyataan perbedaan peluang sebagai
Pj = Pk(j) - Pp(j) ……………………………………......................................... (3)
dengan Pj merupakan perbedaan peluang pada peserta Pk(j) j dari grup p; Pk(j) meruakan
peluang menjawab benar peserta ke j dari grup k dengan kemampuan  berdasarkan parameter
butir pada skala kelompok k; dan Pp(j) merupakan peluang menjawab benar peserta ke j dari
kelompok P dengan kemampuan  berdasarkan skala parameter butir skala kelompok P.
Indeks perbedaan probabilitas disebut Signed Probability Difference (SPD) untuk
memantau  dinyatakan sebagai:
np

∑ ΔP (θ j ) ………………………………………………(4)
j=1
SPD −θ=
np
Persamaan digunaan untuk mengetahui perbedaan probabilitas dari dua kelompok yang kurva
karakteristiknya tidak berpotongan seperti dinyatakan pada Gambar 3.
Untuk butir yang kurva karakteristiknya saling berpotongan pada kedua grup, ukuran
DIF dinyatakan dengan Unsigned Probability Difference (UPD) untuk memantau kemampuan
.

np

UPD−θ=
√ ∑ ( ΔP ( θ j ) )2.....................……………………………....…… (5)
j =1
Dengan nP merupakan banyaknyanp peserta pada grup P,  Pp(j) perbedaan peluang menjawab
benar peserta ke- j dari kelompok P, SPD- merupakan perbedaan probabilitas bertanda (signed
probability difference) dicontrol oleh  dari peserta ke- j, dan UPD- merupakan perbedaan
probabilitas tidak bertanda (unsigned probability difference) dicontrol oleh  untuk peserta ke-j
(Camilli dan Shepard, 1994). Ukuran SPD- dapat positif dan negative dapat saling
menghilangkan. UPD- merupakan ukuran komulatif, sehigga tidak saling menghilangkan
perbedaan kurva karakteristik. Ukuran DIF’s yang positif menyatakan bahwa kelompok P
berada pada kondisi yang tidak diuntungkan. Indikasi apakah ada perpotongan kurva
karakteristik, jika indeks UPD- melebihi indeks SPD-. Perbedaan kecil antara indeks UPD-
dan indeks SPD- secara praktis menunjukkan perpotongan antara dua kurva karakteristik
butir tidak signifikan.
 Gambar 3. Permukaan Karakteristik Butir untuk Menentukan Perbedaan Probabilitas dari Dua
Kelompok (DIF Uniform)

grup R
grup F

Gambar 4. Permukaan Karakteristik Butir untuk Menentukan Perbedaan Probabilitas dari Dua
Kelompok (DIF Non-Uniform)
Metode Penelitian
Penelitian ini merupakan studi eksplorasi untuk mendeteksi adanya differential item functioning
(DIF) pada tes dengan menggunakan pendekatan kuantitatif. Data yang digunakan pada
penelitian ini merupakan data Ujian Nasional paket 1 mata pelajaran matematika tahun 2015
provinsi DI Yogyakarta dan Kalimantan Selatan yang setiap provinsinya diambil sampel
sebanyak 1000 (n total = 2000). Kemudian, data tersebut dianalisis untuk mengetahui data
tersebut dapat dianalisis menggunakan model 1 parameter logistik, model 2 parameter logistic,
atau 3 parameter logistik. Estimasi parameter butir dan pendeteksian DIF dilakukan dengan
program R.
Hasil dan Pembahasan
Berdasarkan hasil analisis kecocokan model, perangkat tes Ujian Nasional mata pelajaran
matematika tahun 2015 cocok dianalisis menggunakan item respon teori dua parameter logistic
(2-PL). Setelah mengetahui kecocokan model, maka hanya ada 9 butir yang cocok dengan model
2 parameter. Selanjutnya ke-9 butir tes inilah yang cocok dengan model dan akan dideteksi
muatan DIF-nya.
Tabel 1. Kecocokan model tiap PL
1PL 2PL 3PL
Butir P- P- P-
X2 value X2 value X2 value
But1 56.527 0.0001 10.8863 0.2082 18.7497 0.009
But2 112.4578 0.0001 29.1017 0.0003 20.9202 0.0039
But3 51.2077 0.0001 13.3135 0.1015 3.6657 0.8174
But4 80.718 0.0001 18.1805 0.0199 69.6466 0.0001
But5 82.2359 0.0001 19.1132 0.0143 48.4728 0.0001
But6 106.3891 0.0001 16.5801 0.0348 20.8451 0.004
But7 60.0865 0.0001 13.124 0.1077 34.9192 0.0001
But8 76.9234 0.0001 28.1515 0.0004 45.3847 0.0001
But9 53.8866 0.0001 32.2414 0.0001 68.4072 0.0001
But1
0 87.2899 0.0001 24.4457 0.0019 36.3832 0.0001
But1
1 129.4891 0.0001 66.3284 0.0001 79.5763 0.0001
But1
2 32.5315 0.0002 12.3834 0.1349 46.1589 0.0001
But1
3 29.6788 0.0005 11.9923 0.1515 28.0996 0.0002
But1
4 88.432 0.0001 86.0892 0.0001 105.5027 0.0001
But1
5 42.7628 0.0001 36.5961 0.0001 67.2061 0.0001
But1
6 68.4979 0.0001 61.0153 0.0001 294.0447 0.0001
But1
7 39.9873 0.0001 36.0446 0.0001 64.0901 0.0001
But1
8 74.1498 0.0001 19.7366 0.0114 31.991 0.0001
But1
9 55.6212 0.0001 23.5298 0.0027 86.9667 0.0001
But2
0 106.9581 0.0001 105.2154 0.0001 308.5625 0.0001
But2
1 169.1426 0.0001 15.2006 0.0554 7.9159 0.3401
But2
2 116.8097 0.0001 105.4652 0.0001 373.7184 0.0001
But2
3 21.1443 0.012 20.549 0.0084 87.2874 0.0001
But2
4 115.2981 0.0001 15.6782 0.0472 29.9824 0.0001
But2
5 101.5369 0.0001 87.4925 0.0001 465.9949 0.0001
But2
6 24.9288 0.0031 11.334 0.1835 16.2217 0.0232
But2
7 159.2366 0.0001 33.5244 0.0001 53.5489 0.0001
But2
8 62.5097 0.0001 62.845 0.0001 260.1467 0.0001
But2
9 63.2396 0.0001 62.4604 0.0001 95.7322 0.0001
But3
0 53.0394 0.0001 35.7404 0.0001 63.4554 0.0001
But3
1 121.6476 0.0001 118.5695 0.0001 105.6664 0.0001
But3
2 65.1892 0.0001 36.6901 0.0001 77.9294 0.0001
But3
3 203.4075 0.0001 148.1193 0.0001 493.0514 0.0001
But3
4 53.3551 0.0001 9.7306 0.2844 11.0926 0.1346
But3
5 31.3569 0.0003 26.8133 0.0008 69.0639 0.0001
But3
6 327.7319 0.0001 195.2536 0.0001 126.5052 0.0001
But3
7 12.0369 0.2112 12.4163 0.1336 34.6422 0.0001
But3
8 65.7377 0.0001 70.8445 0.0001 263.2064 0.0001
But3
9 101.9665 0.0001 124.7178 0.0001 203.5365 0.0001
But4
0 45.6121 0.0001 42.13 0.0001 105.1679 0.0001
Parameter butir UN 2015 mata pelajaran matemtika diestimasi secara menyeluruh. Setelah itu,
estimasi parameter untuk tiap kelompok dilakukan. Pengestimasian paramater butir dilakukan
dengan menggunakan program R. Hasil analisis estimasi parameter butir UN mata pelajatan
Matematika tahun 2015 disajikan pada tabel 2.
Tabel 2. Parameter Butir UN 2015 Mapel Matematika Paket 1
Butir b a
But1 -1.121 1.993
But3 -1.667 2.329
But7 -1.565 2.29
But12 -0.616 1.546
But13 -1.313 1.811
But21 -0.986 2.313
But26 -1.523 1.599
But34 -1.104 1.761
But37 -1.657 1.287

Analisis DIF dengan pendekatan teori respon butir terlebih dahulu dilakukan adalah analisis
kelompok antara kelompok DI Yogyakarta dan Kalimantan Selatan secara terpisah. Hasilnya
dapat disajikan pada tabel 3.

Tabel 3. Parameter berdasarkan teori respon butir pada kelompok DI Yogya dan Kalsel
DI Yogyakarta Kalimantan Selatan
Butir
b a b a
But1 -1.086 1.356 -1.207 3.356
But3 -1.658 2.077 -1.677 2.718
But7 -1.646 2.094 -1.513 2.506
But1
2 -0.601 1.253 -0.644 1.928
But1
3 -1.236 1.371 -1.39 2.753
But2
1 -1.004 2.05 -0.983 2.708
But2
6 -1.653 1.121 -1.484 2.352
 But3
4 -1.124 1.248 -1.16 2.413
But3
7 -1.739 0.89 -1.658 1.912

Untuk dapat menentukan hubungan antara karakteristik butir pada kelompok DI Yogya dan
kelompok Kalsel, terlebih dahulu digambarkan kedua kurva tersebut pada ruang XY yang sama.
Gambar dari kurva tersebut dihasilkan dari program R. Kurva karakteristik kelompok DI Yogya
dan kelompok Kalsel yang tidak berpotongan mengindikasikan bahwa butir tersebut
menguntungkan suatu kelompok di semua daerah kemampuan (memuat DIF uniform). Namun
sebaliknya, jika kurva berpotongan mengindikasikan butir menguntungkan kelompok DI Yogya
di suatu wilayah kemampuan, juga menguntungkan kelompok lain di wilayah kemampuan
lainnya (memuat DIF non-uniform). Sebagai contoh, butir soal nomor 1 memuat DIF
nonuniform dan butir memuat DIF nonuniform yang disajikan pada gambar dan gambar

Gambar 5. Kurva karakteristik butir kelompok DI Yogya dan Kelompok Kalsel (garis putus-
putus) pada butir soal nomor 1 (DIF Non-uniform)
 Gambar 6. Kurva karakteristik butir kelompok DI Yogya dan Kelompok Kalsel (garis putus-
putus) pada butir soal nomor 7 (DIF Uniform)

Menguji signifikansi indeks DIF dilakukan dengan beberapa metode. Metode-metode tersebut
seperti Lord’s chi-squared, dan Raju. Estimasi metode-metode tersebut dilakukan dengan
bantuan program R. Hasil selengkapnya disajikan pada Tabel 4.

Tabel 4. Signifikansi DIF dengan Metode Raju dan Metode Lord

Metode Raju Metode Lord

Butir P-
Stat. value Kesimpulan Stat. P-value Kesimpulan
But1 4.9388 0.0000 Memuat DIF 27.9271 0.0000 Memuat DIF
But3 1.6894 0.0911 - 2.8591 0.2394 -
But7 0.647 0.5176 - 0.6188 0.7339 -
But1
2 1.9679 0.0491 Memuat DIF 4.6054 0.1 -
But1
3 4.4085 0.0000 Memuat DIF 25.7008 0.0000 Memuat DIF
But2
1 0.9758 0.3292 - 1.0103 0.6034 -
 But2
6 2.9045 0.0037 Memuat DIF 15.9903 0.0003 Memuat DIF
But3
4 3.3122 0.0009 Memuat DIF 18.6013 0.0001 Memuat DIF
But3
7 3.0174 0.0025 Memuat DIF 23.9401 0.0000 Memuat DIF

Mencermati hasil tersebut, dapat diperoleh bahwa berdasarkan metode Raju terdapat 6 butir yang
memuat DIF dan 3 butir yang secara tidak signifikan memuat DIF. Sementara hasil yang
ditunjukkan oleh metode Lord mengindikasikan kesamaan hasil dengan metode Raju meskipun
hanya satu butir yang berbeda diantara keduanya, yaitu butir soal nomor 12. Hal tersebut
dikarenakan adanya perbedaan pendekatan dalam mendeteksi butir yang memuat DIF untuk
metode Raju dan metode Lord.

Kesimpulan dan Rekomendasi

Berdasarkan hasil analisis, dapat disimpulkan bahwa dari 9 butir yang dianalisis, terdapat 6 butir
soal yang terindikasi memuat DIF menurut metode Raju dan 5 butir menurut metode Lord
dengan pendekatan teori respon butir. Dengan menggunakan kedua metode tersebut, butir-butir
tersebut signifikan memuat DIF yang menguntungkan kelompok siswa tertentu jika
dikategorikan berdasarkan pada provinsi, DI Yogyakarta dan Kalimantan Selatan.

Mencermati hasil penelitian ini, dapat direkomendasikan.

1. Penelitian ini baru membandingkan dua metode yaitu Lord dan Raju, sehingga
penelitian-penelitian di masa mendatang dapat membandingkan metode-metode lainnya
seperti metode Mantel-Haenszel, metode logistisc regression, standardization, dan lain-
lain
2. Data yang digunakan pada penelitian ini hanya mengukur 1 dimensi, penelitian dengan
menggunakan data yang lebih dari 1 dimensi juga perlu dilakukan.

Daftar Pustaka