Simulasi Try Out dengan perhitungan Item

Response Theory
Wisnu Subekti
April 22, 2018

Contents
1 Latar Belakang 1

2 Metode Simulasi 2
2.1 Software yang dipakai . . . . . . . . . . . . . . . . . . . . . . 2
2.2 Cara mengambil data . . . . . . . . . . . . . . . . . . . . . . . 3

3 Berbagai Skenario Simulasi 3

3.1 Basic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
3.2 Skenario 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
3.3 Skenario 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
3.4 Skenario 3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
3.5 Skenario 4 dan 5 . . . . . . . . . . . . . . . . . . . . . . . . . 5
3.6 Skenario 6 dan 7 . . . . . . . . . . . . . . . . . . . . . . . . . 6
3.7 Skenario 8 dan 9 . . . . . . . . . . . . . . . . . . . . . . . . . 7

4 Rangkuman 7

5 Kesimpulan 8

1 Latar Belakang
Pada SBMPTN 2018, ada perubahan dari cara menghitung nilai peserta
ujian. Biasanya, setiap soal bernilai 4 kalau dijawab benar, -1 kalau salah,
dan 0 kalau kosong. Kali ini, sistem penilaiannya tidak seperti itu, namun
menggunakan metode Item Response Theory, yang akan kita singkat menjadi
IRT.

1
 Dengan metode IRT, setiap soal memiliki bobot yang berbeda. Yang
sulit, bobotnya tinggi. Yang mudah, bobotnya rendah. Tetapi bobot ini
tidak ditentukan dari awal. Melainkan, dihitung dari seluruh jawaban pe-
serta ujian. Contoh, jika banyak peserta ujian yang tidak bisa menjawab
soal tersebut dengan benar, maka soal tersebut termasuk soal yang sulit.
Sebaliknya, jika banyak peserta ujian yang bisa menjawab, maka dianggap
sebagai soal yang mudah.
Namun, perhitungan IRT ini sendiri lumayan kompleks. Metode ini
lumayan fair karena setiap soal punya bobot yang berbeda, dan bisa mengu-
rangi faktor hoki. Selain itu, dengan IRT, panitia juga jadi bisa melakukan
evaluasi terhadap soal mereka buat. Karena panitia SBMPTN juga akan
mendapatkan laporan bagaimana kualitas masing-masing soal dalam men-
guji kemampuan peserta ujian.
Terlepas dari itu semua, buat peserta ujian, tentu ada satu pertanyaan
yang perlu banget dijawab: Dengan metode IRT ini, bahaya ga sih kalau
nembak?
Pada metode yang lama, kalau salah kan minus. Jadi, harus hati-hati.
Tapi pada metode IRT yang baru ini gimana? Katanya tidak ada nilai minus.
Kalau gitu boleh nembak dong? Nah, itulah sebabnya gue melakukan berba-
gai simulasi Try Out dengan menggunakan metode IRT ini. Pada simulasi
ini, akan dilakukan beberapa skenario; kalau ga nembak sama sekali, kalau
nembak sisanya, kalau nembak sebagian, dan sebagainya. Tujuan simulasi
ini adalah untuk menunjukkan ke elu, bagaimana dampak menembak pada
soal yang dihitung dengan menggunakan IRT.

2 Metode Simulasi
2.1 Software yang dipakai
Gue pakai software Xcalibre 4.2. Software ini bisa diunduh di website resminya
di sini:

http://www.assess.com/xcalibre/

Berhubung gue masih pakai yang free version, maksimum peserta ujian
yang bisa dimasukkin cuma 50. Jumlah soal yang bisa dimasukkin juga
maksimum 50 soal. Tapi segitu udah cukup sih untuk keperluan simulasi
kita.

2
2.2 Cara mengambil data
Datanya gue ambil dari Try Out beneran yang kita adakan dengan anak-
anak Zenius Club. Tinggal ambil seluruh jawaban dari 50 peserta try out
tersebut terhadap 50 soal yang ada. Datanya seperti ini:

dst sampai student-50

Di situ lu bisa lihat bahwa mereka jawab ”A, B, C, D, atau E”. Kalau
”O”, itu artinya kosong atau ga menjawab.
Data siswa ini beserta kunci jawabannya gue masukin ke software Xcalibre
barusan.

3 Berbagai Skenario Simulasi

3.1 Basic
Pertama, yang basic dulu. Ada 50 peserta ujian masing-masing menjawab
50 soal. Data jawaban mereka diambil dari actual try out yang biasa kia
lakuin di Zenius Club.
Dengan meng-input data ini ke Xcalibre kita mendapatkan informasi ter-
hadap soal yang mana aja yang mudah dan yang mana aja yang sulit. In-
formasi ini terdapat di Parameter b di IRT. Ternyata kita mendapatkan:

1. 29 soal kita kategorikan sebagai soal yang mudah (b < 0).

2. 21 soal sisanya kita kategorikan sebagai soal yang sulit.

3.2 Skenario 1
Pada skenario 1, dilakukan hal berikut ini.

1. Student-01 pada basic diganti menjadi wilona-tes (ceritanya Kak Wilo

mengambil tes ini)

2. Wilo cuma menjawab soal yang mudah aja (b < 0)

3
 3. Soal-soal yang sulit (b ≥ 0), tidak dijawab (tidak ditembak).

Hasilnya:

1. Wilo mendapatkan score 0.2444 pada tes ini.

2. Wilo mendapatkan peringkat 20 pada tes ini (persentil ke 60).

Komentar gue:
Not bad lah ya. Cuma jawab soal yang mudah dan nge-skip soal yang
sulit, membuat Wilo duduk di peringkat 20 dan 50 peserta ujian.

3.3 Skenario 2
Pada skenario 2, dilakukan hal berikut ini.

1. Wilo menjawab 29 soal yang mudah (b < 0) dengan benar.

2. Wilo nembak 1 soal dan salah

Hasilnya:

1. Wilo mendapatkan score 0.233 pada tes ini.

2. Wilo mendapatkan peringkat 21 pada tes ini (persentil ke 58).

Komentar gue:
Nah, jelas kan bahwa menjawab salah itu mengurangi nilai. Meskipun
panitia SBMPTN bilang, ”tidak ada nilai minus”, bukan berarti lu bisa nem-
bak seenaknya. Nilai yang berkurang ini membuat peringkat Wilo berkurang
juga. Pengurangan nilai ini akan bisa membuat lu ga diterima di SBMPTN
idaman.

3.4 Skenario 3
Pada skenario 3, dilakukan hal berikut ini.

1. Wilo menjawab 29 soal yang mudah (b < 0) dengan benar.

2. Wilo nembak 5 soal dan salah semua

Hasilnya:

1. Wilo mendapatkan score 0.2047 pada tes ini.

4
 2. Wilo mendapatkan peringkat 21 pada tes ini (persentil ke 58).

Komentar gue:
Ini hanya untuk menekankan aja bahwa makin banyak menjawab soal
dengan salah, maka nilainya pun berkurang makin banyak. Sekarang score-
nya menjadi 0.2047. Pada simulasi ini, peringkatnya ga berubah. Mungkin
karena pesertanya cuma 50 orang. Kalau persertanya 800.000 orang kayak
SBMPTN, gue jamin peringkatnya juga berubah sih kalau score-nya turun
sesignifikan itu (dari 0.2444 menjadi 0.2047).
Okay, sampai sini kita tahu ya bahwa jawab salah itu juga mengurangi
nilai. Tapi apakah ga boleh nembak sama sekali nih? Lanjut ke skenario
berikutnya.

3.5 Skenario 4 dan 5

Pada skenario 4 dan 5, dilakukan hal berikut ini.

1. Wilo menjawab 29 soal yang mudah (b < 0) dengan benar.

2. Wilo nembak 5 soal

ˆ 1 soal bener
ˆ 4 soal salah

Pada skenario 4, soal yang dijawab bener adalah soal yang bobotnya
tinggi. Pada skenario 5, soal yang dijawab bener adalah soal yang bobotnya
rendah.
Hasilnya:

1. Wilo mendapatkan score 0.2716 pada skenario 4 dan 0.3847 pada ske-
nario 5.

2. Wilo mendapatkan peringkat 20 pada skenario 4 dan 18 pada skenario

5.

Komentar gue:
Kalau lu nembak suatu soal yang pilihannya ABCDE, berapa peluang
lu menjawab soal itu dengan benar? Pakai teori peluang, lu dapet 1:5, iya
ga? Berarti 20% ya peluang lu menjawab soal dengan benar. Nah, sekarang,
kalau lu menjawab 5 soal, frekuensi harapannya gimana? Berapa soal yang
lu jawab bener? Yup

frekuensi harapan = peluang × banyak kejadian

5
 Berhubung ceritanya lu menembak 5 soal, berarti banyaknya kejadian
adalah 5.
1
frekuensi harapan = ×5=1
5
Itulah sebabnya pada simulasi di atas, gue ambil sampel di mana Wilo
menjawab 1 bener dan 4 salah. Karena frekuensi harapannya adalah segitu.
Kebetulan pada simulasi kali ini, score-nya Wilo naik. Peringkatnya juga
naik. Kalau begitu, nembak itu ga sepenuhnya useless sih.
Wah, kalau gitu, ga apa-apa dong gue tembak semua yang gue ga tahu
jawabannya? Eh, tunggu dulu. Kita lanjut ke skenario berikutnya.

3.6 Skenario 6 dan 7

Pada skenario 6 dan 7, dilakukan hal berikut ini.

1. Wilo menjawab 29 soal yang mudah (b < 0) dengan benar.

2. Wilo nembak 21 soal sisanya asal-asalan

Pada skenario 6, gue nembak asal-asalan. Tapi kayaknya gue lagi hoki
sehingga 7 dari tembakan gue itu bener. Tujuh dari 21 itu hoki karena
frekuensi harapannya kan cuma 4,2.
Oleh karena itu gue membuat skenario 7, ketika jawaban benernya lebih
deket dengan frekuensi harapannya, yaitu 4.
Hasilnya:

1. Wilo mendapatkan score 0.5852 pada skenario 6 dan 0.1079 pada ske-
nario 7.

2. Wilo mendapatkan peringkat 11 pada skenario 6 dan 29 pada skenario

7.

Komentar gue:
Terus terang gue akan mengabaikan skenario 6 dalam simulasi ini (karena
terlalu hoki). Skenario 7 menurut gue lebih masuk akal karena lebih dekat
dengan frekuensi harapannya. Skenario 7 ini menunjukkan bahayanya nem-
bak asal-asalan. Meskipun ga jauh dari frekuensi harapan (jawab 4 bener
dari 21 soal), ternyata pengurangan poinnya signifikan banget. Lu turun dari
peringkat 21 jadi peringkat 29.
Okay, nembak asal-asalan itu bahaya. Jadi ga boleh nembak sama sekali
nih? Nah, kita jawab di skenario terakhir.

6
3.7 Skenario 8 dan 9
Pada skenario 8 dan 9, dilakukan hal berikut ini.

1. Wilo menjawab 29 soal yang mudah (b < 0) dengan benar.

2. Wilo nembak 4 soal

ˆ 2 bener
ˆ 2 salah

Skenario 8 dan 9 sebenernya sama aja. Tapi, ketika gue pertama kali
melakukan ini di skenario 8, gue kaget karena hasilnya jauh di luar dugaan.
Peringkat Wilo turun jauh sampai ke peringkat 39. Score-nya pun turun
sampai jadi minus. Gue udah cek berkali-kali apakah ada kesalahan input
data. Akhirnya nyerah dan gue memutuskan untuk mengulang simulasinya
dari awal. Gue memutuskan untuk menghapus skenario 8 dari laporan akhir
karena akan gue anggap sebagai data pencilan aja (outlier). (Masih ingat
definisi pencilan di statistika? Kalau lupa, tonton lagi materi statistika di
zenius.net ya).
So, kita bahas yang skenario 9 aja ya.
Hasilnya:

1. Wilo mendapatkan score 0.3099 pada tes ini.

2. Wilo mendapatkan peringkat 18 pada tes ini (persentil ke 64).

Komentar gue:
Nembak asal-asalan tentu berbahaya. Tapi kan sering juga kita dihadap-
kan sama soal yang kayaknya kita tahu jawabannya apa, tapi ragu-ragu men-
jawabnya. Atau misalkan dari 5 pilihan jawaban, kita bisa mengeliminasi 3
sehingga ragu-ragunya cuma antara 2 pilihan aja, 50:50. Nah, skenario 9
ini dibuat untuk mensimulasikan kondisi tersebut. Dari 4 soal yang dijawab
dengan kondisi tersebut, ceritanya ada 2 soal yang dijawab dengan benar.
Ternyata hasilnya menurut gue not bad lah. Score naik. Peringkat juga
naik. So, kalau lu berada di kondisi seperti itu, gue menyarankan lu untuk
tetap menjawab soal tersebut.

4 Rangkuman
Rangkuman dari seluruh skenario di atas gue buat dalam tabel berikut ini.

7
5 Kesimpulan
Jadi, boleh nembak ga?
Kalau nembaknya asal-asalan, menurut gue sih jangan, karena berpotensi
mengurangi nilai. Tapi kalau lu lumayan ngerti soalnya, tapi ragu-ragunya
cuma antara dua pilihan jawaban, menurut gue sih ga apa-apa untuk ditem-
bak.