RASCH MEASUREMENT MODEL

BAKIR HARYANTO
Review Classical Test Theory…
Keterbatasan Tes Teori Klasik
1) Sample Dependence
2) Terbatas untuk situasi tes tertentu; skor tes sulit dibandingkan
dengan skor tes yang lainnya yang memiliki tingkat kesulitan yang
berbeda
3) Konsep reliabilitas CTT yang bergantung kepada bentuk tes yang
paralel
4) Standar eror pengukuran yang sama untuk semua peserta tes
 Review Classical Test Theory…
100

90

80

70

60 Skor Total pada CTT Berubah Pada Tes

SKOR TES 2

50 Yang Mudah dan Sukar

40

30

20

10

0
0 10 20 30 40 50 60 70 80 90 100
SKOR TES 1
Ilustrasi pada CTT
Skor Total relatif antara dua orang berubah sesuai dengan sebaran butir soal pada
skala laten (dimensi)
Dif = 5 – 0 = 5

Dif = 5 – 5 = 0

Dif = 4 – 2 = 2

Dif = 3 – 3 = 0
CTT: Sukar menghubungkan TOTAL Skor Dengan Kisi-Kisi Soal
Tingkat Kesulitan SKOR Orang
Soal (Item Difficulty)

Soal Cerita - Pecahan 25% 90%

Penjumlahan Pecahan 50% 70%

Campuran

Penjumlahan Pecahan 70% 50%

Biasa

Penjumlahan bil bulat 90% 25%

Rasch Model

Teori pengukuran Rasch didasarkan pada ide sederhana tentang

apa yang terjadi ketika seseorang menghadapi satu item pada
sebuah tes(Rasch, 1960/1980 cited in Engelhard & Wang, 202

Rasch memandang bahwa peluang seseorang menjawab benar

sebuah item adalah sebuah fungsi dari kemampuan orang dan
tingkat kesulitan item.
(Engelhard & Wang, 2021)
Conceiving a single dimension of a latent trait

Less able More able

Less difficult More difficult

Deterministic Models vs. Probabilistic Models
• Deterministic Model • Probabilistic Model
• If a person is to the right of an • If a person is to the right of an
item, s/he always succeeds on it. item, s/he is probable to succeed
on it.

Person 1 1 1 1 1 Person 1 1 1 1 1
Person 2 1 1 1 0 Person 2 1 1 0 0
Person 3 1 1 0 0 Person 3 1 0 1 0
Person 4 1 0 0 0 Person 4 0 1 0 0
Person 5 0 0 0 0 Person 5 1 0 0 0
person-item contact
person ability = b Item difficulty = d

• if (b – d ) > 0 then P (1) > 0.5

• if (b – d ) < 0 then P (1) < 0.5

• if (b – d) = 0 then P (1) = 0.5

For (b - d) to govern success probability y = e^x = exp (x)
b: person ability d: Item difficulty 20

－∞ < b – d < ＋∞ 15
↓
0<e (b – d) < ＋∞ 10
↓
5
0< e(b-d) /{1+e(b-d)} <1

-3 -2 -1 1 2 3
The Probability
Raschof getting
model
the item correct
b−d
e
P{x = 1} = b−d
1+ e
Probability of getting the
item incorrect b−d
e
P{x = 0} = 1 − b−d
1+ e
b−d b−d
1+ e e 1
= b−d
− b−d
= b−d
1+ e 1+ e 1+ e
Jika seseorang dengan kemampuan b menjawab suatu soal
dengan kesulitan d, maka peluang menjawab benar (Prob (1))
adalah fungsi dari (b-d)

b-d -5 -4 -3 -2 -1 0 1 2 3 4
Prob(1) 0.01 0.02 0.05 0.12 0.27 0.50 0.73 0.88 0.95 0.98

y = exp (b-d) / (1 + exp (b-d))

1
0.8
0.6
0.4
0.2
b-d
-4 -3 -2 -1 1 2 3 4
 Success Probability Matrix
item difficulty (d)
-3.0 -2.5 -2.0 -1.5 -1.0 -0.5 0.0 0.5 1.0 1.5 2.0 2.5 3.0
3.0 1.00 1.00 0.99 0.99 0.98 0.97 0.95 0.92 0.88 0.82 0.73 0.62 0.50
2.5 1.00 0.99 0.99 0.98 0.97 0.95 0.92 0.88 0.82 0.73 0.62 0.50 0.38
2.0 0.99 0.99 0.98 0.97 0.95 0.92 0.88 0.82 0.73 0.62 0.50 0.38 0.27
1.5 0.99 0.98 0.97 0.95 0.92 0.88 0.82 0.73 0.62 0.50 0.38 0.27 0.18
person ability (b)

1.0 0.98 0.97 0.95 0.92 0.88 0.82 0.73 0.62 0.50 0.38 0.27 0.18 0.12
0.5 0.97 0.95 0.92 0.88 0.82 0.73 0.62 0.50 0.38 0.27 0.18 0.12 0.08
0.0 0.95 0.92 0.88 0.82 0.73 0.62 0.50 0.38 0.27 0.18 0.12 0.08 0.05
-0.5 0.92 0.88 0.82 0.73 0.62 0.50 0.38 0.27 0.18 0.12 0.08 0.05 0.03
-1.0 0.88 0.82 0.73 0.62 0.50 0.38 0.27 0.18 0.12 0.08 0.05 0.03 0.02
-1.5 0.82 0.73 0.62 0.50 0.38 0.27 0.18 0.12 0.08 0.05 0.03 0.02 0.01
-2.0 0.73 0.50
0.62 0.38 0.27 0.18 0.12 0.08 0.05 0.03 0.02 0.01 0.01
-2.5 0.62 0.50 0.38 0.27 0.18 0.12 0.08 0.05 0.03 0.02 0.01 0.01 0.00
-3.0 0.50 0.38 0.27 0.18 0.12 0.08 0.05 0.03 0.02 0.01 0.01 0.00 0.00
 Success Probabilities

1.00
0.80
0.60
0.40
0.20
0.00 - -2.
1.5 0
2.0 - 1
1.0 0.0-0.5 .0
0
0.0 1.0 .5
1 Item
-1.
0 2.0 .5
0
Person Ability -2. Difficulty
 Item Characteristic Curves

1.00
Probability of correct response
0.80

0.60

0.40
Item 1
0.20 Item 2
Item 3
0.00
Person ability
ICC teoretik
dan Item
Difficulty
Logits
• Logits = log odds units = the natural log of the success odds
• If the success odds is 80:20 (=4.0), then the person is ln(4.0) =1.39 logits
above the item.
• If the person is 1.00 logits below the item, b-d = -1.00, so the success odds is
e-1 = 0.37
• “Person A’s ability is -1.37 logits” means that he is -1.37 logits below an item
of 0.00 logits, and that his/her odds of success on that item is e-1.37 = 0.254
Transformasi Skala Logit
• Nilai 0 pada skala logit bersifat “arbitrary” dan rentangnya bisa negatif
dan positif
• Transformasi linear bisa membuat skala logit menjadi positif,
contohnya pada skala PISA. PISA menetapkan mean 500 dan standar
deviasi 100 skor ability (Mathematics, Reading, Science)
Rasch Model - Specific Objectivity
• Specific Objectivity adalah persyaratan bahwa pengukuran yang
dihasilkan oleh model pengukuran harus bebas dari sampel bagi agen
(item tes) dan bebas dari tes bagi objek (peserta).
• Pengukuran yang bebas dari sampel berarti "estimasi kesulitan item
harus bebas (independent) dari individu mana pun, dan dari distribusi
kemampuan individu apa pun, yang mungkin termasuk dalam
sampel." Pengukuran yang bebas dari tes berarti "estimasi
kemampuan individu bebas dari item apa pun, dan dari distribusi
kesulitan item, yang mungkin termasuk dalam tes."

(Wright & Linacre, 1987)

Separation of Item Parameters from Persons
When we give two items, the probability of only item
1 being correct when the total score is 1 depends
only on the relative difficulties of the items and does
NOT depend on the ability of the person.
Prob(1,0)
Item 1 Item 2
Prob(1,0) or Prob(0,1) Case 1
Case 2
0
1
0
0
b − d1 Case 3 0 1
e 1 Case 4 1 1
b − d1
 b−d 2
= 1+ e 1+ e
b − d1 b−d 2
e 1 1 e
( b − d1
 b−d2
)+( b − d1
 b−d 2
)
1+ e 1+ e 1+ e 1+ e
b − d1 − d1 − d1
e e e
b
e
= b − d1 b − d 2 = b − d1 b − d 2 = − d1
e +e e e + e e e + e −d2
b disappeared!
Separation of Person Parameters from Items
When two person try one item, the probability of
only person 1 being correct when only one of the
persons is correct depends only on the relative
abilities of the persons and does NOT depend on the
Prob(1,0) difficulty of the item.
Case 1 Case 2 Case 3 Case 4
Prob(1,0) or Prob(0,1) Person 1 0 1 0 1
Person 2 0 0 1 1
b1 − d
e 1
b1 − d
 b2 − d
= 1+ e 1+ e
b1 − d b2 − d
e 1 1 e
( b1 − d
 b2 − d
)+( b1 − d
 b2 − d
)
1+ e 1+ e 1+ e 1+ e
b1 − d −d
e e e
b1
e b1
= b1 − d b2 − d
= b1 − d −d
= b1 b2
e +e e e + e e b2
e +e
D disappeared!
Fit Data Terhadap Model Rasch
• Kelebihan property Model Rasch (specific objectivity) akan didapat
jika data respon fit dengan model. Jika data tidak fit dengan Model
Rasch maka ketika pembuatan skala (scale construction) tidak akan
sampel invariant. Artinya penggunaan Model Rasch tidak serta merta
mengatasi item-item yang problematik.
(Wu, Tam, & Jen, 2016).
Rasch Model – Equal Discrimination
• Item Characteristics Curves untuk sekumpulan item bersifat parallel
tidak saling bersilangan. Properti ini dikenal dengan “equal
discrimination” atau “equal slope parameter”.
• Artinya, setiap item memiliki daya pembeda yang sama untuk
membedakan/memisahkan peserta tes berdasarkan level dari latent
trait mereka.
Rasch Model - Unidimensional
• Unidimensional, yaitu terdapat SATU variabel laten yang menjadi
perhatian, dan tingkat variabel laten tersebut yang menjadi fokus
pengukurannya.

(Wu, Tam, & Jen, 2016).

Rasch Model-Local Independence
• Artinya, probabilitas keberhasilan (menjawab benar sebuah
item) bergantung (hanya) pada kemampuan seseorang dan
tingkat kesulitan item tersebut. Probabilitas ini tidak
dipengaruhi oleh keberhasilan atau kegagalan seseorang pada
item lain, atau oleh faktor-faktor selain kemampuan (ability) dan
tingkat kesulitan item (seperti atribut khusus seseorang dan
karakteristik item tertentu).
• Pelanggaran terhadap independensi lokal dapat terjadi ketika
terdapat “ketergantungan” antar item. Misal, jika soal A tidak
dapat dijawab kecuali diperoleh jawaban yang benar untuk soal
B, maka peluang berhasil pada soal A adalah 0 jika soal B
dijawab salah.
(Wu, Tam, & Jen, 2016).
Rasch Model - The SEM for each ability point
1
SEM b =
k

p
i =1
vi (1 − pvi )

pvi: probability correct of person v responding to item i

•If a person has very many or few items correct, the

SEM is larger than if the person has a moderate number
of items correct.
Rasch Model - Item and Person Fit Statistics
• Item Fit Statistic dan Person Fit Statistics dihitung untuk memeriksa
seberapa cocok data respons item dengan Model Rasch
• The key feature of the Rasch model is that the probability of success
on an item can be completely determined by two values: an item
difficulty, d, and a person ability

(Wu, Tam, & Jen, 2016)

Faktor Lain Yang Mempengaruhi Peluang
Seseorang Menjawab Benar Sebuh Item
• Guessing (Menebak)
• Item Dependency
• Differential Item Functioning
• Other Traits
Residual Based Fit Statistics
• Fitt statistics ini dihasilkan oleh berbagi software IRT Winsteps (Linacre and
Wright 2000), RUMM (2001), ConQuest (Wu et al. 1998), TAM (Kiefer et al. 2013).
Mean-Square FIT
OVER FIT - Ketika kurva karakteristik item yang diamati (ICC)
“lebih curam”dari ICC yang diharapkan, nilai mean-square
fitnya kurang dari satu

UNDER FIT - Ketika ICC yang diamati “lebih datar” daripada ICC
yang diharapkan, nilai mean-square fitnya lebih besar dari satu.

Linacre (2002)
Advantages of Rasch Model
• Test-free person measurement
Dimungkinkan untuk membandingkan kemampuan dua orang yang mengambil
dua tes berbeda – satu tes mudah dan satu tes sulit.
• Sample-free item calibration
Dimungkinkan untuk membandingkan tingkat kesulitan dari dua soal yang
dicoba oleh dua kelompok yang berbeda – yang satu lebih mampu dari yang lain
–
• Memiliki estimasi reliability yang lebih akurat
Dalam CTT, SEM dihitung sama untuk seluruh peserta test, dalam Rasch Model,
setiap skor ability memiliki masing-masing SEM.
Advantages of Rasch Model
• Mudah untuk proses equating skor
Vertical Equating
Horizontal Equating
• Item Banking
• Computerized Adaptive Test
✓ Respons yang benar akan memberikan soal yang lebih sulit;
✓ Respons yang salah akan memberikan soal yang kurang sulit
✓ Peserta tes bisa mengambil set item yang berbeda;
✓ Peningkatan keamanan dan fleksibilitas
✓ Pengukuran yang lebih presisi dengan waktu pengerjaan tes yang lebih
singkat
RASCH ANALYSIS OUTPUTS

• ACER ConQuest DEMO

REFERENCES
Engelhard Jr, G., & Wang, J. (2021). Rasch models for solving
measurement problems: Invariant measurement in the social
sciences. Sage Publications.
Linacre (2002) What do Infit and Outfit, Mean-square and
Standardized mean? Rasch Measurement Transactions, 2002, 16:2
p.878
Wright & Linacre (1987)Dichotomous Rasch model derived from
specific objectivity. Rasch Measurement Transactions, 1:1 p.5-6
Wright, Benjamin D., and Mark H. Stone (1979). Best test
design.MESA-Chicago Press.
Wu, M., Tam, H. P., & Jen, T. H. (2016). Educational measurement for
applied researchers. Theory into practice. Springer