Topik 1
Topik 1
Dalam Pentaksiran
Analisis Item Dengan
QUEST-2
1. Pengenalan
Penganalisisan item menjadi sebahagian daripada perkara yang penting dalam pengujian
dan penilaian. Kesesuaian item yang digunakan dalam ujian akan dapat memainkan
peranan membezakan keupayaan calon. Calon-calon yang mencapai suatu tahap pretasi
akan diberi pertimbangan untuk proses pemulihan atau pengayaan.
Kualiti sesuatu ujian sebahagiannya bergantung kepada kualiti tiap-tiap item. Sebuah
panel adalah perlu untuk menggubal item-item yang baik. Semua item ini perlu melalui
pra-ujian terlebih dahulu untuk melihat sama ada item-item itu berfungsi ataupun tidak.
Proses memungut data, merumus dan menggunakan maklumat-maklumat daripada item
yang diuji dinamakan analisis item.
Hoffman(1995) mendefinisikan analisis item sebagai, meneliti tindak balas calon
terhadap tiap-tiap item untuk membuat pertimbangan tentang kualiti item-item tersebut.
Dengan itu analisis item ialah huraian statistik yang terperinci tentang sesuatu item itu
berfungsi semasa ia digunakan dalam sesuatu ujian. Ia juga memberikan maklumat
tentang kepayahan item, tarikan relatif setiap pilihan dan sejauh mana item
mendiskriminasikan calon-calon berdasarkan sesuatu kriteria. Kriteria yang kerap
digunakan ialah markah ujian itu sendiri. Secara umumnya analisis item bertujuan untuk
menapis, membuang atau membaiki item-item selepas diuji.
Quest dapat menganalisis item berasaskan teori pengukuran Rasch. Ia mudah digunakan
serta dapat membekalkan pelbagai maklumat serentak terhadap ujian objektif(beraneka
pilihan) dan ujian subjektif atau kedua-duanya sekali.
Quest menganggarkan kesukaran item dan kebolehan calon pada satu skala linear.
Untuk menjelaskan andaian tersebut, Rajah 1, menunjukkan satu skala yang
mengandungi satu item yang kesukarannya sederhana. Peluang calon kebolehan
tinggi untuk menjawab item ini dengan betul adalah lebih baik jika dibandingkan
dengan peluang calon yang berkebolehan rendah. Calon yang berkebolehan
sederhana pula sukar diramal keputusannya.
People of low
Medium
High ability
Formulanya diwakili:
p=f(b-d)
p=kebarangkalian
f=fungsi
b=kebolehan calon
d=kesukaran item
Analisis Quest memberi anggaran (estimate) item, anggaran calon(case) dan
statistik fit yang dapat disampaikan dalam bentuk jadual atau gambar rajah.
Quest dapat mengingatkan penggubal item tentang item yang mempunyai
jawapan yang salah, tekaan yang betul dan item yang isi kandungannya
heterogen. Model Rasch menganggap tekaan sebagai respons yang tidak
disangka(unexpected response). Jika item tekaan dikekalkan dalam analisis,
ukuran kebolehan calon berkenaan akan menjadi lebih tinggi daripada yang
sepatutnya.
1.2 QUEST
Pengguna tidak perlu mengetahui setiap opsyen atau perintah untuk
melaksanakan QUEST. Sebagai contoh; melalui fail kawalan(control) dan fail
data sudah cukup untuk membolehkan pengguna menganalisis item ujian
objektif dan subjektif yang ditadbirkan. Walau bagaimanapun, pengetahuan yang
mendalam akan memudahkan pengguna menjalankan kajian yang lebih
mendalam lagi.
Quest hanya memerlukan:
Fail data
Fail kawalan (control) iaitu perintah untuk melaksanakan
anggaran dan hasil(output)
Data
Quest
Quest commands
Quest output
(Rasch estimates
fit statistics
Summary tables
Count tables
Item maps with case distribution
Fit maps
Kitmaps
Distractor/category analysis
Reliability indices
Correlation matrices)
Maklumat-maklumat lain seperti jatina, nama sekolah, juga boleh dimasukkan seperti
berkut:
MASPMRSMABBDBBCCDBABDCBBAADCB
Sekiranya ada diantara calon yang tidak menjawab soalan, anda perlu mengosongkan
sahaja ruang data tersebut dengan menggunakan space bar. Manakala calon yang
menjawab satu soalan dengan menandakan dua jawapan, anda hendaklah menganggap
calon tersebut tidak menjawab soalan.
Ujian Subjektif
Untuk menyediakan fail data bagi ujian subjektif pula, kita perlu memasukkan markah
yang diperolehi oleh calon bagi setiap item atau pecahan item soalan yang ditetapkan.
Data dibawah mempunyai 12 lajur. Lajur 1 hingga 3 untuk nombor calon atau nama calon,
lajur 4 hingga 12 untuk markah yang diperolehi calon.
Contoh:
001167899732
002363754212
(Teruskan masukkan data calon-calon yang lain sehingga ke calon yang
terakhir)
Adalah diingatkan bahawa markah ujian subjektif yang digunakan dalam fail data Quest
dihadkan kepada angka 0-9 sahaja. Jika terdapat markah yang lebih daripada 9, markah
semua item subjektif terpaksa dibahagikan dengan satu angka supaya hasil bahaginya
menjadi kurang daripada 10. Contoh: Ujian subjektif yang ditadbirkan mengandungi 9 item
yang markah maksimum bagi setiap item adalah 10, 5, 15, 2, 8, 10, 3, 8, dan 14. Semua
item ini hendaklah dibahagikan dengan dua. Dengan itu hasil bahagi markah-markah
tersebut menjadi 5, 3, 8, 1, 4, 5, 2, 4 dan 7; markah ini yang dimasukkan sebagai data
ujian subjektif dalam fail data.
_______________________________________________________________________
Perintah
Penjelasan
_______________________________________________________________________
Title
Ujian Subjektif
Title PEPERIKSAAN MEI 2009 PISMP SEM 5 ENERGETICS IN CHEMISTRY
SCE3109(S) (SUBJEKTIF)
Set logon >-SCE3109(S).log
data_file << SCE3109(S).prn
codes "0123456789X"
format nama 1-3 maktab 4-5 items 6-21
*
1
2
3
* 1234567890123456
key 1111111111111111 !score=1
key 22xx222222222222 !score=2
key x3xx33x3x3x33333 !score=3
key xxxx44xxx4x44444 !score=4
key xxxxxxxxxxxx5555 !score=5
key xxxxxxxxxxxxxx66 !score=6
key xxxxxxxxxxxxxxx7 !score=7
key xxxxxxxxxxxxxxx8 !score=8
key xxxxxxxxxxxxxxxx !score=9
item_names <<SCE3109(S).nam
*delete << SCE3109(S).dei
*delete << SCE3109(S).dep
estimate !iter= 80
set width = 120 !page
*show item !form=anchor >-SCE3109(S).anc
show item !form=export >-SCE3109(S).exp
show !map = 1,2,3 >-SCE3109(S).map
show !table = 1,2 >-SCE3109(S).tbl
show items !order = fit >-SCE3109(S).itf
show cases !order = fit >-SCE3109(S).cas
itanal >-SCE3109(S).ana
kidmap 1-37 >-SCE3109(S).kim
quit
2. Hasil Analisis
Setelah Fail Data dan Fail Kawalan disediakan serta disimpan dalam cakera atau folder
yang sama. Anda boleh memulakan analisis Quest dengan menaipkan submit
A:MT2313.ctl pada tanda > QUEST memulakan analisisnya.
Semua hasil ESTIMATE akan dipaparkan atau disimpan ke dalam cakera melalui
perintah(berdasarkan Fail Kawalan anda). Hasil analisis yang diperolehi melalui Fail
Kawalan adalah seperti berikut:
10
11
12
13
Calon
berkeboleha
n tinggi
Item No. 11
14
15
Jawapan
1: item 1
Infit MNSQ =
Disc =
Categories
A [1]
B [0]
C [0]
Count
Percent (%)
Pt-Biserial
p-value
Mean Ability
StDev Ability
333
80.8
.52
.000
1.20
.68
22
5.3
.00
.000
.95
.78
26
6.3
-.13
.000
.50
.82
Step Labels
D [0]
31
7.5
-.66
.000
-1.05
.80
.87
.52
missing
0
NA
NA
Thresholds
-.65
Error
.14
................................................................................
Item
2: item 2
Infit MNSQ = .89
Disc = .51
Categories
B [0]
C [0]
D [1]
Count
Percent (%)
Pt-Biserial
p-value
Mean Ability
StDev Ability
18
4.4
-.11
.000
.50
.78
95
23.1
-.49
.000
.17
1.19
298
72.3
.51
.000
1.26
.63
Step Labels
[0]
1
.2
-.01
.000
.64
.00
missing
0
A tidak berfungsi.
NA
NA
Thresholds
-.10
Error
.12
................................................................................
Item
3: item 3
Categories
A [0]
B [0]
C [1]
D [0]
Count
Percent (%)
Pt-Biserial
p-value
Mean Ability
StDev Ability
21
5.1
.02
.000
1.08
1.17
119
28.9
.21
.000
1.29
.68
176
42.7
-.16
.000
.82
1.03
96
23.3
-.06
.000
.85
.82
Step Labels
Thresholds
Error
Infit
MNSQ
missing
0
NA
NA
Indeks
Diskriminasi
DDDiskrimin
asi
A,B & C
bermasalah.
Threshold
1.32
.11
16
1: item 1
Categories
Count
Percent (%)
Pt-Biserial
p-value
Mean Ability
StDev Ability
Infit MNSQ =
Disc = .57
0 [0]
4
1.0
-.22
.000
-.62
.46
Step Labels
1 [1]
2 [2]
3 [3]
4 [4]
2
.5
20
4.9
104
25.2
268
65.0
-.11
.000
-.29
.34
1
-.17
-.14
missing
0
Susunan Menaik?
.42
.000
.02
Skor
.76
.000
.23
.000
.46
NA
.41
.33
.38
NA
Thresholds
-.84
-.77
-.62
-.08
Error
.28
.27
.27
.22
................................................................................
Item
2: item 2
Infit MNSQ = .98
Disc = .35
Categories
0 [0]
1 [1]
2 [2]
3 [3]
Count
Percent (%)
Pt-Biserial
p-value
Mean Ability
StDev Ability
17
4.1
-.19
.000
-.06
.49
44
10.7
-.23
.000
.07
.47
120
29.1
-.08
.000
.28
.43
227
55.1
.30
.000
.44
.37
Step Labels
[0]
4
1.0
-.02
.000
.24
.43
missing
0
NA
NA
Thresholds
-1.25
-.60
.21
Error
.25
.23
.18
................................................................................
Item
3: item 3
Categories
missing
Count
0
Percent (%)
Pt-Biserial
p-value
Mean Ability
NA
StDev Ability
NA
Step Labels
Thresholds
Error
1 [1]
2 [2]
3 [3]
4 [4]
5 [5]
6 [6]
19
13
60
55
59
98
108
4.6
-.26
.000
-.16
3.2
-.09
.000
.13
14.6
-.39
.000
-.04
13.3
.08
.000
.40
14.3
.07
.000
.39
23.8
.06
.000
.37
26.2
.30
.000
.55
.54
.26
.42
.32
.30
.33
.41
-.68
.23
-.19
.18
.08
.16
.32
.16
.89
.15
-.97
.25
17
PEPERIKSAAN AKHIR SEMESTER MEI 2004 KDPM SEMESTER 5 PENGAJIAN MATEMATIK MT5191P
-OBJEKTIF
Item Estimates (Thresholds)
8/ 7/ 4 16:20
all on all (N = 412 L = 30 Probability Level= .50)
----------------------------------------------------------------------------------------------------------------------------------------------------------------Summary of item Estimates
=========================
Bil. calon
Bil. Item
Mean
.00
SD
.93
SD (adjusted)
.92
Reliability of estimate
.98
Fit Statistics
===============
Infit Mean Square
Mean
SD
.97
.17
Infit t
Kesahan
Antara +1.3 dgn -0.8
Mean 1.01
SD
.32
Outfit t
Mean .10
SD
3.02
Antara +3 dgn -3
Mean .30
SD
2.96
Infit t
Mean
SD
Kebolehan calon
.97
.93
.80
.75
Kebolehpercayaan
Kesahan
Outfit t
.03
.86
Mean
SD
Antara +3 dgn -3
.05
.85
18
|
|
22
|
|
16
|
|
10
|
|
23
|
|
19
|
|
21
|
|
9
|
|
-------------------------Easier Achieved ------------------------------------------------Easier Not Achieved ------------------
19
20
21
22