PPF 1763 : Konsultasi Psiko-Pendidikan

Analisis Item
Ariston Shah b Muhaimin Penolong Ketua Unit Peperiksaan Institut Perguruan Temenggong Ibrahim

3/27/2013

1. Are you married?

(A) Yes (B) May be Yes (C) Sometimes (D) Undecided (E) Ecstatically (F) Miserably (G) Decline to answer (H) No (I) Maybe No (J) Never
3/27/2013 asm

Item? Jawapan? Distraktor?

PENGENALAN
3. Robert had 360 eggs. He sold 5/8 of the eggs. Then he gave 27 of the remaining eggs to his neighbour. Calculate the percentage of eggs that Robert has left. A. 30 B. 45 C. 55 D. 70
3/27/2013 asm 3

PENGENALAN

Bagaimana item/soalan digubal? Apakah rujukan yang dibuat? Adakah item telah melalui proses pemurnian? Kesahan? Kebolehpercayaan?

3/27/2013

asm

PENGENALAN

Analisis item adalah satu proses analisis yang dilaksanakan bagi menentukan item atau soalan yang dibina mencapai sesuatu standard atau kriteria yang telah ditetapkan.

3/27/2013

asm

TUJUAN ANALISIS ITEM

Untuk mengkaji sama ada sesuatu item itu baik

atau lemah. Hasil daripada analisis item, kita akan memperolehi tiga jenis maklumat berhubung dengan Indeks Kesukaran, Indeks Diskriminasi dan Pola Pilihan Jawapan

Calon.

3/27/2013

asm

Tujuan-Tujuan Lain
Menentukan kesahan dan kebolehpercayaan item-item yang dibina. Menentukan aras kesukaran melalui indeks kesukaran. Menentukan tahap diskriminasi item di antara calon pintar dengan calon lemah melalui indeks diskriminasi. Menentukan item-item itu berfungsi atau tidak. Menentukan item-item yang sesuai untuk dimasukkan ke dalam bank item.
3/27/2013 asm 7

KAEDAH TRADISIONAL

Dengan menggunakan kaedah tradisional ini, analisis yang dibuat adalah terhad kepada menentukan indeks kesukaran dan indeks diskriminasi item sahaja.

3/27/2013

asm

CONTOH BORANG RUMUSAN KERTAS 2

3/27/2013

asm

Indeks Kesukaran
Bilangan calon yang menjawab dengan betul (B) Indek kesukaran = ----------------------------------------------Jumlah calon yang mencuba item/soalan itu (J)

Rumus di atas sesuai untuk bilangan calon yang kecil (< 30). Bagi bilangan calon yang besar boleh guna rumus berikut:

3/27/2013

asm

10

Indeks Kesukaran

Indeks Kesukaran =

BT + BR ------------J

BT= Jumlah calon dalam kumpulan tinggi menjawab soalan dengan betul BR = Jumlah calon dalam kumpulan rendah menjawab soalan dengan betul J = Jumlah calon dalam kumpulan tinggi dan rendah

3/27/2013

asm

11

Tafsiran Indek Kesukaran

Indeks Kesukaran
IK<0.3 0.3<IK<0.8 IK>0.8

Tafsiran Item
Terlalu Sukar Sederhana Mudah

Keputusan
Ubahsuai Terima Ubahsuai

3/27/2013

asm

12

Indeks Diskriminasi

Indeks diskriminasi mempunyai kuasa atau

fungsi membezakan calon-calon daripada kumpulan cerdas dengan kumpulan lemah.

3/27/2013

asm

13

Rumus Indeks Diskriminasi Indeks ini boleh dikira dengan menggunakan rumus berikut: BT - BR Indeks Diskriminasi (ID) = ------------J
BT = Bilangan calon dalam kumpulan tinggi menjawab soalan dengan betul BR = Bilangan calon dalam kumpulan rendah menjawab soalan dengan betul J = Jumlah calon dalam kedua-dua kumpulan tinggi dan rendah

3/27/2013

asm

14

Tafsiran Indek Diskriminasi

Indeks Diskriminasi
ID>0.40

Tafsiran Item
Diskriminasi positif yang tinggi Diskriminasi positif yang sederhana Diskriminasi positif yang rendah Diskriminasi negatif
asm

Keputusan
Amat Sesuai diterima Ubahsuai item dan cuba sekali lagi Tulis item semula

0.20<ID<0.40

<0.00<ID<0.20

ID < 0
3/27/2013

Item ini buruk dan dibuang

15

 Berdasarkan kajian, item/soalan yang baik dan sesuai digunakan untuk sesuatu ujian biasanya mempunyai indeks kesukaran di antara 0.40 hingga 0.60 dan indeks diskriminasinya lebih daripada 0.40.

3/27/2013

asm

16

Perisian analisis item

Quest Conquest RUMM Bigsteps Winsteps

Perisian yang dibina berdasarkan Model Rasch

3/27/2013

asm

17

Quest sesuai untuk menganalisis item

1 Ujian Objektif (MCQ)

2
Ujian Subjektif (Partial credit items)

3
Cantuman Ujian Objektif dan Subjektif

3/27/2013

asm

18

Apa itu Quest

Satu perisian analisis item yang dibina berdasarkan model Rasch dapat menunjukkan interaksi antara kebolehan calon () dan kesukaran item ()

3/27/2013

asm

19

Kebolehan vs Kesukaran

Low Ability

- <0

- =0
Medium Ability

- >0
High Ability

Mudah

Kesukaran Item

Sukar

3/27/2013

asm

20

Hasil Analisis
Item /aktiviti disusun pada satu skala linear dari yang dipersetujui paling mudah hingga yang dipersetujui paling sukar. Calon/responden disusun mengikut aras kebolehan. Item atau responden yang tidak fit model Rasch ditunjukkan. Pola respons menunjukkan pola responden menjawab.
3/27/2013 asm 21

Data Do Not Fit the Model Model Rasch mengesan item tersilap taip, item betul akibat tekaan dan item yang kabur (lebih daripada 1 jenis isi kandungan)
Rasch model alerts test constructors to mis-keyed items, lucky guessing, and heterogeneous item content.

3/27/2013

asm

22

Model Rasch akan mengenal pasti tekaan betul sebagai respond luar jangkaan supaya dapat disingkirkan daripada analisis. Jika dibiarkan, ia akan meninggikan anggaran kebolehan calon yang meneka.
Rasch flags lucky guesses as unexpected responses. Left intact will inflate the ability estimate of the guesser.

3/27/2013

asm

23

Tafsiran Output Analisis Quest

Mempelajari, memahami dan berupaya membuat intrepretasi ke atas hasil cetakan fail-fail yang dijana oleh QUEST adalah penting.

Pengalaman yang diperolehi akan dapat membantu anda menyedia dan memastikan item-item yang dibina adalah mempunyai kualiti sewajarnya untuk dijadikan sumber berharga untuk bank item.
3/27/2013 asm 24

Hasil Analisis dgn Quest

Statistik keseluruhan (tbl)

Map taburan kesukaran item (map)

Map kesesuaian item/calon (map)

Jadual Analisis kesesuaian item/calon (itf/cas) Analisis distraktor/kategori (ana)

Laporan prestasi calon (kim)
3/27/2013 asm 25

Fail-fail yang dijana itu mempunyai sambungan (extention) sperti berikut:

xxxxxxxx.map xxxxxxxx.tbl xxxxxxxx.exp xxxxxxxx.itf xxxxxxxx.cas xxxxxxxx.ana xxxxxxxx.kim

3/27/2013

asm

26

Laporan statistik Keseluruhan (tbl)

3/27/2013

asm

27

Taburan kesukaran(map)
-----------------------------------------------------------------------------------Item Estimates (Thresholds) 26/ 6/99 21:50 all on all (N = 246 L = 45 Probability Level= .50) -----------------------------------------------------------------------------------4.0 | | Item Calon | Paling | cerdas? | | | | Paling X | sukar? 3.0 | | XXXXXXX | | | 29 39 XXXXXXXXX | | XXXXXXXX | | 2.0 XXXXXXXXXX | | 26 XXXXXXXXX | 43 3/27/2013 asm 28 |

Kesukaran

Tafsiran Output Analisis Quest

Item Variable Map

Rajah yang memaparkan kedudukan kesukaran setiap item berbanding dengan kebolehan calon yang menduduki peperiksaan. Mengandungi taburan kesukaran item dan kebolehan calon yang ditentukur (calibrate) dalam unit Logits.

3/27/2013

Item yang berada disebelah atas ialah item yang lebih sukar manakala item yang berada di sebelah bawah adalah lebih mudah. asm 29

Item Variable Map

Jika taburan item dan calon mempunyai julat yang sama bermakna kesukaran soalan adalah sesuai dengan keupayaan pelajar.

3/27/2013

asm

30

Kesesuaian item(map)
Ujian Kemahiran Berfikir Projek Kipps 1997
---------------------------------------------------------------------------------------------------------

MNSQ>1.3 Tidak fit?

Item Fit
all on all (N = 246 L = 45 Probability Level= .50) ---------------------------------------------------------------------------------------------------------INFIT MNSQ .63 .67 .71 .77 .83 .91 1.00 1.10 1.20 1.30 1.40 1.50 1.60 ----------+---------+---------+---------+---------+---------+---------+---------+---------+---------+----1 item 1 . | * . 2 item 2 . * | . 3 item 3 . | * . 4 item 4 . | . * 5 item 5 . | * . 6 item 6 . * | . 7 item 7 . | * . 8 item 8 . * | .

3/27/2013

asm

31

Item Fit Map

Rajah ini adalah mengenai kesesuaian item dalam bentuk gambarajah. Item yang berada di luar kawasan antara kedua garis putusputus dianggap tidak sesuai (misfit). Item-item terkeluar jauh ke sebelah kiri bermaksud item mengukur kemahiran yang sama (redundance), manakala item terkeluar jauh ke sebelah kanan menunjukkan item mengukur kemahiran yang berbeza daripada apa yang dikehendaki.
3/27/2013 asm 32

Kesesuaian item(itf)
Ujian Kemahiran Berfikir Projek Kipps 1997 dak fit? Tidak fit? ---------------------------------------------------------------------Item Estimates (Thresholds) In fit Order all on all (N = 246 L = 45 Probability Level= .50) ---------------------------------------------------------------------ITEM NAME |SCORE MAXSCR| THRSH | INFT OUTFT INFT OUTFT | | 1 | MNSQ MNSQ t t ---------------------------------------------------------------------43 item 43 | 72 243 | 1.84 | 1.41 1.72 5.3 4.6 | | .15| | | | 4 item 4 | 126 234 | .66 | 1.32 1.35 5.1 3.2 | | .14| | | | 3 item 3 | 166 243 | -.08 | 1.26 1.47 3.8 3.4 | | .15| | | | 7 item 7 | 135 243 | .55 | 1.18 1.22 3.1 2.1
MNSQ>1.3Ti >3

3/27/2013

asm

33

Jadual Statistik Fit

Jadual ini melaporkan Infit dan Outfit Mean Squares dan Infit dan Outfit t. Nilai Mean Squares serta t digunakan untuk menentukan (fit) kesesuaian item. Item dalam jadual ini disusun mengikut nilai Infit Mean Squares.

Item yang mempunyai nilai Infit Mean Squares yang lebih daripada 1.3 dianggap sebagai tidak fit.
3/27/2013 asm 34

Analisis distraktor(ana)
Item Analysis Results for Observed Responses all on all (N = 246 L = 45 Probability Level= .50) -----------------------------------------------------------------Item 43: item 43 Infit MNSQ = 1.41 Disc = -.03 A [0] 3 1.2 -.15 .000 -.39 .45 Seharusnya tertinggi B [0] 6 2.5 -.22 .000 -.40 .48 1 1.84 .15 Seharusnya positif
asm 35

Categories Count Percent (%) Pt-Biserial p-value Mean Ability StDev Ability Step Labels Thresholds Error

C [1] 72 29.6 -.03 .000 .79 .92

D [0] 162 66.7 .14 .000 .93 .97

missing 3

-.48 .27

3/27/2013

Nilai Korelasi Piont Biserial

Nilai ini menunjukkan kesesuaian/ berpadanan antara item/soalan dengan ujian keseluruhannya.
Ia dapat juga membezakan calon yang berkeupayaan dengan yang kurang berupayaan. Nilainya adalah di antara 1.00 hingga +1.00.

3/27/2013

asm

36

Kesesuaian calon (cas)

Ujian Kemahiran Berfikir Projek Kipps 1997 -----------------------------------------------------------------------

Case Estimates In fit Order

all on all (N = 246 L = 45 Probability Level= .50) ----------------------------------------------------------------------NAME |SCORE MAXSCR | ESTIMATE ERROR | INFIT OUTFT INFT OUTFT | | | MNSQ MNSQ t t ----------------------------------------------------------------------139 139 | 12 36 | -.82 .38 | 1.40 2.38 2.54 2.92 183 183 | 21 45 | -.20 .33 | 1.38 1.71 3.16 2.49 181 181 | 14 45 | -.98 .35 | 1.38 1.87 2.41 2.24 72 072 | 17 45 | -.63 .33 | 1.38 1.53 2.84 1.73 70 070 | 28 45 | .56 .34 | 1.35 1.48 2.23 1.74 154 154 | 37 45 | 1.83 .43 | 1.35 1.44 1.26 1.02

Tidak fit?

3/27/2013

asm

37

Laporan Prestasi Calon KIDMAP (Kim)

UJIAN ALGEBRA FEB 2002 KDC AGAMA JOHOR (OBJEKTIF) ------------------------------- K I D M A P-------------------------------Candidate: 1 ability: -1.36 group: all fit: .90 scale: all % score: 25.00 ------------Harder Achieved ----------------------Harder Not Achieved ---------15 | | 14 | | 10(4) .......................................... 17(4) | | 13 | | 11(1) 16 | | |XXX| | | 4 .........3(2)............................. | |
3/27/2013 asm 38

Terima Kasih

Jangan semata-mata bergantung kepada statistik

3/27/2013

asm

39

Jangan semata-mata bergantung kepada statistik

Terima Kasih

3/27/2013

asm

40

Jadual Mendiagnos Misfit

Klasifikasi Item M N M Item Sukar Kadar Berskala N M N M ? N M Infit N Oufit N Penjelasan Item tidak mengikut Spesifikasi Redundant Item kurang jelas Ramai responden berkebolehan tinggi menjawabnya Kategori ekstrim berlebihan Kategori tengah berlebihan Kesilapan pemprosesan Kesilapan perkeranian Gaya tersendiri Cuai Tidur (Sleeping) Gopoh (Rushing) Tindakan Kandungan berbeza Item sama? Makna,kategori kurang jelas/tepat Item terakhir dalam ujian?

Responden

Responden Berkebolehan Tinggi

Responden Berkebolehan Rendah

Meneka Set Respons Pengetahuan khusus Berhenti-henti Beringat-ingat

Perkataan kategori kabur (tidak spesifik)? Kategori digabung atau tiada kategori? Skanner rosak? Salah taip? Bukan responden yang dikehendaki? Jawapan salah yang tidak dijangka? Kesilapan awal ujian yang tidak dijangka? Kesilapan akhir ujian yang tidak dijangka? Jawapan betul yang tidak dijangka Pola repons yang sistematik Isi jawapan yang tidak dijangka? Tidak menjawab sehingga akhir ujian? Menjawab item mudah sahaja?

3/27/2013

asm

41