LANGKAH ANALISIS BUTIR SOAL DENGAN ITEMAN 4.

PETUNJUK

Sebelum mengerjakan Assignment 5, terlebih dahulu Saudara perlu berlatih

menggunakan file di folder yang saya kirimkan dengan membaca dokumen ini secara cermat.
Folder yang saya kirim terdiri atas 3 file, yaitu:
1. HANDOUT FOR ITEM ANALYSIS (dokumen yang sedang Saudara baca).
Dokumen ini menjelaskan cara menata data, menganalisis data, dan menafsirkan hasil
analisis.
2. ITEMAN 4.3. File ini adalah program ITEMAN 4.3. Saudara perlu meng-install
program ini di komputer dengan cara klik 2 kali dan mengikuti langkah-langkah yang
disajikan.
3. TRYOUT 30 ITEMS 96 STUDENTS. File ini berisi data hasil uji coba satu set soal
yang terdiri atas 30 butir soal pilihan ganda dengan 4 pilihan. Uji coba dilakukan
dengan melibatkan 3 kelas. Di setiap kelas ada 32 siswa sehingga jumlah siswa yang
ikut uji coba 96.

MENATA DATA

Perhatikan penataan data di file TRYOUT 30 ITEMS 96 STUDENTS. Data diketik

pada NOTEPAD. Tampilan data yang diambil dari NOTEPAD di WORD dengan font Times
New Roman sebagai berikut:

030 0 N 11
BCADCBABACCDAACDCBDBCAADBCBACD
444444444444444444444444444444
YYYYYYYYYYYYYYYYYYYYYYYYYYYYYY
STUDENT001 BACDBABBADCBACC00BDBCD0BC0C00C
STUDENT002 BCBBBBBBAACDCACAABDBCA0BAADBCD
STUDENT003 BCBBBBBBAACCCCCCCBDB0D0DD000CD

Perhatikan bahwa baris 2, 3, dan 4 tidak rata kanan. Di NOTEPAD ketiga baris
tersebut rata kanan. Baris 5, 6, dan 7 juga tidak rata kanan. Di NOTEPAD ketiga baris
tersebut rata kanan.
Jika data diketik dengan WORD, font yang digunakan adalah Courier New dan
disimpan (save as) menggunakan ekstensi Plain Text (*.txt). Perhatikan contoh berikut.
Tampilan baris 2, 3, dan 4, yang masing-masing berisi 30 karakter terlihat rata kanan.

030 0 N 11
BCADCBABACCDAACDCBDBCAADBCBACD
444444444444444444444444444444
YYYYYYYYYYYYYYYYYYYYYYYYYYYYYY
STUDENT001 BACDBABBADCBACC00BDBCD0BC0C00C
STUDENT002 BCBBBBBBAACDCACAABDBCA0BAADBCD
STUDENT003 BCBBBBBBAACCCCCCCBDB0D0DD000CD

1
Keterangan:
Baris 1
030 0 N 11
030 = jumlah butir soal
0 = kode (nol)
N = kode
11 = jumlah karakter identitas peserta tes dan spasi (STUDENT001 = 10 karakter
ditambah spasi = 1 karakter)

Baris 2
BCADCBABACCDAACDCBDBCAADBCBACD
Kunci jawaban. Kunci butir 1 adalah B, butir 2 C, butir 3 A, dan seterusnya sampai sebanyak
jumlah butir soal. Dalam contoh ini ada 30 butir soal.

Baris 3
444444444444444444444444444444
Jumlah pilihan (option) pada butir soal. Pada contoh ini, ke 30 butir soal memiliki 4 pilihan.

Baris 4
YYYYYYYYYYYYYYYYYYYYYYYYYYYYYY
Perintah untuk menganalisis butir soal. Y berarti Yes. Pada contoh ini semua butir soal akan
dianalisis. Jika ada butir soal yang ternyata ketahuan salah ketika tes akan diselenggarakan
sehingga tidak ada kesempatan untuk merevisi, butir yang salah tidak perlu dianalisis dan
diberi kode N, yang berarti No.

Baris 5 dan seterusnya

STUDENT001 BACDBABBADCBACC00BDBCD0BC0C00C
Identitas peserta tes dan jawabannya. Jumlah karakter peserta tes adalah 10, 1 karakter untuk
spasi, dan 30 karakter untuk jawaban. Jawaban ditulis sesuai dengan pilihan peserta tes, dan
butir tes yang tidak dijawab diberi kode 0 (nol).

MENGANALISIS DATA
1. Install Iteman 4.3
2. Setelah Iteman 4.3 ter-install, klik Launch Iteman 4.3. Di layar komputer akan muncul
tampilan:

2
3. Klik kotak persegi di sebelah kanan Data matrix file. Akan muncul dialog Select the
data matrix file… Pilih file TRYOUT 30 ITEMS 96 STUDENTS dan klik Open.
4. Centang (V) kotak di sebelah kiri Data matrix file includes an iteman 3 Header.
5. Di kotak panjang di sebelah kanan Output file, ketik RESULTS.
6. Klik Run. Setelah proses Run selesai, muncul kotak dialog Confirm. Klik Yes.
7. Di folder tempat file TRYOUT 30 ITEMS 96 STUDENTS, akan muncul 3 file baru,
yaitu 2 file Excel RESULTS Scores dan RESULTS, dan 1 file word RESULTS.
8. Buka file word RESULTS. Interpretasi hasil analisis butir didasarkan pada informasi
dalam file ini.

3
 MENAFSIRKAN HASIL ANALISIS

Hasil analisis butir soal dengan ITEMAN 4.3 menyajikan beraneka ragam informasi.
Untuk Assignment 5, informasi difokuskan pada:
1. Reliabilitas (reliability) soal secara keseluruhan
2. Tingkat kesulitan yang diberi label bermacam-macam oleh para ahli: item facility
(IF), facility value (FV), dan difficulty index (DI). Untuk Assignment 5, gunakan IF.
3. Daya beda atau item discrimination (ID).
4. Distractor efficiency yang menunjukkan bahwa semua pilihan pada butir soal dipilh
oleh peserta tes.

RELIABILITY

Dari file word RESULTS, dari Summary Statistics, copy and paste Table 3: Reliability.

Score Alpha SEM Split-Half Split-Half Split-Half S-B S-B First- S-B Odd-
(Random) (First-Last) (Odd-Even) Random Last Even
Scored items 0,837 2,246 0,781 0,745 0,665 0,877 0,854 0,799

Angka yang perlu Saudara perhatikan adalah angka untuk Alpha, S-B Random, S-B First-
Last, dan S-B Odd-Even.
1. Angka untuk Alpha adalah koefisien reliabilitas Cronbach’s alpha.
2. Angka S-B Random adalah koefisien reliabilitas belah dua (split-half) secara acak
yang dikoreksi dengan rumus Spearman-Brown (S-B).
3. Angka S-B First-Last adalah koefisien reliabilitas belah dua (split-half) dengan
membagi butir soal menjadi bagian pertama dan kedua (pada contoh saya butir soal 1-
15 menjadi bagian pertama dan 16-30 menjadi bagian kedua) yang dikoreksi dengan
rumus Spearman-Brown (S-B).
4. Angka S-B Odd-Even adalah koefisien reliabilitas belah dua (split-half) dengan
membagi butir soal menjadi kelompok bernomor gasal (1, 3, 5, … 29) dan kelompok
bernomor genap (2, 4, 6, … 30) yang dikoreksi dengan rumus Spearman-Brown (S-
B).

Untuk Assignment 5, Saudara cukup menafsirkan Alpha.

Berikut ini kutipan tentang interpretasi koefisien reliabilitas Cronbach’s alpha dari
beberapa sumber. Silakan pilih yang dapat Saudara pahami dengan mudah.

Interpreting Cronbach’s alpha reliability coefficients

The alpha value is inflated by a larger number of variables; so there is no set
interpretation as to what is an acceptable alpha value. A rule of thumb that applies to most
situations is:
α = .9 – excellent
α = .8 – good
α = .7 – acceptable
α = .6 – questionable
α = .5 – poor
α <. 5 – unacceptable

4
(George & Mallery, 2019: 244)

(Taken from:
https://www.statisticshowto.com/cronbachs-alpha-spss/)

0.9 or more – Excellent

0.8 – 0.89 – Good
0.7 – 0.79 – Acceptable
0.6 – 0.69 – Questionable
0.5 – 0.59 – Poor
Less than 0.5 – Unacceptable
(Modified from: https://www.researchgate.net/figure/Range-of-reliability-and-its-coefficient-
of-Cronbachs-alpha_tbl1_326698967)

Note: A negative reliability coefficient is possible and indicates very poor reliability. It is
unacceptable.

ITEM FACILITY (IF) AND DISCRIMINATION INDEX (DI)

Saudara dapat menggunakan tabel berikut untuk menentukan apakah FI dan DI setiap
butir soal sudah memenuhi syarat.

(Carr, 2011: 272)

Berdasarkan tabel tersebut dari aspek IF, butir soal yang memenuhi syarat adalah
butir yang memiliki IF paling rendah 0,30 dan paling tinggi 0,70. Di hasil analisis dengan

5
ITEMAN 4.3, IF ditunjukkan dengan Prop. Dari aspek DI, butir soal yang memenuhi syarat
adalah butir yang memiliki DI paling rendah 0,30 dan DI tidak boleh negatif. Di hasil analisis
dengan ITEMAN 4.3, DI ditunjukkan dengan Rpbis (point-biserial correlation).

DISTRACTOR EFFICIENCY

Di hasil analisis dengan ITEMAN 4.3, distractor efficiency ditunjukkan oleh sebaran
peserta tes dalam memilih pilihan jawaban (option) pada setiap butir soal. Syarat distractor
efficiency terpenuhi jika semua pilihan jawaban dipilih oleh peserta tes.

CONTOH

Contoh analisis setiap butir soal (dari contoh hasil analisis data uji coba yang saya kirimkan).

ITEM 1 (from Item-by-item results, copy and paste Option statistics for item 1)
Option N Prop. Rpbis Rbis Mean SD Color
A 2 0,021 -0,023 -0,066 17,000 0,000 Maroon
B 91 0,948 0,235 0,491 19,165 5,517 Green **KEY**
C 1 0,010 -0,148 -0,545 10,000 0,000 Blue
D 2 0,021 -0,237 -0,677 9,000 0,000 Olive
Omit 0
Not Admin 0
Check the row with **KEY**.
Prop. = 0,948. Too high (> 0,70)
Rpbis. = 0,235. Too low (< 0,30)
All of the options were selected by examinees.
ITEM 1 needs a revision.

ITEM 2 (from Item-by-item results, copy and paste Option statistics for item 2)
Option N Prop. Rpbis Rbis Mean SD Color
A 7 0,073 -0,212 -0,398 14,143 4,741 Maroon
B 14 0,146 -0,245 -0,379 15,000 2,717 Green
C 64 0,667 0,403 0,523 20,656 5,510 Blue **KEY**
D 11 0,115 -0,152 -0,250 15,909 4,369 Olive
Omit 0
Not Admin 0
Check the row with **KEY**.
Prop. = 0,667. Acceptable.
Rpbis. = 0,403. Acceptable.
All of the options were selected by examinees.
ITEM 2 is acceptable.

ITEM 3 (from Item-by-item results, copy and paste Option statistics for item 3)
Option N Prop. Rpbis Rbis Mean SD Color
A 31 0,323 -0,240 -0,312 17,548 5,249 Maroon **KEY**
B 40 0,417 0,459 0,579 21,525 5,059 Green

6
 C 20 0,208 -0,215 -0,304 16,150 5,008 Blue
D 5 0,052 -0,121 -0,253 15,600 5,683 Olive
Omit 0
Not Admin 0
Check the row with **KEY**.
Prop. = 0,323. Acceptable.
Rpbis. = -0.240. Negative.
All the options were selected by examinees.
ITEM 3 needs a revision.

ITEM 4 (from Item-by-item results, copy and paste Option statistics for item 4)
Option N Prop. Rpbis Rbis Mean SD Color
A 10 0,104 -0,255 -0,431 13,900 4,067 Maroon
B 2 0,021 -0,079 -0,227 15,000 1,414 Green
C 0 0.000 -- -- -- -- Blue
D 83 0,865 0,244 0,383 19,470 5,585 Olive **KEY**
Omit 1 0,010 0,038 0,140 21,000 0,000
Not Admin 0
Check the row with **KEY**.
Prop. = 0,864. Too high (> 0.70)
Rpbis. = 0,244. Too low (< 0.30)
Option C was not selected.
ITEM 4 needs a revision.

ITEM 5 (from Item-by-item results, copy and paste Option statistics for item 5)
Option N Prop. Rpbis Rbis Mean SD Color
A 11 0,115 0,101 0,167 20,273 4,563 Maroon
B 68 0,708 0,211 0,280 19,456 5,621 Green
C 11 0,115 -0,302 -0,497 15,000 4,087 Blue **KEY**
D 3 0,031 -0,065 -0,161 16,667 8,145 Olive
Omit 3 0,031 -0,076 -0,188 15,000 5,196
Not Admin 0
Check the row with **KEY**.
Prop. = 0,115. Too low (< 0,30).
Rpbis. = -0,302. Negative.
All the options were selected by examinees.
ITEM 5 needs a revision.

ASSIGNMENT
Pada rencana awal, analisis butir soal berdasarkan hasil uji coba merupakan tugas
yang dikerjakan secara berpasangan, karena pada saat awal semester, di pekan ke 9 kegiatan
pembelajaran dilaksanakan secara tatap muka. Melihat perkembangan keadaan sampai saat
ini, kegiatan pembelajaran tatap muka belum dapat dilaksanakan. Oleh karena itu, tugas yang
pada awalnya direncanakan untuk dikerjakan secara berpasangan menjadi tugas individual.
Untuk mengerjakan tugas ini, Saudara perlu memperhatikan hal-hal berikut ini:
1. Data hasil uji coba butir soal pilihan ganda dengan 4 pilihan. Saudara dapat
menggunakan data nyata atau rekaan asalkan masul akal. Saudara benar-benar
7
 mengetik sendiri data Saudara, tidak sekadar copy dan paste data saya. Data Saudara
peroleh dari sekurang-kurangnya 30 butir soal pilihan ganda dengan 4 pilihan, seperti
yang saya contohkan, dan diujicobakan kepada sekurang-kurangnya 30-32 siswa
dalam 1 kelas. Untuk penataannya, baca penjelasan di dokumen ini.
2. Program ITEMAN 4.3 dan pengoperasiannya. Baca penjelasan di dokumen ini.
3. Tafsiran hasil analisis uji coba. Baca penjelasan di dokumen ini.
File yang Saudara kirimkan ke email saya:
1. File data pada NOTEPAD seperti yang saya contohkan, dengan nama file: STUDENT
NUMBER_NAME_LLA_RAW DATA_HA5.
2. File interpretasi pada WORD, dengan nama file: STUDENT
NUMBER_NAME_LLA_INTERPRETATION _HA5.

Isi file 2 adalah sebagai berikut (saya ambil dari contoh hasil analisis data saya):

HOME ASSIGNMENT 5

STUDENT NUMBER :
NAME :

RELIABILITY

Score Alpha SEM Split-Half Split-Half Split-Half S-B S-B First- S-B Odd-
(Random) (First-Last) (Odd-Even) Random Last Even
Scored items 0,837 2,246 0,781 0,745 0,665 0,877 0,854 0,799

The reliability coefficient (Alpha) is 0,837 (good).

ITEM-BY-ITEM RESULTS

ITEM 1
Option N Prop. Rpbis Rbis Mean SD Color
A 2 0,021 -0,023 -0,066 17,000 0,000 Maroon
B 91 0,948 0,235 0,491 19,165 5,517 Green **KEY**
C 1 0,010 -0,148 -0,545 10,000 0,000 Blue
D 2 0,021 -0,237 -0,677 9,000 0,000 Olive
Omit 0
Not Admin 0
Check the row with **KEY**.
Prop. = 0,948. Too high (> 0,70)
Rpbis. = 0,235. Too low (< 0,30)
All of the options were selected by examinees.
ITEM 1 needs a revision.

ITEM 2
Option N Prop. Rpbis Rbis Mean SD Color
A 7 0,073 -0,212 -0,398 14,143 4,741 Maroon
B 14 0,146 -0,245 -0,379 15,000 2,717 Green

8
 C 64 0,667 0,403 0,523 20,656 5,510 Blue **KEY**
D 11 0,115 -0,152 -0,250 15,909 4,369 Olive
Omit 0
Not Admin 0
Check the row with **KEY**.
Prop. = 0,667. Acceptable.
Rpbis. = 0,403. Acceptable.
All of the options were selected by examinees.
ITEM 2 is acceptable.

ITEM 3
Option N Prop. Rpbis Rbis Mean SD Color
A 31 0,323 -0,240 -0,312 17,548 5,249 Maroon **KEY**
B 40 0,417 0,459 0,579 21,525 5,059 Green
C 20 0,208 -0,215 -0,304 16,150 5,008 Blue
D 5 0,052 -0,121 -0,253 15,600 5,683 Olive
Omit 0
Not Admin 0
Check the row with **KEY**.
Prop. = 0,323. Acceptable.
Rpbis. = -0.240. Negative.
All the options were selected by examinees.
ITEM 3 needs a revision.

ITEM 4
Option N Prop. Rpbis Rbis Mean SD Color
A 10 0,104 -0,255 -0,431 13,900 4,067 Maroon
B 2 0,021 -0,079 -0,227 15,000 1,414 Green
C 0 0.000 -- -- -- -- Blue
D 83 0,865 0,244 0,383 19,470 5,585 Olive **KEY**
Omit 1 0,010 0,038 0,140 21,000 0,000
Not Admin 0
Check the row with **KEY**.
Prop. = 0,864. Too high (> 0.70)
Rpbis. = 0,244. Too low (< 0.30)
Option C was not selected.
ITEM 4 needs a revision.

ITEM 5
Option N Prop. Rpbis Rbis Mean SD Color
A 11 0,115 0,101 0,167 20,273 4,563 Maroon
B 68 0,708 0,211 0,280 19,456 5,621 Green
C 11 0,115 -0,302 -0,497 15,000 4,087 Blue **KEY**
D 3 0,031 -0,065 -0,161 16,667 8,145 Olive
Omit 3 0,031 -0,076 -0,188 15,000 5,196
Not Admin 0
Check the row with **KEY**.

9
Prop. = 0,115. Too low (< 0,30).
Rpbis. = -0,302. Negative.
All the options were selected by examinees.
ITEM 5 needs a revision.

DAN SETERUSNYA SAMPAI ITEM 30.

10