Analisis kualitatif dapat dikategorikan dari segi materi, konstruksi, dan bahasa.

Analisis
materi dimaksudkan sebagai penelaahan yang berkaitan dengan substansi keilmuan yang
ditanyakan dalam soal serta tingkat kemampuan yang sesuai dengan soal. Analisis konstruksi
dimaksudkan sebagai penelaahan yang umumnya berkaitan dengan teknik penulisan soal.
Analisis bahasa dimaksudkan sebagai penelahaan soal yang berkaitan dengan penggunaan
bahasa Indonesia yang baik dan benar menurut EYD. Melalui analisis kualitatif dapat diketahui
berfungsi tidaknya sebuah soal (Surapranata, 2014: 2).
Telaah item tes atau analisis kualitatif sering disebut analisis teoretik. Item tes yang telah
ditulis diperiksa kesesuaiannya dengan kisi-kisi yang diacunya dengan memperhatikan
substansi/isi materi, konstruksi, dan bahasa. Telaah item tes dilakukan oleh: 1) bukan oleh
penulis item tes, dan 2) dilakukan oleh pakar yang menguasai isi/materi yang diujikan. Dari
kegiatan tersebut, penulis item tes dapat mengetahui validitas isi dari item tes yang disusun
(Bambang Subali,
Analisis soal secara kuantitatif menekankan pada analisis karakteristik internal tes melalui
data yang diperoleh secara empiris. Karakteristik internal secara kauntitatif dimaksudkan
meliputi parameter soal tingkat kesukaran, daya beda, dan reliabilitas. Khusus soal-soal pilihan
ganda, dua tambahan parameter yaitu dilihat dari peluang untuk menebak atau menjawab soal
benar berfungsi tidaknya pilihan jawaban, yaitu penyebaran semua alternatif jawaban dari
subyek-subyek yang dites (Surapranata, 2014: 10).
1. Tingkat Kesulitan Soal
Bermutu atau tidaknya butir-butir item tes hasil belajar pertama kali dapat diketahui
dari derajat kesukaran atau taraf kesulitan yang dimiliki oleh masing-masing butir item
tersebut. Butir-butir item tes hasil belajar dapat dinyatakan sebagai butir-butir item yang
baik, apabila butir-butir item tersebut tidak terlalu sukar dan pula tidak terlalu mudah
dengan kata lain derajat kesukaran item itu adalah sedang atau cukup (Sudijono, 2009:
370).
Tingkat kesukaran soal adalah peluang untuk menjawab benar suatu soal pada tingkat
kemampuan tertentu yang biasanya dinyatakan dalam bentuk indeks. Secara klasik indeks
tingkat kesukaran ini dinyatakan dalam bentuk proporsi yang besarnya berkisar 0,00 - 1,00
(Aiken, 1994: 66). Untuk soal pilihan ganda indeks tingkat kesukaran dihitung dengan
rumus:
 Ada beberapa besar pertimbangan dalam menentukan proporsi jumlah soal kategori
mudah, sedang, dan sukar. Pertimbangan pertama adalah adanya keseimbangan, yakni
jumlah soal sama untuk kategori tersebut. Artinya, soal mudah, sedang, dan sukar
jumlahnya seimbang. Perbandingan antara soal mudah-sedang-sukar bisa dibuat 3-4-3.
Artinyanya, 30% soal karegori mudah. 40% soal kategori sedang, dan 30% soal kategori
sukar. Misalnya 60 pertanyaan pilihan ganda terdapat 18 soal kategori mudah, 24 soal
kategori sedang, dan 18 soal kategori sukar. Perbandingan lain yang termasuk sejenis
dengan proporsi di atas misalnya 3-5-2. Artinya 30% soal kategori mudah, 50% soal
kategori sedang, 20% soal kategori sukar (Nana Sudjana, 2010: 135-136).
Tingkat kesukaran item soal selain dapat digunakan untuk memprediksi alat ukur itu
sendiri (soal), juga tentang kemampuan peserta didik dalam memahami materi yang
diajarkan guru. Misalnya satu item soal termasuk kategori mudah, maka prediksi terhadap
informasi ini adalah seperti berikut:
a) Pengecoh item soal itu tidak berfungsi.
b) Sebagian besar siswa menjawab benar item soal itu; artinya bahwa sebagian besar
siswa telah memahami materi yang ditanyakan.
Bila suatu item soal termasuk kategori sukar, maka prediksi terhadap informasi ini
adalah seperti berikut.
a) Item soal itu "mungkin" salah kunci jawaban.
b) Item soal itu mempunyai 2 atau lebih jawaban yang benar.
c) Materi yang ditanyakan belum diajarkan atau belum tuntas pembelajarannya,
sehingga kompetensi minimum yang harus dikuasai siswa belum tercapai.
d) Materi yang diukur tidak cocok ditanyakan dengan menggunakan bentuk soal yang
diberikan.
e) Pernyataan atau kalimat soal terlalu kompleks dan panjang.
Klasifikasi tingkat kesukaran soal (Puspendik) dapat dicontohkan seperti berikut
(Rahman Zulaiha, 2008: 14):
0,00 - 0,30 soal tergolong sukar
0,31 - 0,70 soal tergolong sedang
0,71 - 1,00 soal tergolong mudah
2. Daya Beda

3. Validitas
Menurut Wright (1999) juga Wright & Masters (1982) dalam (Subali, 2016) jika suatu
item sesuai (fit) dengan model yang digunakan (maksudnya seperti model logistik satu
parameter atau dua parameter) maka dapat diartikan bahwa item tersebut dapat mengukur
kemampuan sehingga item tersebut boleh dinyatakan “valid” sebagai alat ukur. Oleh
karena itu, jika semua item tes sesuai (fit) terhadap model yang digunakan maka tes yang
tersusun atas item-item yang bersangkutan juga dapat dinyatakan “valid” sebagai alat ukur
menurut teori tes klasik.

4. Reliabilitas
Menurut Stark et. Al (2001), pemilihan item tes dalam prosedur pengembangan tes
menggunakan Classical Test Theory (CTT) umumnya didasarkan pada nilai kesukaran
item dan korelasi skor item dan korelasi item total. Besarnya indeks reliabilitas item dapat
diperoleh dengan mengalikan simpangan baku item dengan besarnya korelasi item dengan
skor totalnya. Item-item yang memiliki angka korelasi item total yang tinggi dipertahankan
dalam tes dan yang memiliki angka korelasi item total rendah harus dibuang agar
konsistensi skala internal (reliabilitas) menjadi tinggi. Langkah demikian akan
memperkecil standard error pengukuran
Keterbatasan penggunaan pendekatan CTT menurut Stark et.al., (2001) yaitu: Pertama,
statistika CTT bergantung kepada sub populasi penempuh tes. Berbeda grup/kelompok
penempuh tes berbeda pula nilai rata-rata skor atribut variabel yang diukur yang diperoleh.
Dengan demikian, pengembang tes harus hati-hati ketika memilih sampel untuk tujuan
kalibrasi item. Jika sampel-sampel kalibrasi berbeda karakteristik/sifatnya dengan sampel
operasional (sampel populasi yang sesungguhnya sebagai target pengukuran) akan berubah
secara dramatis. Kedua, di dalam CTT ketepatan pengukuran suatu tes (standard error atau
galat baku pengukuran) secara implisit dirata-ratakan ke semua level kemampuan
pengukuran pada tiap level-level skor tertentu tidak akan dapat diketahui. Dengan
demikian, ketepatan pengukuran pada tiap level skor tertentu tidak dapat diketahui. Oleh
 karena itu, dikembangkan analisis item menggunakan teori respons item atau item
response theory (IRT) (Bambang Subali, 2016: 138-139).
Dalam mengonstruksi tes menggunakan pendekatan IRT maupun CTT, penulis harus
membuat dua sampai tiga kali banyaknya item seperti yang diinginkan dalam format tes
final/siap digunakan. Dalam IRT diperlukan sampel kalibrasi heterogen yang besar. Model
IRT yang lebih kompleks, seperti model IRT untuk skala politomus, memerlukan sampel
lebih besar lagi untuk mengestimasi besarnya parameter. Sebelum mengestimasi parameter
item, perlu melakukan suatu analisis item menurut teori tes klasik terlebih dahulu. Hal ini
bertujuan untuk menghapus/menghilangkan item-item yang mempunyai skor mendekati
nihil (tidak atau sedikit sekali yang dapat mengerjakan) karena akan memiliki korelasi-
korelasi item-total yang negative sehingga akan menyebabkan permasalahan
konvergensi/pemusatan. Demikian pula item yang mcmpunyai skor prefect (item yang
dikerjakan dengan benar oleh seluruh testi), dimana untuk tes pilihan ganda skor peefect
adalah 1 untuk setiap testi/peserta ujian atau person/case, harus dibuang terlebih dahulu.
Selain menghitung besarnya nilai reliabilitas menggunakan pendekatan CTT berupa
besarnya nilai Kuder-Richardson (K-R) atau alpha Cronbach, perhitungan menghitung
besarnya measurement error. Besarnya reliabilitas berdasarkan measurement error disajikan
pada hasil perhitungan secara ringkat yang tersaji pada summary of case estimate.

A. Prosedur Analisis Instrumen Tes Secara Kuantitatif beserta Interpretasi Hasil

Analisisnya.
Analisis yang digunakan adalah kombinasi pengukuran klasik dan modern (Item
Respons Theory) dengan program komputer Quest. Penyiapan file untuk kepentingan
analisis menggunakan program QUEST meliputi penyediaan file program, file perintah, dan
file data yang berada dalam satu folder.
1. File perintah
File perintah disimpan dalam format .ctl dengan menggunakan menu all file saat
menyimpan. Beri nama luaran/output dengan nama depan yang konsisten agar tidak
bermasalah ketika dieksekusi. Contoh format sajian file perintah untuk soal pilihan
ganda dengan 50 butir soal dan empat pilihan jawaban adalah sebagai berikut.
2. File data
Setelah selesai pengetikan data dilakukan pemberian nama dengan ekstensi .txt.

3. File program
File program, buka program QUEST lalu ketikkan perintah submit spasi file perintah,
contoh submit prest.ctl. Kemudian tekan enter.
4. Hasil Analisis
Hasil analisis besarnya reliabilitas berdasarkan measurement error disajikan pada
hasil perhitungan secara ringkat yang tersaji pada summary of case estimate.
 Penjelasan:
1) Reliability of case estimate sebesar 0.74 artinya reliabilitas tes tinggi untuk tes
buatan guru. Nama reliabilitas tes mengacu pada nilai reliabilitas berdasarkan
estimasi item menurut Wright & Master (1982). Semakin tinggi nilainya semakin
meyakinkan bahwa pengukuran memberikan hasil yang konsisten. Nilai reliabilitas
tes rendah jika siswa tidak konsisten, artinya pada suatu item tertentu ada banyak
siswa berkemampuan lebih tinggi justru salah mengerjakan, sebaliknya banyak siswa
yang berkemampuan rendah yang benar mengerjakan.
2) Dengan mean infit MNSQ 1.00 dan SD 0,11 artinya secara keseluruhan testi sesuai
atau cocok atau fit dengan model Rash.
Hasil analisis menggunakan program Quest berupa hasil perhitungan keandalan/
reliabilitas tes berdasarkan CTT disajikan pada bagian akhir sajian hasi analisis item
yang rinci dari setiap item. Dalam hal ini, keandalan/reliabilitas tes dihitung
menggunakan rumus KR 20 dan KR 21 jika penskalaannya dikotomus (dua kategori
saja yaitu kategori-1 adalah benar dan kategori-2 adalah salah), dan menggunakan
menurut Cronbach jika penskalaannya politomus (lebih dari dua kategori, yaitu
dikategosrisasi 3 atau lebih, dengan maksimum 10 kategori) disajikan dalam bentuk
angka internal consistency. Hasil analisis berdasarkan CTT yang disajikan pada bagian
akhir dari file luaran item analysis adalah sebagai berikut.

Penjelasan:
 1) Hasil analisis menurut teori tes klasik menunjukkan untuk item no 1 dengan kunci
jawaban C memiliki indeks kesukaran 0,25 (atau 24,6%) dan indeks daya beda 0,22.
Artinya:
- Jika item ini untuk tujuan seleksi maka item ini dinyatakan terlalu sukar dan
tidak memiliki daya pembeda yang baik.
- Jika item ini untuk tujuan hasil belajar (hasil posttest), jika ITEM SPEC dan
hasil analisis kualitatif memenuhi syarat, maka dapat diartikan bahwa item ini
belum menggambarkan hasil belajar yang diinginkan, tetapi dengan daya beda
yang tidak negatif artinya tidak ada siswa yang lebih cerdas yang berpeluang
gagal mengerjakan item ini.
2) Informasi IRT berupa Infit MNSQ sebagai bukti fit atau tidaknya item menurut
model Rasch. Item no 1 dengan Infit MNSQ = 1,03 berarti item no 1 fit atau cocok
dengan model 1-PL atau model Rasch.
3) Istilah threshold atau delta pada skala dikotomus adalah estimasi tingkat kesukaran
menurut IRT dalam skala logit. Kunci jawaban C memiliki indeks kesukaran sebesar
0,52, sementara mean ability (kemampuan rata-rata testi yang menjawab benar)
hanya -0,42. Artinya hanya sedikit testi yang berhasil menjawabnya. Dengan kata
lain, meskipun indeks logit besarnya hanya 0,52 tetapi item no 1 tergolong sukar.
4) Nilai internal consistency sebesar 0,76 merupakan nilai reliabilitas tes menurut teori
tes klasik yang dihitung berdasarkan indeks reliabilitas KR-20 (apabila data
politomus maka menggunakan indeks alpha-Cronbach).
Hasil analisis program Quest di atas menunjukkan keandalan/reliabilitas yang tersaji
dalam bentuk angka internal consistency sebesar 0,76, sedangkan perhitungan berdasarkan
measurement error yang sudah disajikan sebelumnya yaitu sebesar 0,74. Jadi boleh
dinyatakan bahwa kedua prosedur perhitungan tersebut menghasilkan hasil yang boleh
dikatakan sama.
Sumarna Surapranata, Analisis, Validitas, Reliabilitas dan Interpretasi Hasil Tes: Implementasi
Kurikulum 2004, (Jakarta: Remaja Rosdakarya, 2005)