Teknik yang digunakan pada kegiatan analisis butir soal ini adalah
teknik panel. Teknik panel yaitu suatu teknik menelaah butir soal berdasarkan
kaidah penulisan butir soal. Kaidah penulisan butir soal meliputi materi,
konstruksi, bahasa atau budaya, kebenaran kunci jawaban atau pedoman
penskoran. Panelis yang diminta untuk menganalisis butir soal pada kegiatan ini
adalah dua orang. Masing-masing panelis diberi petunjuk penelaahan soal, kisi-
kisi soal, butir-butir soal yang akan ditelaah, format penelaahan, dan pedoman
penilaian/penskoran. Masing-masing panelis kemudian menelaah soal di tempat
yang berbeda.
Dari hasil telaah soal pilihan ganda ada beberapa soal yang tidak
sesuai dengan kriteria. Seperti, soal pada nomor satu karena pertanyaan tidak
sesuai dengan kisi-kisi yang dibuat atau kurang fokus. Pada soal nomor 16 pilihan
ganda, kedua panelis menilai bahwa soal tidak sesuai dengan kriteria karena pada
soal tidak dilengkapi pernyataan yang sesuai dengan. Pada telaah soal uraian
kedua panelis memberikan hasil telaah bahwa kelima soal uraian sesuai dengan
kriteria.
Dari hasil isian format telaah butir soal kedua panelis memberikan
saran dan masukan. Saran dan masukan langsung dituliskan pada kisi-kisi maupun
soal. Saran dan masukan kemudian digunakan untuk memperbaiki soal. Secara
keseluruhan hasil telaah soal pilihan ganda maupun uraian sudah baik tetapi ada
beberapa soal pilihan ganda yang perlu diperbaiki, dan tidak ada soal yang perlu
diganti.
Dari hasil telaah kemudian dilakukan perbaikan berdasarkan saran dan
masukan. Perbaikan-perbaikan dilakukan pada kisi-kisi maupun insrumen soal.
Salah satu soal yang mengalami banyak perbaikan adalah soal nomor satu. Untuk
memfokuskan soal nomor satu agar sesuai dengan kisi-kisi soal, maka dilakukan
perbaikan soal dengan mengubah frasa soal dan pilihan jawaban agar sesuai.
Perbaikan juga dilakukan pada soal nomor 11 dengan merubah sedikit frasa pada
soal dan mengurangi pengulangan kata pada pilihan jawaban.