Abstrak
Kata kunci: Intrumen, Pengembangan Paket Soal, Formula Aiken’s V, Validitas Konten
Abstract
PENDAHULUAN
Kualitas pembelajaran tergantung dari unsur-unsur pembelajarannya, yaitu
perencanaan, pelaksanaan, dan evaluasi. Ketiga unsur pembelajaran tersebut harus
mendapat porsi yang seimbang. Unsur kegiatan perencanaan dan pelaksanaan
pembelajaran sering kali mendapat porsi yang lebih besar dibandingkan dengan kegiatan
evaluasi. Indikasi kurangnya porsi kegiatan evaluasi sering terlihat pada malpraktik proses
pembuatan butir soal yang kurang sesuai dengan prosedur dan berkesan seadanya.
Pembuatan soal merupakan proses penyiapan alat ukur untuk mengetahui tingkat
kemampuan siswa terhadap materi yang telah diajarkan. Tujuannya adalah untuk
mengetahui apakah materi yang diajarkan telah dikuasasi oleh siswa secara tuntas atau
belum. Oleh karena itu, pengembangan butir soal merupakan salah satu teknik evaluasi
yang harus dilaksanakan guru dalam proses belajar mengajar.
Salah satu bentuk teknik evaluasi yaitu pengujian dalam bentuk butir soal pilihan
ganda. Dengan bantuan komputer, dalam bentuk aplikasi Computer Based Testing (CBT),
pemberian skor pengujian bentuk pilihan ganda dapat dilakukan dengan cepat/seketika,
tepat, konsisten. Pada aplikasi CBT, butir soal pilihan ganda memungkinkan dapat
berformat multimedia yaitu teks, gambar, suara , dan video. Data skor dan jawabannya
dapat disimpan pada suatu basis data untuk dapat dianalisis selanjutnya secara kuantitatif.
Kelebihan lain dari paket soal pilihan antara lain (1) tepat digunakan untuk mengukur
proses berfikir rendah sampai dengan sedang (ingatan, pemahaman, dan penerapan), (2)
semua atau sebagian besar materi yang telah diajarkan dapat ditanyakan saat diuji, (3)
tingkat kesukaran butir soal dapat dikendalikan, dan (4) proses mengerjakan butir soal
lebih mudah.
Namun, pengujian soal pilihan ganda juga mempunyai kelemahan, antara lain (1)
kebanyakan hanya mengukur proses berfikir rendah, walaupun tujuan pembelajaran yang
akan diukur sebenarnya lebih tinggi dari sekedar ingatan atau pemahaman, (2) membuat
pertanyaan pilihan ganda yang baik lebih sukar daripada membuat pertanyaan tes uraian,
(3) kemampuan peserta ujian dapat terganggu oleh kemampuannya dalam membaca dan
menerka, (4) adanya keberuntungan kemungkinan peluang secara statistik dalam memilih
jawaban benar, dan (5) peserta tes tidak dapat mengorganisasikan, menghubungkan, dan
menyatakan idenya sendiri karena semua alternatif jawaban untuk setiap pertanyaan
sudah diberikan oleh pengembang soal.
Menyusun butir soal secara benar bukan pekerjaan yang mudah. Setelah
mengidentifikasi karakteristik kompetensi yang diukur, selanjutnya menentukan bentuk
soal yang tepat. Butir-butir soal disesuaikan dengan kisi-kisi yang ada. Jika soal yang
dibuat guru sesuai kaidah, maka hasil tes tersebut dapat digunakan untuk menentukan
tingkat kemampuan siswa yang sebenarnya. Butir soal yang baik dapat membantu guru
dalam memetakan dengan tepat tentang peserta didik mana yang belum atau sudah
mencapai kompetensi.
Menurut Umar (1999), tahapan penting dalam pengembangan paket soal antara lain
penulisan butir soal dan validasi. Penulisan butir soal harus memperhatikan tujuan tes
yang akan dikembangkan. Hal lain yang perlu diperhatikan adalah lingkup atau cakupan
materinya berdasarkan kompetensi inti dan kompetensi dasarnya. Pembuatan kisi-kisi
terlebih dahulu akan memudahkan penulisan butir soal. Langkah selanjutnya adalah
validasi. Validasi merupakan proses menentukan validitas perangkat tes. Validitas ini dapat
diketahui dari isi, konstruk, atau dikorelasikan dengan kriteria lainnya.
Secara umum, skema analisis kualitatif pengembangan paket soal dalam penelitian ini
disajikan pada Gambar 1.
Analisis Kualitatif
(Telaah Soal)
Soal yang Tidak Soal yang
Baik Pengukuran Validitas Kurang Baik
Konten menggunakan
Formula V Aiken
Dibuang/Diganti Direvisi
Soal yang Baik
Arah Analisis Soal yang
Dinyatakan Tidak Baik
Jika skor butir tergolong pada kategori sangat tinggi, tinggi, dan cukup, maka butir
tersebut dapat digunakan. Jika butir instrumen evaluasi tergolong pada kategori rendah dan
sangat rendah, maka butir tersebut dibuang/tidak digunakan. Jika sebagian butir atau
bahkan semua butir tergolong pada kategori rendah, maka perlu melakukan kajian ulang dan
bahkan membuat ulang butir pada masing-masing aspek evaluasi dengan analisis dan
validasi konten materi secara mendalam
METODE PENELITIAN
Penelitian ini merupakan pengembangan perangkat instrumen evaluasi.
Pengembangan perangkat instrumen ini dimaksudkan sebagai usulan ilmiah untuk
meningkatkan kualitas suatu paket soal pilihan ganda dalam bingkai kajian kualitatif.
Sebelum butir soal tersebut digunakan untuk mengukur kompetensi peserta ujian, butir
soal tersebut perlu ditelaah terlebih dahulu. Pengembangan perangkat instrumen evaluasi
paket soal pilihan ganda pada kajian ini dimaksudkan sebagai bagian dari bingkai analisis
butir soal secara kualitatif. Perangkat instrumen evaluasi ini digunakan sebelum paket soal
diujicobakan atau digunakan pada peserta tes yang selanjutnya data-datanya dapat dikaji
secara analisis kuantitatif.
Perangkat instrumen evaluasi paket soal ini terdiri dari 2 (dua) tingkatan evaluasi, yaitu
(1) perangkat intrumen untuk evaluasi internal dan (2) perangkat instrumen untuk evaluasi
pakar. Perangkat instrumen untuk evaluasi internal digunakan untuk memberikan gambaran
pada tim pengembang dalam mencermati paket soal yang telah dikembangkankannya,
apakah sudah sesuai dengan kontruksnya. Perangkat instrumen untuk evaluasi pakar
digunakan untuk memberikan skor penilaian dan deskripsi catatan paket soal secara umum
dan pada setiap butir soalnya.
Proses penelaahan internal dilakukan dalam penelaahan butir soal adalah sebagai
berikut.
1. Menelaah materi uji (harus relevan dengan kompetensi inti, bahasa dan tingkat kesulitan)
2. Menelaah struktur soal (stem-option dan atau scenario-stem-option)
3. Menyusun kesimpulan telaahan (komentar umum dan saran, keputusan diterima, direvisi,
dikembalikan kepada pengembang atau drop)
Berikut adalah instrumen daftar cek yang dapat digunakan sebagai pedoman dalam
menelaah paket soal pilihan ganda untuk evaluasi internal.
Konstruksi butir soal dikatakan baik jika tidak ada tanda cek (centang) pada kolom
“Tidak”. Kolom catatan dapat dituliskan nomor soal yang perlu diperbaiki. Instrumen
penilaian untuk setiap butir pada paket soal dapat diletakkan di bagian bawah setiap butir
soal yang divalidasi. Untuk setiap lembar penilaian diberikan tempat untuk saran atau
masukan untuk proses revisi penyempurnaan butir soal.
Gambar 3. Contoh Tampilan Instrumen Tiap Butir Soal untuk Evaluasi Internal
Serupa dengan perangkat intrumen penilaian untuk internal, perangkat instrumen untuk
evaluasi pakar dilakukan dengan cara memberikan skor 1 sampai 5 pada butir penilaian
terhadap draf produk paket soal pada lembar validasi (skala Likert). Skor 1 sampai 5 dapat
pula dikategorikan dengan Sangat Tidak Setuju, Tidak Setuju, Ragu-ragu, Setuju, dan
Sangat Setuju. Bentuk perangkat instrumen validasi dan analisis kelayakan isi paket soal
dari lembar validasi untuk pakar disajikan pada Tabel 4.
Skor Pakar
No. Deskripsi yang Ditelaah Catatan
1 2 3 4 5
A Materi
1 Soal sesuai dengan indikator
(menuntut tes tertulis untuk bentuk
pilihan ganda)
2 Materi yang ditanyakan sesuai
dengan kompetensi (urgensi, relevasi,
kontinyuitas, keterpakaian sehari-hari
tinggi)
3 Pilihan jawaban homogen dan logis
ditinjau dari segi materi
4 Hanya ada satu kunci jawaban yang
benar atau yang paling benar
B. Konstruksi
5 Pokok soal dirumuskan dengan singkat,
jelas, dan tegas
6 Rumusan pokok soal dan pilihan
jawaban merupakan pernyataan yang
diperlukan saja
7 Pokok soal tidak memberi petunjuk
kunci jawaban
8 Pokok soal bebas dari pernyataan
yang bersifat negatif ganda
9 Gambar, grafik, tabel, jelas dan
berfungsi
10 Panjang pilihan jawaban relatif sama
11 Pilihan jawaban tidak menggunakan
pernyataan "semua jawaban di atas
salah/benar" dan sejenisnya
12 Pilihan jawaban yang berbentuk
angka/waktu disusun berdasarkan
urutan besar kecilnya angka atau
kronologisnya
13 Butir soal tidak bergantung pada
jawaban soal sebelumnya
(independen)
14 Jika butir soal berbentuk multimedia,
suara yang terdapat pada soal jelas
dan berfungsi
15 Jika butir soal berbentuk multimedia,
video yang terdapat pada soal jelas
dan berfungsi
C Bahasa/Budaya/Etika
16 Menggunakan bahasa yang sesuai
dengan kaidah bahasa Indonesia
Selanjutnya, divalidasi juga kesesuaian setiap butir soal pada paket soal. Butir-butir soal
tersebut dibandingkan dengan aspek-aspek yang dinilai dalam paket soal. Data validasi
setiap butir soal ini ditulis di bagian bawah setiap butir soal, serta untuk diberikan tanggapan
dan saran perbaikan. Bentuk tanggapan dan saran perbaikan disajikan pada Gambar 5.
Data deskriptif yang berisi tanggapan, saran, dan masukan konstruktif ditindaklanjuti dengan
merevisi dan menyempurnakan butir soal yang dianggap belum sesuai.
Gambar 5. Contoh Tampilan Hasil Instrumen Tiap Butir Soal untuk Pakar
Sebagai contoh analisis validasi konten dengan formula Aiken’s V sebagai berikut.
Misal, jumlah rater/validator yang memvalidasi instrumen berjumlah 3 (tiga) orang, skor
terendah adalah 1, skor teringgi adalah 5, jumlah kategori rating adalah 5. Bila pada aspek
“Materi” untuk sub aspek “Soal sesuai dengan indikator”, pakar 1 memberikan skor 4, pakar
2 memberikan skor 4, dan pakar 3 memberikan skor 4, maka nilai indeks validasi isi adalah:
∑ ⁄ , dengan S = r – lo , maka
∑ )+
∑ )+ = 9, sehingga
∑ ⁄ = 9/(3(5-1) = 9/12 = 0,75
atau dengan kata lain aspek “Materi” dengan sub aspek “Soal sesuai dengan indikator”
mempunyai indeks validitas sebesar 0,75 atau berkategori “Tinggi”. Lanjutan contoh
prosedur analisis instrumen validasi konten pakar untuk paket soal disajikan pada Tabel 5.
B. ASPEK KONSTRUKSI
5 Pokok soal dirumuskan secara 5 4 4 1 3 4 0,83
jelas dan tegas . 0
…………………………
1 Jika butir soal berbentuk 5 5 4 1 3 4 0,92
5 multimedia, video yang terdapat 1
pada soal jelas dan berfungsi
Minimum 0,75
Maksimum 0,92
Indeks Validitas Isi Aspek Konstruksi =
Rerata 0.80
SD 0,06
C. ASPEK BAHASA/BUDAYA/ETIKA
1 Menggunakan bahasa yang 4 4 5 1 3 4 0,83
6 sesuai dengan kaidah bahasa 0
Indonesia
…………………….
2 Soal tidak boleh bermuatan 4 4 4 9 3 4 0,75
1 politik, pornografi, promosi
produk komersil (iklan) atau
instansi (nama sekolah, nama
wilayah), kekerasan,
menggunakan nama tokoh yang
masih hidup dan bentuk lainnya
yang dapat menimbulkan efek
negatif atau hal-hal yang dapat
menguntungkan atau merugikan
kelompok tertentu
Indeks Validitas Isi Aspek Bahasa = Minimum 0,75
Maksimum 0,83
Rerata 0,79
SD 0,05
Minimum 0,75
Maksimum 0,92
Rerata 0,80
Indeks Validitas Isi Paket Soal =
(Sangat
Tinggi)
SD 0,06
Selain validasi pakar untuk paket soal, validasi juga diberlakukan untuk setiap butir soal.
Tabel 6 meripakan contoh analisis indeks validasi konten pada setiap butir soal.
34 5 5 4 11 3 4 0,92
35 5 5 5 12 3 4 1,00
36 5 5 4 11 3 4 0,92
37 5 5 4 11 3 4 0,92
38 5 5 4 11 3 4 0,92
39 5 5 4 11 3 4 0,92
40 4 5 5 11 3 4 0,92
41 4 5 3 9 3 4 0,75
42 4 5 4 10 3 4 0,83
43 5 5 4 11 3 4 0,92
44 5 4 4 10 3 4 0,83
45 5 5 4 11 3 4 0,92
46 5 5 4 11 3 4 0,92
47 5 5 4 11 3 4 0,92
48 4 5 4 10 3 4 0,83
49 4 5 4 10 3 4 0,83
50 5 5 5 12 3 4 1,00
0,86
Rata-rata V hitung Paket 1 (Sangat
Tinggi)
SIMPULAN
Kajian ini memperkenalkan perangkat instrumen untuk mengukur validitas sebuah paket
soal jenis pilihan ganda beserta butir soalnya. Perangkat instrumen validasi menggunakan 2
(dua) lapisan perangkat intrumen validasi, yaitu perangkat instrumen validasi untuk intern
pengembang dan perangkat instrumen validasi untuk pakar. Perangkat instrumentasi
pengukuran validasi pakar menggunakan Formula Aiken’s V untuk mengukur validasi
konten. Dengan 2 (dua) tahap lapisan validasi maka kualitas soal akan meningkat dan
validasi kontennya terukur.
DAFTAR PUSTAKA
Aiken Lewis R. 1994. Perspective of Individual Difference : Assessment of Intellectual
Functioning. Plenium: Plenium Press New York
Allen, Mary .J., dan Yen, Wendy, M. 1979. Introduction to Measurement Theory. Monterey:
Cole Publishing Company.
Azwar, Saifudin. 2012. Reliabiltas dan validitas. Edisi 4. Yogyakarta : Pustaka Pelajar.
Azwar, Saifudin. 2015. Konstruksi Tes Kemampuan Kognitif. Yogyakarta: Pustaka Pelajar
Gronlund, Norman E. 1981. Measurement and Evaluating in Teaching. New York: Macmillan
Publishing Co., Inc.
Koestoro, Budi dan Basrowi. 2006. Strategi Penelitian Sosial dan Pendidikan. Surabaya:
Yayasan Kampusina
Lawshe, C.H. 1975. A quantitative Approach to Content Validity. Personnel Psychology.
28(4) (pp. 563-575)
Mardapi, Djemari. 1998. Analisis Butir Soal dengan Teori Tes Klasik dan Teori Respons
Butir. Jurnal Kependidikan. Edisi khusus Dies-tahun XXVIII.
Nitko, Anthony J. 1996. Educational Assessment of Students, Second Edition. (pp. 308).
Ohio: Merrill an imprint of Prentice Hall Englewood Cliffs.
Suhardi, Iwan. 2017. Pengembangan Bank Soal Mata Pelajaran Bahasa Indonesia Di
Sekolah Lanjutan Tingkat Atas Dengan Tampilan Multimedia Untuk Penilaian
Berbasis Computerized Adaptif Testing (CAT), Ph.D. dissertation, Program Studi
Penelitian dan Evaluasi Pendidikan, Program Pascasarjana, Universitas Negeri
Yogyakarta
Umar, J. et.al. 1996. Bahan penataran pengujian pendidikan. Jakarta : Balitbang Dikbud.