Item Development and Review

Workshop
 Objektif
Memahami prinsip:
1. Dasar-dasar ujian regional/nasional
2. Dasar prinsip assesment
3. Standar kualitas soal MCQ (type A)
4. Prinsip-prinsip proses review

Mampu melakukan
1. Self review
2. Review soal orang lain
 LATAR BELAKANG
• Era perdagangan bebas barang & jasa
• Dampak ganda: kesempatan kerja yang luas dan
persaingan yang semakin ketat

TANTANGAN

MENINGKATKAN DAYA SAING & KEUNGGULAN

KOMPETETITIF YANG MEMENUHI STANDARD
KEBUTUHAN GLOBAL
Urgensi ujian nasional

 Uji nasional adalah proses standarisasi

penilaian kemampuan
 Menegakan akuntabilitas profesional
 Menegakan standard dan ethik profesi
 Melindungi kepercayaan publik
 Melindungi pemberi jasa
Tahapan uji nasional
1. Pembentukan dan validasi standar kompetensi
oleh stakeholders
2. Menentukan kompetensi dasar yang diujikan
3. Pembuatan blue print sesuai objektif dari
pendidikan (kriteria lulusan  Perawat)
4. Menentukan model test yang efektif dan efisien
5. Membuat instrument test yang valid/reliable
(psychometric principles)
6. Membuat standard setting dan proses
pengambilan putusan
 Langkah Pengembangan uji

1. menyusun spesifikasi test,

2. menulis soal,
3. menelaah soal test,
4. melakukan uji coba test,
5. menganalisis butir soal,
6. memperbaiki test,
7. marakit test,
8. melaksanakan test,
9. menafsirkan hasil test
Pilihan assessment

 Menentukan level kompetensi lulusan

baru
 Menentukan kompetensi mana yang
paling penting dan esensial dalam
perspektif public safety
 Menentukan apa yang bisa di ujikan
dengan alat ukur yang telah ditetapkan
 Kenapa MCQ type ?

 Paling umum digunakan pada ujian lisensi

oleh profesi-profesi (standardized test)
 Sejarah panjang riset tentang psychometric
 Cost effective untuk skala besar
 Paling objektif & reliable (tanpa halo effect)
 Memungkinkan berbagai variasi dan topik
 Sulit & memakan waktu untuk dibuat
Evidence…

• Health Education Institution Exit exam (HESI E2)

 predictor of NCLEX RN  employment
success (Reiter, 2005; Joho, 2007)
• HESI Exit Exam (E2) was 96.30% to 98.30%
accurate in predicting NCLEX-RN success (Britt,
2007)
• E2 scores are potentially useful determinants of
the new graduate nurses’ ability to assume
entry-level positions within the practice setting
(Pine, 2007)
 Masalah Ujian
• Isi yang diujikan tidak konsisten
• Proporsi tidak konsisten
• Soal ada yg terlalu mudah/sulit
• Soal yang tidak layak masih sering keluar
 Tahap Penjaminan Mutu

Input
Process
Output

1. Review Process
1. Blueprinting
2. Try-out
• Criterion-
2. Item Writer reference.
3. Examination
Standard
guideline
• Standard
3. Item Reviewer setting
4. Report on
Standard exercise
Examination
4. ICT support
5. Feedback
process.
6. Item Bank
Kompetensi Esensial Terujikan
Ujian diharapkan memenuhi tingkat safety
Bagi tenaga kesehatan pemula:
• Penciri nakes (Kompetensi Inti)
• Sangat penting dan prinsip untuk
dikuasai oleh lulusan baru
• Sangat sering dilakukan oleh
Nakes baru
 Ujian Tulis

Multiple Choice Question

One Best Answer

Why… One Best Answer
 Jenis soal 1-2-3-4 lebih mudah ditebak
 Soal sebab akibat sering membingungkan, aspek
bahasanya terlalu rumit
 Satu pilihan terbaik, mencerminkan peran
profesional yang harus mencari alternatif terbaik
bagi klien
 Membuat Soal MCQ
UNTUK LEVEL TINGGI (PROVINSI/NASIONAL)
 Tidak semudah yang dibayangkan
 Kedalam, aplikasi, berpikir kritis sesuai kompetensi

 Perlu sounding multidiscipline team

 Perlu ketetapan istilah bersama

 Perlu Standarisasi bahasa

 Perlu Standarisasi struktur

Ciri Soal Kelas Tinggi
Bukan soal ingatan sederhana (recall)

Menggabungkan berbagai data

Menggambarkan situasi nyata praktek

(pekerjaan)

Bisa menjadi prediktor terhadap

kemampuan kinerja
 Taxonomy Cognitive Bloom:
Mengetahui (menyebutkan)
C1 Pengethuan umum, konsep umum,
nilai/fakta

Memahami (menjelaskan)
C2 Interprestasi chart, grafik, nilai, justifikasi
C1. C2 Urutan
C. 3prosedur
Menerapkan (menghubungkan)
C3 Aplikasi konsep dlm situasi baru, aplikasi
prosedur, memecahkan hitungan
matematika
 Bloom …
Menganalisa (membandingkan)
C4 Menggunakan logika untuk pemecahan
masalah, mengevaluasi relevansi data

Mensintesa (menyimpulkan, menyusun)

C5 mengungkap sebuah konsepsi dengan
baik, merumuskan konsepsi baru,

Mengevaluasi (mengkritik, SOAP)

C6 Menyesuaikan, menjustifikasi suatu
pekerjaan
 RANAH KOGNITIF dlm UJIAN
Penggabungan:
• Pengetahuan komprehensif (C1-C2)
(nilai normal, definisi, konsep, dasar patofisiologi, dll)
• Aplikasi klinis (C3)
(ilmu terapan, diagram masalah, tindakan, tetesan,
dosis)
• Berpikir kritis (C4-C6)
(menegakan masalah, prioritas, analisa hubungan,
prediksi, evaluasi perkembangan, dll)
• Afektif (A1-A5)
(sikap dalam bekerja bersama klien/keluarga, tim
kes)
 Tahap Telaah soal (Review)
Apakah isi soal Essensial dlm pekerjaan

Apakah struktur soal terstandar baik

Bila keduanya Baik: DITERIMA

 ISI
• Apakah secara isi, topik soal yang
ditanyakan esensial dalam menjalankan
pekerjaan ?

• Rujukan: Standard Kompetensi

Baca soal sekilas, ambil kesan umum,

Tentukan relevansi isi dengan
Pekerjaan sebagai Nakes Baru Lulus
STOP: Baca Soal Anda … !

 Apakah soal anda sangat penting untuk

dapat menjalankan pekerjaan sehari-hari?

 Menanyakan hal yang bermanfaat untuk

ditanyakan?
Contoh :
Untuk calon Nakes baru ????

Berapakah jumlah tulang diseluruh tubuh

Manusia?

Berapakah tagihan yang bisa diberikan oleh

Askeskin?

Apakah pertanyaan diatas pantas dan cocok ??

 Struktur Soal

Vignette/kasus/pernyataan

Pertanyaan

Pilihan jawaban
 Vignete
Bisa Berisi: Ketentuan:
• Pernyataan • Logis
• Situasi • Sistematis
• Kasus pasien

Jangan terlalu panjang / pendek

 Vignette / kasus / stem (klinis)
• Jenis kelamin, Umur (e.g. laki-laki 25 tahun)
– Kasus spesifik wanita  kehamilan
– Kasus anak-anak, dewasa, geriatri?
• Tempat pelayanan/setting (IGD, poli, puskesmas)
• Keluhan Utama
• Lama atau derajat keluhan
• Gejala penyerta dan keterangan lainnya
• Pemeriksaan fisik
• Pemeriksaan penunjang
 Kasus / vignete
Seorang pasien datang dengan keluhan
anemia. Tekanan darah 110/80mmHg,

•Apakah ada pasien mengeluh anemia?

•Apakah ada hubunganya antara anemia dengan
tekanan darah?
•Apakah ada arah yang jelas dari kasus?
•Kasus terlalu pendek, tidak lengkap
Kasus (Vignete)
• Seorang pria berusia 70 tahun datang ke
poliklinik dengan keluhan tidak mampu
mengontrol pengeluaran urine. Keluhan ini
menyebabkan pasien merasa malu
dengan kondisinya dan membatasi
aktifitas normalnya. Sebelumnya pernah
dilakukan tindakan operasi prostat
 Lead in (pertanyaan)
• Kata tanya di depan (apakah, manakah,
dll)

• Diakhiri dengan tanda tanya (?)

• Terpisah satu baris dari kasus (vignette)

agar jelas terlihat
 Contoh Pertanyaan yang
Kurang tepat
• Penyebab klien tidak bisa BAB sejak
masuk kemungkinan disebabkan oleh

• Dari kasus diatas terdapat …….. masalah

utama
 Tip !
• Vignette / kasus dianggap berfungsi jika
tanpa vignete, pertanyaan tidak berfungsi
dengan jelas

• Pertanyaan baik, terlihat bila peserta

pintar bisa menebak jawaban tanpa
melihat pilihan jawaban
 Pilihan Jawaban
• Homogen: gramatikal, semantik, panjang-
pendek.
• Hindari absolutisme: selalu, tidak pernah.
• Hindari konvergensi.
• Hindari kesamaan istilah dengan vignette.
• Hindari urutan yang tidak sistematis 
menyulitkan.
• Hindari kalimat: bukan salah satu
di atas
 Contoh pilihan kurang baik
a. Telkomsel
b. Exelcomindo
c. Satelindo
d. simPATI
Contoh pilihan yang kurang baik
a. Pernah mengalami cedera kepala
b. Adanya luka pada telinga tengah atau
penyakit telinga lainnya.
c. Sering mengalami ISPA
d. Mungkin secara hematogen
e. Benar semua
 Refleksi
• Berdasarkan diskusi …….., apakah yang
bapak ibu pikirkan dan rasakan?

• Apa yang bapak/ibu inginkan hari ini?

 D Kompetensi : Askep
Tingkat kognitif : Berpikir kritis
Area keilmuan : Medikal-bedah
Kompetensi : Diagnosa keperawatan
KUK: Mampu menentukan prioritas diagnosa kep.
Seorang wanita berusia 37 tahun di rawat di bangsal bedah, 1 hari
paska operasi histerektomy selesai jam 12 siang. Jam 3 pagi ia
memanggil perawat karena kesakitan dan tidak bisa tidur
nyenyak. Ekpresi wajah tampak menahan nyeri dan kelelahan. Nyeri
skala 6-7 di bagian abdomen. Saat diperiksa, klien takut untuk
bergerak miring kiri/kanan. Balutan operasi kering, tanda vital stabil.

Apakah masalah keperawatan utama klien di atas?

a. Gangguan pola tidur b. Nyeri sedang-berat
c. Cemas sedang-berat d. Gangguan mobilisasi
D Kompetensi : Asuhan dan manajemen keperawatan
Tingkat kognitif : berpikir kritis
Area keilmuan : KMB
Kompetensi : Memasang Kateter Urine Pria

KUK:

Saat memasang kateter urine seorang pria (44 thn).

Anamnesa status urologi tidak ada abnormalitas . Ketika
anda memasang kateter, saat selang kateter masuk ±10
cm terasa ada tahanan lunak.

Apakah reaksi pertama anda sebaiknya?

a. Menambahkan cylocain jelly diujung meatus urinarius
b. Menekan dengan keras ujung kateter hingga masuk
c. Menganjurkan klien menarik nafas dalam
d. Sedikit menegakan penis sambil memasukan kateter
• Bagaimanakah step mereview soal?
 Apa saja yang perlu ditelaah ?

• Materi :
– Relevansi dengan pekerjaan inti
– Bahasa
– Tingkat kesulitan
– Klasifikasi : sesuai blue print
 Apa saja yang perlu ditelaah ?
• Struktur :
– Stem (vennette)
– Lead in
– Option
• Kesimpulan
– Komentar umum dan saran
– Diterima/revisi/dikembalikan
 Kesimpulan Hasil Review

•Diterima tanpa perbaikan

•Diterima dengan perbaikan

•Perlu konfirmasi pembuat soal
•Tidak perlu konfirmasi (langsung edit)

•Dikembalikan kepada pembuat soal

•Berpotensi diterima dengan perbaikan

 Alasan penolakan
• Isi tidak esensial
• Isi terlalu spesialistis.
• Isi tidak realistis, terlalu teoritis

• Tidak ada vignette.

• Vignette tidak berfungsi
 Next step?
Bekerja dalam kelompok untuk mereview
soal-soal menggunakan formulir review
yang ada.
Feedbackterhadap
pembuat soal?