Panduan Umum

Review Butir Soal MCQs dengan

vignette

Jakarta, 5-6 Maret 2019

Tujuan / Objective Assessment
Standar
kompetensi
=mengukur
hal penting
yang harus
dikuasai

Kompetisi/kol
aborasi= Evaluasi
Mendorong sumatif=
semangat Penentuan
belajar kelulusan
mahasiswa
assesment

Evaluasi
Jaga mutu
formatif
= identifikasi
=identifikasi
kelemahan
kkelemahan
kurikulum
mahasiswa
dan proses
yang perlu
pendidikan
diperbaiki
Hierarki Assessment
Major Categories in the Cognitive Domain

Knowledge / Remembering (C1)  Recall

• Remembering of previously learned material, from specific facts to complete theories

Comprehension / Understanding (C2)

• Ability to grasp the meaning of material

Application / Applyin (C3)

• Ability to use learned material in new and concrete situations. Application of rules, methods,
concepts, principles, laws and theories

Analysis / Analyzing (C4)

• Ability to breakdown material into its component, that its organizational structure may be
understood
Synthesis (C5)

• Ability to put parts together to form a new whole

Evaluation (C6)

• Ability to judge the value of material for a given purpose, based on clearly defined criteria

R.L. Linn; N.E. Gronlund: Measurement and Assessment in Teaching, 7th ed 1995
MCQs Tipe 1

One best answer/1 pilihan jawaban paling benar

5 pilihan jawaban

Struktur:
Stem/Vignette,
Lead in/Pertanyaan,
Option/Pilihan jawaban
 STEM / VIGNETTE

FORMAT ISI SUMBER

• 1 paragraf • Kompetensi essential • Kasus
• 1 kalimat • Fokus pada konsep • Laporan
utama atau kasus penelitian
• Jika diperlukan penting/banyak • Laporan
dapat disertai dijumpai kegiatan
dengan • Senyata mungkin
gambar/ • Mengukur kemampuan
grafik/ilustrasi aplikasi pengetahuan
lain (tidak sekedar recall)
 STEM / VIGNETTE

Kalimat yang Akurasi data Jumlah baris

digunakan • Harus terjaga • Tidak terlalu
• Singkat, • Memuat informasi panjang
lugas, penting yang • Tidak terlalu
• padat komprehensif, pendek
• Tatabahasa • Informasi tidak • Ukurannya
benar berlebihan, mudah
• tidak menjebak dipahami
(tricky)
 Kesepakatan urutan penulisan Stem
Soal MCQs dengan Vignette
1. Jenis kelamin, dengan istilah :
 Laki-laki
 Perempuan
 Anak/bayi ditambahkan keterangan di depan jenis
kelamin
2. Usia
3. Tempat perawatan, dapat berupa :
unit gawat darurat RS, Klinik umum RS, Unit gawat
darurat Puskesmas, Klinik umum puskesmas, praktik
dokter umum, rumah pasien, luar ruangan (contoh:
lapangan/jalan raya/pantai)
Kesepakatan urutan penulisan Stem
Soal MCQs dengan Vignette

4. Anamnesis :
 Keluhan Utama dan lama keluhan (onset)
 Riwayat pasien lain yang berhubungan dengan keluhan
(Keluhan tambahan, RPS RPD, RPK, Riwayat
lingkungan dan sosial, Riwayat tumbuh kembang)
5. Temuan Pemeriksaan fisik : (keadaan umum, TV, PF lain
yang ditemukan)
6. Hasil pemeriksaan investigasi diagnostik (Pemeriksaan
penunjang laboratorium/radiologi)
7. Hasil terapi sebelumnya atau temuan lain.
 KAIDAH PENULISAN KALIMAT
PERTANYAAN (LEAD IN)

Berfungsi mengarahkan soal  Harus

mengarah ke satu jawaban yang benar
Penting untuk memilih jenis kompetensi
yang ingin diujikan
Menanyakan konsep yang penting dan
spesifik, bukan menilai kemampuan
mengingat fakta yang bersifat trivial
Lead in
Menggunakan kata tanya langsung:
APAKAH, MANAKAH, BAGAIMANAKAH, dll dan diakhiri
tanda tanya.

Kalimat lead ini harus positif, tidak boleh menggunakan

“kecuali, atau yang tidak termasuk atau yang bukan
merupakan “

Tidak boleh ada pertanyaan dalam bentuk jebakan atau

menanyakan pilihan pernyataan. Misalnya: Manakah
pernyataan yang benar?

Hindari kalimat pertanyaan yang terlalu panjang. Kalimat

tanya berbentuk pertanyaan tertutup, sehingga hanya
mengarah ke satu jawaban (kunci)

Kalimat harus lugas, langsung ke tujuan. Hindari kalimat

“berdasarkan data di atas, maka ……”
Option (Pilihan Jawaban)

1 KUNCI JAWABAN 4 DISTRACTOR

 OPTION (PILIHAN JAWABAN)

LUGAS Homogen RASIONAL

• Kalimat yang • Isi • Semua pilihan
digunakan • Panjang kalimat rasional
singkat, jelas, • Perbedaan pada
tegas ketepatan dan
kaitannya
dengan vignette
dan lead in
 KAIDAH PENULISAN OPTION
(PILIHAN JAWABAN)

 Pilihan jawaban (option) jangan terlalu

panjang, kompleks.
 Usahakan pilihan jawaban sesingkat mungkin.
 data atau informasi penting seoptimal mungkin dicantumkan pada soal
(stem)

 Bukan salah satu diatas atau semua benar

tidak dapat digunakan sebagai pilihan jawaban
(option)
 Seluruh distraktor (pengecoh= jawaban salah)
dibuat homogen (dari sisi gramatikal,
taksonomi)
KAIDAH PENULISAN OPTION
(PILIHAN JAWABAN)

 Upayakan menghindari:
 Menanyakan pertanyaan hal2 remeh seperti Berat
Molekul C/ Jumlah Molekul X pada senyawa
tertentu (TRIVIA)
 Tanpa membaca vignette, soal sudah bisa dijawab
(vignette tidak berfungsi)
 Penggunaan kata adalah/ titik-titik (…….)
/diantaranya : (tidak menggunakan kalimat tanya)
Contoh
Seorang bayi laki-laki dengan usia gestasi 29 minggu, lahir
bedah kaisar atas indikasi air ketuban sedikit, bayi lahir aktif,
BL 1200 gram, AS 9/10. Pada usia 1 jam di ruang perawatan,
bayi mengalami hipotermia 35,5°C, letargi, dan hasil
pemeriksaan serum glukosa darah 30 mg/dL. Pemeriksaan
septic work tidak mendukung ke arah diagnosis sepsis.
Bagaimana tatalaksana awal terhadap bayi tersebut?
A. Early feeding
B. Trophic feeding
C. Larutan Glukosa 200mg/kg peroral
D. Infus tak terputus (continual) Glukosa 10%
E. Larutan Glukosa 200mg/kg intravena dalam 5 menit
Referensi

Wajib
Terutama untuk kunci
mencantum
jawaban
referensi

Mengikuti kaidah
Referensi
pencantuman referensi
langsung
penulisan ilmiah
 Panduan Umum konstuksi MCQ

 Skenario (vignette) dan pertanyaan (lead in) harus

jelas, sehingga:
Bila skenario ditutup (hanya ada pertanyaan dan
option), mahasiswa/peserta TIDAK DAPAT
MENJAWAB.
Bila Pertanyaan ditutup (hanya ada skenario dan
option), mahasiswa/peserta TIDAK DAPAT
MENJAWAB.
Bila Option jawaban ditutup (hanya ada skenario
dan pertanyaan), mahasiswa/peserta DAPAT
menentukan jawabannya.
 Vignette Baik: “TUTUP OPTION”
Seorang laki-laki dibawa keluarganya ke UGD RS karena lemah
pada kedua tungkai sejak 4 hari yang lalu. Keluhan dirasakan dari
kaki kemudian ke paha diawali rasa kesemutan. Pasien mengeluh
nyeri tenggorokan dan batuk pada 10 hari yang lalu. Pada
pemeriksaan fisik diperoleh suhu 37,90C, tekanan darah 130/80
mmHg, denyut nadi 94 x/menit, frekuensi nafas 42 x/menit
dangkal. . Kelemahan simetris bilateral pada otot proksimal dan
distal. Sensoris intak. Tidak terdapat deep tendon reflexes. Respon
plantar: flexor.
Apakah diagnosis yang paling mungkin?
A. Acute disseminated encephalomyelitis
B. Guillain-Barré syndrome
C. Myasthenia gravis
D. Poliomyelitis
E. Polymyositis
 KESALAHAN STRUKTUR SOAL
“Testwiseness” adalah suatu keadaan
di mana peserta ujian dapat menjawab
suatu soal BUKAN karena PENGUASAAN
terhadap ISI MATERI yang ditanyakan
pada soal tersebut, tetapi karena
kepintarannya dalam menebak jawaban
yang benar.

“Irrelevant Difficulty” berkaitan

dengan kesulitan
yang dihadapi peserta ujian untuk
menjawab suatu
soal, bukan karena sulitnya materi
yang diujikan,
namun lebih ke arah struktur soal
tersebut
 Kesalahan yang berkaitan
dengan testwiseness

 Grammatical Cues
 Logical Cues
 Istilah yang absolut
 Jawaban benar yang panjang
 Pengulangan kata dari badan soal ke jawaban
 Konvergensi soal
Gramatical Cues:
satu/lebih pilihan tidak sesuai pertanyaan

Bukan
pemeriksaan
penunjang
Logical Cues:
sebagian pilihan telah memperlihatkan
kemungkinan jawaban yang benar

Kejahatan adalah …..

A. terjadi secara merata pada berbagai kelas sosial
B. lebih sering muncul pada golongan orang miskin
C. lebih sering muncul pada kelompok masyarakat menengah sampai
kaya.
D. pada dasarnya merupakan suatu indikasi psychosexual
maladjustment
E. mencapai keadaan toleransi yang plateau terhadap
negara
Istilah yang absolut;
menggunakan kata selalu atau tidak
pernah
Pengulangan kata:
jawaban mengandung kata yang diulang
dari badan soal
Konvergensi Soal:
Jawaban yang benar mengandung
komponen yang paling sering muncul pada
pilihan yang lain (distractor)
 Kesalahan yang berkaitan
dengan Irrelevant Difficulty

 Pilihan jawaban yang panjang, kompleks, atau duplikasi

 Pilihan yang berupa angka tidak diurut sesuai dengan besarnya
 Pilihan yang mengandung unsur frekuensi suatu kejadian bersifat
multi interpretasi
 Pilihan jawaban tidak parallel dan urutan tidak logis
 Penggunaan BSSD (bukan salah satu diatas) pada pilihan jawaban
 Badan soal terlalu panjang, sulit, dan kompleks
Pilihan jawaban, panjang dan
kompleks
Pilihan berupa angka tidak diurut
sesuai dengan besarnya
Pilihan yang mengandung unsur
frekuensi suatu kejadian bersifat multi
interpretasi
Pilihan jawaban tidak paralel dan
urutan tidak logis
Penggunaan BSSD pada pilihan
jawaban
Pada soal terlalu panjang, sulit dan
kompleks
 Soal mengukur C1 (recall), tanpa
vignette

Gambaran apakah yang dapat ditemukan pada morfologi sel

darah merah pada defisiensi eritropoetin?
A.Normocytic normochromic
B.Microcytic normochromic Mengukur C1 (recall)
Tidak ada
C.Macrocytic normochromic skenario/vignette
D.Microcytic hypochromic Option: ada pilihan
bukan salah satu di
E.Bukan salah satu diatas atas
REVIEW BUTIR SOAL
 Langkah – langkah
Review Soal
Membaca cepat & menentukan apakah sesuai dengan SKDI (lihat lampiran 3 : daftar penyakit)

Tidak sesuai
sesuai

Tidak relevan
Prioritaskan pada 3A, 3B, 4A

ditolak / dikembalikan ke
pembuat soal

-Evaluasi butir soal secara umum dan spesifik

-Perbaikan redaksional (vignette, pertanyaan, dan option) Jika terlalu banyak yang
-Jika memerlukan perbaikan konten, dilakukan semampunya perlu diperbaiki

-Melengkapi ID soal, tinjauan 1 – 7, kunci jawaban, penulis soal, departemen, asal institusi, referensi
 Evaluasi butir soal
secara umum

 Apakah tata bahasa, penulisan dan ejaan sudah benar?

 Apakah kosa kata yang tidak perlu dan sulit dipahami sudah
dihindari?
 Apakah menggunakan kalimat‐kalimat yang ringkas, berisi dan
mudah dipahami?
 Apakah pilihan jawaban dan distraktor sudah homogen?
Evaluasi butir soal
secara spesifik
 Evaluasi stem/vignette

Apakah vignette:
1. mengandung materi yang tidak relevan?
2. berisi informasi/data yang memungkinkan mahasiswa
yang kompeten mampu menjawab dengan benar?
3. merepresentasikan keadaan yang mungkin terjadi di
konteks nyata?
4. memfokuskan prinsip atau konsep penting/esensial yang
perlu dimengerti oleh mahasiswa, bukan hanya soal
hafalan?
5. bisa dijawab oleh mahasiswa yang kompeten tanpa
melihat jawaban yang tersedia?
6. tidak menjebak dan juga tidak terlalu rumit?
Evaluasi Lead in

1. Apakah dibuat dengan kalimat tanya?

2. Apakah telah dihindari menanyakan

tentang
opini?

3. Apakah pertanyaan berhubungan dengan

stem?

4. Apakah telah dihindari penggunaan kata

“kecuali”?
 Evaluasi Option / Pilihan
Jawaban

Apakah seluruh pilihan jawaban dan

distraktor sudah homogen (dari sisi
gramatikal, taksonomi)?
Apakah pilihan jawaban sudah sesingkat
mungkin?
Apakah pilihan jawaban ada pilihan
“Bukan salah satu diatas” atau “semua
benar”