§ Validitas (Validity)

§ Reliabilitas (Reliability)
§ Dampak pendidikan terhadap mahasiswa
(Educational impact)
§ Keterlaksanaan (Feasibility)
§ Penerimaan (Acceptability)
§ Mengukur/menilai materi yang harus
diukur/dinilai
 Does
Professional authenticity
Shows how

Knows how

Knows
Miller GE. The assessment of clinical skills/competence/performance.
Academic Medicine (Supplement) 1990; 65: S63-S7.
 Performance assessment in vivo:
Does
Does Mini CEX, DOPS, MSF, OSLER...
Performance assessment in vitro:
Shows how
Shows how OSCE …
(Clinical/task) Context based
Knows
Knows how tests: MCQ, essay, oral, CBD…

Knows
Knows Factual tests:
MCQ, essay type, oral…
§ Konsistensi penilaian diantara penilai/penguji,
pertanyaan, kasus
 Examiners
1 2 3 4 5 ……

2
Cases/Items
3

4
L
5
.

J
.
 Examiners
1 2 3 4 5 ……

2
J
Cases/Items
3

5
.
.

L
 Examiners
1 2 3 4 5 ……

2
Cases/Items
3

4
J
5
.

J
.
§ Dampak terhadap pembelajaran mahasiswa
ú Mengetahui kekuatan dan kelemahan
ú Peningkatan kemampuan
ú Motivasi belajar mandiri (self directed learning)
 • Apakah saya memiliki informasi yang
“Diagnostic” cukup untuk menggambarkan pencapaian
kompetensi seorang mahasiswa?

• Kegiatan pengajaran yang paling sesuai

‘Therapeutic’ manakah yang harus dilakukan kepada
mahasiswa berdasarkan hasil penilaian?

• Apakah mahasiswa ini berada di arah yang

‘Prognostic’ tepat untuk menjadi dokter yang
kompeten?
§ Kemungkinan dilaksanakan
ú Biaya (cost)
ú Sumber daya manusia (human resource)
ú Fasilitas (physical resources)
§ Dapat diterima oleh pemangku kepentingan
§ Organisasi akreditasi/berwenang
§ Staff
§ Mahasiswa
§ Pengurus institusi pendidikan
§ Terprogram (Programatic assessment)
ú Berkelanjutan
ú Menggunakan banyak metode
ú Nilai akhir didasarkan pada nilai kumulatif seluruh
metode penilaian yang digunakan
ú Mengambil banyak sample performa mahasiswa
ú Penilaian para ahli
ú Berkesinambungan dengan pembelajaran
ú Hasil penilaian digunakan untuk pembelajaran dan
feedback (assessment for learning)
 •Bedside •Bedside •Bedside
teaching, teaching, teaching,

Bimbingan Klinik DPK

Bimbingan Klinik DPK

Ujian Minggu Terakhir

Kegiatan Laporan pagi, Kegiatan Laporan pagi, Kegiatan Laporan pagi,
Mengajar Bimbingan Mengajar Bimbingan Mengajar Bimbingan
Koass, skills Koass, skills Koass, skills
lab lab lab

•Cased based, •Cased based, •Cased based,

Kegiatan DOPS, Mini Kegiatan DOPS, Mini Kegiatan DOPS, Mini
Penilaian Penilaian Penilaian
CEX, MSF CEX, MSF CEX, MSF

•Dosen •Dosen •Dosen

Kegiatan Pembimbing Kegiatan Pembimbing Kegiatan Pembimbing
Pendukung Pendukung Pendukung
Klinik Klinik Klinik

Bagian A
§ Mengutamakan tingkatan “does”
§ Memperbanyak observasi
§ Case Based Discussion (CBD)
§ Objective Structured Long Examination Record
(OSLER)
§ Mini-Clinical Evaluation Exercise (Mini-CEX)
§ Direct Observation of Procedural Skills (DOPS)
§ Multi Sources Feedback (MSF)
§ Portfolio
§ Menilai kemampuan penalaran klinis
(clinical reasoning) peserta didik, sehingga
dapat memahami dasar/alasan dibalik
sebuah keputusan pada praktek klinik
§ Berdasarkan kasus
§ Medical record keeping
§ Clinical assessment
§ Investigation and referral of the patient
§ Treatment
§ Follow-up and future planning
§ Professionalism
§ Overall clinical judgement
§ Penulisan rekam Kriteria:
medis Dapat terbaca;
ditandatangani; tertulis
tanggal; sesuai masalah;
dapat dipahami dan
runut dengan masalah
pasien; membantu
dokter berikutnya untuk
memberikan pelayanan
yang sesuai dan efektif
§ Penegakan Kriteria:
diagnosis
Mampu menguasai
perjalanan penyakit
pasien, membuat
diagnosis sesuai
dengan anamnesis
dan hasil
pemeriksaan fisik
yang tepat.
§ Penilai memilih 1-2 kasus yang dikelola
peserta didik
§ Pelaksanaan + 20-30 menit (termasuk 5
menit feedback)
§ Dinilai beberapa kali
 Diskusi/
Presentasi Feedback
Tanya Jawab
 Dibawah Sesuai Di atas
Kompetensi yang dinilai Borderline Superior
Harapan Harapan harapan
1. Penulisan rekam medis
2. Penegakan diagnosis
3. Usulan Pemeriksaan Penunjang
4. Penatalaksanaan
5. Follow up dan Rencana Tindak
Lanjut
6. Profesionalisme
7. Kemampuan Klinik secara
Keseluruhan
 Yang sudah baik Yang masih harus diperbaiki

Rencana tindak lanjut:

§ Menilai kemampuan klinik peserta dalam
menghadapi kasus tertentu secara
komprehensif.
§ Meningkatkan obyektifitas, validitas dan
reliabilitas ujian kasus.
§ Terdiri dari 10 butir penilaian
§ Semua peserta didik dinilai memakai butir
penilaian yang sama
§ Observasi interaksi pasien
§ Pemahaman Kasus
§ Tingkat kesulitan kasus dipertimbangkan
§ Semua peserta dinilai pada waktu tertentu
oleh beberapa penguji berkenaan 10 butir
penilaian
§ Penilaian:
ú 4 butir anamnesis
ú 3 butir pemeriksaan fisik
ú 3 lain-lain
§ 4 butir anamnesis:
ú kecepatan dan kejelasan berbicara
ú proses keterampilan komunikasi
ú pendekatan sistematik
ú penegakan fakta kasus
§ 3 butir pemeriksaan fisik:
ú pendekatan sistematik
ú teknik pemeriksaan
ú penegakan temuan fisik yang tepat
§ 3 butir sisanya:
ú perencanaan pemeriksaan lanjutan yang rasional
ú penatalaksanaan tepat
ú kecermatan klinik
§ Kecermatan klinik:
ú dinilai berdasarkan 9 butir sebelumnya
ú dilandasi pada kemampuan keseluruhan peserta
dalam identifikasi masalah dan kemampuan
menyelesaikan masalah
§ Penilaian untuk masing-masing butir:
ú L+ (sangat baik/istimewa),
ú L (lulus)
ú L- (tidak lulus)
§ Diikuti dengan nilai keseluruhan kemampuan
§ Peserta dinilai berdasarkan criteria tertentu
§ Penguji memberikan nilai yang sesuai
§ Jika lebih dari 1 penguji, membuat
kesepakatan dengan penguji lainnya
§ Penilaian ini sebaiknya disertai feedback
untuk kepentingan perbaikan selanjutnya
 Dibawah Sesuai Di atas
Kompetensi yang dinilai Borderline Superior
Harapan Harapan harapan

ANAMNESIS
Kejelasan/alur
Proses Komunikasi dengan Pasien
Sistematika
Penggalian Fakta Penting
PEMERIKSAAN FISIK
Sistematika
Teknik
Penemuan Fakta Penting
Perencanaan pemeriksaan
lanjutan yang rasional
Penatalaksanaan yang tepat
Kecermatan Klinik
 Yang sudah baik Yang masih harus diperbaiki

Rencana tindak lanjut:

§ Rating Scale
§ Menilai performance peserta didik
§ Menggunakan pasien sesungguhnya
§ Diawasi (observasi) langsung
§ Feedback segera setelah penilaian
§ Banyak kasus, banyak penguji, banyak tempat
§ Bagian integral dari kegiatan rutin sehari-hari
yang dilakukan oleh peserta didik
§ Berinteraksi berbagai macam kasus
§ Lebih objektif
§ Umpan balik yang konstruktif
§ Mendapatkan tantangan klinik yang lengkap
dan realistik
§ Fleksibel dalam tempat dan waktu
§ Waktu yang singkat (15-20 menit)
1. Anamnesis
2. Pemeriksaan Fisik
3. Keterampilan Komunikasi
4. Keputusan Klinis
5. Profesionalisme
6. Pengorganisasian/Efisiensi
7. Penanganan Pasien secara keseluruhan
§ Bangsal
§ Poliklinik
§ UGD
§ Puskesmas
§ Komunitas
§ dll
 Penilai Peserta Didik

• Menilai kesiapan • Meminta Penilaian

mahasiswa dan target • Dinilai beberapa kali
• Memilih pasien sesuai ketentuan
• Meminta izin pada pasien • Mengumpulkan dan
• Mengobservasi menjaga lembar
• Melengkapi lembar penilaian
penilaian • Mendapatkan feedback
• Memberikan feedback • Menduskusikan rencana
• Mendiskusikan rencana perbaikan
perbaikan
1. Anamnesis
ú Kemampuan memfasilitasi pasien untuk
menceritakan kesakitannya.
ú Menggunakan pertanyaan-pertanyaan yang
sesuai untuk mendapatkan informasi yang akurat
dan adekuat.
ú Memberikan respon yang sesuai terhadap insyarat
pasien baik yang verbal maupun non verbal.
2. Pemeriksaan Fisik
ú Menggunakan urutan yang logis dan efisien.
ú Pemeriksaan yang dilakukan sesuai dengan
masalah klinis pasien dan memberikan penjelasan
ke pasien.
ú Tanggap terhadap kenyamanan pasien.
 Pelaksanaan Pemberian
Persiapan
Penilaian Feedback
§ Persiapkan peserta didik
ú Tingkat kesiapan peserta didik?
§ Tetapkan dan sepakati aspek penilaian
ú Satu , beberapa atau seluruh komponen penilaian?
§ Persiapkan pasien
ú Pasien yang tepat?
§ Peserta didik mengelola pasien sesuai target
penilaian seperti kegiatan sehari-hari
§ Penilai mengamati dengan sungguh-sungguh
interaksi antara peserta dan pasien
§ Penilai mencatat kelebihan dan aspek-aspek
yang harus ditingkatkan oleh peserta
§ Peserta didik melakukan refleksi
§ Penilai menyampaikan kelebihan dan aspek-
aspek yang harus ditingkatkan oleh peserta
§ Penilai menyampaikan hasil penilaian
§ Penilai dan peserta didik merencanakan
kegiatan untuk perbaikan
 Dibawah Sesuai Di atas
Kompetensi yang dinilai Borderline Superior
Harapan Harapan harapan

1. Anamnesis
2. Pemeriksaan Fisik
3. Keputusan Klinis (Diagnosis)
4. Manajemen Pasien
5. Komunikasi dan Konsultasi
6. Professionalisme
7. Organisasi/Efisiensi
8. Penanganan Pasien
Keseluruhan
 Yang sudah baik Yang masih harus diperbaiki

Rencana tindak lanjut:

Longitudinal Evaluation of Performance (LEP)
1. Examination & Consultation skills
2. Clinical Judgment & Diagnosis,
3. Technical Ability & Manual Dexterity,
4. Communication skills,
5. Professionalism,
6. Knowledge and Organization
7. Overall clinical competencies
§ Metode penilaian yang difokuskan untuk
menilai keterampilan prosedural (procedural
skills) mahasiswa dengan cara mengobservasi
mereka saat berinteraksi dengan pasien di
klinik
§ Berdasarkan pasien
§ Berdasarkan observasi
§ Peserta mendapatkan feedback
§ Khusus keterampilan prosedural (procedural
skills)
1. Menunjukan pemahaman indikasi, anatomi terkait, dan
teknik prosedur
2. Mendapatkan informed consent
3. Prosedur persiapan sebelum tindakan
4. Analgesia dan anastesi
5. Kemampuan teknis
6. Teknik aseptik
7. Meminta bantuan bila kesulitan
8. Manajemen pasca tindakan
9. Keterampilan komunikasi
10. Profesionalisme penanganan pasien
11. Kemampuan umum untuk tindakan secara keseluruhan
§ Performa mahasiswa dinilai dengan
menggunakan skala penilaian:
ú dibawah tingkat kompetensi yang diharapkan
ú tingkat kompetensi sedang (borderline level)
ú sesuai tingkat kompetensi yang diharapkan
ú diatas tingkat kompetensi yang diharapkan
§ Rating scale
§ Kompetensi keterampilan prosedural:
ú Endotracheal intubation
ú Nasogastric tube insertion
ú Administration of intravenous medication
ú Venepuncture
ú Peripheral venous cannulation
ú Arterial blood sampling
§ Dinilai beberapa kali
§ Oleh beberapa dosen
§ Dilakukan dibeberapa tempat pelayanan
selama rotasi klinik
 Interaksi
• Sebelum Pasien • Memberikan
Interaksi • Menyiapkan Feedback
• Menyiapkan Pasien
Mahasiswa • Menilai
Mahasiswa
Persiapan Feedback
 Dibawah Sesuai Di atas
Kompetensi yang dinilai Borderline Superior
Harapan Harapan harapan

Menunjukan pemahaman indikasi,

anatomi terkait, dan teknik
prosedur
Mendapatkan informed consent
Prosedur persiapan sebelum
tindakan
Analgesia dan anastesi
Kemampuan teknis
Teknik aseptik
Meminta bantuan bila kesulitan
Manajemen pasca tindakan
Keterampilan komunikasi
Profesionalisme penanganan
pasien
Kemampuan umum untuk tindakan
 Yang sudah baik Yang masih harus diperbaiki

Rencana tindak lanjut:

§ Nama lain: 360-degree assessment
§ Penilaian sistematis dari berbagai pihak
terhadap performa peserta didik
§ Berdasarkan observasi langsung dalam
kegiatan sehari-hari (rutin)
§ Menggunakan kuesioner terstruktur
§ Good clinical care
§ Maintaining good clinical practice
§ Teaching and training
§ Relationships with patients
§ Working with colleagues
§ Overall assessment
 Pembimbing

Peer
Pasien
(Kolega)

Pesert Tenaga
Diri sendiri kesehatan
a didik lain
Diri sendiri
Peer
Pembimbing
Pasien
§ Pengumpulan data kinerja mahasiswa
§ Memberikan gambaran kemajuan atau
pencapaian kompetensi mahasiswa
§ Memberikan gambaran upaya mahasiswa
 Bagaimana
Mengetahui
Komponen
Kompetensi ini
Tercapai?
P
O Performance assessment in vivo:
Does
Does Mini CEX, DOPS, OSLER, MSF, …
R
T
Shows Performance assessment in vitro:
F
Shows how OSCE …
how
O (Clinical/task) Context based
Knows how
Knows how
L tests: MCQ, essay type,
I oral…..
Knows
Knows Factual tests:
O MCQ, essay type, oral…..
§ Isi portfolio
§ Panduan mendapatkan isi portfolio
§ Kriteria untuk menilai portfolio
§ Bukti refleksi diri
 Logbook
Overviews
Monitoring

Ideal portfolio

Assessment Mentoring
Materials Reflections

Assessment portfolio Learning portfolio

1. Daftar kompetensi yang ditetapkan
2. Bukti terpilih yang menunjukkan
perkembangan atau pencapaian
kompetensi
3. Refleksi tentang gap antara kompetensi
yang harus dicapai dan kemampuan saat
ini
4. Rencana aksi untuk mengatasi gap
5. Bukti pelaksanaan rencana aksi
1. Terstruktur (mis: mengumpulkan 4
penilaian MiniCEx terbaik)
2. Bebas
 Hasil Evaluasi
1. Formal (nilai ujian, sertifkat)
2. Terstandar (feedback, kuesioner, tes)
3. Tidak terstandar (referensi, email, surat)

Impresi
Gambar, video

Produk
Manuskrip, penugasan, website, blog, poster

Meta-material
Log-book
 Area
Competency

1. Patient care
2. Medical knowledge
3. Practice based learning & improvement
4. Interpersonal & communication skills
5. Professionalism
6. System – based practise
 Area Evidences
Compe Reflection Interview
tency Type Criteria Number

1. Patient MiniCEX 6x
care results Growth and Student vs
achievement Supervisor

CbD Validated by 2x Gap Feedback

supervisor
Long 2x Plan of action Agreement of
Case for next cycle plan

DOPs 3x
uProses Pembimbingan
u Struktur Jelas
u Pengalaman dan Bukti Relevan
u Assessment
 Prosentase
Domain/Level Metode
No Kompetensi Klinik penilaian
Kompetensi Penilaian
(%)
1 Psychomotor

2 Cognitive
4 Attitude
 • Mini CEX
• DOPS
• Professional Behavior (Kondite)
Does
Does • OSLER
• OSCE
Shows
Shows how
how
• CBD
Knows how
Knows how • Ujian Tulis
• Ujian Lisan
Knows
Knows
 Ujian Akhir:
Tulis
Case Base Professional
CEC Mini-CEX DOPS Lisan
Discussion Behavior
OSCE
OSLER

Syarat
…% …% …% …% Lulus
…%
 • Bedside teaching, • Bedside teaching,
Kegiatan Kegiatan Pembekalan, Laporan
Pembelajaran Pembekalan, Laporan Pembelajaran
pagi, Bimbingan Koass pagi, Bimbingan Koass

Ujian Akhir

Ujian Akhir
Kegiatan Kegiatan
Penilaian • CBD, Mini CEX, DOPS Penilaian • CBD, Mini CEX, DOPS

Kegiatan Kegiatan
Pendampingan • Mentorship Pendampingan • Mentorship

Bagian 1 Bagian 2
§ Holistic approach?
§ Standar Universitas?
ú A=
ú B=
ú C=
ú D=
ú E=
§ Standar Lulus?
§ CBD = … X presentase = …
§ Mini CEX = … X presentase = …
§ DOPS = … X presentase = …
§ OSLER = … X presentase = …
§ Ujian Akhir = … X presentase = ...
_________________________________ +
Nilai Akhir =…
yoyosuhoyo.academia.edu
IG:@yoyosuhoyo