Uji Coba Ketiga

OSCE UKDI
Komite Bersama Uji Kompetensi
Dokter Indonesia
HPEQ Project Komponen 2
24-25 Februari 2012
 Uji Coba Pertama
OSCE UKDI
22-24 Juli 2011
Tujuan
1. Melakukan uji coba formatOSCE UKDI
mulai H-1 sampai H
 Uji Coba Kedua
OSCE UKDI
14 -15 Oktober 2011
Tujuan:
Apakah soal yang direview dapat mendrive proses
persiapan dan pelaksanaan yang baik

Fokus Evaluasi:
Perangkat soal
4
 Peserta TO II OSCE UKDI
CENTER JUMLAH PESERTA
USU 11
UNAND 14
UI 14
YARSI 12
UKM 10
UNPAD 14
UNDIP 14
UGM 14
UB 14
UNAIR 13
UNUD 14
UNHAS 13
TOTAL PESERTA 157
 Reproductive

Hematology/

Head & Neck

Endocrin e &
Gastrointesti

Gnitourinary
Musculoscele
Respiratory

nal system
behaviour

Metabolic

Oncology

Phsyciatry
tal system
Minimal

Sensory
system

system

system

Special
Neuro-
CVS
Kategori Kompetensi

Hiper Baby Fraktur

Kasus TBC Stroke Diare DM Anemia BPH OMA Katarak Depre
tensi Delivery Tibia

1. Anamnesis 4 V V V V V V V

2. Pemeriksaan Fisik 4 V V V V V V V V

3. Melakukan
tes/prosedur klinik
atau interpretasi
data untuk 3 V V V V V V V
menunjang
diagnosis
banding/diagnosis

4. Menentukan V V V V
V V V
diagnosis atau 3 V V V V
diagnosis banding

5. Penatalaksanaan: V V V
3 V V V V V V
a. Non Farmakoterapi

b. Farmakoterapi 3 V V V V V V V

6. Komunikasi & V V V V V V
7 V V V
Pendidikan Pasien
6
V V V V V V V
7. Perilaku Profesional 12 V V V V V
 Uji Coba Ketiga
OSCE UKDI
24 -25 Februari 2012

7
 Tujuan:
• Evaluasi Perangkat Soal
• Evaluasi Kinerja Penguji
• Evaluasi Kinerja PS
• Evaluasi Kinerja IT

8
 Lokasi TO III OSCE UKDI
No CENTER No CENTER

1 USU 13 UNSYIAH
2 UNAND 14 UNSRI
3 UI 15 UAJ
4 YARSI 16 UKI
5 UKM 17 USAKTI
6 UNPAD 18 UKRIDA
7 UNDIP 19 UPN
8 UGM 20 UNILA
9 UB 21 UNMUL
10 UNAIR 22 UMY
11 UNUD 23 UII
12 UNHAS 24 UNRAM
25 UNSRAT
• 12 soal OSCE-12 station
• 9 station dgn pasien standar
• 15 menit tiap station:
Sekitar 1 menit untuk membaca soal
Sekitar 1 menit untuk perpindahan
Sekitar 12-13 menit waktu efektif
• 2 station istirahat
Antara station 6 dan 7
Antara station 12 dan 1
• Rehat penguji dan PS setelah station ke-4
selama 8 menit (ada musik).
• Saat Rehat peserta duduk di station
berikutnya
• Peserta diijinkan ke toilet saat di berada di
station istirahat, dengan ditemani petugas

11
• Pasien Standar (PS):
Skenario diberikan H-1; pelatihan dilakukan
H-1
• Peserta Ujian:
Sebagian yang ikut CBT;
Sebagian dokter muda yang telah menyelesaikan
3 rotasi
• Peralatan:
Diberikan ke KOC saat H-10; di set H-1

12
 Evaluasi
Perangkat Soal
 Invited Item Writers
Dokter Spesialis

Invited Item Reviewers

Dokter Spesialis + Praktek Umum

Technical editing
OSCE Team

14
BRIEFING

N = 242
KECUKUPAN WAKTU (Penguji)
N = 243 N = 244
KECUKUPAN WAKTU (Peserta)

N = 344 N = 341
KESESUAIAN SKDI (Penguji)
N = 240 N = 240
KESESUAIAN SKDI (Peserta)
N = 335 N = 341
Kejelasan instruksi peserta (Penguji)
N = 243 N = 244 N = 241 N = 237 N = 236
Kejelasan instruksi peserta (Peserta)
N = 343 N = 343 N = 339 N = 340

N = 338
Kejelasan instruksi penguji
N = 241 N = 241 N = 241 N = 244 N = 241
ALAT DAN MANIKIN
N = 239 N = 234 N = 234 N = 235
TIMER

N = 241
COMPUTER BASED SCORING

N = 242
N = 243 N = 242
N = 240
N = 242
PETUGAS

N = 243
KELANCARAN

N = 242
Penguji tidak melakukan kegiatan lain

N = 338
WAKTU ISTIRAHAT PESERTA CUKUP

N = 343
FASILITAS PENDUKUNG DI LOKASI UJIAN

N = 341 N = 340 N = 341

 Evaluasi
Kinerja PS
 PERBANDINGAN SKOR PS
DINILAI OLEH PELATIH DAN
PENGUJI

N Mean SD

Penguji 160 7,64 1,389

Pelatih 218 8,13 0,789

Pengalaman PS - Kinerja
Pengalaman PS Skor Kinerja

≤ 5 tahun 7,58

6-10 tahun 8,13

> 10 tahun 7,73

p = 0,337
Variasi Kasus - Kinerja
Variasi Kasus Skor Kinerja

≤ 5 kasus 7,55

6-10 kasus 8,14

> 10 kasus 7,65

p = 0,168
Latar Belakang PS - Kinerja
Latar Belakang Skor Kinerja
Seni Peran

Teater/ Akting 7,95

Umum 7,50

p = 0,55
Tingkat Pendidikan PS - Kinerja
Tingkat Pendidikan Skor Kinerja

SD 7,33

SMP 8

SMA 7,55

S1 8,07

p = 0,408
 Usia PS - Kinerja
Usia PS Skor Kinerja

≤ 30 tahun 7,72

30-40 tahun 7,44

> 40 tahun 7,71

p = 0,509
 Evaluasi
Kinerja Penguji
 Spesialisasi Sesuai Kasus VS Spesialisasi Lain
OSCE Station Latar Belakang Latar Belakang Koefisien
Center Penguji 1 Penguji 2 Alpha

USU Station 1 Anestesi Spesialisasi lain 0,92

UNAND Station 2 Penyakit Dalam Spesialisasi lain 0,73
UKM Station 3 Saraf Spesialisasi lain 0,66
YARSI Station 4 Penyakit Dalam Spesialisasi lain 0,82
UNPAD Station 5 Obsgyn Spesialisasi lain 0,91
UI Station 6 Bedah Spesialisasi lain 0,51
UGM Station 7 Penyakit Dalam Spesialisasi lain 0,95
UNDIP Station 8 Kesehatan Anak Spesialisasi lain 0,96
UNAIR Station 9 Penyakit Dalam Spesialisasi lain 0,92
UB Station 10 THT Spesialisasi lain 0,97
UNUD Station 11 DV Spesialisasi lain 0,83
UNHAS Station 12 Jiwa Spesialisasi lain 0,68

39
 Spesialisasi Sesuai Kasus VS
Dokter Praktek Umum
OSCE Station Latar Belakang Latar Belakang Koefisien
Center Penguji 1 Penguji 2 Alpha
UNSYIAH Station 1 Anestesi Dokter Praktek Umum 0,49
Station 2 Penyakit Dokter Praktek Umum 0,62
UNMUL Dalam/Paru
UAJ Station 3 Saraf Dokter Praktek Umum 0,73
UMY Station 4 Penyakit Dalam Dokter Praktek Umum 0,72
USAKTI Station 5 Obsgyn Dokter Praktek Umum 0,76
UKRIDA Station 6 Bedah Dokter Praktek Umum 0,63
UNRAM Station 7 Penyakit Dalam Dokter Praktek Umum 0,91
UNILA Station 8 Kesehatan Anak Dokter Praktek Umum 0,42
UNSRI Station 9 Penyakit Dalam Dokter Praktek Umum 0,64
UII Station 11 DV Dokter Praktek Umum 0,88
UPN Station 12 Jiwa Dokter Praktek Umum 0,72
UNSRAT Station 1 Jantung Dokter Praktek Umum 0,79

40
Evaluasi
Kinerja IT
 Persiapan CBS
• Trial dilakukan pada hari rabu, 22 Feb 2012
• Problem:
– Jaringan overload untuk menangani 25 Institusi

• Problem Solving:
– Merouting ulang jaringan menuju ke server OSCE
– Menambah alokasi bandwidth ke server
 Problem saat Tryout
• Problem
– Ketika menekan tombol beri nilai, form penilaian muncul berupa 1
halaman web, bukan berupa pop-up. Oleh karena itu, penguji tidak
dapat kembali ke lembar penilaian dan harus logout terlebih dahulu.
Hal ini cukup mengganggu bagi penguji dalam memberikan penilaian,
sehingga penilaian memakai kertas.:
• Analisa masalah
– Perbedaan konfigurasi server yang mengakibatkan beberapa fungsi
pada program tidak berjalan dengan baik
 Roadmap
• Uji coba pertama Juli 2011(1 institusi):
Ujud pelaksanaan OSCE
• Uji coba kedua Oktober 2011 (12 institusi):
+ Apakah soal yang direview dapat mendrive
proses persiapan dan pelaksanaan
• Uji coba ketiga Januari 2012 (18-24 institusi):
+ Performance penguji dan SP + IT
 Roadmap
• Uji coba keempat 28 April 2012 (36 institusi)
+ standard setting
• Uji coba kelima 8 September 2012 (48 institusi)
+ Retaker
• Uji coba keenam 3 November 2012 (60 institusi)
+ General
Unsyiah

46
UNSRI

47
UKI

48
USAKTI

49
UII

50
UNRAM

51