Mini CEX versus Direct Observation Procedural Skills:
Telaah Lima Aspek Psikometri
Indah P. Kiay Demak) Medical Education Unit, Fakultas Kedokteran dan Ilmu Kesehatan Univesitas Tadulako
ABSTRACT The changing curriculum into competence-based is a new challenge to medical education experts. Clinical competence can be assessed by many methods including Mini CEX and DOPS (Direct Observation Procedural skills). Both methods have been applied in all medical institutions in Indonesia to assessed clinical skills for medical students and medical residents. Every assessment method must have five psychometric aspects, including validity, reliability, educational impacts, acceptability, and feasibility. Those aspects are called sound assessment. This is a literature study concerning the five psychometric aspects of Mini CEX and DOPS.
Key
word:
mini CEX-DOPS-aspek psikometri-validitas-reliabilitasakseptabilitas, educational impact-feasibility
PENDAHULUAN Seiring
dengan
perkembangan
kurikulum
pendidikan
kedokteran,
berbagai inovasi dalam teknik pengajaran dan penilaian harus mengikuti.
Seorang calon dokter harus memenuhi kompetensi klinis sesuai standar agar dapat dipersiapkan menghadapi masyarakat. Terdapat beberapa metode untuk menilai kompetensi klinis, diantaranya yaitu mini CEX dan DOPS (Direct observation procedural skills). Kedua metode tersebut telah bertahun-tahun dipakai untuk menilai ketrampilan klinis pada mahasiswa di rumah sakit. Persamaan dari kedua metode tersebut bahwa keduanya melibatkan pasien sungguhan dan asesor. Mahasiswa yang diuji harus telah menguasai teknikteknik pemeriksaan yang akan dinilai oleh asesor. Setiap metode assessment penting untuk dievaluasi. Evaluasi dilakukan dengan mengukur keenam aspek psikometri metode tersebut. Aspek-aspek psikometri adalah validitas, reliabilitas, efek dalam pembelajaran (educational impact), akseptabilitas, dan kelayakan (feasibility). Pada kebanyakan literatur, evaluasi dari metode assessment hanya dinilai berdasarkan aspek validitas dan reliabilitas. Menurut Van der vleuten kelima aspek tersebut merupakan satu kesatuan yang disebut utility index. Mengevaluasi suatu metode assessment harus mengandung keseluruhan aspek tersebut. Akan tidak sempurna bila cuma
221
beberapa aspek yang dinilai bagus, tapi aspek lainnya tidak. Misalnya suatu metode mempunyai validitas dan realibilitas tinggi, akan tetapi sulit diterima oleh khalayak yang akan melaksanakan metode tersebut. MINI CEX Mini-CEX (mini clinical evaluation exercise) merupakan salah satu jenis assessment yang digunakan untuk mengukur kompetensi klinis mahasiswa pendidikan profesi dokter atau pendidikan spesialis saat rotasi klinik di rumah sakit. Selain menilai ketrampilan klinis mahasiswa, metode ini juga disertai pemberian feedback oleh penguji di akhir sesi. Mini-CEX merupakan modifikasi dari traditional bedside oral examination pada awalnya, yang dalam perkembangannya mengalami banyak tantangan sehingga berubah menjadi CEX pada awal tahun 1990an. Beberapa penelitian tahun 1980 sampai 1990an menunjukkan bahwa hasil CEX belum bisa digeneralisasi karena hanya mengobservasi mahasiswa pada satu kasus yang tidak dapat mewakilkan keanekaragaman kasus yang harus dikuasai. Sehingga diciptakanlah mini-CEX sebagai jawaban dari permasalahan CEX. Penilaian mini-CEX dengan cara penguji menyaksikan mahasiswa mempraktekkan pemeriksaan ke pasien secara langsung. Kemudian penguji memberikan nilai sesuai dengan ceklis yang terstruktur. Interaksi mahasiswa dan pasien berlangsung sekitar 15 menit. Penguji adalah seorang dokter yang ahli sesuai dengan kasus si pasien. Pasien yang digunakan telah diberitahu sebelumnya bahwa akan berpartisipasi dalam sesi mini-CEX. Seting mini-CEX bisa pada bangsal, poliklinik, puskesmas, ruang gawat darurat, dan pada pasien ambulatori. Mini-CEX dilaksanakan setiap akhir rotasi suatu bagian. Dikatakan oleh Norcini, untuk mencapai kompetensi, setiap mahasiswa paling tidak melaksanakan mini-CEX sebanyak 6 kali dalam 1 tahun dengan berbagai macam kasus dan penguji yang berbeda.
Terdapat 7 karakteristik yang dinilai oleh penguji saat pelaksanaan mini-CEX,
yaitu
anamnesis,
pemeriksaan
fisik,
profesionalisme,
keputusan
klinis,
ketrampilan komunikasi/konseling, organisasi dan efisiensi, dan penilaian klinis
secara keseluruhan. Penilaian performans mahasiswa dalam rentang 9 skala; skala 1-3 berarti unsatisfactory, skala 4-6 satisfactory, dan skala 7-9 artinya
222
superior. Nilai 4 merupakan nilai batas rendah yang harus didapatkan mahasiswa jika ingin lulus. Setelah penguji memberikan nilai kepada mahasiswa, penguji juga harus memberikan feedback tentang prosedur yang dilakukan mahasiswa, apakah sudah cukup bagus atau masih memerlukan perbaikan. Feedback tersebut dirasakan banyak manfaatnya oleh mahasiswa. Feedback yang diberikan segera setelah pelaksanaan mini-CEX membuat mahasiswa bisa langsung mengetahui ketrampilan mana yang kurang dan yang mana yang sudah cukup, sehingga masih bisa memperbaikinya selama proses rotasi klinik berlangsung. DOPS (DIRECT OBSERVATION PROCEDURAL SKILLS) DOPS merupakan suatu metode assessment yang dirancang khusus untuk menilai ketrampilan prosedural, seperti pungsi lumbal, memasang infus, memasang pipa nasogastrik, intubasi endotrakeal, endoskopi, dan ketrampilan lainnya. DOPS pertama kali dilakukan di Inggris untuk menilai ketrampilan prosedural mahasiswa pendidikan dokter spesialis. Yang kemudian berkembang dan dapat dipakai untuk menilai mahasiswa pendidikan profesi dokter juga untuk beberapa ketrampilan prosedural tertentu. Pelaksanaan DOPS dilakukan di rumah sakit, bisa pada berbagai macam seting yang memerlukan prosedur tertentu. Mahasiswa akan dinilai oleh seorang asesor sesuai dengan format penilaian. Penilaian DOPS menggunakan 6 skala rating. Skala 1-2 di bawah kompetensi yang diinginkan, skala 3 borderline, skala 4 sesuai dengan kompetensi yang diinginkan, skala 5-6 di atas kompetensi yang diinginkan. Mahasiswa sebelumnya telah diberi daftar prosedur klinis yang harus dilakukan. Asesor mengobservasi mahasiswa dalam jangka waktu sesuai dengan prosedur yang akan dilakukan, biasanya berlangsung sekitar 15 menit. Asesor memberi nilai bersamaan dengan observasi. Setelah prosedur selesai dilakukan, asesor memberikan feedback kepada mahasiswa atas tindakan yang telah dilakukan. Feedback diberikan dalam waktu 5 menit, atau sekita 20-30% waktu dari prosedur yang dilaksanakan untuk beberapa prosedur tertentu. Terdapat 11 karakterisktik yang dapat dinilai oleh DOPS, yaitu: 1. Demonstrasi pemahaman indikasi, relevansi, dan prosedur teknik 2. Pengambilan Informed consent 3. Demonstrasi persiapan sebelum melakukan prosedur 4. Pemilihan cara pembiusan yang tepat
223
5. Kemampuan teknis 6. Teknik aseptik 7. Konsultasi pada saat yang tepat 8. Manajemen setelah prosedur 9. Ketrampilan komunikasi 10. Profesionalisme 11. Keseluruhan penampilan
VALIDITAS Terdapat lima tipe validitas yang perlu diuji untuk setiap metode assessment, yaitu: 1. Content validity Menunjukkan bahwa tes tersebut menilai area konten yang diajarkan. 2. Concurrent validity Menunjukkan bahwa tes tersebut ditujukan untuk menilai sekelompok orang yang sesuai 3. Predictive validity Menunjukkan bahwa tes tersebut dapat memprediksi performans yang akan datang 4. Construct validity Menunjukkan
konstruktivitas
perubahan
perilaku
seseorang
sebagai
konsekuensi dari suatu tes.
5. Face validity Menunjukkan penampilan suatu tes berdasarkan persepsi orang yang diuji. Tes dianggap valid bila orang yang diuji menganggap tes tersebut relevan dan adil, sehingga memotovasi mereka untuk belajar. Validitas mini CEX sebagai metode assessment telah diuji oleh beberapa peneliti. Holmboe et al. meneliti construct validity mini CEX dengan membandingkan tiga karakteristik mini CEX; anamnesis, pemeriksaan fisik, dan konseling pada hasil ujian mahasiswa. Kogan et al. dan Durning et al. meneliti concurrent validity antara skor mini CEX dengan nilai ujian lain, ujian tulis, dan nilai akhir pada clerkship. Nair et al. dan Norcini et al. juga meneliti tentang validitas mini CEX. Face validity DOPS diteliti oleh De lima et al. bahwa baik penguji dan yang diuji sama-sama menilai bahwa metode DOPS cukup adil dalam menilai
224
ketrampilan prosedur. Selain mengevaluasi face validity DOPS, penelitian ini juga mengevaluasi validitas mini CEX dan MSF. 13 RELIABILITAS Durning et al. mengukur reliabilitas internal consistency dengan menghitung koefisi alfa Cronbach dari 162 mini CEX yang dilakukan oleh tujuh mahasiswa selama satu bulan, yang hasinya adalah 0.90. mengukur koefisien G dari 8 kasus yaitu sebesar 0.88. Menurut Wilkinson et al., metode DOPS menjadi reliabel bila seorang mahasiswa diobservasi oleh minimal tiga asesor untuk minimal dua ketampilan prosedur.15 EDUCATIONAL IMPACT (EFEK PEMBALAJARAN) Mahasiswa telah diberi penjelasan bagaimana pelaksanaan dan penilaian sebelum mini-CEX berlangsung. Keadaan yang mengharuskan mahasiswa diobservasi secara langsung ketrampilan komunikasi dan klinis pada pasien sungguhan memberikan efek positif ke mahasiswa. Mereka menjadi lebih bersungguh-sungguh dalam mempelajari dan latihan ketrampilan tersebut. Hal ini meningkatkan motivasi mereka untuk belajar. Inilah mengapa penilaian dengan cara
mini-CEX
mahasiswa.
dapat
menjadi
media
pembelajaran
yang
baik
untuk
2,3,4,5
Mahasiswa diuji dengan metode DOPS oleh beragam penguji dengan
kasus yang memerlukan ketrampilan prosedural yang berbeda-beda sehingga mahasiswa bisa mendapatkan feedback dari banyak penguji. Hal ini dapat meningkatlan motivasi belajar karena mahasiswa dapat langsung mengetahui bagian-bagian mana yang masih kurang dari ketrampilan yang telah mereka lakukan. Rushton menjelaskan pentingnya penilaian formatif dalam meningkatkan cara belajar siswa menjadi lebih dalam. Salah satu metode penilaian formatif adalah dengan feedback. Feedback yang diberikan langsung setelah observasi lebih efektif dalam menilai kekuatan dan kelemahan mahasiswa dalam melakukan ketrampilan klinis dibandingkan metode penilaian formatif yang lain.18 De lima et al. mengemukakan bahwa selama masa persiapan sebelum pelaksanaan mini CEX, mahasiswa cenderung untuk memahami materi yang akan diujikan dengan cara mengidentifikasi konsep sentral lalu menghubung-
225
hubungkannya dengan pendapat dan pengalaman. Proses ini merupakan
sebuah construction-based process yang terjadi pada mahasiswa. AKSEPTABILITAS Mini CEX dan DOPS merupakan metode assessment yang dapat diterima oleh banyak institusi kedokteran dalam menilai ketrampilan klinis. Mahasiswa dan penguji sama-sama merasakan manfaat yang sangat besar dengan adanya metode ini. Pasien yang dipakai untuk pelaksanaan mini CEX telah diberitahu terlebih dahulu, sehingga tidak ada unsur keterpaksaan.
FEASIBILITY (KELAYAKAN) Mini CEX dapat digunakan sebagai metode dalam menilai kompetensi klinis pada clerkship baik secara sumatif atau formatif. Mini CEX telah dipakai sebagai metode assessment secara luas. Metode ini layak digunakan karena waktunya yang relatif singkat dan tidak memerlukan banyak biaya. Bagaimanapun juga masih terdapat kekurangan mini CEX yaitu kesulitan dengan keragaman kasus pasien yang harus dipenuhi, seperti masalah yang dihadapi oleh De lima et al. dalam pelaksanaan mini CEX pada residen bagian kardiologi. Wiles et al. mengemukan bahwa penggunaan DOPS sebagai metode assessment layak digunakan pada mahasiswa di bagian neurologi. Meskipun DOPS memerlukan waktu pelaksanaan yang lebih lama dan biaya lebih banyak daripada mini CEX, akan tetapi peran DOPS sebagai metode penilai ketrampilan prosedural tidak dapat tergantikan. KESIMPULAN Ketrampilan klinis merupakan faktor yang sangat penting dalam performans seorang dokter. Mini CEX dan DOPS merupakan dua metode yang sama-sama menilai ketrampilan klinis. Keduanya terjadi di seting rumah sakit dan menggunakan pasien sungguhan. Mini CEX lebih menilai ketrampilanketrampilan yang hampir setiap saat harus dilakukan oleh seorang dokter apabila berhubungan dengan pasien. Sedangkan DOPS hanya menilai pada tindakan atau prosedur yang dilakukan pada pasien yang membutuhkan. Kedua metode tersebut penting dibutuhkan dalam mendidik mahasiswa pendidikan profesi baik profesi dokter maupun spesialis. Baik mini CEX atau DOPS meningkatkan
226
motivasi belajar mahasiswa karena metode tes yang digunakan. Adanya
feedback setiap selesai melakukan tes juga berperan dalam motivasi belajar. Literatur yang menjelaskan dan mengevaluasi tentang mini CEX banyak didapat, sedangkan tentang DOPS masih terbatas. Kekurangan dari tulisan ini yaitu masih kurangnya informasi yang didapat mengenai penilaian aspek psikometri DOPS. DAFTAR PUSTAKA Norcini JJ. The mini clinical evaluation exercise (mini-CEX). The Clinical Teacher. 2005; 2(1): 25-30. Norcini JJ, Blank LL, Arnold GK, Kimball HR. The mini-CEX (clinical evaluation exercise): a preliminary investigation. Ann Intern Med. 1995; 123: 754-9. Norcini J, Burch V. Workplace-based assessment as an educational tool: AMEE Guide No. 31. Medical Teacher. 2007; 29: 85571. Van
der vleuten CPM. The assessment of professional competence:
developments, research and practical implications. Advances in Health Sciences Education. 1996; 1: 41-7.
Hays R. Teaching and learning in clinical setting. Radcliffe Publishing Ltd. 2006: 130-2. Wragg A, et al. Assessing the performance of specialist registrars. Clinical Medicine. 2003. 2(3); 131-4 Norcini JJ, Blank LL, Duffy FD, Fortna GS. The mini-CEX: a method for assessing clinical skills. Ann Intern Med. 2003; 138: 476-481. Davis MH, Ponnamperuma GG, Wall D. Workplace-based assessment. In: Dent JA. & Harden RM. Eds. A practical guide for medical teacher. Churchill Livingstone. 2009: 318-324. McAleer S. Choosing assessment instrument. In: Dent JA. & Harden RM. Eds. A practical guide for medical teacher. Churchill Livingstone. 2009: 318324. Holmboe ES, et al. Construct validity of the miniclinical evaluation exercise (MiniCEX). Academic Medicine. 2003; 78(8): 826-30. Kogan JR, Bellini LM, Shea JA. Feasibility, Reliability, and Validity of the MiniClinical Evaluation Exercise (mCEX) in a Medicine Core Clerkship. Academic Medicine. 2003; 78(10): S33-5. Durning SJ, Cation LJ, Markert RJ, Pangaro LN. Assessing the reliability and validity of the miniclinical evaluation exercise for internal medicine residency training. Academic Medicine. 2002; 77(9): 900-4.
227
Nair BR, et al. The mini clinical evaluation exercise (mini-CEX) for assessing clinical performance of international medical graduates. Medical Education. 2008; 189(3): 159-61. Wilkinson JR, et al. Implementing workplace-based assessment across the medical specialties in the United Kingdom. Medical Education 2008; 42: 36473. De lima AA, et al. Validity, reliability, feasibility and satisfaction of the mini-clinical evaluation exercise (Mini-CEX) for cardiology residency training. Medical Teacher. 2007; 29: 78590. Wiles CM, et al. Clinical skills evaluation of trainees in a neurology department. Clinical Medicine. 2007;7:3659. Rushton A. Formative assessment: a key to deep learning? Medical Teacher. 2005; 27(6): 50913.
