Penentuan Batas Kelulusan

(Standard Setting)

Gandes Retno Rahayu

Bagian Pendidikan Kedokteran
FK UGM
 pass! fail!

competent!

incompetent!

Avoid false positive or false negative!

A standard is
a statement about whether performance is good
enough for a particular purpose

The standard defines

the boundary between passing and failing; separates
candidates who are competent from those who are not
competent

The numerical answer to:

“How much is enough?”
“How good is good enough?”
A Policy Decision

The standard is based on judgments about

examinees’ performances. Judgments are
an expression of our professional, social
and educational values.
C
H
A The method has to be:
R
A
C
Defensible
T Credible
E Supported by a body of evidence
R Feasible
I Acceptable to all stakeholders
S
T
I
C
S
6 Langkah Penentuan Batas Kelulusan

1.  Menentukan tipe standar

2.  Menentukan metode penentuan nilai batas
kelulusan
3.  Memilih ‘judges’
4.  Proses penentuan batas kelulusan oleh ‘judges’
5.  Menghitung batas kelulusan
6.  Menentukan follow up

(Norcini, 2003)
 1. Menentukan tipe standar

•  Relative standards •  Absolute standards

•  Norm-referenced •  Criterion-referenced
•  Patokan Acuan •  Patokan Acuan
Normal / PAN Baku / PAB
 Relative standards
Features
•  Dinyatakan dalam jumlah atau
persentase peserta yang lulus
(mis: 100 peserta terbaik, 30%
terbaik)
•  Performan seorang peserta
tergantung pada performan
peserta lain
•  Menstimulus kompetisi
•  Lebih mudah dilakukan
•  Tidak tepat untuk ujian
berbasis kompetnsi
Absolute standards
•  Dinyatakan dalam persentase
jawaban benar
(mis: 65% jawaban benar)
•  Performan seorang peserta
tidak tergantung pada
performan peserta lain
•  Menstimulus kolaborasi
•  Lebih sulit dilakukan
•  Tepat untuk ujian berbasis
kompetensi
 2. Menentukan metode
penentuan nilai batas kelulusan

Relative standards Absolute standards

Relative methods Absolute methods

1.  Keputusan didasarkan
pada item soal
2.  Keputusan didasarkan
pada peserta ujian
Compromise Methods
Contoh Hofstee’s method
 2. Menentukan metode
penentuan nilai batas kelulusan

Relative standards

Contoh relative method

Five Scale Type 1:
A: Above M + 1.5SD
B: Between M + 0.5SD and M + 1.5SD
C: Between M – 0.5SD and M + 0.5SD
D:Between M – 1.5SD and M – 0.5SD
E: Below M – 1.5SD
 2. Menentukan metode
penentuan nilai batas kelulusan
Absolute standards

Contoh: Absolute methods

1.  Keputusan didasarkan pada item soal:

Metode Angoff dengan berbagai modifikasi
Metode Ebel

2.  Keputusan didasarkan pada peserta ujian

Contrasting Group Method
 3. Memilih ‘judges’

•  Kredibilitas nilai batas kelulusan sangat tergantung

pada kredibilitas panel ‘judges’, sehingga perlu
diperhatikan:

1.  Kapabilitas, komitmen dan kredibilitas judges

2.  Aspek keterwakilan dari judges
Step:
4. Proses penentuan batas kelulusan oleh ‘judges’
5. Menghitung batas kelulusan
6. Menentukan follow up
NORM-REFERENCED
STANDARD
Gandes Retno Rahayu
Department of Medical Education
Faculty of Medicine
Gadjah Mada University
Relative standard Absolute standard

Norm-referenced Criterion-referenced
standard standard
Relative Standards/
Norm-referenced standard

•  Involve comparison of score with those

obtained by other people on the same test

•  Performance of one student depends on

relative performance of others
•  Percentile
•  Z-score
•  T-Score
•  Five-scale score
•  Stanine
•  etc
Percentile / Percentile Rank

•  A percentile score indicates a student’s relative position in

a group in terms of the percentage of student scoring
lower

•  It expresses the percentage of people whose score on a

test falls below a particular raw score
See attached copy
(page 375 Nitko)
Z-score

z-score = X-M
S
Exercise:
Toni’s score on Anatomy is 28, mean=24, S=4
Toni’s score on Physiology is 14, mean=8,S=4

Which score is higher?

T-score

t-score = 10z + 50
Exercise:
Toni’s score on Anatomy is 28, mean=24, S=4
Toni’s score on Physiology is 14, mean=8, S=4

Count the t-score !

Five-scale score
Type 1:
Above M + 1.5S
Between M + 0.5S and M + 1.5S
Between M – 0.5S and M + 0.5S
Between M – 1.5S and M – 0.5S
Below M – 1.5S
Five-scale score
Type 2:
Above M + 2S
Between M + 1S and M + 2S
Between M – 1S and M + 1S
Between M – 2S and M – 1S
Below M – 2S
•  Exercise:
Oral instruction
Deviation Standard:

S= 1 N∑X2 – (∑X)2
N
Stanines
Stanines are single-digit scores ranging from 1 to 9
whereas the distribution of raw scores is divided into nine
parts (standard nines).

Statine 5 is precisely in the center of the distribution and

includes all cases within one-fourth of a standar deviation
on either side of the mean
Stanine
M + 2.25SD
M + 1.75SD
M + 1.25SD
M + 0.75SD
M + 0.25SD
M - 0.25SD
M - 0.75SD
M - 1.25SD
M - 1.75SD
M - 2.25SD
•  See attached copy
Penentuan Batas Kelulusan dengan
Metode Angoff

Gandes Retno Rahayu

Step 1:
Memilih panel juri / judges dengan
baik
1.  Diusulkan oleh institusi pendidikan/ stakeholder
terkait
2.  Latar belakang pendidikan adalah Dokter
3.  Minimal latar belakang pendidikan adalah S2/ Sp1
4.  Memahami Standar Kompetensi Dokter Indonesia
(SKDI)
5.  Pernah mengikuti pelatihan student assessment
6.  Bersedia menjadi standard setter & mengisi/
menandatangani kode etik standard setter
7.  Untuk peserta dari institusi pendidikan, aktif dalam
proses pembelajaran sehari-hari di institusinya
sebagai pemberi kuliah/ instruktur/ tutor/
pembimbing akademik
8.  Untuk peserta dari organisasi profesi mempunyai
pengalaman praktek sebagai dokter minimal 10
tahun
Step 2:
Diskusi antar Panel Juri

Panel juri mendiskusikan tentang:

q  Tujuan ujian
q  Karakteristik peserta ujian
q  Adequate/inadequate knowledge
Step 3:
Kesepakatan karakteristik
Borderline

Minimally competent
candidates
Definisi Borderline UKDI
(Revisi 22 November 2011, Hotel Aston,
Jakarta)
1  Masa studi tidak tepat waktu (plus 2-3 semester
dikarenakan faktor kemampuan peserta, bukan
karena sistem) ; dan
2  IPK SKed = syarat minimal IPK untuk lulus; dan
3  IPK Profesi = syarat minimal IPK untuk lulus.
Definisi Borderline UKDI

1  Masa studi tidak tepat waktu (plus 1-2 semester

dikarenakan faktor kemampuan peserta, bukan
karena sistem) ; dan
2  IPK SKed = syarat minimal IPK untuk lulus; dan
3  IPK Profesi = syarat minimal IPK untuk lulus.
Step 4:
Penilaian Awal
Secara individual setiap juri membaca soal dengan baik,
dan untuk setiap soal juri secara individual menjawab
pertanyaan berikut:

“Berapa persen borderline group/minimally competent

students dapat menjawab soal tersebut dengan benar?”
Jawaban: misalnya 60%, 70% dst (ditulis didalam lembar
yang telah disediakan)

Langkah ini dilakukan untuk seluruh soal yang

dialokasikan
 No Soal Berapa persen borderline group/
minimally competent students dapat
menjawab soal tersebut dengan
benar?
(%)
Penilaian Awal Penilaian Final
1 70
2 80
3 60
4 75
5 65
6 70
dst
Step 5:
Diskusi rasional penilaian awal

Masing-masing juri/judge menyampaikan alasan

memberikan penilaian awal.

Setelah seluruh juri menyampaikan alasan untuk satu

soal, masing-masing juri/judge menentukan nilai final
soal tersebut. Nilai dapat turun, tetap, atau naik
dibanding penilain awal

Langkah ini diulangi untuk seluruh soal yang

dialokasikan
 No Soal Berapa persen borderline group/
minimally competent students dapat
menjawab soal tersebut dengan
benar?
(%)
Penilaian Awal Penilaian Final
1 70 75
2 80 75
3 60 60
4 75 75
5 65 65
6 70 70
dst
Step 6:
Penentuan Nilai Batas Lulus

•  Hitung rata-rata nilai final dari seluruh juri untuk

masing-masing butir soal.

•  Jumlah dari rata-rata tersebut merupakan nilai

batas lulus (NBL/cut score)
SOAL J1 J2 J3 J4 J5 J6 J7 J8 J9 J10 Mean
1 70 70 70 70 75 75 60 65 65 70 69
2 80 60 65 70 80 80 70 75 60 60 70
3 60 65 60 60 65 70 70 60 50 65 62.5
4 50 55 55 60 65 70 70 75 55 55 61
5 70 75 75 75 80 85 60 60 65 65 71
6 80 60 65 70 80 80 70 75 60 60 70
7 60 65 55 60 80 70 70 60 50 65 63.5
8 50 60 55 60 65 60 70 75 55 55 60.5
9 55 60 65 65 60 65 70 65 70 70 64.5
10 80 80 87 80 85 65 60 70 75 70 75.2
667.2
 Berapa persen borderline group/minimally
competent students dapat menjawab soal berikut
dengan benar?
Berikan rasionalnya!
Soal 1:
Seorang wanita berusia 28 tahun G2P0A1, hamil 8 bulan dibawa
ke unit gawat darurat karena perdarahan dari vagina dan pernah
pingsan. Keadaan umum pucat sekali. Pada pemeriksaan obstetrik
ditemukan his tidak jelas, uterus tegang dan nyeri. Bagian janin
sukar dinilai, detak jantung janin 180 x/menit teratur. Pemeriksaan
dengan spekulum tampak portio tebal, terbuka 1 cm, darah keluar
dari ostium sedikit dan berwarna tua, pemeriksaan laboratorium
Hb: 8 g/dl.

Apakah penyebab perdarahan yang paling tepat pada pasien ini?

A. Tanda awal persalinan

B. Ruptura uteri
C. Solusio plasenta
D. Plasenta previa
E. Plasenta akreta
Soal 2:
Seorang perempuan usia 30 tahun merasakan adanya benjolan di
leher yang terasa nyeri sejak kurang lebih 1 minggu yang lalu,
disertai demam. Keluhan sering berdebar-debar dan banyak
berkeringat tidak dialami oleh penderita. Pada pemeriksaan leher
didapatkan massa berbatas tegas, kenyal, mudah digerakkan,
dengan ukuran 3 X 3 X 2 cm yang ikut bergerak saat menelan.
Pada pemeriksaan laboratorium didapatkan leukositosis,
peningkatan laju endap darah dan peningkatan kadar hormon tiroid.

Apakah diagnosis yang paling mungkin untuk kasus ini?

A. Struma difusa toksik

B. Struma nodosa toksik
C. Struma nodosa non toksik
D. Struma hipotiroid
E. Karsinoma tiroid papiler
Soal 3:
Seorang pria usia 44 tahun dibawa oleh istrinya ke UGD karena
penurunan kesadaran disertai nafas sesak dan cepat. Menurut
istrinya sejak 2 hari yang lalu penderita diare lebih kurang 20x/hari
dan sejak pagi hari tidak buang air kecil. Pada pemeriksaan fisik
didapatkan kesadaran somnolen, tekanan darah 80/palpasi, nadi
120x/menit lemah, pernapasan cepat dan dalam, tekanan bola
mata kurang dan turgor kurang.

Proses manakah yang paling tepat menjelaskan gejala klinik

pasien di atas?

A. Asidosis respiratorik
B. Asidosis metabolik
C. Ketoasidosis
D. Alkalosis respiratorik
E. Alkalosis metabolik
Soal 4

Seorang laki-laki 20 tahun dibawa ke unit gawat darurat setelah jatuh

dari lantai 2. Pada pemeriksaan fisik menunjukkan GCS 15, pupil
isokor, refleks cahaya simetris kuat, tanpa kelumpuhan anggota
gerak. Pada regio kepala, ditemukan subgaleal regio oksipital, dari
telinga kanan keluar cairan encer kemerahan, kulit di atas prosesus
mastoideus kanan kebiruan, otot wajah sisi kanan paralisis.
Manakah di bawah yang merupakan kemungkinan penyebab kelainan
pada pasien ini?
A. Fraktur tulang oksipital
B. Fraktur dasar tengkorak
C. Perdarahan epidural
D. Perdarahan subdural
E. Perdarahan intrakranial
Modified Angoff in OSCE
Items full mark
§  Based on each item in Explain to pt 1 80% 0.8
checklist Position pt 1 80% 0.8
Inspection of skin 2 80% 1.6
§  Average scores from Temperature change 1 60% 0.6
judges will be the cut- Pulsa- Femoral 1 80% 0.8
off point tion Popliteal 1 50% 0.5
Post. tibial 1 50% 0.5
§  Both overall cut-off and
Dors. pedis 1 50% 0.5
item-by-item one can be 50% 0.5
Capillary refill 1
calculated Total 10 6.6

Pass mark for this station is 6.6

(Ben-David, 2000)
Successful Angoff’s
•  Choice of the judge (experts) Methods
▫  Balanced mix
•  Discuss purpose of the test
•  Discuss nature of examinees; e.g.
- new doctor
•  Discuss what constitute adequate body of knowledge
•  Agreement on borderline
•  Share previous performance data
Hofstee’s method
 Step 1
•  After the test is given, the distribution of scores is
computed and graphed
 Roster of Scores
•  Student Name Test Score
•  Ahmad Adam 50
•  Birgitta M Dewayani 55
•  Suharyadi 72
•  . .
•  . .
•  . .
•  Lina Marlina 35
•  Tan Kok Leong 25
•  Scores in Ascending Order Cumulative
Frequency
•  25 1/124 = 1
•  33 2/124 = 2
•  38 3/124 = 3
•  38 3/124 = 3
42 5/124 = 4
•  . .
•  . .
•  . .
•  96 124/124 = 100
 100

90

80

70

60
% Fail

50

40

30

20

10
0
30 40 50 60 70 80 90 100
% Correct Score
Step 2
Judges are asked to review the exam paper individually
Step 3
Judges are asked to decide the pass/fail standard point.

It must be between A1 A2
___ and ___

A1: What is the minimum acceptable pass score?

A2: What is the maximum acceptable pass score?
 100

90

80

70

60
% Fail

50
A1 A2
40

30

20

10
0
30 40 50 60 70 80 90 100
% Correct Score
Step 4
Judges are asked to decide the percentage of students
who fail this test.

B1 B2
It must be between ___ and ___ regardless of how high or
how low their scores were.

B1: What is the minimum acceptable pass rate?

B2: What is the maximum acceptable pass rate?
 100

90

80

70

60
% Fail

50

40

30

20 B2
10
0 B1
30 40 50 60 70 80 90 100
% Correct Score
 100

90

80

70

60
% Fail

50

40
A1 A2
30

20 B2
10
0 B1
30 40 50 60 70 80 90 100
% Correct Score
 100

90

80

70

60
% Fail

50
A1 A2
40

30

20 B2
10
0 B1
30 40 50 60 70 80 90 100
% Correct Score
 100

90

80

70

60
% Fail

50
A1 A2
40

30

20 B2
10
0 B1
30 40 50 60 70 80 90 100
% Correct Score
 100

90

80

70

60
% Fail

50
A1 A2
40

30

20 B2
10
0 B1
30 40 50 60 70 80 90 100
% Correct Score
 100

90

80

70

60
% Fail

50
A1 A2
40

30

20 B2
10
0 B1
30 40 50 60 70 80 90 100
% Correct Score
METHOD OF
CONTRASTING GROUPS
Examinee-centered
 Method of contrasting groups

Competent Non-competent

•  Comparison of the distribution of test scores for each

examinee, who was classified by category
•  In the place of intersection of two distributions is the
cut-score
THANK YOU FOR
ATTENTION