Penilaian Acuan Norma (PAN) Penilaian Acuan Norma (PAN) adalah pendekatan penilaian yang membandingkan hasil pengukuran

seseorang dengan hasil pengukuran yang diperoleh orang orang lain dalam kelompoknya2. Tujuan Tujuan utama penggunaan PAN adalah untuk mengklasifikasikan mahasiswa. PAN dirancang untuk membedakan tingkat pencapaian nilai mahasiswa dan untuk membuat rangking

pencapaian prestasi mahasiswa tersebut dari yang tinggi sampai yang rendah. Sistem ini dapat menempatkan mahasiswa dalam kelompok mengulang atau kelompok berbakat. Metode ini juga digunakan oleh dosen dalam menyeleksi mahasiswa untuk membedakan tingkat kemampuan tertentu didalam kelompok atau kelas tersebut3. PAN dikenal juga dengan grade dengan kurva normal, sebab skor dibuat dalam distribusi normal (gambar 1). Fungsi Digunakan ketika mahasiswa harus dirangking untuk menentukan jumlah mahasiswa yang diterima oleh sebuah lembaga pendidikan3. Cara Dosen yang menggrade dengan PAN harus menghitung nilai rata-rata kelas (x) dari hasil ujian kemudian menghitung standar deviasinya (SD). 50% nilai diatas rata-rata dan 50% nilai dibawah rata-rata. Kemudian dari masing-masing bagian, ada yang ditambah 1 SD dari ni dan ada yang ditambah 2 SD dari meannya. Begitu juga sebaliknya. Nilai yang tertinggi yaitu x + 2 SD akan mendapat nilai angka A, dan nilai terendah yaitu x 2 SD akan mendapat nilai angka F (lihat gambar 1). Ini merupakan contoh penggunaan grade skala 5.

Gambar 1. kurve distribusi nilai dengan menggunakan PAN3

Jika ingin menngunakan skala 7, maka dapat dibuat batas nilai adalah sebagai berikut: Batas Daerah Dalam Kurve > x + 1.5 SD x + 1 SD x + 1.5 SD x + 0.5 SD x + 1 SD x x + 0.5 SD x 0.5 SD x x 1.5 SD x 0.5 SD < x 1.5 SD Keuntungan penggunaan metode PAN4,5 1. 2. 3. 4. Tidak perlu mengembangkan seluruh item baru untuk setiap bentuk test. Mudah digunakan dan dimengerti Dapat dengan mudah diterapkan oleh pemula skala vertikal dimungkinkan dengan NRT yang menunjukkan perkembangan siswa dari tingkat ke tingkat. Nilai Huruf A B+ B C+ C D F

Kerugian penggunaan metode PAN4 1. Metode ini memberi sedikit informasi tentang kemampuan mahasiswa, sebab dibandingkan dengan kelompoknya. 2. Nilai ambang batas lulus (cut score) yang ditentukan akan berubah-ubah disesuaikan dengan tingkat kemampuan kelompok.

Penilaian Acuan Patokan (PAP) Penilaian Acuan Patokan (PAP) adalah pendekatan penilaian yang membandingkan hasil pengukuran seseorang dengan patokan batas lulus yang telah ditetapkan oleh dosen2. Tujuan Untuk menentukan apakah seorang mahasiswa, yang sesuai dengan tingkatanya sudah menguasai tujuan instruksional yang telah ditetapkan oleh fakultas atau yang ada didalam kurikulum2. Dosen dapat memilih PAP bila mereka ingin mengetahui sejauh mana mahasiswa telah mengusai suatu pengetahun atau keterampilan yang diharapkan dapat dicapai. Dalam penggunaanya PAP harus terlebih dahulu ditetapkan kriteria keberhasilan yaitu batas lulus (cutoffs). Jika dosen telah menetapkan nilai ujian antara 90%-100% dari standar akan mendapat nilai angka A, maka siapapu yang nilai ujiannya mencapai 90% akan mendapat nilai A. Jika seluruh kelas nilai ujiannya yang tertinggi hanya 80% dari standar maka tidak ada satupun yang mendapat nilai angka A (lihat gambar 2)3.

Gambar 2. kurve distribusi nilai dengan menggunakan PAP Akan tetapi PAP dapat menyebabkan distribusi nilai tidak merata sehingga menyebabkan abnormal atau kecondongannya pada salah satu sisi. Misalnya mahasiswa seluruh kelas mendapat nilai dibawah 60% dari standar maka kurva akan condong ke kiri. Dalam perkembangannya, penggunaan metode PAP memiliki banyak pendekatan yang semuanya menggunakan ahli yang diperlukan untuk memutuskan (expert judge). Untuk itu syarat untuk menjadi seorang expert judge adalah6: 1. 2. 3. 4. 5. ahli dalam bidang yang berhubungan dengan ujian yang dimaksud. terbiasa dengan metode ujian seorang pemecah maasalah yang baik terbiasa dan mengetahui tingkat mahasiswa tertarik dalam bidang pendidikan

Penilaian acuan patokan yang berpusat pada test 1. Metode Angoff4,6,7 Dalam metode ini setiap expert judge harus mendiskusikan ciri-ciri dari bonderline examine yaitu kompetensi minimal yang dimiliki oleh siswa. Kemudian ciri dari kualitas dari borderline examinee tersebut disepakati. Setiap expert judge mengestimasi soal demi soal, dan memberi proporsi minimal dari soal tersebut, berapa banyak siswa yang mampu menjawab benar. Hasil penjumlahan dari rata-rata setiap item soal dari setiap expert judge merupakan nilai batas lulus (cut scores) (contoh lihat tabel.1). Dari contoh seperti pada tabel.1, nilai cut scorenya adalah 3/5 dari total nilai. Jika total nilai ujian tersebut adalah 100, maka cut score ujian tersebut adalah 3/5 x 100 = 60. Tabel 1: Bagaimana menentukan cut-score dengan menggunakan metode Angoff untuk 5 item soal dan 5 anggota expert judge4

2. Metode Angoff yang telah dimodifikasi6 Beberapa penelitian terhadap expert judge dalam metode Angoff menunjukkan bahwa standar yang mereka inginkan (sesuai teori) ternyata berbeda dengan kenyataannya dan secara umum expert judge cenderung menghasilkan standar yang terlalu tinggi. Untuk itu diperlukan modifikasi dari metode Angoff. Data performance mahasiswa yang actual diberikan pada expert judge sebagai sumber informasi tambahan. Kegiatan penentuan nilai lulus dilakukan dalam beberapa kali putaran untuk meningkatkan interaktive proses diantara expert judge. Setiap expert judge harus mengestimasi apakah item soal tersebut dapat dijawab oleh satu orang borderline examinee atau tidak. Dari total jawaban ya dari setiap expert judge lalu dijumlahkan dengan hasil estimasi expert judge yang lain. Hasilnya merupakan nilai batas lulus.

3. Metode Ebel4 Dalam metode ini ada dua tugas yang harus dilakukan oleh expert judge, yaitu: Tugas I: mengklasifikasikan setiap item soal kedalam a. tingkat kesulitan, apakah termasuk mudah, sedang dan sulit. b. Relevansi, apakah sangat penting, penting, kurang penting dan tidak penting. Tugas II:
y y y y

Berkonsensus terhadap kualitas borderline examinee expert judge mengestimasi setiap kotak; berapa banyak soal yang ada termasuk dalam kotak tertentu dan berapa persen mahasiswa yang mampu menjawab pada kotak tersebut. Contohnya (lihat tabel 2) expert judge merasa bahwa 20 soal yang termasuk sangat penting dan mudah akan dapat dijawab dengan benar oleh mahasiswa sebesar 75%. Hasil dari penjumlahan setiap kotak dirata-ratakan, hasilnya merupakan batas nilai lulus. Dalam contoh dibawah, batas lulusnya adalah 50% dari skor maksimal (nilai 50).

Tabel 2: Bagaimana menentukan cut-score dengan menggunakan metode Ebel untuk 100 soal ujian4

Penilaian acuan patokan yang berpusat pada siswa yang diuji 1. Metode kelompok berlawanan (contrasting)4 Expert judge menelaah performance setiap mahasiswa dan menentukan apakah ia termasuk kelompok qualifikasi atau non qualifikasi untuk lulus dari ujian tersebut, sehingga akan terbentuk 2 kelompok. Hasil ujian dari masing-masing kelompok diplotkan dalam grafik. Nilai yang membedakan dari kedua kelompok tersebut (terlihat dari perpotongan kurva pada contoh gambar 3) merupakan nilai batas lulus (cut score).

Gambar 3. contoh bagaimana menentukan cut-score menggunakan metode kelompok berlawanan4. 2. Metode kelompok bonderline 4 Expert judge menelaah performance setiap mahasiswa dan mengidentifikasi mahasiswa yang termasuk kelompok borderline yaitu mereka yang mempunyai minimal performance. Nilai dari kelompok ini kemudian diplot dalam grafik. Nilai median yang didapatkan digunakan sebagai nilai batas lulus (cut-score).

Penilaian Acuan Patokan yang bersifat kompromistik Metode Hofstee6 Metode ini merupakan penggabungan antara prosedur penentuan standar relative dan absolut. Expert judge mempelajari materi soal, kemudian mereka harus menentukan masingmasing empat nilai, yaitu: 1. Persentase terendah yang dapat diterima dari kegagalan ujian (persen kegagalan minimum)

2. Persentase tertinggi yang dapat diterima dari kegagalan ujian (persen kegagalan maksimum) 3. Nilai terendah yang didapat mahasiswa untuk lulus (nilai lulus minimum) 4. Nilai tertinggi yang didapat mahasiswa untuk lulus (nilai lulus maksimum) Nilai median dari seluruh Expert judge untuk masing-masing nilai diatas diplot dalam grafik. Lalu tarik garis diagonal dari nilai lulus minimum ke nilai lulus maksimum. Kemudian hasil ujian mahasiswa yang telah didapatkan, diplot kedalam grafik yang sama. Perpotongan antara garis kurva nilai mahasiswa dengan garis diagonal tersebut merupakan nilai batas lulus (cutscore).

Gambar 4. contoh plot angka pada metode Hofstee6 Keuntungan metode PAP7 1. Fokus perhatian pada isi soal 2. metode yang ideal untuk tes yang bersifat high stakes Kerugian metode PAP7 1. 2. 3. 4. Konsep tentang borderline examinee mungkin sulit didefinisikan dengan jelas Memakan waktu dan biaya Metode dapat membosankan Expert judge bisa tidak percaya diri dalam menentukan performa orang yang diuji.

Kesimpulan Pengukuran tingkat pencapaian belajar mahasiswa dan penentuan standar nilai (grading) dilakukan dengan dua pendekatan yaitu pendekatan Penilaian Acuan Norma (PAN) atau normreferenced methods dan Penilaian Acuan Patokan (PAP) atau criterion-referenced methods, dimana keduanya memiliki keuntungan dan kerugian masing-masing. Untuk itu dosen diharapkan mampu memilih standar penilaian apa yang akan digunakan disesuaikan dengan tujuan dari ujian tersebut. Pemilihan yang kurang tepat bisa berdampak kurang baik bagi siswa, dosen dan institusi.

Daftar Pustaka

1. Dylan, W. 1996. Meanings and consequences in standard setting, Assessment in Education. Principles, Policy & Practice, 0969594X, Nov, Vol. 3, Issue 3. 2. Bond L.A. 1996. Norm and Criterion-referenced testing. Practical assessment, research & evaluation, 5 (2). 3. Aviles, C.B. 2001. Grading with norm-referenced or criterion-referenced measurement: to curve or not curve, that is the question. Social work education, vol. 20, No.5. pg. 603608. 4. De Champlain, A.F. 2004. Ensuring that the competent are truly competent: An Overview of Common Methods and Procedures Used to Set Standard on High-Stakes Examination. Research and Education Reports, JVME 31 (1), pg. 62-66. 5. Jorgensen,M.A., & McBee,M. 2003. The new NRT Model. Assessment report, Harcourt Assessment. 6. Ben-David, M.F. 2000. AMEE Guide No.18: Standard setting in student assessment. Medical Teacher, Vol. 22, no. 2, pg. 120-130. 7. George, S., Haque, M.S., Oyebode, F. 2006. Standard setting: Comparison of two methods. BMC Medical Education, vol.6:46.