ACADEMIC COURSE EVALUATION

THEORETICAL AND EMPIRICAL DISTINCATION BETWEEN SELF

RATED GAIN IN COMPETENCES AND SATISFICATION WITH
TEACHING BEHAVIOUR
(EVALUASI PROGRAM AKADEMIK
Perbedaan Teori dan Empiris antara Penilaian Diri dalam Peningkatan
Kompetensi dan Kepuasan dengan Cara Mengajar)
Oleh : Edith Braun dan Bernhard Leidner (2006)

A . PENDAHULUAN
I . Latar Belakang Masalah
Reformasi pendidikan adalah hal yang tak terpisahkan dari perkembangan
pendidikan di dunia saat ini. Upaya perbaikan pada bidang pendidikan ini semakin
populer di berbagai belahan dunia, tak terkecuali Benua Eropa. Proses reformasi
ini dimulai dengan adanya The Bologna Process yang merupakan
merupakan kunci utama dalam kebijakan pendidikan yang berisi perencanaan
dalam mereformasi pendidikan tinggi  (higher education) di seluruh Eropa. Pada
dasarnya variasi Bologna merupakan dokumen terkait yang secara konsisten
merujuk pada hasil pembelajaran (Brennan, 2001. P.4; cp, Adam, 2004).
Menciptakan suatu standarisasi gelar akademik yang sama dan kompatibel di
seluruh Eropa adalah salah satu tujuannya.

Alasan dibentuknya pendidikan tinggi adalah membantu seseorang dalam

meningkatkan personal development  dan kesempatan kerja melalui sebuah
pelatihan mahasiswa yang lebih berkompetensi dengan orientasi cara. Sebuah
daftar lengkap mengenai kompetensi ini telah dirumuskan dalam “ framework of
qualification" (Bologna Working Group on Qualification Frameworks. 2005)

Reformasi pendidikan ini juga menambah variasi dalam evaluasi

pembelajaran yang berguna untuk mengukur kepuasan mahasiswa dalam proses
pembelajaran. HesaCom merupakan alat evaluasi pembelajaran di pendidikan
tinggi yang berfokus pada Self Assesment of Competences atau di Jerman lebih
dikenal dengan Self Reported Student Competences yang lebih berfokus pada
penilaian diri mengenai seberapa besar peningkatan kompetensi yang diterima
(Self Rated Gain in Competences). Alat ini memiliki perbedaan fokus dari segi
subjeknya dibanding kuesioner evaluasi yang tersedia sampai saat ini yang masih
menggunakan kriteria klasik yaitu mengukur kepuasan mahasiwa terhadap cara
mengajar dosennya (satisfaction with teaching behaviour). Perbedaan fokus
subjek penilaian inilah yang menyebabkan adanya perdebatan antara para ahli
mengenai instrumen mana yang lebih baik.

Pemahaman baru mengenai kualitas pendidikan yang lebih tinggi ini

dengan kata lain memfokuskan pada kemahiran dalam kompetensi (outcome
oriented) dibandingkan dengan kepuasan dalam cara mengajar (process
oriented).

II . Pertanyaan Penelitian
Apakah penilaian diri dalam peningkatan kompetensi (Self-Rated Gain in
Competences) mempunyai korelasi dengan kepuasan pada pola mengajar
(satisfaction with teaching behaviour) dan memiliki kaitan erat dengan enam
kompetensi utama?

III . Kontribusi Penelitian

Secara garis besar penelitian ini memiliki tiga tujuan utama, yaitu :
1. Untuk menunjukkan perbedaan teori dan empiris mengenai pernyataan
cara pola mengajar secara tidak langsung penting terhadap hasil
pembelajaran dengan pelaporan diri mengenai kemahiran kompetensi.
2. Untuk menunjukkan bahwa kepuasan dengan cara mengajar dan
kemahiran dalam kompetensi dapat diukur dengan cara yang berbeda.

B . TINJAUAN PUSTAKA, KERANGKA PENELITIAN, HIPOTESIS

I . Tinjauan Pustaka
Menurut Westermann (1998: p. 135) Satisfaction with teaching behaviour
merupakan suatu intrumen yang mengukur kepuasan pelajar dengan pengajarnya.
Sedangkan menurut (Heise, Spies & Trauwein, 1996) satisfaction with teaching
behaviour adalah keadaan dimana penguji melihat perbedaan kepuasan yang
diperoleh dengan pengajar baik keberhasilan maupun Kualitas pengajaran
akademik. akademik (Westermann, Heise, Spies, & Trautwein, 1996)
Self Rated Gain in Competences adalah suatu instrumen yang mengukur
seberapa besar peningkatan kompetensi yang diterima oleh seseorang selama
dalam proses belajar-mengajar. Kompetensi menggambarkan sejarah pencapaian
prestasi (kompetensi kinerja) dan kapabilitas individu untuk bisa bekerja dengan
baik di masa depan, yang dimana menunjukkan sebuah adaptasi yang baik dan
tidak perlu untuk berprestasi secara luar biasa (Coatsworth & Masten, 1998,
p.206)
Pertanyaan dalam HEsaCom dan kompetensi utama berasal dari definisi
teoretis. HEsaCom (Braun et al, 2008). berisi 26 item, yaitu:
1) Pengaplikasian Ilmu (6 item, Cronbach α = 0,90) 
2) Kemampuan sistematis (3 item, Cronbach α = 0,83) 
3) Kemampuan menyajikan (2 item, α Cronbach = .84)
4) Kemampuan sosial (5 item, α Cronbach = .92) 
5) Kemampuan bekerja sama (5 item, Cronbach α = 0,87) 
6) Kemampuan individu (5 item, Cronbach α = 0,85.) 
 Pengaplikasian Ilmu (Knowledge Processing) menunjukkan seberapa besar
kemampuan mahasiswa dalam mengaplikasikan pengetahuannya beserta
kemampuan mereka dalam mempraktekkan apa yang telah mereka pelajari
(Dochy & Alexander, 1995; Bloom 1956).
 Kemampuan sistematis (Systematic Competence) menggambarkan keahlian
individu dalam membuat perencanaan pada kegiatan mereka sebaik
penguasaanya terhadap teknik yang relevan
 Kemampuan menyajikan (Presentational Competence) mengacu pembelajaran
berbicara di depan orang lain yang berdampak pada semakin meningkatnya
keahlian dalam presentasi lisan
 Kemampuan sosial ( Social Competence) didefinisikan sebagai pencapaian
dalam keseimbangan antara pengembangan positif untuk diri sendiri dan
kemauan dalam memahami harapan orang lain (Wentzel, 1999)
 Kemampuan bekerja sama ( Cooperative Competence) diartikan sebagai
kemampuan untuk bekerjasama dengan orang lain secara efektif.
 Kemampuan individu ( Personal Competence) adalah sikap positi individu
yang berkaitan dengan pembelajaran dan pengembangan diri.

II . Kerangka Penelitian
C . METODE
I . Sampel dan Populasi
Sebanyak 2981 kuesioner yang mengevaluasi 54 mata kuliah dari 17
fakultas disebarkan ke sembilan universitas yang berada di Jerman. Namun hanya
1403 kuesioner (47,06%) yang dikembalikan. Sisa kuesioner yang tidak
dikembalikan yaitu 1578 kuesioner (52,94%) mencerminkan kesalahan para dosen
dalam memprediksi jumlah mahasiswa yang menolak untuk mengisi kuesioner.
Rincian jenis kelamin mahasiswa yang mengisi kuesioner adalah : 777 (55%)
adalah perempuan, 515 (37%) adalah laki-laki dan sisanya 116 (8%) tidak jelas.

II . Parameter Pengukuran Variabel

Dua buah model evaluasi pelatihan akademik yaitu Self Rated Gain in
Competences yang menggunakan instrumen HesaCom dan Satisfaction with
teaching behaviour yang diwakili oleh Instrumen dari Westermann menggunakan
enam kompetensi utama yang sama yaitu : Knowledge Processing, Systematic
Competence, Presentational Competence, Social Competence, Cooperative
Competence, dan Personal Competence. Dimana HesaCom menggunakan 26 item
sedangkan Westermann menggunakan 24 item (indikator pertanyaan) dari enam
kompetensi utama tersebut. Responden diminta untuk mengisi kuesioner dengan
memberikan Skala Likert 1-5, dimana 1= tidak penting/sangat tidak memuaskan
dan 5 = esensial/sangat memuaskan.
III . Analisis Data
Untuk menguji hipotesis yang menyatakan adanya perbedan pada konsepsi
Self Rated Gain in Competences dengan Satisfaction with teaching behaviour
digunakan Confirmatory Factor Analyses (CFA) melalui Mplus 3.13. Berdasarkan
perbandingan antara teknis estimasi yang berbeda dan the critical analysis of
normality assumption oleh Fouladi (2000), dipilihlah Maximum Likehood with
robust standar error (MLR) untuk memperkirakan model paramater didalam
CFAs.
Dua model ini juga ditetapkan dengan menggunakan enam kompetensi
utama tadi, sehingga dihasilkan 12 model secara bersamaan. Hal ini dilakukan
untuk menguji apakah kedua model ini berbeda secara empiris.
Lalu selanjutnya kedua model ini dibandingkan dengan likelihood-ratio
(LR) pada degree of freedom dengan tujuan untuk menentukan model mana yang
mampu menjelaskan data secara lebih baik. Karena statistik χ2 sangat sensitif
terhadap ukuran sampel (Marsh, Balla & McDonald, 1988) maka ketepatan pada
model yang aktif tidak hanya dievaluasi melalui dasar dari tes signifikan χ 2 tetapi
juga melalui rasio dasar χ2, degree of freedom (df) dan indeks-indeks yang hampir
mendekati kebenaran, seperti : CFI, RMSEA dan SRMR. Lalu sebagai tambahan
diujikan pula parameter yang dianggap cukup untuk mengestimasi yaitu oleh
factor loadings dan error covariances, seperti yang direkomendasikan oleh
Joreskog (1993). Teknik statistik modern yaitu Norm 2.03 digunakan pula untuk
mengatasi masalah pada nilai yang hilang (missing values) selama proses
pengolahan.
Hasil analisis data ini menunjukkan bahwa dari semua perbandingan
model, untuk perbedaan nilai χ ² pada 1 df, secara signifikan uji LR (χ ² diff1 =
588,117; χ ² = diff2  ,779,460; χ ² diff3 = 305,779; χ ² diff4 = 1345,092; χ ² =
 ,429,440; χ ²
diff5 diff6 = 274,433; p <.001) mendukung model alternatif (H1) yang
dimana χ ² nilai lebih rendah daripada yang dari model nol (H0). Dengan
demikian, hipotesis nol (H0), yang menyatakan kurangnya perbedaan antara setiap
kompetensi utama dan kepuasan, harus ditolak. Dengan kata lain kita dapat
berasumsi bahwa semua enam kompetensi utama secara empiris berbeda dari
kepuasan dengan pola mengajar (dapat dilihat pada gambar di bagian lampiran). 
Jumlah kovariansi antara setiap kompetensi utama yang diberikan dan
kepuasan program akademis adalah second interest. Dalam model alternatif,
korelasi diperkirakan menjadi r1 = 0,601 untuk Knowledge Processing, r2 = 0,310
untuk Systematic Competence, r3 = .255 Presentational Competence, r4 = 0,279
Social Competence, r5 = 0,277 Cooperative Competence, dan r6 = 0,746 
Personal Competence. Hasil koefisien korelasi ini menunjukkan 
adanya hubungan yang kuat antara Knowledge Processing dan Personal
Competence di satu sisi dan Course Satisfaction di sisi lain. Sedangkan  korelasi
lainnya menunjukkan hubungan yang lemah hingga sedang.
 Varians umum yang terbagi oleh gagasan kompetensi  dan kepuasan
menunjukkan angka, yaitu: 36,12%, 9,61%, 6,50%, 7,78%, 7,67%, dan 55,65%
yang secara berurutan untuk Knowledge Processing, Systematic Competence,
Presentational Competence, Social Competence, Cooperative Competence, dan
Personal Competence . Oleh karena itu dapat disimpulkan bahwa self reported
acqusition in competences dan satisfaction with teaching behaviour memiliki
hubungan yang terkait, namun secara empiris berbeda.

D . HASIL DISKUSI
Proses Bologna (The Bologna Process) membutuhkan evaluasi program akademik
di area kompetensi dan kemahiran mahasiswa selain dari penilaian mereka
terhadap pola mengajar . Dengan demikian, jika ada pertanyaan apakah self
reported acqusition in competences dapat berhasil digambarkan melalui
satisfaction with teaching behaviour maka jawabannya adalah hal tersebut dapat
juga  dilihat sebagai uji validitas diskriminatif HEsaCom's

. Secara keseluruhan, struktur yang diasumsikan dari enam kompetensi

'utama  dapat diasosiasikan dengan satisfaction with teaching behaviour yang
dikonfirmasi oleh indeks global dan lokal yang cocok pada CFAs   (Beauducel &
Wittmann, 2005; Marsh, Hau & Wen, 2004): self reported acqusition dan
satisfaction with teaching behaviour adalah terkait tetapi berbeda konstruksi. 

Pada kenyataannya pengukuran terhadap penilaian diri (self reported)

masih menimbulkan kontroversial. Beberapa ahli masih mempertimbangkan
apakah sistem tersebut valid untuk menilai kesuksesan suatu kelas dari segi
pendidikan (Greenwald & Gillmore, 1998; L'Hommedieu et al, 1990;. Marsh &
Roche, 1997; Roche & Marsh, 1998). Hal ini terjadi karena validitas dari
penilaian pribadi dari mahasiswa terkena efek bias seperti efek kelelahan yang
dirasakan dari sebuah mata kuliah atau ketatnya seorang instruktur/dosen
(Greenwald & Gillmore, 1998). Hal ini didukung oleh pendapat Marsh dan 
Roche (1997; Roche & Marsh, 1998) yang mengkritik tipe tes yang menggunakan
pendekatan pilihan ganda (multiple choice) yang berdasarkan uji kinerja sebagai
kriteria tunggal yang valid dibanding gagasan untuk memvalidasi instrumen
evaluasi. 
Pengembangan HesaCom telah dianggap sebagi langkah pertama untuk
menuju reformasi dalam evaluasi pendidikan yang berfokus pada hasil (outcome)
dan kompetensi . Secara eksplisit tersirat ajakan untuk para pengajar untuk lebih
memikirkan mahasiwa mengenai hasil pada dibanding dengan cara mereka
mengajar. Hal ini menawarkan kesempatan untuk menerapkan budaya orientasi
hasil. Walaupun terlihat lebih baik, namun self rated competences masih memiliki
keterbatasan pada subjeknyadan masih tidak bisa digunakan untuk
menyamaratakan "pengukuran prestasi yang besar”.