Kematangan pengukuran kinerja dalam serangkaian universitas nasional

Abstrak
Tujuan - Pengukuran kinerja dalam pendidikan tinggi telah menarik perhatian yang besar,
seringkali berfokus pada penerapan dan nilai konsep pengukuran kinerja pada sektor ini.
Tujuan dari makalah ini adalah untuk menggunakan komponen model kematangan tujuh
elemen untuk menguji perkembangan kematangan pengukuran kinerja di universitas-
universitas Selandia Baru pada periode 2008-2013.
Desain / metodologi / pendekatan - Analisis dokumenter adalah pendekatan utama. Sebanyak
48 laporan tahunan diperiksa. Fokusnya adalah pernyataan kinerja layanan, tetapi semua
materi di sekitarnya juga diperiksa. Setiap laporan tahunan dikenai serangkaian analisis
kuantitatif dan semi-kuantitatif.
Temuan - Universitas telah menunjukkan kekuatan dalam menyelaraskan langkah-langkah
dengan arah strategis, kualitas komentar, dan peningkatan dalam penggunaan kerangka hasil.
Hasil yang lebih bervariasi terlihat dalam luas dan kualitas tindakan, dan yang paling penting,
dalam penggunaan informasi kinerja untuk memandu pengambilan keputusan institusional.
Kurangnya evolusi ini kemungkinan terkait dengan hubungan akuntabilitas khusus yang
mengelilingi universitas, yang sementara bagian dari sektor publik bersifat semi-otonom. Ini
juga cenderung dikaitkan dengan budaya organisasi akademik.
Orisinalitas / nilai - Ada beberapa pemeriksaan penggunaan pengukuran kinerja oleh
universitas, dengan sebagian besar studi kurang fokus pada praktik operasional daripada pada
masalah teoritis yang lebih luas. Studi ini memberikan informasi yang bermanfaat tentang
penggunaan aktual pengukuran kinerja.
Kata kunci: Pengukuran kinerja, Manajemen kinerja, Budaya organisasi, Pendidikan tinggi
Jenis kertas Makalah penelitian

Pendahuluan
Studi ini meneliti perkembangan kematangan pengukuran kinerja dalam satu setnasional
universitas. Selama tiga dekade terakhir, pengukuran kinerja sektor publik telah muncul
sebagai topik yang memiliki minat akademis substansial maupun kepentingan
praktis.Pendahuluan - atau pengenaan - pengukuran kinerja dalam pendidikan tinggi belum
tanpa kontroversi. Ada perdebatan substansial tentang relevansi praktik yang berasal dari
sektor publik yang lebih luas ke lapangan (Johnes dan Taylor, 1990; Cave et al., 1997; Cullen
et al., 2003; Broadbent, 2007; Broadbent dan Laughlin, 2009; Chitty, 2009; Skolnik, 2010).
Berbagai studi telah meneliti alasan di balik pengenalan pengukuran kinerja di lembaga-
lembaga tertentu dan yurisdiksi pendidikan (Niklasson, 1996; Dill, 1997, 2007; Gaither,
1997; Sanders et al., 1997; Stein, 1997; Jongbloed dan Vossensteyn, 2001; Orr et al., 2007;
Hicks, 2008; McLendon et al., 2008; Feller, 2009; Ginsberg, 2011; Kallio dan Kallio, 2014).
Namun, beberapa penelitian telah memfokuskan secara langsung pada tingkat kematangan
yang ditunjukkan dalam praktik pengukuran kinerja lembaga-lembaga tersebut -
sederhananya, seberapa baik universitas menggunakan informasi kinerja. Penelitian ini
bertujuan untuk memberikan kontribusi kecil untuk bidang ini dengan berfokus pada delapan
universitas Selandia Baru.
Fokus utama dari penelitian ini adalah tingkat perubahan dalam praktik - apa yang telah
terjadi - bukan alasan untuk perubahan - mengapa. Sangat penting untuk memahami yang
pertama sebelum terlibat dengan pertanyaan kedua. Informasi ini bermanfaat bagi akademisi
dan pembuat kebijakan; bagi yang pertama, ia menyediakan beberapa tanah yang baru digali
untuk mengeksplorasi denganlebih alat konseptual yang potensial yang berfokus pada
mengapa, dan untuk yang terakhir, ia menyediakan bukti tambahannyang dapat digunakan
untuk mengembangkan praktik.
Studi ini dimulai dengan mencatat literatur yang lebih luas tentang pengukuran kinerja sektor
publik, dan dari sintesis ini model kematangan pengukuran kinerja sektor publik mencakup
tujuh elemen utama. Ini kemudian mengidentifikasi konteks Selandia Baru yang spesifik,
termasuk hubungan tata kelola. Komponen model kemudian digunakan untuk mengevaluasi
tingkat evolusi dalam pengukuran kinerja yang ditampilkan oleh universitas Selandia Baru
pada periode 2008-2013 inklusif. Periode ini dipilih karena mencakup beberapa upaya besar
oleh lembaga pemerintah untuk meningkatkan sektor publik, dan khususnya pendidikan
tinggi, pengukuran kinerja. Metodologi utama yang digunakan adalah analisis dokumenter,
dengan fokus pada 48 laporan tahunan yang dihasilkan oleh universitas pada periode tersebut.
Lensa kuantitatif dan kualitatif digunakan. Nama universitas dianonimkan menggunakan
huruf A ke H untuk menghindari gangguan atau tuduhan bias. Analisis dokumenter ini
kemudian digunakan untuk mengidentifikasi sejumlah tren menyeluruh, serta untuk secara
induktif mengembangkan dua hipotesis untuk pengujian lebih lanjut.
Studi ini bersifat pengantar, dan dalam penggunaan analisis dokumenternya, memberikan
sedikit wawasan tentang penggunaan internal pengukuran kinerja. Terlepas dari
keterbatasannya, ini memungkinkan beberapa kesimpulan tentatif dicapai tentang standar
umum kematangan pengukuran kinerja di universitas-universitas Selandia Baru, kesimpulan
yang dapat memajukan pemahaman kita tentang bidang ini dalam pengertian yang lebih
global.
Pengukuran kinerja dalam pendidikan tinggi Pengukuran kinerja memiliki definisi yang
sempit dan luas; yang pertama berfokus pada penggunaan indikator kualitatif dan kuantitatif
untuk mengukur kegiatan dan pencapaian (Ghobadian dan Ashworth, 1994; Wang, 2002);
yang terakhir fokus pada tidak hanya pengukuran, tetapi penggunaan informasi kinerja untuk
mengontrol dan mengelola juga (Kloot dan Martin, 2000; Broadbent dan Laughlin, 2009;
Bisbe dan Malagueno, 2012; Bititci et al., 2012).
Penelitian ini menggunakan pendekatan yang lebih luas. Sementara "manajemen berdasarkan
angka" mungkin berasal dari perkembangan berhitung, pengukuran kinerja sebagai konsep
yang lebih formal menjadi masalah yang semakin penting di dunia barat selama 1980-an dan
1990-an (Carter et al., 1992; Schick, 1996; Fleming dan Lafferty, 2000; Proppers dan Wilson,
2003; Taylor, 2009; Moynihan dan Pandey, 2010; Van Dooren et al., 2010; Hood, 2012;
Lewis, 2015). Pengukuran kinerja dipandang sebagai cara untuk meningkatkan efektivitas
dan efisiensi organisasi sektor publik birokrasi (van Sluis et al., 2008; Forrester, 2011;
McAdam et al., 2011), serta meningkatkan akuntabilitas mereka (Poister dan Streib, 2005).
Pendidikan tinggi segera menyerap tren baru ini, dengan pengukuran kinerja tersier muncul
di Inggris (Johnes dan Taylor, 1990; Yorke, 1991), AS (Burke dan Freeman, 1997;
Cunningham, 1997; McLendon et al., 2008), Spanyol ( García-Aracil dan Palomares-
Montero, 2010), Jerman (Orr et al., 2007), dan Irlandia (Otoritas Pendidikan Tinggi Irlandia,
2013), Australia (Campbell dan Siew Haw, 2012; Freeman, 2014) antara lain. Adopsi
pengukuran kinerja di wilayah geografis yang berbeda sering didorong oleh faktor-faktor
serupa: relaksasi kontrol pusat atas keuangan, perpindahan dari elit ke pendidikan massal,
perubahan dari industri ke ekonomi berbasis pengetahuan, dan peningkatan tekanan
pendanaan (Dill, 1997; Layzell, 1999; Cullen et al., 2003; Martin dan Sauvaugeot, 2011;
Duque, 2013).
Elemen dari kondisi ini tetap hari ini, dengan banyak sistem tersier di seluruh dunia
mengalami tekanan pendanaan berkelanjutan (Mitchell et al., 2014; Morgan, 2015).
Pengukuran kinerja dalam pendidikan tersier telah menarik berbagai kritik. Beberapa telah
menentang apa yang dilihat sebagai pendekatan quasi-pasar dan neo-liberal yang
mengganggu ke dalam bidang non-pasar (Curtis, 2008; Forrester, 2011; Kallio dan Kallio,
2014). Berfokus pada masalah kekuasaan dan kontrol, beberapa telah mempertanyakan
pilihan ukuran kinerja, dan dengan demikian konsep yang mendasari kualitas pendidikan
tinggi yang digunakan (Dill, 1997; Cullen et al., 2003). Fokus yang sering pada kinerja
penelitian telah dikritik karena pengaruhnya terhadap kualitas, otonomi dan motivasi (Hicks,
2008; Feller, 2009; Kallio dan Kallio, 2014).
Kritik lain lebih teknis, dengan fokus pada kemampuan indikator kinerja yang relatif
sederhana untuk mengukur kinerja dalam lingkungan yang begitu kompleks seperti
pendidikan (Owlia dan Aspinwall, 1996; Pemerintah Australia, 2012). Meskipun tidak ada
ruang yang cukup dalam makalah ini untuk secara memadai mempertimbangkan validitas
berbagai argumen ini, ada bukti di bagian selanjutnya yang menunjukkan mereka memiliki
pengaruh pada praktik pengukuran kinerja.
Model kematangan pengukuran kinerja sintetis Untuk melacak evolusi kematangan
pengukuran kinerja dalam organisasi sektor publik, pertama-tama perlu memiliki beberapa
kriteria yang dapat digunakan untuk menilai evolusi tersebut - model kematangan. Sementara
model seperti itu tidak tersedia, literatur penuh dengan rekomendasi normatif dari mana
seseorang dapat dikembangkan (Grizzle, 1982; Flynn, 1986; Smith, 1990, 1995b; Yorke,
1991; Ghobadian dan Ashworth, 1994; Ammons, 1995 ; Flapper et al., 1996; Kravchuk dan
Schack, 1996; Blumstein, 1999; Kloot dan Martin, 2000; Kelly dan Swindell, 2002; Behn,
2003; Proppers dan Wilson, 2003; Ferreira dan Otley, 2009; Choong, 2013, 2014; Kantor NZ
dari Auditor General, 2013). Penulis telah mengintegrasikan rekomendasi ini ke dalam model
sintetis, alat yang dapat digunakan untuk kritik terhadap kerangka pengukuran kinerja sektor
publik. Model sintetis berpegang pada purposive dan rasional (Boyne dan Chen, 2006;
Taylor, 2009), daripada simbolik, persepsi pengukuran kinerja (Roy dan Segun, 2000;
Modell, 2004).
Model ini terdiri dari tujuh elemen, diorganisasikan ke dalam tiga kelompok, di mana
evaluasi dilakukan. Elemen-elemen dan kelompok-kelompok ini berasal dari literatur dan
diuji untuk kemudahan penggunaan dan kekuatan penjelas; banyak revisi dilakukan sebelum
set terakhir dipilih. Ruang lingkup dan kedalaman ini memungkinkan untuk eksplorasi yang
lebih bernuansa spesifik penggunaan pengukuran kinerja daripada biasanya ditemui dalam
literatur, yang lebih fokus pada masalah adopsi dan implementasi (de Lancer Julnes dan
Holzer, 2001; Henri, 2006; Moynihan dan Pandey, 2010). Bagian berikut meringkas secara
singkat kelompok dan elemen ini.
Grup satu: penggunaan dan hasil
Grup Satu berkaitan dengan penggunaan informasi kinerja oleh organisasi, dan hasil yang
dicapai dari penggunaan ini.
Elemen satu: penggunaan informasi kinerja dalam pengambilan keputusan termasuk
pertukaran untuk kerangka kerja kinerja untuk memfasilitasi tindakan organisasi, informasi
kinerja harus digunakan oleh pembuat keputusan. Secara khusus:
Kerangka kerja pengukuran kinerja yang matang menggunakan informasi kinerja untuk
memandu pengambilan keputusan organisasi, termasuk pengembangan anggaran.
Elemen dua: penyelarasan dan prioritas strategis
Tidak semua tindakan organisasi harus kondusif untuk pencapaian tujuan organisasi dan
penciptaan nilai publik. Informasi kinerja harus dikaitkan dengan tindakan yang lebih
penting. Secara khusus:
Kerangka kerja pengukuran kinerja yang matang akan dengan jelas menghubungkan langkah-
langkah kinerja ke arah strategis, termasuk prioritas eksplisit langkah-langkah yang dianggap
lebih penting secara strategis.
Grup dua: elemen desain utama
Grup dua berkaitan dengan desain spesifik kerangka kerja dan logika serta nilainya yang
melekat.
Elemen tiga: penggunaan kerangka hasil. Kerangka
hasil, kadang-kadang disebut "model produksi", "logika intervensi" atau
"model logika", adalah alat umum yang menghubungkan hasil dan dampak (efek yang
dihasilkan di lingkungan eksternal) dengan output ( barang dan jasa yang diproduksi oleh
entitas pelapor) dan untuk proses (kegiatan internal) dan input (sumber daya yang
dikonsumsi). Secara khusus:
Kerangka kerja pengukuran kinerja yang matang akan menggunakan kerangka hasil logis
untuk menunjukkan sumber daya yang dikonsumsi, layanan yang diberikan, dan hasil yang
dicapai oleh tindakan entitas pelapor, dan dengan demikian nilai yang dihasilkan untuk
masyarakat, komunitas, dan ekonomi yang lebih luas.
Elemen empat: keragaman, kelengkapan dan kualitas tindakan
Organisasi sektor publik bersifat kompleks. Terlalu sedikit ukuran dapat memberikan kesan
koherensi dan fokus, tetapi dapat mengabaikan bidang utama kegiatan organisasi. Diperlukan
langkah-langkah kuantitatif dan kualitatif. Tindakan yang dipilih dengan buruk dapat
memberikan sedikit wawasan tentang tindakan organisasi, atau dapat menyebabkan perilaku
menyimpang oleh staf (Smith, 1995a; Proppers dan Wilson, 2003; McLean et al., 2007).
Secara khusus:
Kerangka kerja pengukuran kinerja yang matang akan memanfaatkan berbagai ukuran kinerja
yang valid dan bertujuan yang terdiri dari ruang lingkup penuh tindakan organisasi, dan akan
menggabungkan langkah-langkah keuangan dan non-keuangan untuk membuat rasa
kompleksitas yang lebih baik. Kerangka kerja ini akan memilih langkah-langkah yang kurang
rentan terhadap game dan perilaku menyimpang lainnya.
Elemen lima: kedalaman dan wawasan komentar
Ukuran kinerja sendiri, bahkan jika dipilih dengan baik, dapat memberikan informasi yang
tidak memadai untuk pengambilan keputusan. Komentar seringkali penting untuk interpretasi
informasi kinerja. Secara khusus:
Kerangka kerja pengukuran kinerja yang matang menggabungkan komentar analitik yang
ketat untuk memahami tren, pencapaian, dan untuk mengontekstualisasikan data kuantitatif.
Kelompok tiga: pembentuk kunci Kelompok tiga berkaitan dengan elemen-elemen di luar
kerangka kinerja itu sendiri, tetapi yang sangat mempengaruhi utilitasnya.
Elemen enam: kepemilikan internal atas kerangka kerja kinerja
Jika staf memiliki dan memahami kerangka kerja kinerja, tindakan lebih cenderung
mencerminkan kegiatan dan hasil substantif daripada nilai simbolis, dan staf cenderung
terlibat dalam perilaku menyimpang. Pengembangan kolaboratif dapat memastikan
kepemilikan ini. Secara khusus:
Kerangka kerja pengukuran kinerja yang matang dipahami dan diterima oleh staf, yang
mungkin memerlukan pengembangan kolaboratif dari kerangka kerja tersebut.
Elemen tujuh: data yang mendasari akurat dan tepat waktu
Tanpa data yang mendasari akurat, setiap kerangka pengukuran kinerja cacat fatal. Secara
khusus:
Kerangka kerja pengukuran kinerja yang matang mencakup data dasar yang akurat dan tepat
waktu yang mampu menangani berbagai tindakan yang diperlukan.

Konteks
Selandia Baru Delapan universitas Selandia Baru adalah bagian semi-otonom dari sektor
publik yang lebih luas, yang secara resmi didefinisikan sebagai entitas mahkota. Tiga badan
pemerintah kunci memiliki hubungan pemerintahan. Kementerian Pendidikan (KLH)
menetapkan strategi pendidikan tersier nasional, tetapi universitas utamanya didanai melalui
Komisi Pendidikan Tersier (TEC). Kantor Auditor General (OAG) tertarik pada penggunaan
uang publik universitas dan informasi kinerja yang dilaporkan.
Selandia Baru adalah salah satu pengadopsi pertama dari model Manajemen Publik Baru di
sektor publik pada 1980-an dan 1990-an, termasuk pengukuran kinerja (Boston, 1996;
Schick, 1996). Namun, sampai pertengahan 2000-an, sedikit perhatian diberikan pada kinerja
lembaga tersier, termasuk universitas. Pada tahun 2006, Dana Penelitian Berbasis Kinerja
dilaksanakan, dengan fokus pada kinerja penelitian (Curtis, 2008). Ini diikuti oleh laporan
pemantauan dasar, upaya untuk mengembangkan indikator umum di sektor tersier
(Universitas C, 2009; Universitas D, 2009). Setelah publikasi 2008 oleh OAG yang
menyatakan keinginan untuk meningkatkan standar pelaporan kinerja sektor publik (Kantor
Auditor Jenderal Selandia Baru, 2008), Komite Kanselir TEC dan Selandia Baru (NZVCC)
mengembangkan kerangka kerja hasil khusus universitas pada awal 2010 (Eng, 2015). Dalam
periode intervensi, set pertama indikator kinerja pendidikan, yang menyediakan data standar
dan konsisten, diterbitkan (Komisi Pendidikan Tersier, 2009).

Metodologi
Mengingat perkembangan yang disebutkan di atas, diputuskan untuk fokus pada periode
2008-2013, karena ini akan mencakup periode intervensi pemerintah utama. Karena tidak ada
literatur yang tersedia, metode yang cocok untuk eksplorasi tanah baru diperlukan.
Analisis dokumenter, pendekatan umum dalam analisis kebijakan, sejarah dan bidang terkait
dipilih; itu telah membuktikan alat yang berguna untuk pemeriksaan penggunaan pengukuran
kinerja di bidang lain (Hatry, 1978; Usher dan Cornia, 1981).
Diputuskan untuk fokus terutama pada laporan tahunan universitas yang diterbitkan selama
periode evaluasi. Di bawah Undang-Undang Pendidikan 1989, laporan tahunan adalah
dokumen akuntabilitas eksternal utama universitas. Setiap laporan tahunan wajib
menyertakan pernyataan kinerja layanan (SSP) yang memberikan informasi kinerja untuk
tahun kalender. Diperkirakan bahwa laporan tahunan kemungkinan akan mewakili praktik
pengukuran kinerja paling maju yang dilakukan oleh universitas, mengingat bahwa dokumen-
dokumen tersebuteksternal diaudit secara, diterbitkan secara eksternal, dan memiliki
pedoman substansial yang mengatur produksi mereka. Disadari bahwa hanya lima elemen
model yang dapat diuji secara memadai melalui pendekatan dokumenter, dengan sedikit
informasi tentang elemen enam dan tujuh yang mungkin ditemukan. Namun, kekurangan ini
dianggap dapat diterima, mengingat sifat pengantar dari penelitian ini. Sebanyak 48 laporan
tahunan diperiksa, terdiri lebih dari 1,64 juta kata. Fokus utama adalah SSP, tetapi semua
materi di sekitarnya juga diperiksa. Setiap laporan tahunan dikenai serangkaian analisis
kuantitatif dan semi-kuantitatif (dari SSP kecuali dinyatakan sebaliknya) yang berasal dari
model sintetis:
• panjang halaman;
• jumlah kata;
• sejumlah tindakan kuantitatif;
• jumlah tahun pengukuran (jumlah total tindakan dikalikan dengan jumlah tahun data yang
dilaporkan untuk masing-masing ukuran);
• penggunaan kerangka hasil (kategorisasi tri-lipat: tidak - tindakan tidak cocok dengan
kerangka hasil; sebagian - beberapa upaya dilakukan untuk menghubungkan tindakan; ya -
dinyatakan secara eksplisit dan tindakan yang diatur);
• tautan ke rencana strategis (kategorisasi tiga lipat: tidak - tidak di SSP atau di tempat lain;
sebagian - tindakan terkait tetapi tidak secara eksplisit; ya - tindakan terkait secara eksplisit);
• posisi relatif SSP dan keuangan;

• penetapan biaya layanan (kategorisasi tiga kali lipat: tidak - tidak ada upaya untuk
menghubungkan biaya dengan output; sebagian - beberapa upaya dilakukan untuk
menghubungkan biaya dengan output; ya - biaya dan output terkait); dan
• luasnya langkah-langkah (kategorisasi tri-lipat: beberapa - mencakup sebagian kecil
kegiatan; beberapa - mencakup sebagian besar kegiatan; lengkap - mencakup seluruh ruang
lingkup kegiatan dan hasil universitas).

Setiap laporan tahunan juga menjadi sasaran analisis kualitatif melalui ekstraksi tema-tema
utama yang selaras dengan unsur-unsur model sintetis. Ini dilakukan melalui pembacaan yang
cermat terhadap dokumen-dokumen, kategorisasi awal dan kemudian revisi kategori
kualitatif. Analisis kualitatif ini memungkinkan identifikasi nuansa yang lolos dari alat
kuantitatif. Pendekatan yang diambil memungkinkan luasnya analisis - semua universitas
dapat diperiksa untuk seluruh periode. Namun, ada beberapa kekurangan dengan metode ini.
Telah diantisipasi bahwa laporan tahunan kemungkinan akan menunjukkan pendekatan yang
lebih maju untuk praktik pengukuran kinerja yang mungkin tidak mewakili praktik internal.
Juga diantisipasi bahwa praktik kinerja internal tidak akan terlihat, kecuali jika tercermin
dalam laporan itu sendiri, yang mungkin merupakan refleksi yang tidak akurat. Masalah
potensial ketiga, bias, didiskontokan karena fokusnya adalah pada pengukuran kinerja
daripada kinerja itu sendiri; dengan demikian, setiap inflasi atau manipulasi hasil dalam
laporan (tidak mungkin diberikan proses audit) tidak akan berpengaruh pada analisis yang
dilakukan untuk penelitian ini.
Temuantemuan
-Bagian-bagian berikut menyajikan temuan-temuan terhadap masing-masing elemen yang
diperiksa (satu sampai lima). Setiap bagian termasuk tabel data serta pengamatan kualitatif.
Elemen satu: penggunaan informasi kinerja dalam pengambilan keputusan termasuk trade-
offs Sementara analisis laporan tahunan tidak dapat memberikan wawasan yang
komprehensif tentang elemen ini,
beberapa informasi dapat diperoleh. Secara khusus, penentuan posisi relatif SSP dapat
mengindikasikan
pentingnya pemberian informasi kinerja layanan.
Berpotensi mengindikasikan sikap positif yang tumbuh terhadap pentingnya informasi kinerja
layanan, telah ada sedikit kecenderungan ke arah penentuan posisi SSP sebelum laporan
keuangan (Tabel I), meskipun mayoritas sudah melakukannya. Hal ini juga menjelaskan
untuk mempertimbangkan apakah SSP (atau bagian lain dari laporan tahunan) termasuk
informasi biaya layanan, penting untuk pertimbangan trade-off. Bukti (Tabel I) menunjukkan
bahwa universitas tidak memiliki informasi yang cukup tentang biaya layanan relatif untuk
mempertimbangkan pertukaran, suatu hal yang juga dicatat oleh OAG (Kantor Auditor
General NZ, 2012, 2013). Ini dapat dibandingkan dengan bagian lain dari sektor publik,
seperti polisi, di mana biaya output yang berbeda ditentukan dengan jelas, memungkinkan
untuk pertimbangan campuran output yang berbeda (Polisi Selandia Baru, 2011).
Elemen dua: penyelarasan dan prioritas strategis
Laporan tahunan memberikan informasi yang berguna tentang penyelarasan ukuran kinerja
dengan
rencana strategis, seperti yang ditunjukkan pada Tabel II.

Frekuensi penyelarasan tetap konsisten selama periode evaluasi (Tabel II), dengan sedikit
pergeseran dari yang hanya menunjukkan keselarasan sebagian ke yang menunjukkan
keselarasan penuh. Praktik umum yang digolongkan sebagai keberpihakan parsial
dicontohkan oleh Universitas H, yang mengatur tindakan berdasarkan tema rencana strategis
dalam SSPnya tetapi tidak membuatnya secara eksplisit.
Ini mungkin kontras dengan Universitas G, yang pada tahun 2009 SSP menjelaskan
hubungan antara
arah strategis, tujuan, dan ukuran kinerja spesifik (Universitas G, 2010). Pendekatan serupa
diambil oleh Universitas C dalam menghubungkan bidang strategis utama, target strategis,
dan indikator kinerja utama (Universitas C, 2009, 2010). Tidak ada prioritas yang jelas.
Sementara "Penelitian" dapat didaftar sebagai tujuan strategis, jarang jelas yang merupakan
target kinerja prioritas terkait, seperti hasil penelitian atau skor kutipan. Tidak ada bobot
target kinerja yang eksplisit dalam laporan tahunan mana pun.
Elemen tiga: penggunaan kerangka hasil.
Laporan tahunan menampilkan pemisahan yang menarik antara retorika yang digunakan,
yang sering difokuskan pada hasil masyarakat, dan presentasi informasi kinerja yang lebih
formal.
Tabel III menunjukkan penggunaan kerangka hasil untuk menyajikan informasi kinerja. Ada
peningkatan yang jelas dalam penggunaan kerangka hasil dari laporan tahunan 2011 dan
seterusnya (Tabel III), kemungkinan terkait dengan pekerjaan yang dilakukan oleh TEC dan
NZVCC, tetapi masih hanya setengah menggunakannya dalam kemiripan apapun, dan hanya
satu secara penuh. Waktu adopsi sangat menarik. Kerangka hasil disepakati pada awal 2010,
tetapi tidak digunakan sampai laporan tahunan 2011, yang diproduksi pada awal 2012.
Penundaan tahun ini dapat menunjukkan keinginan oleh universitas untuk memasukkan
kerangka kerja ke dalam dokumen perencanaan terlebih dahulu sebelum menggunakannya
sebagai alat pelaporan kinerja.
Kurangnya perhatian formal ini dapat dibandingkan dengan pernyataan dalam laporan,
seperti bahwa universitas tertentu berkontribusi terhadap hasil ekonomi, sosial, dan
lingkungan yang diinginkan (Universitas H, 2012); bahwa yang lain ingin memastikan semua
kegiatan "berkontribusi pada tujuan transformasi sosial dan ekonomi Selandia Baru"
(University G, 2010, p. 5); bahwa yang ketiga adalah "berkomitmen untuk memenuhi
kebutuhan Selandia Baru dan Selandia Baru" (University E, 2009, hal. 1); dan bahwa yang
keempat memiliki fokus utama kontribusi publik, termasuk budaya, masyarakat, dan ekonomi
Selandia Baru (Universitas D, 2009). Bersamaan dengan retorika ini, berbagai konsep yang
berasal dari kerangka hasil muncul dalam berbagai bentuk - Universitas F menyebutkannya
dari 2009, tetapi tidak pernah menggunakannya untuk informasi kinerja; Universitas E
menggunakan terminologi dari 2010, tetapi tidak menghubungkannya dengan tindakan; dan
Universitas C menggunakan konsep-konsep dengan benar dari 2010 tetapi tidak
menggunakan kerangka kerja visual sampai 2013.
Tampak jelas bahwa bahasa kerangka kerja hasil telah membingungkan banyak orang,
meskipun pedoman nasional substansial (UU Keuangan Publik, 1989; Kantor Auditor
General NZ, 2002, 2008, 2012, 2013). Istilah "hasil" sering dikaitkan dengan "hasil" generik,
dan istilah "keluaran" sering semata-mata terkait dengan hasil penelitian. Beberapa hasil
tengah yang dinyatakan (dampak) adalah input, seperti kualitas staf dan reputasi lembaga
(Universitas G, 2013), atau pendanaan yang diterima (Universitas C, 2011). Lainnya adalah
output, seperti kuantum penelitian yang dihasilkan (Universitas F, 2009).
Elemen empat: variasi, kelengkapan, dan kualitas tindakan.
Laporan tahunan memberikan informasi berguna tentang jenis tindakan yang digunakan oleh
universitas, yang sebagian besar dapat dinilai secara kuantitatif.
Luasnya langkah-langkah tindakan mencerminkan sejauh mana SSP memberikan informasi
kinerja di seluruh ruang lingkup kegiatan organisasi. Hanya ada sedikit perubahan dalam
luasnya langkah-langkah yang dilaporkan (Tabel IV). Satu universitas (C) telah mengurangi
banyak dari pendekatan yang sangat komprehensif; lain (D) telah sedikit diperluas. Sisanya
tetap konsisten dalam pendekatan mereka. Area fokus mencakup penelitian dan pengajaran,
tetapi ada beberapa langkah yang terkait dengan layanan masyarakat atau layanan
pendukung. Kurangnya perhatian terhadap luasnya kegiatan organisasi telah terjadi meskipun
ada panduan pemerintah yang bertentangan (Kantor Auditor Jenderal NZ, 2013).
SSP sebagian besar didominasi oleh input dan ukuran proses. Ada juga penggunaan langkah-
langkah output tertentu yang konsisten, terutama penyelesaian kursus dan kualifikasi, dan
output penelitian. Ada beberapa dampak dan ukuran hasil. Langkah-langkah input seperti
pendaftaran
sulit untuk dimainkan tanpa perilaku korupsi yang disengaja (Guerin, 2015; Hunter, 2015),
tetapi langkah-langkah output seperti kursus dan penyelesaian kualifikasi lebih rentan, dan
dapat
dilakukan melalui pengurangan standar evaluasi (Tobenkin, 2011; Bachan , 2015). Hasil
penelitian, karena sifat perantara dari peer-reviewer eksternal, kurang rentan terhadap
game, meskipun itu mungkin (Elder, 2012; Komisi Pendidikan Tersier, 2015).
Dari 2008 hingga 2012, ada sedikit penurunan dalam rata-rata, dan penurunan yang lebih
besar dalam jumlah rata-rata tindakan yang dilaporkan (Tabel IV); dari 2012 hingga 2013 ada
penurunan yang bahkan lebih besar. Dalam beberapa kasus ini disebabkan oleh rasionalisasi
tindakan yang sama ke dalam kategori tunggal; pada yang lain, itu disebabkan oleh
penghapusan seluruh kategori tindakan. Akun Universitas C dan B untuk variasi substansial
dari 2010 hingga 2011. Ukuran-tahun memberikan penerangan lebih lanjut. Satu tahun
pengukuran adalah satu ukuran yang dilaporkan selama satu tahun; ukuran tunggal dengan
empat tahun data yang dilaporkan akan memberikan empat ukuran-tahun, seperti juga empat
ukuran dengan hanya satu tahun data yang dilaporkan masing-masing. Pengukuran-tahun
menunjukkan penurunan median yang stabil selama periode evaluasi, dengan lebih banyak
osilasi rata-rata ( Tabel IV).
Tindakan pemerintah terkait EPI tampaknya memiliki pengaruh yang sangat kecil pada
kuantitas
informasi kinerja yang disajikan; jika ada, tampaknya menyebabkan universitas melaporkan
lebih sedikit.

Elemen lima: kedalaman dan wawasan komentar.

Laporan Tahunan memberikan informasi penting tentang kedalaman dan wawasan analitik
dari komentar pengukuran kinerja dalam universitas. Pendekatan komentar berbeda secara
dramatis. Dalam laporannya tahun 2008, Universitas F tidak memberikan komentar
deskriptif; pada 2011, itu tidak hanya mencakup komentar tentang hasil spesifik tetapi juga
diskusi tentang pemilihan tindakan. Universitas H secara konsisten mempresentasikan
langkah-langkah kuantitatif pertama, dan kemudian terkait komentar dan sorotan; Universitas
B telah mengambil pendekatan yang berlawanan. Komentar dan sorotan seringkali
terintegrasi, tetapi tidak selalu (University G, 2009). Kadang-kadang, komentar digunakan
untuk menebus kekurangan dalam tindakan tertentu. Ini khususnya penting dengan ukuran
hasil dan dampak yang tidak didefinisikan secara jelas; dalam kasus seperti itu, daripada
ukuran seperti dampak ekonomi atau penelitian, serangkaian sorotan yang menunjukkan
berbagai dampak disediakan (Universitas D, 2013). Komentar jarang bersifat kritis sendiri -
kegagalan untuk mencapai target kinerja sering ditutup-tutupi, dicatat sebagai diperbaiki di
masa depan melalui proyek atau program baru, atau disalahkan pada peristiwa eksternal di
luar kendali universitas. Penjelasan untuk hasil spesifik, apakah positif atau negatif, jarang
sangat bernuansa.
Kuantitas mentah dari komentar yang diberikan tidak berubah secara dramatis. Baik rata-rata
dan panjang halaman rata-rata tetap sekitar 15 halaman (Tabel V), tetapi beberapa universitas
telah melihat peningkatan atau penurunan yang lebih dramatis. Jumlah kata rata-rata telah
meningkat, sedangkan jumlah kata rata-rata telah menurun. Universitas C terutama
bertanggung jawab, karena telah turun hampir 17.000 kata selama periode evaluasi.
Sementara SSP adalah sumber utama komentar, pernyataan Kanselir dan Wakil Kanselir
dapat memberikan jumlah yang substansial juga, sering berfokus pada langkah-langkah
spesifik seperti peringkat internasional (Universitas H, 2012, 2014) atau pengenaan target
yang diarahkan secara terpusat ( Universitas A, 2011).
Diskusi
Berkenaan dengan elemen salah satu model sintetis, ada bukti terbatas bahwa informasi
kinerja layanan digunakan untuk memandu pengambilan keputusan substantif di universitas-
universitas Selandia Baru, mencerminkan temuan di tempat lain (Vakkuri dan Meklin, 2003).
Kurangnya biaya output yang jelas menggambarkan keterputusan antara target dan sumber
daya, dan itu sendiri terkait dengan sistem input terfokus pendanaan pemerintah tersier di
Selandia Baru. Kemungkinan juga ada kesulitan dalam menentukan dan memisahkan
berbagai produk / layanan yang dihasilkan oleh universitas, baik itu pengajaran, penelitian,
atau layanan masyarakat. Karena itu, dapat dipertanyakan apakah nilai sebenarnya yang
dihasilkan oleh pengeluaran uang publik untuk pendidikan tersier ditangkap. Sehubungan
dengan elemen dua, universitas-universitas Selandia Baru menunjukkan tingkat kematangan
dalam menyelaraskan langkah-langkah kinerja secara strategis, meskipun prioritas eksplisit
masih jarang.
Dengan elemen tiga, telah ada peningkatan adopsi kerangka hasil, meskipun sampai batas
tertentu. Penggunaan terbatas ini dapat dibandingkan dengan sektor publik Selandia Baru
yang lebih luas, di mana kerangka hasil sering digunakan tidak hanya untuk tujuan pelaporan,
tetapi juga untuk mendorong perencanaan. Ada kemungkinan bahwa universitas tidak
menganggap diri mereka serupa dengan bagian lain dari sektor publik dalam hal memberikan
layanan khusus untuk tujuan menciptakan nilai publik, tetapi justru mengadakan persepsi diri
yang lebih introspektif. Atau, mungkin saja kerangka hasil sebagai alat tidak memadai untuk
analisis kinerja pendidikan tersier (Broadbent, 2007), karena kompleksitas yang dipaksakan
oleh kehadiran siswa secara bersamaan input, proses dan output (Sirvanci, 1996) .
Universitas-universitas Selandia Baru menunjukkan variasi substansial dalam jumlah dan
luasnya ukuran kinerja yang dilaporkan, elemen empat dari model sintetis. Mereka jarang
melaporkan terhadap ruang lingkup penuh kegiatan organisasi. Jarangnya ukuran hasil dan
dampak, dan prevalensi ukuran keluaran pengajaran, membuat banyak kerangka kerja
berpotensi rentan terhadap permainan. Terakhir, dalam elemen lima, universitas Selandia
Baru umumnya memberikan komentar yang substansial. Ini tidak mengejutkan, mengingat
masalah seputar relevansi tindakan kuantitatif dengan kegiatan universitas, dan dalam banyak
kasus komentar digunakan untuk menebus kekurangan di tempat lain dalam kerangka
pengukuran kinerja yang digunakan. Namun, komentarnya jarang tajam dan kritis terhadap
diri sendiri.
Aktor eksternal, termasuk MoE, TEC, dan OAG tampaknya hanya memiliki efek terbatas
pada praktik pengukuran kinerja. Pengenalan langkah-langkah standar EPI sudah dilaporkan
oleh universitas dalam bentuk yang berbeda, tetapi belum mengarah pada pengembangan
langkah-langkah keluaran pengajaran yang baru. Pengembangan kerangka hasil sektoral
belum diikuti oleh adopsi yang meluas. Ada perhatian terbatas pada biaya output dan masalah
terkait efektivitas dan efisiensi. Kurangnya adaptasi ini mungkin hanya mencerminkan sifat
semi-otonomi universitas Selandia Baru, atau mungkin hanya mencerminkan mekanisme
pendanaan. Ada sedikit insentif bagi universitas untuk fokus lebih dekat pada hasil atau
bahkan keluaran ketika dana tidak diberikan terhadap kriteria tersebut.
Dari perspektif yang lebih luas, perlu dicatat bahwa banyak pengukuran kinerja universitas
berfokus pada kemampuan institusional dan karena itu introspektif. Ini menarik, karena
berbeda secara diametral dengan apa yang muncul di sektor publik Selandia Baru ketika
pengukuran kinerja pertama kali diperkenalkan, di mana penyediaan layanan kadang-kadang
secara miopia meningkat karena masalah vital kapabilitas kelembagaan (Schick, 1996). Hal
ini kemungkinan mencerminkan perbedaan dalam pertanggungjawaban sektor publik inti,
yang dianggap bertanggung jawab langsung atas pengiriman output spesifik, dan
akuntabilitas sektor universitas yang lebih tersebar karena sifat semi-otonomnya. Perbedaan
ini kemungkinan mendorong pendekatan jangka pendek, layanan-fokus pada kelompok
sebelumnya, sedangkan yang kemudian telah mampu mengambil pendekatan jangka panjang,
kemampuan-fokus.
Kurangnya evolusi dalam penggunaan pengukuran kinerja cenderung sangat terkait dengan
budaya organisasi universitas (Henri, 2006; Heinrich dan Marschke, 2010; Hood, 2012;
Jennings, 2012; Taylor, 2014). Budaya akademik, menjadi profesional dan individualistis,
mungkin sangat resisten terhadap tren manajerialis yang dipaksakan secara eksternal seperti
pengukuran kinerja, sebagaimana dicatat sebelumnya dalam meringkas literatur kritis tentang
topik tersebut.
Perlawanan ini akan menghasilkan kepatuhan minimum terhadap persyaratan pelaporan yang
diarahkan secara eksternal, dinyatakan melalui laporan tahunan, ditambah dengan
implementasi pengukuran kinerja substantif dan internal yang terbatas. Dengan demikian,
elemen yang tidak teruji dari model - kepemilikan internal dari kerangka kinerja - mungkin
telah mempengaruhi kematangan dalam elemen yang diuji. Hal ini menunjukkan bahwa
banyak nilai yang bisa diperoleh dengan mengeksplorasi proses penciptaan pengetahuan yang
terkait dengan kinerja dan kepemilikan dalam universitas (Hess dan Ostrom, 2005; Ostrom,
2010), dan khususnya dengan memeriksa mekanisme di mana penekanan "manajerial" diubah
menjadi setiap hari karya akademisi dan staf administrasi (Feller, 2009).
Temuan penelitian ini menunjukkan setidaknya dua hipotesis tentatif yang layak untuk
pengujian lebih lanjut:
H1. Universitas sektor publik akan menunjukkan evolusi yang lebih rendah dalam praktik
pengukuran kinerja daripada organisasi sektor publik lainnya, bahkan ketika mengalami
rezim akuntabilitas eksternal yang sama atau serupa.
H2. Tingkat kematangan universitas sektor publik dalam penggunaan pengukuran kinerja
akan mencerminkan sejauh mana sumber daya dialokasikan sesuai dengan target kinerja yang
dipusatkan pada hasil (keluaran dan keluaran).
Langkah selanjutnya
Penting untuk mengeksplorasi apakah tren yang ditemukan di sini memiliki penerapan yang
lebih luas. Direncanakan untuk melakukan studi serupa dari laporan tahunan lembaga
politeknik di Selandia Baru, dan universitas di Australia, yang beroperasi di bawah model
tata kelola yang sama. Diharapkan bahwa peneliti lain dapat menggunakan model sintetis
untuk mengevaluasi set universitas nasional atau subnasional lainnya, memungkinkan
penciptaan gambaran global. Studi-studi ini dapat dilakukan secara deduktif menggunakan
H1 dan / atau H2, atau dapat dilakukan secara induktif untuk mengeksplorasi lebih jauh cara
universitas menggunakan pengukuran kinerja.
Yang lebih menarik adalah kemungkinan perbandingan antar-sektor. Model sintetis, menjadi
agnostik, akan memungkinkan untuk perbandingan kematangan pengukuran kinerja di
universitas dengan bagian lain dari sektor publik.