METODE

Karena data arsip yang tersedia untuk publik untuk menguji hipotesis tidak tersedia,
kami mengumpulkan data kami sendiri, menggunakan metode survei dan mengikuti
kerangka Van der Stede et al. (2005) untuk menilai kualitas penelitian survei.
Kerangka kerja ini membagi persyaratan untuk penelitian survei ke dalam lima
kategori. Pertama, peneliti harus memiliki tujuan penelitian spesifik untuk
membimbing studi mereka. Seperti yang kami laporkan di Bagian 1, tujuan kami di
sini adalah untuk menentukan apakah metrik yang telah dikembangkan bersama
dengan karyawan operasional dianggap memiliki kualitas yang lebih tinggi dan, pada
gilirannya, lebih banyak digunakan oleh manajer dan apakah penggunaan ini
dikaitkan dengan karyawan yang lebih tinggi kinerja pekerjaan. Kedua, peneliti harus
menentukan populasi mereka dan menjadi jelas tentang sampel mereka untuk dapat
mengetahui kesimpulan apa yang dapat ditarik dari penelitian (lihat Bagian 3.1).
Ketiga, peneliti harus mempertimbangkan pertanyaan survei dan masalah metode
penelitian lain yang diperlukan untuk menilai validitas internal penelitian (lihat
Bagian 3.2). Keempat, data yang dikumpulkan harus akurat. Dengan demikian kami
menjelaskan prosedur praktis yang diikuti ketika mengumpulkan data (dalam Bagian
3.1) dan melaporkan bagaimana diperiksa untuk masalah yang mungkin dalam
kumpulan data (dalam Bagian 3.3). Dan kelima, para peneliti harus melaporkan
bagaimana mereka memastikan persyaratan ini dipenuhi. Bagian di bawah ini
menyajikan secara detail metode yang digunakan.

Pengumpulan data dan responden

Kami menguji hipotesis kami dengan survei di antara pasangan karyawan operasional
dan manajer pengawasan mereka di Belanda. Pasangan responden harus memenuhi
tiga kriteria: (1) karyawan harus melaksanakan kegiatan operasional organisasi
mereka; (2) karyawan harus bekerja dalam fungsi mereka saat ini setidaknya selama
satu tahun; dan (3) organisasi harus memiliki metrik kinerja untuk kinerja karyawan.
Karena kriteria ini membuat membedakan populasi target dari populasi umum sulit
jika tidak mustahil, kami dihalangi dari menggunakan teknik sampling acak untuk
mengembangkan kerangka sampling. Solusi untuk hambatan ini adalah menggunakan
pengambilan sampel yang didorong oleh responden (atau "bola salju"), yang
melibatkan meminta setiap responden potensial untuk rincian kontak orang lain yang
memenuhi kriteria. Ketika populasi "tersembunyi," sampel yang didorong oleh
responden mengarah ke sampel yang sama baiknya, dan sering kali lebih baik,
daripada yang dihasilkan dari metode sampling acak (Salganik dan Heckathorn,
2004). Sejumlah penelitian telah menggunakan metode sampling ini untuk alasan itu
(misalnya, Dalton dkk., 2014; Lander dkk. 2013; Neu dkk., 2014; Raschke dkk.,
2014). Meskipun beberapa ahli menduga sampel dari metode seperti itu akan
tergantung pada titik awal pencarian, Salganikand Heckathorn (2004) membuktikan
bahwa sampel yang digerakkan oleh responden secara asimtotik tidak bias, tidak
bergantung pada titik awal seseorang. Selain itu, studi analitik Derfuss '(2009)
menegaskan bahwa hasil penelitian dengan sampel acak versus non-acak sebanding.
Kami mulai mencari responden dengan menghubungi orang-orang dari jaringan kami
sendiri, termasuk asosiasi alumni dan perusahaan konsultan yang mengirim
permintaan kami ke semua kontak mereka, terutama melalui email. Selain itu, kami
berkolaborasi dengan dua asosiasi profesional dengan menyelenggarakan dua seminar
tentang mengembangkan metrik kinerja yang berguna. Semua peserta seminar telah
menyelesaikan survei sebelumnya untuk membuat seminar lebih relevan untuk situasi
mereka sendiri. Responden selanjutnya direkrut setelah kami menerbitkan makalah di
tiga jurnal profesional Belanda yang menjelaskan bagaimana mengembangkan metrik
kinerja bersama-sama dengan karyawan operasional. Dalam artikel ini kami
merekomendasikan agar pembaca menyelesaikan survei jika mereka ingin tahu
apakah pendekatan ini relevan untuk mereka. Kami menjanjikan peserta salinan gratis
dari laporan penelitian dengan skor pribadi mereka dan rata-rata dari organisasi lain
untuk perbandingan dengan skor mereka. Akhirnya, kami menjanjikan semua
responden undangan untuk seminar di mana mereka dapat bertukar pengalaman
mereka dengan pengukuran kinerja, dan di mana mereka akan menerima rekomendasi
berdasarkan hasil penelitian sebelumnya tentang co-pengembangan metrik kinerja
operasional.
Untuk menemukan pasangan yang cocok dari responden yang terdiri dari karyawan
dan manajernya, kami menggunakan prosedur berikut. Karyawan yang setuju untuk
berpartisipasi menyelesaikan survei online dan memberi kami rincian kontak manajer.
Manajer yang setuju untuk menanggapi survei memberi kami daftar kontak karyawan
yang memenuhi kriteria yang ditentukan sebelumnya. Setelah satu karyawan (dipilih
secara acak oleh kami) menyelesaikan survei, kami menghubungi manajer lagi untuk
menyelesaikan survei online. Nama karyawan yang menyelesaikan survei karyawan
diberikan kepada manajer, untuk memastikan manajer akan secara eksplisit mengisi
kuesioner untuk kinerja karyawan tertentu. Kami menjelaskan kepada semua
responden survei bahwa jawaban mereka akan dijaga kerahasiaannya. Oleh karena itu,
karyawan dan manajer hanya menerima laporan umpan balik dari hasil pribadi
mereka dan noreport dari hasil separuh lainnya dari pasangan mereka. Survei ini
diselesaikan oleh 86 pasang responden. Pada awalnya, 21 karyawan dan 74 manajer
mengindikasikan mereka memenuhi kriteria inklusi dan ingin menyelesaikan sisa
survei, berpotensi memberi kami 95 pasang. Semua 21 karyawan menyelesaikan
survei tetapi hanya 15 manajer mereka. Untuk 74 manajer yang ingin mengambil
bagian dalam survei, semua karyawan bawahan yang dipilih secara acak melengkapi
survei, dan kemudian 71 dari 74 manajer melengkapi bagian khusus mereka. Jadi,
secara total, kami menerima data dari 15 + 71 = 86 pasangan lengkap (89%). Tabel 1
memberikan gambaran umum karakteristik responden.

Instrumen survei

Kami sebelumnya menguji versi percontohan dari survei di antara 17 karyawan yang
tidak berpartisipasi dalam survei akhir tetapi memiliki karakteristik yang mirip
dengan karyawan dalam populasi (Anderson dan Gerbing, 1991). Tiga metode pre-test
digunakan secara bersamaan. Pertama, tugas sortir jenis Anderson dan Gerbing (1991)
dilaksanakan untuk menentukan seberapa baik item mengukur konstruk. Kedua,
metode wawancara tes tiga langkah Hak et al. (2008) digunakan untuk mengetahui
lebih lanjut tentang perilaku respons aktual responden. Para peserta diminta untuk
menyelesaikan survei dan, pada saat yang sama, mengucapkan dengan keras apa yang
mereka pikirkan. Ketiga, alsa Cronbach dari timbangan dihitung dan analisis
komponen utama dilakukan. Ketiga metode pretest ini menyediakan data triangulasi
yang membantu mempersingkat survei dan menyarankan bahwa metrik valid. Item
survei terakhir mengukur konstruk. Responden memberi peringkat pada semua butir
pada skala Likert yang sepenuhnya berlabuh tujuh poin: (1) sangat tidak setuju, (2)
tidak setuju, (3) agak tidak setuju, (4) netral, (5) cukup setuju, (6) setuju, (7)
sepenuhnya setuju. Semua barang itu dalam bahasa Belanda. Karyawan
menyelesaikan pertanyaan survei mengenai partisipasi PM, sedangkan manajer
menyelesaikan pertanyaan mengenai kualitas PM, penggunaan PM, dan kinerja
karyawan. Penggunaan pasangan responden meningkatkan validitas konstruk variabel
kami, karena setiap variabel diukur pada orang yang relevan. Selanjutnya, desain
mengurangi potensi bias sumber umum. Selain itu, kami mengikuti pedoman
konvensional untuk mengurangi bias metode umum (Podsakoff et al., 2003). Pertama,
setiap halaman survei dimulai dengan pengantar singkat dan hanya berisi item-item
milik salah satu konstruk pendekatan yang meningkatkan kualitas data karena
membantu responden lebih memahami item (Frantom et al., 2002). Konstruksi juga
diukur dalam urutan yang berbeda dari model. Kerahasiaan jawaban ditekankan, dan
item skala telah dikonstruksi dan diuji secara hati-hati. Selain itu, kami
mengendalikan bias metode umum secara statistik dengan menambahkan variabel
metode umum laten ke model (Podsakoff et al., 2003). Partisipasi PM diukur dengan
lima item (ditampilkan dalam Lampiran A) yang mengetuk tingkat pengaruh yang
dirasakan karyawan terhadap desain metrik kinerja yang digunakan untuk mengukur
kinerja mereka (Abernethy dan Bouwens, 2005). Alpha Cronbach adalah 0,94. Kami
mengizinkan untuk co-varians dari kesalahan istilah dari dua item ("Saya memiliki /
memiliki pengaruh pada modifikasi yang sedang berlangsung untuk desain metrik
kinerja" dan "Saya memiliki / memiliki pengaruh pada pemeliharaan metrik kinerja")
karena, terutama dalam bahasa Belanda, kedua item ini sangat mirip karena keduanya
menangani penyesuaian metrik kinerja ketika sudah digunakan. Kualitas PM dinilai
dengan item yang mengukur sejauh mana manajer menemukan metrik kinerja sensitif
terhadap tindakan karyawan mereka, seberapa tepat metrik kinerja dalam mengukur
aspek yang relevan dari kinerja karyawan mereka, dan apakah mereka dapat
diverifikasi (Moers, 2006 ). Pretest membantu kami menambah dan menghapus item
dari skala aslinya untuk membuat skala relevan untuk karyawan operasional. Lebih
banyak item dimasukkan dalam pretest daripada yang dimaksudkan untuk analisis
akhir karena item mana dari skala asli yang valid tidak jelas. Sifat-sifat dari barang-
barang ini dianalisis sebelum menguji hipotesis untuk memastikan tidak ada positif
palsu yang dibuat oleh item “cherry-picking”. Variabel komponen komponen utama
yang diputar dari data akhir menghasilkan tiga faktor. Inti dari operasionalisasi
kualitas PM kami terdiri dari salah satu faktor ini, yang dengan campuran presisi,
kepekaan, dan item verifikasi terbaik mencerminkan definisi kualitas PM. Barang-
barang ini semuanya bagian dari skala aslinya. Alpha Cronbach adalah 0,72. Beberapa
pemeriksaan ketahanan dilakukan untuk melihat apakah hasilnya akan serupa jika
item yang dihapus ditambahkan ke analisis. Koefisien jalur dan tingkat
signifikansinya tidak berubah ketika item-item lain atau faktor-faktor lengkap
ditambahkan, tetapi model fit dikurangi. Penggunaan PM adalah konstruk orde kedua
yang direfleksikan oleh tiga konstruk orde pertama: penggunaan PMs untuk
kompensasi moneter, imbalan non-moneter, dan tujuan evaluasi.
struktur orde kedua ini adalah representasi alami dari penggunaan PM karena ketiga
jenis penggunaan cenderung berjalan seiring (seperti, misalnya, ketika seseorang
mendapat kenaikan gaji karena promosi, atau ketika metrik yang sama digunakan
untuk keduanya tujuan evaluasi dan penentuan imbalan (Grafton et al., 2010)). Juga,
dalam korporasi struktur orde kedua ini menghindari masalah multikolinieritas
(Koufteros et al., 2009). Setiap kesamaan dalam varians ditangkap dalam urutan
kedua membangun penggunaan PM, dan tiga jenis penggunaan khusus hanya
mencerminkan varians unik mereka. Ketiga susunan orde pertama ini diukur oleh tiga
sub-skala pada penggunaan metrik kinerja dan semuanya dikumpulkan dari para
manajer (Moers, 2006). Dua yang pertama diukur dengan dua item dan yang ketiga
dengan tiga item. Awalnya, penggunaan PMs untuk skala tujuan evaluasi terdiri dari
empat item. Kami mengecualikan item keempat ("Saya sangat mementingkan
indikator kinerja dalam laporan kinerja periodik") karena pemuatan faktornya di
bawah 0,40, dan pretest menunjukkan bahwa responden menganggap item ini sebagai
ukuran untuk kualitas PM. Alpha Cronbach adalah 0,84 untuk penggunaan PM untuk
kompensasi uang, 0,88 untuk penggunaan PM untuk hadiah non-moneter, dan 0,89
untuk penggunaan PM untuk tujuan evaluasi. Kinerja pekerjaan karyawan diukur
dengan skala yang terkenal untuk peran dalam pekerjaan peran yang awalnya
dikembangkan oleh Williams (lihat Williams dan Anderson, 1991) dan kemudian
direvisi dan disingkat oleh Podsakoff dan MacKenzie (1989). Ini mengukur sejauh
mana manajer memandang karyawan sebagai memenuhi persyaratan pekerjaan
mereka. Ini mempertimbangkan kinerja pekerjaan secara umum, dari perspektif
manajer. Skala ini relevan dalam penelitian ini karena meningkatkan sejauh mana
karyawan memenuhi persyaratan pekerjaan mereka persis perilaku yang biasanya
diperlukan metrik kinerja untuk merangsang (Williams dan Anderson, 1991).
Selanjutnya, skala berkorelasi sangat dengan ukuran kinerja obyektif ( Burney et al.,
2009). Menggunakan ukuran obyektif kinerja per se akan bermasalah, karena
keragaman besar dalam pekerjaan akan membuat langkah-langkahnya tidak ada
bandingannya. Penerapan skala yang luas memungkinkan perbandingan kinerja
karyawan di berbagai pekerjaan dan industri. Cronbach's alpha adalah 0,91. Variabel
kontrol yang digunakan dalam penelitian ini adalah jenis kelamin, tingkat pendidikan,
usia, jabatan departemen dan jenis pekerjaan karyawan, ukuran organisasi dan
departemen, lamanya waktu metrik kinerja telah dilaksanakan, asimetri informasi, dan
delegasi. Variabel demografi dimasukkan karena penelitian sebelumnya (misalnya, Ali
dan Davies, 2003) telah menunjukkan bahwa mereka dapat menjelaskan perbedaan
dalam kinerja kerja karyawan dan dapat menjelaskan variasi dalam, misalnya,
partisipasi PM, yang membuat mereka berpotensi membingungkan. Lama waktu
metrik kinerja telah digunakan dimasukkan sebagai variabel perancu potensial karena
mungkin terkait dengan partisipasi PM (jika PMPS telah ada untuk waktu yang lebih
lama pengaruh karyawan kurang mungkin), penggunaan PMS (PMs di tempat untuk
waktu yang lama lebih mungkin untuk dilembagakan dan dengan demikian digunakan
oleh manajer), dan mungkin juga kinerja kerja karyawan (jika PM sudah ada di sana
untuk waktu yang lebih lama, karyawan mungkin sudah terbiasa dengan langkah-
langkah dan karena itu akan lebih baik mengetahui bagaimana untuk bekerja dengan
baik di pekerjaan mereka). Karyawan sendiri melaporkan jenis kelamin, usia, tingkat
pendidikan, jangka waktu departemen, lamanya waktu metrik kinerja telah
dilaksanakan, asimetri informasi, dan delegasi. Manajer memberikan ukuran baik
organisasi maupun departemen. Boneka jenis pekerjaan dikodekan oleh para peneliti:
nama-nama organisasi yang terlibat dalam penelitian tersebut disebutkan dalam
alamat email responden, yang memberikan kemungkinan untuk menentukan industri
apa yang mereka aktifkan. Organisasi tersebut dikodekan sebagai "manufaktur," "
layanan massal, "atau" layanan profesional. "Karena studi ini hanya berfokus pada
karyawan operasional, kode ini juga menunjukkan apakah karyawan itu adalah
operator, karyawan layanan, atau profesional. Asimetri informasi adalah jumlah
pengetahuan khusus karyawan dibandingkan dengan manajer mereka. Variabel ini
dimasukkan karena keterlibatan karyawan dalam pengembangan metrik kinerja yang
lebih baik hanya relevan jika karyawan memiliki pengetahuan khusus yang
melengkapi apa yang diketahui manajer mereka. Ini diukur dengan skala Dunk
(1993), yang diselesaikan karyawan. Alpha Cronbach adalah 0,93. Delegasi (hak
keputusan) dimasukkan karena bersama-sama dengan kualitas PM dan penggunaan
PMs secara tradisional dilihat sebagai salah satu dari tiga komponen utama dari desain
organisasi yang seharusnya saling melengkapi (Ortega, 2009; Wideneret al., 2008).
Selanjutnya, literatur perilaku organisasi mengusulkan bahwa delegasi terkait dengan
kinerja pekerjaan karyawan karena merupakan bentuk otonomi yang meningkatkan
motivasi otonom dan karena itu akhirnya kinerja kerja karyawan (Deci andRyan,
2000). Delegasi didefinisikan sebagai memberikan karyawan hak domand gratis untuk
memutuskan dan bertindak sendiri (Mills dan Ungson, 2003). Karyawan
menyelesaikan skala Thomas dan Tymon (1993). Kami menghapus satu item (“Saya
membuat pilihan saya sendiri tanpa diberitahu oleh manajemen”) karena item ini
sangat mengurangi model yang sesuai dan sudah bermasalah dalam tes sebelumnya.

Analisis statistik

Data dianalisis dengan pemodelan persamaan struktural, menggunakan estimasi

kemungkinan maksimum dengan AMOS 18. Pemodelan struktural dipilih atas
serangkaian analisis regresi karena memungkinkan analisis simultan hubungan multi-
variabel laten dan hubungan yang terkait. Artinya, semua hubungan dalam model,
serta model pengukuran, diperkirakan sekali. Kami menggunakan pemodelan
persamaan struktural berbasis kovarians karena tujuannya adalah untuk menguji
hipotesis formal atas dasar a-ory (Anderson dan Gerbing, 1988; Peng dan Lai, 2012),
dan serangkaian simulasi Monte Carlo yang baru-baru ini menunjukkan bahwa,
dibandingkan dengan berbasis-varian, pemodelan persamaan struktural berbasis
kovarian lebih akurat untuk sampel yang lebih kecil, terima kasih atas kompensasi
untuk kesalahan pengukuran (Goodhue et al., 2012) .9 Sebagian besar asumsi
persamaan struktural berdasarkan kovarians dipenuhi: data tidak menunjukkan
collinearity dan tidak ada outliers (p <0,001), dan secara univarially normal. Salah
satu asumsi yang belum sepenuhnya dipenuhi adalah dari normalitas multivariat.
Ketika kami menemukan kurtosis, kami menggunakan bootstrap untuk memastikan
bahwa ini tidak mempengaruhi hasil (Kline, 2011, p. 177) .10Kami tidak mengalami
masalah estimasi apa pun. Kami mengikuti pendekatan dua langkah dari Anderson
dan Gerbing (1988), yang membuat menentukan sumber relativelystraightforward
miskin cocok. Selain itu, memungkinkan deteksi interpre-tational confounding (Burt,
1976), yang berarti definisi empiris dari konstruk (yaitu, loadings faktor) berubah
tergantung pada model struktural (Kline, 2011). Langkah pertama terdiri dari analisis
faktor konfirmatori untuk memperkirakan kecocokan model pengukuran-
pembenahan. Artinya, semua item dalam model pengukuran hanya diizinkan untuk
memuat pada faktor yang dimaksudkan, dan faktor tersebut diijinkan untuk
berkorelasi secara bebas satu sama lain.
Setelah model pengukuran memadai, model struktural dianalisis. Kami mulai dengan
model yang hanya berisi hubungan yang dihipotesiskan, maka tanpa variabel kontrol.
Pengecualian ini membuka jalan untuk menilai kecocokan model hipotetis kami dan
membandingkannya dengan model pengukuran. Lebih jauh lagi, pengecualian ini
memastikan bahwa hasilnya tidak didorong oleh dimasukkannya variabel kontrol.
Gambaran umum grafis dari model struktural lengkap muncul dalam Lampiran B.
Variabel kontrol ditambahkan ke analisis dalam model kedua. Selanjutnya, untuk
meningkatkan kesesuaian model termasuk variabel kontrol, model ketiga dianalisis
yang hanya mencakup variabel kontrol yang memiliki hubungan yang signifikan
secara statistik dengan salah satu variabel kunci dalam Model 2 (jenis pekerjaan dan
usia karyawan dengan kualitas PM, karyawan pendidikan dengan penggunaan PM,
dan jenis kelamin karyawan dengan kinerja kerja karyawan). Model 3 berfungsi
sebagai dasar untuk menganalisis apakah bias metode umum mungkin masih
memainkan peran. Untuk tujuan ini, variabel metode umum laten ditambahkan ke
model keempat, yang diperkirakan berdasarkan setiap item pertama dari skala kualitas
PM, penggunaan PM untuk kompensasi uang, penggunaan PM untuk hadiah non-
moneter, penggunaan PM untuk tujuan evaluasi , dan kinerja kerja karyawan
(Podsakoff et al., 2003). Akhirnya, untuk menguji H6-H8, kami menganalisis apakah
kualitas PM dan ketiga penggunaan metrik kinerja memang mediator dalam hubungan
antara partisipasi PM dan kinerja karyawan. Kami menilai mediasi menggunakan
bootstrapping kemungkinan maksimum, karena pendekatan ini memungkinkan
deteksi efek mediasi yang berlawanan dalam sampel kecil (Shrout and Bolger, 2002).
Kami memperkirakan efek tidak langsung dari partisipasi PM pada kinerja kerja
karyawan, melalui (1) kualitas dan penggunaan PM PM untuk kompensasi moneter,
(2) kualitas PM dan penggunaan PMs untuk hadiah non-moneter, dan (3) kualitas dan
penggunaan PM PM untuk tujuan evaluasi, masing-masing. Kami mengikuti
pendekatan ini untuk keempat model. Selain itu, model yang sepenuhnya jenuh
dijalankan, di mana efek langsung dimasukkan antara partisipasi PM dan kinerja
karyawan, antara kualitas PM dan kinerja karyawan, dan antara partisipasi PM dan
penggunaan PM. Analisis semacam itu dapat mengungkapkan variabel yang
dihilangkan yang berkorelasi. Jika tidak ada variabel dihilangkan yang berkorelasi
hadir, tiga hubungan langsung ditambahkan harus nol, karena semua varians harus
dijelaskan oleh mediator mereka. Dengan kata lain, jika ada hubungan yang signifikan
dalam model sepenuhnya jenuh, analisis akan menderita bias variabel yang
dihilangkan. Kami menilai model sesuai dengan beberapa indeks. Pertama, kami
menggunakan chi-square dan menilai kekuatan dari model chi-square yang sesuai,
menggunakan bootstrap Bollen-Stine dengan sampel bootstrap 1999. Karena uji
kecocokan chi-square sensitif terhadap ukuran sampel, kami juga menggunakan
indeks kecocokan lain untuk memeriksa kecocokan model (Bentler, 1990). Schreiber
dkk. (2006) merekomendasikan CFI, TLI, dan RMSEA untuk analisis satu kali, di
mana tidak ada perbandingan model non-nested yang dibuat. CFI dan TLI cukup jika
mereka sekitar 0,95 atau lebih tinggi, dan RMSEA harus sekitar 0,08 atau lebih
rendah (Hu dan Bentler, 1999).