com
BabEnam
Evaluasi Pelatihan
Tujuan 4. Diskusikan kekuatan dan kelemahan
desain evaluasi yang berbeda.
Setelah membaca bab ini, Anda seharusnya
dapat 5. Memilih desain evaluasi yang sesuai
berdasarkan karakteristik perusahaan
1. Jelaskan mengapa evaluasi itu penting. dan kepentingan serta tujuan pelatihan.
2. Identifikasi dan pilih hasil untuk
mengevaluasi program pelatihan. 6. Melakukan analisis biaya-manfaat untuk
3. Diskusikan proses yang digunakan untuk merencanakan program pelatihan.
dan melaksanakan evaluasi pelatihan yang baik.
layanan berkualitas adalah prioritas utama. Program pelatihan dan pengembangan terkait dengan tujuan strategis rumah sakit: menjadi perusahaan pilihan dan memberikan layanan dan
keunggulan operasional. Hal ini tidak hanya penting untuk mengembangkan program yang mendukung strategi tetapi juga untuk memberikan bukti tentang bagaimana mereka
berkontribusi. Salah satu prioritas telah mengembangkan pemimpin dari manajer saat ini. Program pertama rumah sakit, Leading Edge, mencakup kurikulum yang berfokus pada manajemen
keuangan dan kinerja, mengidentifikasi dan merekrut talenta terbaik, dan manajemen perubahan. Fokus pelatihan didasarkan pada kebutuhan dan kelemahan kinerja manajer menengah.
Pelatihan menggunakan berbagai metode tetapi setiap program mencakup serangkaian kegiatan membangun tim dan tinjauan kinerja organisasi. Proses formal dilaksanakan untuk meminta
pertanggungjawaban para pemimpin atas kinerja daerah mereka. Tujuan prinsip termasuk (1) peningkatan pendapatan sebelum bunga, depresiasi, dan amortisasi dan (2) peningkatan
kepuasan karyawan dan pasien. Setiap tujuan tercapai selama tahun pertama program dan perbaikan terus berlanjut. Misalnya, untuk mengukur perubahan perilaku dalam umpan balik
manajer, pertanyaan ditambahkan ke survei karyawan. Hasil menunjukkan bahwa telah terjadi peningkatan yang signifikan dalam umpan balik dari para pemimpin yang telah mengikuti
program pelatihan. Proses formal dilaksanakan untuk meminta pertanggungjawaban para pemimpin atas kinerja daerah mereka. Tujuan prinsip termasuk (1) peningkatan pendapatan
sebelum bunga, depresiasi, dan amortisasi dan (2) peningkatan kepuasan karyawan dan pasien. Setiap tujuan tercapai selama tahun pertama program dan perbaikan terus berlanjut. Misalnya,
untuk mengukur perubahan perilaku dalam umpan balik manajer, pertanyaan ditambahkan ke survei karyawan. Hasil menunjukkan bahwa telah terjadi peningkatan yang signifikan dalam
umpan balik dari para pemimpin yang telah mengikuti program pelatihan. Proses formal dilaksanakan untuk meminta pertanggungjawaban para pemimpin atas kinerja daerah mereka.
Tujuan prinsip termasuk (1) peningkatan pendapatan sebelum bunga, depresiasi, dan amortisasi dan (2) peningkatan kepuasan karyawan dan pasien. Setiap tujuan tercapai selama tahun
pertama program dan perbaikan terus berlanjut. Misalnya, untuk mengukur perubahan perilaku dalam umpan balik manajer, pertanyaan ditambahkan ke survei karyawan. Hasil menunjukkan
bahwa telah terjadi peningkatan yang signifikan dalam umpan balik dari para pemimpin yang telah mengikuti program pelatihan. Setiap tujuan tercapai selama tahun pertama program dan
perbaikan terus berlanjut. Misalnya, untuk mengukur perubahan perilaku dalam umpan balik manajer, pertanyaan ditambahkan ke survei karyawan. Hasil menunjukkan bahwa telah terjadi
peningkatan yang signifikan dalam umpan balik dari para pemimpin yang telah mengikuti program pelatihan. Setiap tujuan tercapai selama tahun pertama program dan perbaikan terus
berlanjut. Misalnya, untuk mengukur perubahan perilaku dalam umpan balik manajer, pertanyaan ditambahkan ke survei karyawan. Hasil menunjukkan bahwa telah terjadi peningkatan yang
signifikan dalam umpan balik dari para pemimpin yang telah mengikuti program pelatihan.
215
216Bagian 2Pelatihan Merancang
Prioritas lain adalah menggunakan pelatihan untuk meningkatkan perawatan pasien. Hal ini
menyebabkan investasi rumah sakit dalam program pelatihan simulasi klinis yang menciptakan
kembali pengalaman nyata pasien dalam lingkungan praktik yang aman. Lima ruang pasien praktik
telah dibangun, masing-masing dengan simulator pasien. "Pasien" dapat batuk, muntah, dan
mereproduksi fungsi tubuh lainnya serta mengomunikasikan kebutuhan medis mereka. Karyawan
dapat bekerja sendiri atau dalam tim selama simulasi untuk meningkatkan keterampilan perawatan
pasien dan pemecahan masalah mereka. Pelatih menyediakan waktu untuk refleksi dan memberikan
umpan balik untuk membantu karyawan belajar. Lingkungan kerja yang realistis telah meningkatkan
perawatan pasien dan kepuasan karyawan telah meningkat. Juga, tingkat retensi untuk lulusan
perawat tahun pertama baru telah meningkat 18 persen.
PENGANTAR
Seperti yang diilustrasikan dalam sketsa pembukaan, fungsi pelatihan Rumah Sakit Penyelenggaraan Suster-
suster Cinta Kasih ingin menunjukkan bahwa waktu, uang, dan upaya yang dicurahkan untuk pelatihan
benar-benar membuat perbedaan. Artinya, fungsi pelatihan tertarik untuk menilai efektivitas program
pelatihan. Efektivitas pelatihanmengacu pada manfaat yang diterima perusahaan dan peserta pelatihan
dari pelatihan. Manfaat bagi peserta pelatihan mungkin termasuk mempelajari keterampilan atau perilaku
baru. Manfaat bagi perusahaan dapat mencakup peningkatan penjualan dan pelanggan yang lebih puas.
Evaluasi pelatihan mengukur hasil atau kriteria tertentu untuk menentukan manfaat program.Hasil
pelatihanataukriteriamengacu pada langkah-langkah yang digunakan pelatih dan perusahaan untuk
mengevaluasi program pelatihan. Untuk mengetahui efektivitas program tersebut, pihak rumah sakit harus
melakukan evaluasi.Evaluasi pelatihanmengacu pada proses pengumpulan hasil yang diperlukan untuk
menentukan apakah pelatihan itu efektif. Untuk Sisters of Charity Providence Hospital, beberapa hasil
termasuk peningkatan umpan balik oleh para pemimpin, indikator keuangan (misalnya, peningkatan
pendapatan sebelum bunga), dan peningkatan kepuasan perawatan pasien. Rumah sakit juga harus yakin
bahwa proses pengumpulan informasinya memberikan kesimpulan yang akurat tentang efektivitas program
pelatihannya. Itudesain evaluasimengacu pada pengumpulan informasi—termasuk apa, kapan, bagaimana,
dan dari siapa—yang akan digunakan untuk menentukan efektivitas program pelatihan. Informasi tentang
desain evaluasi yang digunakan oleh rumah sakit tidak disediakan dalam sketsa pembuka. Namun, setiap
organisasi yang mengevaluasi pelatihan harus yakin bahwa pelatihan—bukan faktor lain yang sama—
bertanggung jawab atas perubahan hasil yang diinginkan (misalnya, perawatan pasien dan penghasilan yang
memuaskan).
Ingat model Desain Sistem Instruksional yang ditunjukkan pada Gambar 1.1 dan topik yang
dibahas dalam Bab 2 sampai 5. Informasi dari penilaian kebutuhan, karakteristik lingkungan
belajar, dan langkah-langkah yang diambil untuk memastikan transfer pelatihan semua harus
digunakan untuk mengembangkan rencana evaluasi. Untuk mengidentifikasi hasil pelatihan
yang tepat, perusahaan perlu melihat strategi bisnisnya, analisis organisasinya (Mengapa kita
mengadakan pelatihan? Bagaimana kaitannya dengan bisnis?), analisis orangnya (Siapa yang
membutuhkan pelatihan?), tugasnya analisis (Apa isi pelatihan?), tujuan pembelajaran
pelatihan, dan rencananya untuk transfer pelatihan.
Bab ini akan membantu Anda memahami mengapa dan bagaimana mengevaluasi program pelatihan.
Bab ini dimulai dengan membahas jenis hasil yang digunakan dalam evaluasi program pelatihan.
Bab 6 Evaluasi Pelatihan 217
Bagian berikutnya dari bab ini membahas isu-isu yang berkaitan dengan pemilihan desain
evaluasi. Gambaran umum tentang jenis desain disajikan. Faktor-faktor praktis yang
mempengaruhi jenis desain yang dipilih untuk evaluasi dibahas. Bab ini diakhiri dengan
meninjau proses yang terlibat dalam melakukan evaluasi.
Perusahaan menginvestasikan jutaan dolar dalam program pelatihan untuk membantu mendapatkan
keunggulan kompetitif. Perusahaan berinvestasi dalam pelatihan karena pembelajaran menciptakan
pengetahuan; seringkali, pengetahuan inilah yang membedakan perusahaan dan karyawan yang
sukses dari mereka yang tidak. Penelitian yang merangkum hasil studi yang meneliti hubungan antara
pelatihan dan hasil sumber daya manusia (sikap dan motivasi, perilaku, modal manusia), hasil kinerja
organisasi (kinerja dan produktivitas), atau hasil keuangan (keuntungan dan indikator keuangan) telah
menemukan bahwa perusahaan yang melakukan pelatihan cenderung memiliki hasil sumber daya
manusia yang lebih positif dan hasil kinerja yang lebih besar.1Pengaruh pelatihan terbesar untuk hasil
kinerja organisasi dan hasil sumber daya manusia dan paling lemah untuk hasil keuangan. Hasil ini
tidak mengejutkan, mengingat bahwa pelatihan paling sedikit dapat mempengaruhi kinerja keuangan
organisasi dan dapat melakukannya melalui pengaruhnya terhadap praktik sumber daya manusia.
Sebagaimana ditekankan dalam Bab 2, Pelatihan Strategis, pelatihan lebih terkait erat dengan hasil
organisasi jika disesuaikan dengan strategi bisnis dan intensitas modal organisasi. Karena perusahaan
telah melakukan investasi dolar yang besar dalam pelatihan dan pendidikan dan memandang
pelatihan sebagai strategi untuk berhasil, mereka mengharapkan hasil atau manfaat yang terkait
dengan pelatihan dapat diukur.
Misalnya, pertimbangkan CompUSA.2Tujuan CompUSA adalah untuk memfokuskan strategi sumber daya
manusianya dengan menyelaraskannya dengan strategi untuk meningkatkan bisnis. Manajemen senior
percaya bahwa salah satu cara untuk mendorong pertumbuhan adalah dengan membangun keterlibatan
dengan anggota tim. Keterlibatan karyawan mencakup perasaan karyawan terhadap dukungan, pengakuan,
pengembangan, dan berbagi tujuan perusahaan. Keterlibatan karyawan menghasilkan karyawan yang puas,
yang diterjemahkan menjadi layanan pelanggan yang lebih baik. CompUSA mengadakan survei keterlibatan
ke lebih dari 200 toko. Hasil survei keterlibatan digunakan untuk membangun rencana pelatihan strategis.
Setiap tahun fungsi pelatihan bertemu untuk membahas prioritas pelatihan berdasarkan hasil survei.
Manajer sumber daya manusia regional serta manajer toko menetapkan tujuan peningkatan. Semua
karyawan terkait dengan gagasan untuk menciptakan budaya pemenang yang mempromosikan kepuasan
pelanggan. Ukuran keterlibatan digunakan untuk melacak pengaruh program pelatihan. Hal ini terkait
dengan strategi perusahaan, melacak kemajuan dari waktu ke waktu, dan memiliki hubungan langsung
dengan pelatihan. Penggunaan umum dari keterlibatan membangun akuntabilitas bagi manajer dan
memberikan ukuran kemajuan yang berharga untuk seluruh perusahaan.
Evaluasi pelatihan menyediakan cara untuk memahami investasi yang dihasilkan pelatihan dan
memberikan informasi yang dibutuhkan untuk meningkatkan pelatihan.3Jika perusahaan menerima
pengembalian yang tidak memadai atas investasinya dalam pelatihan, kemungkinan besar perusahaan akan
mengurangi investasinya dalam pelatihan atau mencari penyedia pelatihan di luar perusahaan yang dapat
memberikan pengalaman pelatihan yang meningkatkan kinerja, produktivitas, kepuasan pelanggan, atau apa
pun hasil lain yang diperoleh perusahaan. tertarik untuk mencapainya. Evaluasi pelatihan menyediakan data
yang diperlukan untuk menunjukkan bahwa pelatihan memang menawarkan manfaat bagi perusahaan.
Evaluasi pelatihan melibatkan evaluasi formatif dan sumatif.4
218Bagian 2Pelatihan Merancang
Evaluasi formatif
Evaluasi formatifmengacu pada evaluasi pelatihan yang berlangsung selama desain dan
pengembangan program. Artinya, evaluasi formatif membantu memastikan bahwa (1) program
pelatihan diatur dengan baik dan berjalan dengan lancar dan (2) peserta belajar dan puas dengan
program tersebut. Evaluasi formatif memberikan informasi tentang bagaimana membuat program
menjadi lebih baik; biasanya melibatkan pengumpulan data kualitatif tentang program. Data kualitatif
meliputi opini, keyakinan, dan perasaan tentang program. Evaluasi formatif meminta pendapat
pelanggan, karyawan, manajer, dan pakar materi pelajaran tentang deskripsi konten dan tujuan
pelatihan serta desain program. Orang-orang ini juga diminta untuk mengevaluasi kejelasan dan
kemudahan penggunaan bagian dari program pelatihan yang diberikan kepada mereka dalam cara
penyampaiannya (misalnya, online,5Evaluasi formatif dilakukan baik secara individu atau kelompok
sebelum program tersedia untuk seluruh perusahaan. Pelatih juga dapat dilibatkan untuk mengukur
kebutuhan waktu program. Sebagai hasil dari evaluasi formatif, isi pelatihan dapat diubah menjadi
lebih akurat, lebih mudah dipahami, atau lebih menarik. Metode pelatihan dapat disesuaikan untuk
meningkatkan pembelajaran (misalnya, memberi peserta pelatihan lebih banyak kesempatan untuk
berlatih atau memberikan umpan balik). Selain itu, memperkenalkan program pelatihan sedini
mungkin kepada manajer dan pelanggan membantu membuat mereka membeli program tersebut,
yang sangat penting untuk peran mereka dalam membantu karyawan belajar dan mentransfer
keterampilan. Hal ini juga memungkinkan kekhawatiran mereka untuk ditangani sebelum program
diimplementasikan.
Uji coba percontohanmengacu pada proses pratinjau program pelatihan dengan calon peserta pelatihan
dan manajer atau dengan pelanggan lain (orang yang membayar untuk pengembangan program). Uji coba
dapat digunakan sebagai "latihan berpakaian" untuk menunjukkan program kepada manajer, peserta
pelatihan, dan pelanggan. Ini juga harus digunakan untuk evaluasi formatif. Misalnya, sekelompok calon
peserta pelatihan dan manajer mereka mungkin diminta untuk melakukan pratinjau atau uji coba program
pelatihan berbasis Web. Saat mereka menyelesaikan program, peserta pelatihan dan manajer mungkin
diminta untuk memberikan pendapat mereka apakah grafik, video, atau musik yang digunakan dalam
program berkontribusi (atau mengganggu) pembelajaran. Mereka mungkin juga ditanyai betapa mudahnya
mengikuti program dan menyelesaikan latihan, dan mereka mungkin diminta untuk mengevaluasi kualitas
umpan balik dari program pelatihan yang diberikan setelah mereka menyelesaikan latihan. Informasi yang
diperoleh dari pratinjau ini akan digunakan oleh pengembang program untuk meningkatkan program
sebelum tersedia untuk semua karyawan. St George Bank mengembangkan sistem pelatihan berbasis Web
baru untuk teller bank.6 Sebelum program ini diberikan kepada semua teller bank, program ini ditinjau oleh
sekelompok kecil teller bank yang dianggap sebagai pengguna biasa program tersebut. Teller memberikan
saran untuk perbaikan, dan perancang instruksional memasukkan saran mereka ke dalam versi final
program.
Evaluasi Sumatif
Evaluasi sumatif mengacu pada evaluasi yang dilakukan untuk menentukan sejauh mana peserta
pelatihan telah berubah sebagai akibat dari keikutsertaan dalam program pelatihan. Artinya, apakah
peserta pelatihan memperoleh pengetahuan, keterampilan, sikap, perilaku, atau hasil lain yang
diidentifikasi dalam tujuan pelatihan? Evaluasi sumatif juga dapat mencakup pengukuran manfaat
moneter (juga dikenal sebagai laba atas investasi) yang diterima perusahaan dari program tersebut.
Evaluasi sumatif biasanya melibatkan pengumpulan data kuantitatif (numerik) melalui tes, penilaian
perilaku, atau ukuran objektif kinerja seperti volume penjualan, kecelakaan, atau paten.
Bab 6 Evaluasi Pelatihan 219
Dari pembahasan evaluasi sumatif dan formatif, mungkin jelas bagi Anda
mengapa program pelatihan harus dievaluasi:
1. Untuk mengidentifikasi kekuatan dan kelemahan program. Ini termasuk menentukan apakah
program tersebut memenuhi tujuan pembelajaran, apakah kualitas lingkungan belajar
memuaskan, dan apakah transfer pelatihan ke pekerjaan terjadi.
2. Untuk menilai apakah konten, organisasi, dan administrasi program termasuk jadwal,
akomodasi, pelatih, dan materi—berkontribusi pada pembelajaran dan penggunaan
konten pelatihan di tempat kerja.
3. Untuk mengidentifikasi peserta pelatihan mana yang paling atau paling tidak diuntungkan dari program tersebut.
4. Membantu pemasaran program melalui pengumpulan informasi dari peserta tentang apakah mereka akan
merekomendasikan program tersebut kepada orang lain, mengapa mereka mengikuti program tersebut,
dan tingkat kepuasan mereka terhadap program tersebut.
7. Untuk membandingkan biaya dan manfaat dari program pelatihan yang berbeda untuk memilih program yang
terbaik.
GAMBAR 6.1 Penilaian kebutuhan membantu mengidentifikasi apa pengetahuan, keterampilan, perilaku, atau lainnya
Evaluasi
Proses
Lakukan Analisis Kebutuhan
Sumber: Berdasarkan
DA Grove dan
C. Ostroff, “Program
Evaluasi,” dalam
Kembangkan Tujuan Pembelajaran yang Terukur
Mengembangkan Manusia
Sumber daya,ed. dan Analisis Transfer Pelatihan
KN Wexley
(Washington DC:
Biro Nasional
Urusan, 1991): 5-185 Kembangkan Ukuran Hasil
sampai 5–220; K. Kraiger,
D. McLinden, dan
W.Caper,
“Kolaborasi Pilih Strategi Evaluasi
Perencanaan Pelatihan
Dampak,"Manusia
Pengelolaan sumber daya
(Musim Dingin 2004): Merencanakan dan Melaksanakan Evaluasi
337–51.
220Bagian 2Pelatihan Merancang
Untuk mengevaluasi program pelatihannya, perusahaan harus memutuskan: bagaimana itu akan
menentukan efektivitas program; yaitu, harus mengidentifikasi hasil atau kriteria pelatihan apa yang akan
diukur.
Salah satu kerangka kerja asli untuk mengidentifikasi dan mengkategorikan hasil pelatihan
dikembangkan oleh Kirkpatrick. Tabel 6.1 menunjukkan kerangka empat tingkat Kirkpatrick untuk
TABEL 6.1 mengkategorikan hasil pelatihan.10
Kirkpatrick Sifat hierarki kerangka Kirkpatrick menunjukkan bahwa hasil tingkat yang lebih tinggi tidak boleh diukur
Empat Tingkat kecuali perubahan positif terjadi pada hasil tingkat yang lebih rendah. Misalnya, jika peserta pelatihan tidak
Kerangka menyukai kursus, tidak ada pembelajaran yang akan terjadi. Juga, kerangka kerja menyiratkan bahwa
Evaluasi perubahan pada tingkat yang lebih tinggi (misalnya, hasil) lebih bermanfaat daripada
Kriteria
Sumber: Berdasarkan
DL Kirkpatrick, Tingkat Kriteria Fokus
“Evaluasi” dalam Itu
Pelatihan ASTD dan 4 Hasil Hasil bisnis yang dicapai oleh peserta pelatihan Peningkatan
Tangan Pengembangan- 3 Perilaku perilaku di tempat kerja Perolehan pengetahuan, keterampilan,
buku(2d ed.), ed.
RL Craig (New 2 Sedang belajar sikap, perilaku Kepuasan peserta pelatihan
York: McGraw-Hill, 1 Reaksi
1996): 294–312.
Bab 6 Evaluasi Pelatihan 221
perubahan pada tingkat yang lebih rendah (misalnya, belajar). Namun, kerangka tersebut telah dikritik
karena sejumlah alasan. Pertama, penelitian belum menemukan bahwa setiap level disebabkan oleh
level yang mendahuluinya dalam kerangka kerja, juga tidak ada bukti yang menunjukkan bahwa level
tersebut berbeda dalam kepentingannya.11Kedua, pendekatan tidak memperhitungkan tujuan
evaluasi. Hasil yang digunakan untuk evaluasi harus berhubungan dengan kebutuhan pelatihan,
tujuan pembelajaran program, dan alasan strategis pelatihan. Ketiga, penggunaan pendekatan
menunjukkan bahwa hasil dapat dan harus dikumpulkan secara teratur, yaitu ukuran reaksi yang
diikuti dengan ukuran pembelajaran, perilaku, dan hasil. Secara realistis, langkah-langkah
pembelajaran perlu dikumpulkan pada waktu yang hampir bersamaan dengan langkah-langkah
reaksi, menjelang akhir program pelatihan, untuk menentukan apakah pembelajaran telah terjadi.
Sebagai hasil dari kritik ini, baik praktisi pelatihan maupun peneliti akademis telah
mengembangkan model kriteria pelatihan yang lebih komprehensif; yaitu, hasil pelatihan
tambahan telah ditambahkan ke kerangka kerja asli Kirkpatrick. Dengan demikian, hasil
pelatihan telah diklasifikasikan ke dalam enam kategori, seperti yang ditunjukkan pada Tabel
6.2: hasil reaksi, hasil pembelajaran atau kognitif, hasil berbasis perilaku dan keterampilan, hasil
afektif, hasil, dan laba atas investasi.12
Tabel 6.2 menunjukkan hasil pelatihan, kerangka kerja lima tingkat DL Kirkpatrick untuk
mengkategorikan hasil pelatihan, dan deskripsi masing-masing hasil dan cara mengukurnya. Baik
hasil level 1 dan level 2 (reaksi dan pembelajaran) dikumpulkan pada penyelesaian pelatihan, sebelum
peserta kembali ke pekerjaan. Hasil Level 3 (perilaku/keterampilan) juga dapat dikumpulkan pada saat
selesainya pelatihan untuk menentukan perilaku atau tingkat keterampilan peserta pelatihan pada
saat selesainya pelatihan. Untuk menentukan apakah peserta pelatihan menggunakan konten
pelatihan kembali di tempat kerja (yaitu, apakah transfer pelatihan telah terjadi), hasil level 3, level 4,
dan/atau level 5 dapat dikumpulkan. Kriteria Level 3 dapat dikumpulkan untuk menentukan apakah
perilaku/keterampilan digunakan dalam pekerjaan. Kriteria level 4 dan level 5 (hasil dan laba atas
investasi) juga dapat digunakan untuk menentukan apakah pelatihan telah menghasilkan peningkatan
dalam hasil bisnis seperti produktivitas atau kepuasan pelanggan. Kriteria ini juga membantu
menentukan apakah manfaat pelatihan melebihi biayanya.
Hasil Reaksi
Hasil reaksimengacu pada persepsi peserta pelatihan tentang program, termasuk fasilitas,
pelatih, dan konten. (Hasil reaksi sering disebut sebagai ukuran "kenyamanan makhluk.")
Mereka sering disebut evaluasi kelas atau instruktur. Informasi ini biasanya dikumpulkan pada
akhir program. Anda mungkin telah diminta untuk menyelesaikan evaluasi kelas atau instruktur
baik di akhir kursus perguruan tinggi atau program pelatihan di tempat kerja. Reaksi berguna
untuk mengidentifikasi apa yang menurut peserta pelatihan berhasil atau apa yang
menghambat pembelajaran. Hasil reaksi adalah kriteria level 1 (reaksi) dalam kerangka
Kirkpatrick.
Hasil reaksi biasanya dikumpulkan melalui kuesioner yang diisi oleh peserta pelatihan.
Tindakan reaksi harus mencakup pertanyaan yang berkaitan dengan kepuasan peserta
pelatihan dengan instruktur, materi pelatihan, dan administrasi pelatihan (kemudahan
pendaftaran, keakuratan deskripsi kursus) serta kejelasan tujuan kursus dan kegunaan konten
pelatihan.13 Tabel 6.3 menunjukkan ukuran reaksi yang berisi pertanyaan tentang area ini.
222 Bagian 2 Pelatihan Merancang
Sumber: Berdasarkan K. Kraiger, JK Ford, dan E. Salas, “Application of Cognitive, Skill-Based, and Affective Theories of Learning Outcomes to New Methods of Training
Evaluation,” Jurnal Psikologi Terapan 78 (2) (1993): 311–328; K. Kraiger, “Evaluasi Berbasis Keputusan,” dalam K. Kraiger (ed.),Membuat, Menerapkan, dan Mengelola
Pelatihan dan Pengembangan yang Efektif(San Francisco: Jossey-Bass, 2002): 331–375; D. Kirkpatrick, "Evaluasi," dalamBuku Pegangan Pelatihan dan Pengembangan
ASTD,edisi ke-2, ed. RL Craig (New York: McGraw-Hill, 1996): 294–312.
Bab 6 Evaluasi Pelatihan 223
Bacalah setiap pernyataan di bawah ini. Tunjukkan sejauh mana Anda setuju atau tidak setuju dengan setiap pernyataan menggunakan skala di
bawah ini.
Sangat tidak setuju Tidak setuju Juga tidak Setuju Sangat setuju
1 2 3 4 5
1. Saya memiliki pengetahuan dan keterampilan yang dibutuhkan untuk belajar dalam kursus ini.
Evaluasi yang akurat perlu mencakup semua faktor yang terkait dengan lingkungan belajar yang sukses.
14Kebanyakan evaluasi instruktur atau kelas mencakup hal-hal yang berkaitan dengan persiapan pelatih,
penyampaian, kemampuan memimpin diskusi, pengorganisasian materi dan konten pelatihan, penggunaan
alat bantu visual, gaya presentasi, kemampuan dan kemauan menjawab pertanyaan, dan kemampuan untuk
merangsang peserta pelatihan. minat dalam kursus. Item ini berasal dari manual pelatih, program sertifikasi
pelatih, dan pengamatan pelatih yang sukses. Kebijaksanaan konvensional menunjukkan bahwa peserta
pelatihan yang menyukai program pelatihan (yang memiliki reaksi positif) belajar lebih banyak dan lebih
mungkin untuk mengubah perilaku dan meningkatkan kinerja mereka (transfer pelatihan). Apakah ini
kasusnya? Hasil penelitian terbaru menunjukkan bahwa reaksi memiliki hubungan terbesar dengan
perubahan hasil belajar afektif.15Juga, penelitian telah menemukan bahwa reaksi secara signifikan terkait
dengan perubahan dalam pengetahuan deklaratif dan prosedural, yang menantang penelitian sebelumnya
yang menunjukkan bahwa reaksi tidak terkait dengan pembelajaran. Untuk kursus seperti pelatihan
keragaman atau pelatihan etika, reaksi peserta pelatihan sangat penting karena mereka mempengaruhi
penerimaan peserta didik terhadap perubahan sikap. Reaksi telah ditemukan memiliki hubungan paling kuat
dengan motivasi pasca pelatihan, efikasi diri peserta pelatihan, dan pengetahuan deklaratif ketika teknologi
digunakan untuk penyampaian instruksional. Hal ini menunjukkan bahwa untuk metode pelatihan online
atau e-learning, penting untuk memastikan bahwa peserta pelatihan mudah mengaksesnya dan konten
pelatihan bermakna, yaitu, terkait dengan pengalaman kerja, tugas, atau masalah kerja mereka saat ini.
hasil adalah kriteria level 2 (pembelajaran) dalam kerangka Kirkpatrick. Biasanya, tes pensil dan kertas digunakan
untuk menilai hasil kognitif. Tabel 6.4 memberikan contoh item dari tes pensil dan kertas yang digunakan untuk
mengukur pengetahuan peserta pelatihan tentang keterampilan pengambilan keputusan. Item-item ini membantu
mengukur apakah seorang peserta pelatihan tahu bagaimana membuat keputusan (proses yang akan dia gunakan).
Mereka tidak membantu untuk menentukan apakah peserta pelatihan akan benar-benar menggunakan keterampilan
pengambilan keputusan di tempat kerja.
Hasil Afektif
Hasil afektif meliputi sikap dan motivasi. Hasil afektif yang mungkin dikumpulkan dalam evaluasi
termasuk toleransi terhadap keragaman, motivasi untuk belajar, sikap keselamatan, dan orientasi
layanan pelanggan. Hasil afektif dapat diukur dengan menggunakan survei. Tabel 6.6 menunjukkan
contoh pertanyaan pada survei yang digunakan untuk mengukur tujuan, rencana, dan minat karir.
Sikap khusus dari minat tergantung pada tujuan program. Hasil afektif berhubungan dengan
Kirkpatrick level 2 (pembelajaran) atau level 3 (perilaku) tergantung pada bagaimana mereka
dievaluasi. Jika peserta pelatihan ditanya tentang sikap mereka dalam survei, itu
Tugas penilaian:Pertimbangkan peluang Anda selama tiga bulan terakhir untuk mengamati dan berinteraksi dengan kepala sekolah/
asisten kepala sekolah yang Anda nilai. Baca definisi dan perilaku yang terkait dengan keterampilan. Kemudian lengkapi penilaian
Anda menggunakan skala berikut:
1 2 3 4 5
SAYA.Kepekaan:Kemampuan untuk memahami kebutuhan, perhatian, dan masalah pribadi orang lain; kebijaksanaan dalam berurusan dengan orang-orang
dari latar belakang yang berbeda; keterampilan dalam menyelesaikan konflik; kemampuan untuk berurusan secara efektif dengan orang-orang mengenai
kebutuhan emosional; mengetahui informasi apa yang harus dikomunikasikan kepada siapa.
Sejauh mana dalam tiga bulan terakhir kepala sekolah atau asisten kepala sekolah:
__ 1. Menimbulkan persepsi, perasaan, dan perhatian orang lain?
__ 2. Mengungkapkan pengakuan verbal dan nonverbal terhadap perasaan, kebutuhan, dan perhatian orang lain?
__ 3. Mengambil tindakan yang mengantisipasi efek emosional dari perilaku tertentu?
__ 4. Secara akurat mencerminkan sudut pandang orang lain dengan menyatakannya kembali, menerapkannya, atau mendorongnya
masukan?
__ 5. Mengkomunikasikan semua informasi kepada orang lain yang mereka butuhkan untuk melakukan pekerjaan mereka? __ 6.
Mengalihkan konflik yang tidak perlu dengan orang lain dalam situasi bermasalah?
II.Ketegasan:Kemampuan untuk mengenali kapan keputusan diperlukan dan bertindak cepat. (Abaikan kualitas
keputusan.)
Sejauh mana dalam tiga bulan terakhir individu ini:
__ 7. Diakui ketika keputusan diperlukan dengan menentukan hasil jika keputusan itu dibuat
atau tidak dibuat?
__ 8. Menentukan apakah solusi jangka pendek atau jangka panjang paling tepat untuk berbagai situasi
ditemui di sekolah? __ 9.
Mempertimbangkan alternatif keputusan?
__10. Membuat keputusan tepat waktu berdasarkan data yang tersedia?
__11. Terjebak pada keputusan setelah dibuat, menolak tekanan dari orang lain?
akan dianggap sebagai ukuran pembelajaran. Misalnya, sikap terhadap tujuan dan minat karir mungkin
merupakan hasil yang tepat untuk digunakan untuk mengevaluasi pelatihan yang berfokus pada pengelolaan
diri karyawan terhadap karir mereka.
Hasil
Hasil digunakan untuk menentukan hasil program pelatihan bagi perusahaan. Contoh
hasil hasil meliputi peningkatan produksi dan pengurangan biaya yang terkait dengan
pergantian karyawan, kecelakaan, dan waktu henti peralatan serta peningkatan kualitas
produk atau layanan pelanggan.17 Hasil hasil adalah kriteria level 4 (hasil) di
TABEL 6.6 1. Saat ini saya memiliki tujuan karir yang pasti dalam pikiran.
Contoh 2. Saya memiliki strategi untuk mencapai tujuan karir saya.
Afektif 3. Manajer saya mengetahui tujuan karir saya.
Hasil: 4. Saya telah mencari informasi mengenai bidang minat karir spesifik saya dari teman,
Tujuan karir, kolega, atau sumber karir perusahaan.
Rencana, dan
5. Saya telah memulai percakapan mengenai rencana karir saya dengan manajer saya.
Minat
226Bagian 2Pelatihan Merancang
Pengembalian Investasi
Pengembalian investasi (ROI) mengacu pada membandingkan manfaat moneter pelatihan dengan
biaya pelatihan. ROI sering disebut sebagai evaluasi level 5 (lihat Tabel 6.2). Biaya pelatihan bisa
langsung dan tidak langsung.20 Biaya langsung termasuk gaji dan tunjangan untuk semua karyawan
yang terlibat dalam pelatihan, termasuk peserta pelatihan, instruktur, konsultan, dan karyawan yang
merancang program; materi dan perlengkapan program; penyewaan atau pembelian peralatan atau
ruang kelas; dan biaya perjalanan.Biaya tidak langsungtidak terkait langsung dengan desain,
pengembangan, atau penyampaian program pelatihan. Mereka termasuk perlengkapan kantor
umum, fasilitas, peralatan, dan biaya terkait; perjalanan dan pengeluaran yang tidak langsung
ditagihkan ke satu program; manajemen departemen pelatihan dan gaji staf yang tidak terkait dengan
satu program; dan gaji pendukung administrasi dan staf.Manfaatadalah nilai yang diperoleh
perusahaan dari program pelatihan.
Departemen pelatihan operasi teknis Northwest Airlines mencakup 72 instruktur yang
bertanggung jawab untuk melatih ribuan teknisi pesawat dan lebih dari 10.000 vendor luar
yang bekerja untuk memelihara armada pesawat Northwest.21 Setiap instruktur pelatihan
bekerja dengan satu jenis pesawat, seperti Airbus 320. Sebagian besar pelatihan departemen
dipimpin instruktur di ruang kelas, tetapi program instruksi lainnya menggunakan simulator
atau berlangsung di pesawat terbang yang sebenarnya.
Dengan melacak data pelatihan departemen, yang memungkinkan untuk evaluasi pelatihan,
departemen operasi teknis dapat menunjukkan nilainya dengan menunjukkan bagaimana layanannya
berkontribusi pada bisnis maskapai. Misalnya, departemen operasi teknis mengurangi biaya pelatihan
seorang teknisi individu sebesar 16 persen; peningkatan kepuasan pelanggan melalui pelatihan;
peningkatan produktivitas pelatihan; membuat kasus untuk manajemen atas untuk menyediakan
sumber daya keuangan untuk pelatihan; dan peningkatan evaluasi pasca kursus, pengetahuan, dan
peningkatan kinerja.
Untuk mencapai hasil ini, departemen pelatihan operasi teknis mengembangkan Indeks
Kualitas Pelatihan (TQI). TQI adalah aplikasi komputer yang mengumpulkan data tentang
kinerja departemen pelatihan, produktivitas, anggaran, dan kursus dan memungkinkan untuk
Bab 6 Evaluasi Pelatihan 227
analisis data. TQI melacak semua data pelatihan departemen ke dalam lima kategori:
efektivitas, kuantitas, persepsi, dampak keuangan, dan dampak operasional. Kualitas pelatihan
termasuk dalam kategori efektivitas. Misalnya, perolehan pengetahuan berkaitan dengan
perbedaan pengetahuan prapelatihan dan pascapelatihan yang diukur dengan ujian. Sistem
dapat memberikan laporan kinerja yang berhubungan dengan anggaran dan biaya pelatihan
per siswa per hari dan biaya pelatihan lainnya. Langkah-langkah yang dikumpulkan juga terkait
dengan tujuan departemen, strategi departemen, dan akhirnya, strategi keseluruhan
Northwest Airline. Pertanyaan yang sering diajukan sebelum TQI dikembangkan tetapi tidak
mudah dijawab—seperti bagaimana biaya pelatihan dapat dibenarkan, apa dampak operasional
pelatihan, dan berapa jumlah pelatihan yang telah diterima teknisi—kini dapat dijawab melalui
sistem TQI. Permintaan pelatihan dapat dibandingkan dengan beban penumpang dan jumlah
rute terbang untuk menentukan jumlah pelatih yang tepat di lokasi yang tepat untuk
mendukung kebutuhan bisnis. Penyesuaian ini meningkatkan kepuasan pelanggan dan
menghasilkan pandangan positif dari operasi pelatihan.
Relevansi
Relevansi kriteriamengacu pada sejauh mana hasil pelatihan terkait dengan kemampuan yang
dipelajari yang ditekankan dalam program pelatihan. Kemampuan yang dipelajari yang dibutuhkan
untuk berhasil dalam program pelatihan harus sama dengan yang dibutuhkan untuk berhasil dalam
pekerjaan. Hasil yang dikumpulkan dalam pelatihan harus semirip mungkin dengan apa yang
dipelajari peserta dalam program. Artinya, hasil belajar perlu menjadi ukuran yang valid. Salah satu
cara untuk memastikan relevansi hasil adalah dengan memilih hasil berdasarkan tujuan pembelajaran
untuk program tersebut. Ingat dari Bab 4 bahwa tujuan pembelajaran menunjukkan tindakan yang
diharapkan, kondisi di mana peserta harus melakukan, dan tingkat atau standar kinerja.
Gambar 6.2 menunjukkan dua cara bahwa hasil pelatihan mungkin kurang relevan.Kontaminasi
kriteriamengacu pada sejauh mana hasil pelatihan mengukur kemampuan yang tidak sesuai atau
dipengaruhi oleh kondisi asing. Misalnya, jika evaluasi kinerja pekerjaan manajer digunakan sebagai
hasil pelatihan, peserta pelatihan dapat menerima peringkat kinerja pekerjaan yang lebih tinggi hanya
karena manajer tahu bahwa mereka menghadiri program pelatihan, percaya bahwa program itu
berharga, dan oleh karena itu memberikan peringkat tinggi untuk memastikan bahwa pelatihan
tampaknya mempengaruhi kinerja secara positif. Kriteria juga dapat terkontaminasi jika kondisi di
mana hasil diukur berbeda dari lingkungan belajar. Artinya, peserta pelatihan mungkin diminta untuk
melakukan kemampuan belajar mereka menggunakan peralatan, kendala waktu, atau kondisi kerja
fisik yang tidak serupa dengan lingkungan belajar.
Misalnya, peserta pelatihan mungkin diminta untuk mendemonstrasikan keterampilan spreadsheet menggunakan versi
perangkat lunak spreadsheet yang lebih baru daripada yang mereka gunakan dalam program pelatihan. Demonstrasi ini
228Bagian 2Pelatihan Merancang
GAMBAR 6.2
Kriteria
Kekurangan,
Relevansi, dan
Kontaminasi hasil
hasil
hasil Diidentifikasi oleh
Berhubungan dengan
Diukur dalam Butuh penilaian
Pelatihan
Evaluasi dan Termasuk
Tujuan
dalam pelatihan
Tujuan
kemungkinan tidak akan menghasilkan perubahan dalam keterampilan spreadsheet mereka dari tingkat pra-pelatihan. Dalam
hal ini, pelatihan berkualitas rendah bukanlah penyebab kurangnya perubahan dalam keterampilan spreadsheet mereka.
Peserta pelatihan mungkin telah mempelajari keterampilan spreadsheet yang diperlukan, tetapi lingkungan untuk evaluasi
berbeda secara substansial dari lingkungan belajar, sehingga tidak ada perubahan dalam tingkat keterampilan yang diamati.
Keandalan
Keandalan mengacu pada sejauh mana hasil dapat diukur secara konsisten dari waktu ke waktu.
Misalnya, seorang pelatih memberi karyawan restoran tes tertulis yang mengukur pengetahuan
tentang standar keselamatan untuk mengevaluasi program pelatihan keselamatan yang mereka ikuti.
Tes diberikan sebelum (pretraining) dan setelah (posttraining) karyawan mengikuti program. Tes yang
andal mencakup item yang makna atau interpretasinya tidak berubah seiring waktu. Tes yang andal
memungkinkan pelatih untuk memiliki keyakinan bahwa setiap peningkatan skor tes pasca pelatihan
dari tingkat pra pelatihan adalah hasil pembelajaran yang terjadi dalam program pelatihan, bukan
karakteristik tes (misalnya, item lebih mudah dipahami untuk kedua kalinya) atau lingkungan tes
( misalnya, peserta pelatihan tampil lebih baik pada tes pasca pelatihan karena ruang kelas lebih
nyaman dan lebih tenang).
Diskriminasi
Diskriminasimengacu pada sejauh mana kinerja peserta pelatihan pada hasil benar-benar mencerminkan
perbedaan kinerja yang sebenarnya. Misalnya, tes kertas dan pensil yang mengukur pengetahuan ahli listrik
tentang prinsip kelistrikan harus mendeteksi perbedaan yang sebenarnya dalam pengetahuan peserta
pelatihan tentang prinsip kelistrikan. Artinya, tes harus membedakan pada
Bab 6 Evaluasi Pelatihan 229
dasar pengetahuan peserta pelatihan tentang prinsip-prinsip kelistrikan. (Orang yang mendapat nilai tinggi dalam ujian
memiliki pemahaman yang lebih baik tentang prinsip-prinsip kelistrikan daripada mereka yang mendapat nilai rendah.)
Kepraktisan
Kepraktisanmengacu pada kemudahan yang ukuran hasil dapat dikumpulkan. Salah satu alasan yang
diberikan perusahaan untuk tidak memasukkan hasil pembelajaran, kinerja, dan perilaku dalam
evaluasi program pelatihan mereka adalah karena mengumpulkannya terlalu membebani.
(Dibutuhkan terlalu banyak waktu dan energi, yang mengurangi bisnis.) Misalnya, dalam
mengevaluasi program pelatihan penjualan, mungkin tidak praktis untuk meminta pelanggan menilai
perilaku tenaga penjual karena ini akan menempatkan terlalu banyak komitmen waktu pada
pelanggan (dan mungkin merusak hubungan penjualan di masa depan).
PRAKTEK EVALUASI
Gambar 6.3 menunjukkan hasil yang digunakan dalam praktik evaluasi pelatihan. Survei praktik
evaluasi perusahaan menunjukkan bahwa reaksi (hasil afektif) dan hasil kognitif adalah hasil
yang paling sering digunakan dalam evaluasi pelatihan.23Meskipun penggunaan hasil kognitif,
perilaku, dan hasil lebih jarang, penelitian menunjukkan bahwa pelatihan dapat memiliki efek
positif pada hasil ini.24Ingatlah bahwa sementara sebagian besar perusahaan melakukan
evaluasi pelatihan, beberapa survei menunjukkan bahwa 20 persen dari semua perusahaan
tidak!
Evaluasi 90
Praktek 80
Catatan: Responden 70
adalah perusahaan yang
berpartisipasi dalam ASTD 60 54%
Pembandingan
Forum. 50
Sumber: Berdasarkan
B. Sugrue dan 40
R.Rivera,Keadaan
Industri 2005 30 23%
(Aleksandria, VA:
Masyarakat Amerika untuk 20
Pelatihan dan
Perkembangan, 10 8%
2005): 15.
3%
0
Reaksi kognitif Perilaku Hasil Pengembalian Investasi
(Aktual atau Proyeksi)
hasil
230 Bagian 2Pelatihan Merancang
seperti yang dibahas dalam Bab 2. Untuk memastikan evaluasi pelatihan yang memadai, perusahaan harus
mengumpulkan ukuran hasil yang terkait dengan pembelajaran (tingkat 1 dan 2) dan transfer pelatihan
(tingkat 3, 4, atau 5).
Penting untuk mengenali keterbatasan memilih untuk mengukur hanya reaksi dan hasil kognitif.
Pertimbangkan diskusi pembelajaran sebelumnya (Bab 4) dan transfer pelatihan (Bab 5). Ingatlah
bahwa agar pelatihan berhasil, pembelajarandan transfer pelatihan harus terjadi. Gambar 6.4
menunjukkan berbagai tujuan program pelatihan dan implikasinya dalam memilih hasil evaluasi.
Program pelatihan biasanya memiliki tujuan yang berkaitan dengan pembelajaran dan transfer.
Artinya, mereka ingin peserta pelatihan memperoleh pengetahuan dan keterampilan kognitif dan juga
untuk menunjukkan penggunaan pengetahuan atau strategi dalam perilaku mereka di tempat kerja.
Akibatnya, untuk memastikan evaluasi pelatihan yang memadai, perusahaan harus mengumpulkan
ukuran hasil yang terkait dengan pembelajaran dan transfer.
Fungsi pelatihan Ernst Young menggunakan pengujian pengetahuan (level 2) untuk semua kursus e-
learning perusahaan, yang mencakup 50 persen pelatihan.25 Kursus dan program baru menggunakan
transfer perilaku (level 3) dan hasil bisnis (level 4). Terlepas dari programnya, para pemimpin perusahaan
tertarik pada apakah peserta pelatihan merasa bahwa pelatihan telah menggunakan waktu, uang, dan
apakah mereka akan merekomendasikannya kepada karyawan lain (tingkat 1). Fungsi pelatihan secara
otomatis melacak hasil ini. Manajer menggunakan pelatihan dan pengembangan untuk mendorong
perubahan perilaku yang dapat diamati pada karyawan yang akan menghasilkan hasil bisnis seperti
kepuasan klien dan perputaran yang lebih rendah, yang juga mereka pantau.
Perhatikan bahwa ukuran hasil tidak terkait sempurna satu sama lain. Artinya, tergoda untuk
berasumsi bahwa peserta pelatihan yang puas belajar lebih banyak dan akan menerapkan
pengetahuan dan keterampilan mereka pada pekerjaan, menghasilkan perubahan perilaku dan hasil
positif bagi perusahaan. Namun, penelitian menunjukkan bahwa hubungan antara reaksi, kognitif,
perilaku, dan hasil hasil kecil.26
GAMBAR 6.4
Pelatihan
Objektif
Program
Tujuan dan
Sedang belajar Transfer
Milik mereka
Implikasi
untuk evaluasi
hasil
Perilaku/
Reaksi:Apakah peserta pelatihan suka? Berbasis Keterampilan:Peringkat oleh rekan-rekan
Berapa lama setelah pelatihan hasil harus dikumpulkan? Tidak ada standar yang diterima
tentang kapan hasil pelatihan yang berbeda harus dikumpulkan. Dalam kebanyakan kasus,
reaksi biasanya diukur segera setelah pelatihan.27 Pembelajaran, perilaku, dan hasil harus
diukur setelah waktu yang cukup berlalu untuk menentukan apakah pelatihan memiliki
pengaruh pada hasil ini. Transfer pelatihan yang positif ditunjukkan ketika pembelajaran terjadi
dan perubahan positif dalam hasil berbasis keterampilan, afektif, atau hasil juga diamati. Tidak
ada transfer pelatihan yang ditunjukkan jika pembelajaran terjadi tetapi tidak ada perubahan
yang diamati dalam hasil berbasis keterampilan, afektif, atau pembelajaran. Transfer negatif
terbukti ketika pembelajaran terjadi tetapi keterampilan, hasil afektif, atau hasil kurang dari
pada tingkat pra-pelatihan. Hasil studi evaluasi yang tidak menemukan transfer atau transfer
negatif menunjukkan bahwa pelatih dan manajer perlu menyelidiki apakah lingkungan belajar
yang baik (misalnya, kesempatan untuk umpan balik dan praktik) disediakan dalam program
pelatihan,
DESAIN EVALUASI
Desain evaluasi pelatihan menentukan keyakinan yang dapat ditempatkan pada hasil,
yaitu, seberapa yakin perusahaan bahwa pelatihan bertanggung jawab atas perubahan
hasil evaluasi atau gagal memengaruhi hasil. Tidak ada desain evaluasi yang dapat
memastikan bahwa hasil evaluasi sepenuhnya karena pelatihan. Apa yang diperjuangkan
oleh evaluator adalah menggunakan desain yang paling ketat (mengingat keadaan di
mana evaluasi terjadi) untuk mengesampingkan penjelasan alternatif untuk hasil evaluasi.
Diskusi tentang desain evaluasi ini dimulai dengan mengidentifikasi "penjelasan alternatif"
yang harus coba dikendalikan oleh evaluator. Selanjutnya, berbagai desain evaluasi
dibandingkan. Terakhir, bagian ini membahas keadaan praktis yang perlu dipertimbangkan
pelatih dalam memilih desain evaluasi.
Perusahaan
orang
Pematangan Perubahan hasil pelatihan dihasilkan dari pertumbuhan fisik atau keadaan emosional
peserta pelatihan.
Kematian Peserta studi drop out dari studi (misalnya, meninggalkan perusahaan). Kelompok pelatihan
Perbedaan kelompok awal berbeda dari kelompok pembanding pada perbedaan individu yang mempengaruhi hasil
(pengetahuan, keterampilan, kemampuan, perilaku).
Ukuran Hasil
Pengujian Trainee peka untuk melakukan dengan baik pada langkah-langkah posttest.
Peralatan Interpretasi peserta pelatihan tentang hasil berubah selama evaluasi. Peserta
Regresi menuju mean pelatihan dengan skor tinggi dan rendah bergerak ke arah menengah atau rata-rata
pada ukuran pasca pelatihan.
Reaksi terhadap prates Penggunaan tes sebelum pelatihan menyebabkan peserta pelatihan memperhatikan materi yang
diujikan.
Reaksi terhadap evaluasi Dievaluasi menyebabkan peserta pelatihan berusaha lebih keras dalam program pelatihan.
Interaksi seleksi dan pelatihan Karakteristik peserta pelatihan mempengaruhi efektivitas program. Hasil dari peserta pelatihan yang
Interaksi metode menerima metode yang berbeda dapat digeneralisasi hanya untuk peserta pelatihan yang menerima
pelatihan yang sama dalam urutan yang sama.
Sumber: Berdasarkan TD Cook, DT Campbell, dan L. Peracchio, “Quasi-Experimentation,” diBuku Pegangan Psikologi Industri dan Organisasi,2d ed., Jil. 1, ed. MD
Dunnette dan LM Hough (Palo Alto, CA: Consulting Psychologists Press, 1990): 491–576.
Karena pelatih sering ingin menggunakan hasil studi evaluasi sebagai dasar untuk mengubah program
pelatihan atau menunjukkan bahwa pelatihan berhasil (sebagai sarana untuk mendapatkan dana tambahan
untuk pelatihan dari mereka yang mengendalikan anggaran pelatihan), maka penting untuk meminimalkan
ancaman terhadap validitas. . Ada tiga cara untuk meminimalkan ancaman terhadap validitas: penggunaan
pretest dan posttest dalam desain evaluasi, kelompok pembanding, dan penugasan acak.
Pretest dan PosttestSalah satu cara untuk meningkatkan validitas internal hasil studi adalah dengan
terlebih dahulu menetapkan baseline atautindakan pra-pelatihandari hasil. Ukuran lain dari hasil
dapat diambil setelah pelatihan. Ini disebut sebagaiukuran pasca pelatihan.Perbandingan tindakan
pascapelatihan dan prapelatihan dapat menunjukkan sejauh mana peserta pelatihan telah berubah
sebagai akibat dari pelatihan.
Penggunaan Grup PerbandinganValiditas internal dapat ditingkatkan dengan menggunakan kelompok
kontrol atau pembanding. SEBUAHkelompok pembandingmengacu pada sekelompok karyawan yang
berpartisipasi dalam studi evaluasi tetapi tidak menghadiri program pelatihan. Karyawan pembanding
memiliki karakteristik pribadi (misalnya, jenis kelamin, pendidikan, usia, masa kerja, tingkat keterampilan)
yang mirip dengan peserta pelatihan. Penggunaan kelompok pembanding dalam evaluasi pelatihan
membantu mengesampingkan kemungkinan bahwa perubahan yang ditemukan dalam ukuran hasil
disebabkan oleh faktor-faktor selain pelatihan. ItuEfek hawthornemengacu pada karyawan dalam studi
evaluasi yang tampil di tingkat tinggi hanya karena perhatian yang mereka terima. Penggunaan kelompok
pembanding membantu menunjukkan bahwa setiap efek yang diamati disebabkan secara khusus oleh
pelatihan daripada perhatian yang diterima peserta pelatihan. Penggunaan kelompok pembanding
membantu untuk mengontrol efek dari sejarah, pengujian, instrumentasi, dan pematangan karena baik
kelompok pembanding dan kelompok pelatihan diperlakukan sama, menerima ukuran yang sama, dan
memiliki jumlah waktu yang sama untuk berkembang.
Misalnya, pertimbangkan evaluasi program pelatihan keselamatan. Perilaku aman diukur sebelum dan
sesudah pelatihan keselamatan untuk peserta pelatihan dan kelompok pembanding. Jika tingkat perilaku
aman meningkat untuk kelompok pelatihan dari tingkat prapelatihan tetapi tetap relatif sama untuk
kelompok pembanding baik pada prapelatihan maupun pascapelatihan, kesimpulan yang masuk akal adalah
bahwa perbedaan yang diamati dalam perilaku aman disebabkan oleh pelatihan dan bukan karena faktor
lain. , seperti perhatian yang diberikan kepada peserta pelatihan dan kelompok pembanding dengan
meminta mereka untuk berpartisipasi dalam penelitian.
Tugas acak Tugas acak mengacu pada menugaskan karyawan ke pelatihan atau kelompok
pembanding berdasarkan kesempatan. Artinya, karyawan ditugaskan pada program pelatihan tanpa
mempertimbangkan perbedaan individu (kemampuan, motivasi) atau pengalaman sebelumnya.
Penugasan acak membantu memastikan bahwa peserta pelatihan serupa dalam perbedaan individu
seperti usia, jenis kelamin, kemampuan, dan motivasi. Karena seringkali tidak mungkin untuk
mengidentifikasi dan mengukur semua karakteristik individu yang mungkin mempengaruhi ukuran
hasil, penugasan acak memastikan bahwa karakteristik ini didistribusikan secara merata dalam
kelompok pembanding dan kelompok pelatihan. Penugasan acak membantu mengurangi efek
karyawan yang putus sekolah (kematian) dan perbedaan antara kelompok pelatihan dan kelompok
pembanding dalam kemampuan, pengetahuan, keterampilan, atau karakteristik pribadi lainnya.
Ingatlah bahwa penugasan acak seringkali tidak praktis. Perusahaan ingin melatih karyawan yang
membutuhkan pelatihan. Juga, perusahaan mungkin tidak mau memberikan kelompok pembanding.
Salah satu solusi untuk masalah ini adalah untuk mengidentifikasi faktor-faktor di mana pelatihan dan
kelompok pembanding berbeda dan mengendalikan faktor-faktor ini dalam analisis data (a
234Bagian 2Pelatihan Merancang
prosedur yang dikenal sebagai analisis kovarians). Metode lain adalah menentukan karakteristik
peserta pelatihan setelah mereka ditugaskan dan memastikan bahwa kelompok pembanding
mencakup karyawan dengan karakteristik serupa.
Hanya Posttest
Itu posttest saja desain mengacu pada desain evaluasi di mana hanya hasil pascapelatihan yang
dikumpulkan. Desain ini dapat diperkuat dengan menambahkan kelompok pembanding (yang
membantu mengesampingkan penjelasan alternatif untuk perubahan). Desain posttest-only sesuai
ketika peserta pelatihan (dan kelompok pembanding, jika digunakan) diharapkan memiliki tingkat
pengetahuan, perilaku, atau hasil yang sama (misalnya, jumlah penjualan yang sama, kesadaran yang
sama tentang cara menutup penjualan) sebelum pelatihan.
Pertimbangkan desain evaluasi yang digunakan Mayo Clinic untuk membandingkan dua metode dalam
memberikan pelatihan manajer baru.30 Mayo Clinic adalah salah satu pusat terkemuka di dunia
Pengukuran
pendidikan dan penelitian kedokteran. Baru-baru ini, Mayo telah mengalami pertumbuhan yang
cukup besar karena sebuah rumah sakit dan klinik baru telah ditambahkan di daerah Phoenix (Mayo
Clinic juga berlokasi di Rochester, Minnesota). Dalam prosesnya, karyawan yang tidak sepenuhnya
siap dipindahkan ke posisi manajemen, yang mengakibatkan meningkatnya ketidakpuasan karyawan
dan tingkat turnover karyawan. Setelah penilaian kebutuhan menunjukkan bahwa karyawan pergi
karena ketidakpuasan dengan manajemen, Mayo memutuskan untuk memulai program pelatihan
baru yang dirancang untuk membantu manajer baru meningkatkan keterampilan mereka. Ada
beberapa perdebatan apakah pelatihan akan lebih baik dilakukan di ruang kelas atau satu lawan satu
dengan pelatih. Karena implikasi biaya menggunakan pembinaan alih-alih pelatihan kelas (biaya lebih
tinggi untuk pembinaan), Mayo memutuskan untuk melakukan evaluasi menggunakan desain
kelompok perbandingan posttest. Sebelum melatih seluruh manajer, Mayo menggelar tiga sesi
latihan. Tidak lebih dari 75 manajer dilibatkan dalam setiap sesi. Dalam setiap sesi, manajer dibagi
menjadi tiga kelompok: kelompok yang menerima pelatihan kelas selama empat hari, kelompok yang
menerima pelatihan satu lawan satu dari pelatih, dan kelompok yang tidak menerima pelatihan
(kelompok pembanding). Mayo mengumpulkan reaksi (apakah peserta menyukai program ini?),
pembelajaran, transfer, dan hasil hasil. Evaluasi tidak menemukan perbedaan yang signifikan secara
statistik dalam efek pembinaan dibandingkan dengan kelas dan tidak ada pelatihan. Akibatnya, Mayo
memutuskan untuk mengandalkan kursus kelas untuk manajer baru dan mempertimbangkan
pembinaan hanya untuk manajer dengan masalah pekerjaan yang kritis dan mendesak.
Pretest/Posttest
Itu pretest/posttestmengacu pada desain evaluasi di mana kedua ukuran hasil pra-pelatihan dan
pascapelatihan dikumpulkan. Tidak ada kelompok pembanding. Kurangnya kelompok pembanding
membuat sulit untuk mengesampingkan efek dari kondisi bisnis atau faktor lain sebagai penjelasan
untuk perubahan. Desain ini sering digunakan oleh perusahaan yang ingin mengevaluasi program
pelatihan tetapi tidak nyaman dengan mengecualikan karyawan tertentu atau yang hanya bermaksud
melatih sekelompok kecil karyawan.
Empat puluh peserta pelatihan disertakan dalam setiap kondisi. Langkah-langkah pembelajaran termasuk tes
yang terdiri dari 11 item yang dirancang untuk mengukur informasi yang perlu diketahui peserta pelatihan untuk
mengoperasikan sistem komputer (misalnya, "Apakah pemformatan menghancurkan semua data pada disk?"). Juga,
pemahaman peserta pelatihan tentang prosedur komputer (pemahaman prosedural) diukur dengan menghadirkan
peserta pelatihan dengan skenario di layar komputer dan menanyakan kepada mereka apa
236 Bagian 2Pelatihan Merancang
TABEL 6.9
Pasca pelatihan Pasca pelatihan
Contoh dari
Pra-pelatihan Pelatihan Waktu 1 Waktu 2
Pretest/Posttest
Perbandingan Kuliah Ya Ya Ya Ya
Desain Grup Studi mandiri Ya Ya Ya Ya
Perilaku
Sumber: Berdasarkan
SJ Simon dan
pemodelan Ya Ya Ya Ya
JM Werner, Tidak hujan
“Pelatihan Komputer (Perbandingan) Ya Tidak Ya Ya
melalui Perilaku
Pemodelan, Mandiri,
dan Instruksional
Pendekatan: Bidang
akan muncul berikutnya di layar. Penggunaan keterampilan komputer (hasil belajar berbasis keterampilan)
Percobaan,"jurnal
Psikologi Terapan- diukur dengan meminta peserta untuk menyelesaikan enam tugas komputer (misalnya, mengubah direktori).
ogy81 (1996):
Kepuasan dengan program (reaksi) diukur dengan enam item (misalnya, "Saya akan merekomendasikan
648–59.
program ini kepada orang lain").
Seperti yang ditunjukkan pada Tabel 6.9, ukuran pembelajaran dan keterampilan dikumpulkan dari
peserta sebelum mengikuti program (prapelatihan). Pengukuran pembelajaran dan keterampilan juga
dikumpulkan segera setelah pelatihan (waktu pasca pelatihan 1) dan empat minggu setelah pelatihan
(waktu pasca pelatihan 2). Ukuran kepuasan dikumpulkan segera setelah pelatihan.
Pengukuran waktu pasca pelatihan 2 yang dikumpulkan dalam penelitian ini membantu menentukan
terjadinya transfer pelatihan dan retensi informasi dan keterampilan. Artinya, segera setelah pelatihan,
peserta pelatihan mungkin muncul untuk belajar dan memperoleh keterampilan yang berkaitan dengan
pelatihan komputer. Pengumpulan langkah-langkah pasca pelatihan empat minggu setelah pelatihan
memberikan informasi tentang tingkat retensi keterampilan dan pengetahuan peserta pelatihan.
Prosedur statistik yang dikenal sebagai analisis varians dan analisis kovarians digunakan untuk menguji
perbedaan antara tindakan pra-pelatihan dan tindakan pascapelatihan untuk setiap kondisi. Juga, perbedaan
antara masing-masing kondisi pelatihan dan kelompok pembanding dianalisis. Prosedur-prosedur ini
menentukan apakah perbedaan antara kelompok-kelompok tersebut cukup besar untuk disimpulkan dengan
tingkat keyakinan yang tinggi bahwa perbedaan-perbedaan itu disebabkan oleh pelatihan daripada oleh
fluktuasi kebetulan dalam skor peserta pelatihan pada pengukuran.
Seri Waktu
Seri waktu mengacu pada desain evaluasi di mana hasil pelatihan dikumpulkan pada interval periodik
baik sebelum dan sesudah pelatihan. (Dalam desain evaluasi lain yang dibahas di sini, hasil pelatihan
dikumpulkan hanya sekali setelah dan mungkin sekali sebelum pelatihan.) Kekuatan desain ini dapat
ditingkatkan dengan menggunakankemunduran, yang mengacu pada periode waktu di mana
peserta tidak lagi menerima intervensi pelatihan. Grup pembanding juga dapat digunakan dengan
desain deret waktu. Salah satu keuntungan dari desain deret waktu adalah memungkinkan analisis
stabilitas hasil pelatihan dari waktu ke waktu. Keuntungan lain adalah bahwa menggunakan kelompok
pembalikan dan pembanding membantu mengesampingkan penjelasan alternatif untuk hasil
evaluasi. Desain deret waktu sering digunakan untuk mengevaluasi program pelatihan yang berfokus
pada peningkatan hasil yang mudah diamati (seperti tingkat kecelakaan, produktivitas, dan
ketidakhadiran) yang bervariasi dari waktu ke waktu.
Tabel 6.10 menunjukkan desain deret waktu yang digunakan untuk mengevaluasi seberapa besar
program pelatihan meningkatkan jumlah perilaku kerja yang aman di pabrik makanan.32
Pabrik ini mengalami tingkat kecelakaan yang serupa dengan industri pertambangan, area kerja paling
berbahaya. Karyawan terlibat dalam perilaku tidak aman seperti memasukkan tangan mereka ke dalam
konveyor untuk melepaskannya (mengakibatkan anggota badan hancur).
Bab 6 Evaluasi Pelatihan 237
TABEL 6.10
Persentase Barang yang Dilakukan dengan Aman oleh Karyawan di Dua
Contoh dari
Departemen Pabrik Makanan selama Periode 25 Minggu
Seri Waktu
Desain Dasar Intervensi Kemunduran
Departemen Pembungkusan
Sumber: J.Komaki,
100
90
Salomo Empat-Grup
Itu Salomo empat kelompokdesain menggabungkan kelompok pembanding pretest/posttest dan
desain kelompok kontrol posttest saja. Dalam desain empat kelompok Solomon, kelompok pelatihan
dan kelompok pembanding diukur pada hasil sebelum dan sesudah pelatihan. Lain
238Bagian 2Pelatihan Merancang
kelompok pelatihan dan kelompok kontrol diukur hanya setelah pelatihan. Desain ini mengontrol sebagian besar
ancaman terhadap validitas internal dan eksternal.
Aplikasi dari desain empat grup Solomon ditunjukkan pada Tabel 6.11. Desain ini digunakan untuk
membandingkan efek pelatihan berdasarkan pembelajaran integratif (IL) dengan pelatihan tradisional
(berbasis kuliah) perencanaan sumber daya manufaktur. Perencanaan sumber daya manufaktur adalah
metode untuk secara efektif merencanakan, mengoordinasikan, dan mengintegrasikan penggunaan semua
sumber daya perusahaan manufaktur.33Pelatihan berbasis IL berbeda dari pelatihan tradisional dalam
beberapa hal. Sesi pelatihan berbasis IL dimulai dengan serangkaian kegiatan yang dimaksudkan untuk
menciptakan lingkungan belajar yang santai dan positif. Para siswa ditanya apa arti perencanaan sumber
daya manufaktur bagi mereka, dan upaya dilakukan untuk menegaskan kembali keyakinan mereka dan
menyatukan peserta pelatihan di sekitar pemahaman umum tentang perencanaan sumber daya manufaktur.
Siswa mempresentasikan materi pelatihan dan berpartisipasi dalam diskusi kelompok, permainan, cerita, dan
puisi terkait dengan proses pembuatan.
Karena perusahaan tertarik pada efek IL terkait dengan pelatihan tradisional, kelompok yang
menerima pelatihan tradisional digunakan sebagai kelompok pembanding (daripada kelompok yang
tidak menerima pelatihan). Tes perencanaan sumber daya manufaktur (tes pengetahuan) dan ukuran
reaksi digunakan sebagai hasil. Studi ini menemukan bahwa peserta dalam kelompok belajar berbasis
IL belajar sedikit lebih sedikit daripada peserta dalam kelompok pelatihan tradisional. Namun, peserta
kelompok IL memiliki reaksi yang jauh lebih positif daripada mereka yang mengikuti program
pelatihan tradisional.
TABEL 6.12
Faktor Bagaimana Faktor Mempengaruhi
Faktor Itu
Jenis Desain Evaluasi
mempengaruhi
Jenis Ubah potensi Bisakah program dimodifikasi?
Evaluasi Pentingnya Apakah pelatihan yang tidak efektif mempengaruhi layanan pelanggan,
Sumber: Berdasarkan
Skala Berapa banyak peserta pelatihan yang terlibat?
SI Tannenbaum dan
SB Woods, “Menentukan Tujuan pelatihan Apakah pelatihan dilakukan untuk pembelajaran, hasil, atau keduanya?
Strategi untuk Budaya organisasi Apakah mendemonstrasikan hasil merupakan bagian dari norma dan
Mengevaluasi Pelatihan:
harapan perusahaan?
Beroperasi di dalam
Kon- Keahlian Dapatkah studi yang kompleks dianalisis?
ketegangan,”Manusia
Biaya Apakah evaluasi terlalu mahal?
Perencanaan sumber daya15
(1992): 63–81. Jangka waktu Kapan informasi itu dibutuhkan?
5. Pelatih atau orang lain dalam perusahaan memiliki keahlian (atau anggaran untuk membeli
keahlian dari luar perusahaan) untuk merancang dan mengevaluasi data yang dikumpulkan dari
studi evaluasi.
6. Biaya pelatihan menciptakan kebutuhan untuk menunjukkan bahwa pelatihan itu berhasil.
7. Tersedia waktu yang cukup untuk melakukan evaluasi. Di sini, informasi mengenai
efektivitas pelatihan tidak diperlukan segera.
8. Ada minat untuk mengukur perubahan (dalam pengetahuan, perilaku, keterampilan, dll.) dari tingkat pra-pelatihan
atau dalam membandingkan dua atau lebih program yang berbeda.
Misalnya, jika perusahaan tertarik untuk menentukan seberapa banyak keterampilan komunikasi
karyawan telah berubah sebagai akibat dari program pelatihan, desain kelompok pembanding
pretest/posttest diperlukan. Trainee harus secara acak ditugaskan untuk pelatihan dan kondisi tanpa
pelatihan. Fitur desain evaluasi ini menawarkan tingkat kepercayaan yang tinggi bahwa setiap
perubahan keterampilan komunikasi adalah hasil dari partisipasi dalam program pelatihan.35
Jenis desain evaluasi ini juga diperlukan jika perusahaan ingin membandingkan
efektivitas dua program pelatihan.
Desain evaluasi tanpa prates atau kelompok pembanding paling sesuai dalam situasi di mana
perusahaan tertarik untuk mengidentifikasi apakah tingkat kinerja tertentu telah tercapai. (Misalnya,
apakah karyawan yang berpartisipasi dalam pelatihan mampu mengomunikasikan ide-ide mereka
secara memadai?) Dalam situasi ini, perusahaan tidak tertarik untuk menentukan seberapa banyak
perubahan yang telah terjadi tetapi lebih pada apakah peserta pelatihan telah mencapai tingkat
kecakapan tertentu.
Strategi evaluasi satu perusahaan untuk kursus pelatihan yang disampaikan kepada profesional pajak perusahaan
menunjukkan bagaimana norma-norma perusahaan mengenai evaluasi dan tujuan pelatihan mempengaruhi jenis
desain evaluasi yang dipilih.36Kantor akuntan ini memandang pelatihan sebagai metode yang efektif untuk
mengembangkan sumber daya manusia. Pelatihan diharapkan dapat memberikan pengembalian investasi yang baik.
Perusahaan menggunakan kombinasi kriteria afektif, kognitif, perilaku, dan hasil untuk mengevaluasi kursus lima
minggu yang dirancang untuk mempersiapkan profesional pajak memahami undang-undang pajak negara bagian
dan lokal. Kursus ini melibatkan dua minggu belajar mandiri dan tiga minggu bekerja di kelas. Sebuah desain
perbandingan pretest/posttest digunakan. Sebelum mereka mengambil kursus, peserta diuji untuk menentukan
pengetahuan mereka tentang undang-undang pajak negara bagian dan lokal,
240Bagian 2Pelatihan Merancang
dan mereka menyelesaikan survei yang dirancang untuk menilai kepercayaan diri mereka dalam mempersiapkan
pengembalian pajak yang akurat. Para evaluator juga mengidentifikasi jam-jam yang dapat ditagih oleh peserta
pelatihan (akuntan) terkait dengan penghitungan pengembalian pajak negara bagian dan lokal serta pendapatan
yang dihasilkan oleh kegiatan tersebut. Setelah kursus, evaluator kembali mengidentifikasi jam yang dapat ditagih
dan mensurvei kepercayaan diri peserta. Hasil evaluasi menunjukkan bahwa akuntan menghabiskan lebih banyak
waktu melakukan pekerjaan pajak negara bagian dan lokal daripada sebelum pelatihan. Juga, akuntan terlatih
menghasilkan lebih banyak pendapatan melakukan pekerjaan pajak negara bagian dan lokal daripada akuntan yang
belum menerima pelatihan (kelompok pembanding). Ada juga peningkatan yang signifikan dalam kepercayaan
akuntan setelah pelatihan, dan mereka lebih bersedia untuk mempromosikan keahlian mereka dalam persiapan pajak
negara bagian dan lokal. Akhirnya, setelah 15 bulan, pendapatan yang diperoleh perusahaan lebih dari mengimbangi
biaya pelatihan. Rata-rata, peningkatan pendapatan bagi akuntan pajak terlatih lebih dari 10 persen.
Pengembalian investasi (ROI) adalah hasil pelatihan yang penting. Bagian ini membahas cara
menghitung ROI melalui analisis biaya-manfaat.Analisis biaya-manfaat dalam situasi ini adalah
proses penentuan manfaat ekonomi dari suatu program pelatihan dengan menggunakan metode
akuntansi yang melihat biaya dan manfaat pelatihan. Informasi biaya pelatihan penting karena
beberapa alasan:37
1. Memahami total pengeluaran untuk pelatihan, termasuk biaya langsung dan tidak langsung.
Ada peningkatan minat dalam mengukur ROI program pelatihan dan pengembangan karena
kebutuhan untuk menunjukkan hasil program ini untuk membenarkan pendanaan dan untuk
meningkatkan status fungsi pelatihan dan pengembangan.38 Sebagian besar pelatih dan manajer
percaya bahwa ada nilai yang diberikan oleh kegiatan pelatihan dan pengembangan, seperti
peningkatan produktivitas atau layanan pelanggan, pengurangan biaya, penghematan waktu, dan
penurunan pergantian karyawan. ROI memberikan bukti nilai ekonomi yang diberikan oleh program
pelatihan dan pengembangan. Namun, penting untuk diingat bahwa ROI bukanlah pengganti hasil
program lain yang memberikan data mengenai keberhasilan suatu program berdasarkan reaksi
peserta pelatihan dan apakah telah terjadi transfer pembelajaran dan pelatihan.
untuk mengetahui apakah uang yang mereka investasikan dalam pelatihan memberikan keuntungan. Palm
memutuskan untuk bermitra dengan orang-orang operasi untuk mengidentifikasi bagaimana
menghubungkan pelatihan dengan hasil yang terukur seperti profitabilitas, kualitas, dan penjualan. Setelah
percakapan dengan karyawan operasi, dia memutuskan untuk menghubungkan pelatihan dengan
pemborosan dari kesalahan dalam kualitas dan pembuatan ulang, kinerja toko dan penjualan, dan kepuasan
pelanggan. Ia memilih dua wilayah geografis untuk studi evaluasi dan membandingkan hasil dari dua wilayah
tersebut dengan hasil dari satu wilayah yang belum mendapatkan pelatihan. Palm menemukan bahwa semua
toko di dua wilayah yang menerima pelatihan mengurangi pemborosan, meningkatkan penjualan, dan
meningkatkan kepuasan pelanggan. Hasil dari, LensCrafters mengalokasikan lebih banyak sumber daya
keuangan kepada departemen pelatihannya—$10 juta per tahun untuk pengembangan dan administrasi
program pelatihan—daripada pesaing ritel optik lainnya. Karena departemen pelatihan menunjukkan bahwa
ia berkontribusi pada operasi bisnis, ia juga menerima uang untuk mengembangkan sistem pelatihan
berbasis multimedia.
Proses penentuan ROI dimulai dengan pemahaman tentang tujuan program pelatihan.40
Rencana dikembangkan untuk mengumpulkan data yang terkait dengan pengukuran tujuan ini.
Langkah selanjutnya adalah mengisolasi, jika mungkin, efek pelatihan dari faktor lain yang
mungkin mempengaruhi data. Terakhir, data dikonversi ke nilai moneter dan ROI dihitung.
Memilih hasil evaluasi dan merancang evaluasi yang membantu mengisolasi efek pelatihan
telah dijelaskan sebelumnya dalam bab ini. Bagian berikut membahas cara menentukan biaya
dan manfaat serta memberikan contoh analisis biaya-manfaat dan perhitungan ROI.
Karena analisis ROI bisa mahal, itu harus dibatasi hanya untuk program pelatihan tertentu. Analisis
ROI paling baik untuk program pelatihan yang berfokus pada masalah operasional (tersedia hasil
yang dapat diidentifikasi terukur), terkait dengan strategi di seluruh perusahaan (misalnya, layanan
pelanggan yang lebih baik), mahal, sangat terlihat, memiliki minat manajemen, dihadiri oleh banyak
karyawan, dan bersifat permanen.41Di Deloitte & Touche, firma pajak dan audit, manajer tidak
memerlukan analisis ROI untuk banyak program pelatihan.42
Karena pengetahuan adalah produk di Deloitte & Touche, investasi dalam pelatihan dipandang
sebagai bagian penting dari bisnis. Deloitte & Touche menghasilkan uang melalui jam yang dapat
ditagih yang diberikan konsultannya kepada klien. Pelatihan membantu mempersiapkan konsultan
untuk melayani kebutuhan klien. ROI terutama dihitung untuk kursus atau program yang baru atau
mahal. Misalnya, analisis ROI dilakukan untuk simulasi yang dirancang untuk membantu karyawan
baru mempelajari lebih cepat cara melayani klien. Di Deloitte & Touche, penggunaan simulasi telah
menghasilkan karyawan baru 30 hingga 40 persen lebih cepat dalam melayani klien—menghasilkan
ROI lebih dari $66 miliar setelah dikurangi biaya program.
Menentukan Biaya
Salah satu metode untuk membandingkan biaya program pelatihan alternatif adalah model
kebutuhan sumber daya.43Model kebutuhan sumber daya membandingkan peralatan, fasilitas,
personel, dan biaya bahan di berbagai tahapan proses pelatihan (penilaian kebutuhan,
pengembangan, desain pelatihan, implementasi, dan evaluasi). Penggunaan model kebutuhan
sumber daya dapat membantu menentukan perbedaan keseluruhan dalam biaya di antara program
pelatihan. Selain itu, biaya yang dikeluarkan pada berbagai tahap proses pelatihan dapat
dibandingkan antar program.
Akuntansi juga dapat digunakan untuk menghitung biaya.44Tujuh kategori sumber biaya adalah
biaya yang terkait dengan: pengembangan atau pembelian program, bahan ajar untuk pelatih
242Bagian 2Pelatihan Merancang
dan peserta pelatihan, peralatan dan perangkat keras, fasilitas, perjalanan dan penginapan, gaji pelatih dan
staf pendukung, dan biaya produktivitas yang hilang saat peserta mengikuti program (atau biaya karyawan
sementara yang menggantikan peserta pelatihan saat mereka mengikuti pelatihan). Metode ini juga
mengidentifikasi kapan biaya tersebut terjadi. Biaya satu kali termasuk yang terkait dengan penilaian
kebutuhan dan pengembangan program. Biaya per penawaran terkait dengan biaya sewa tempat pelatihan,
gaji pelatih, dan biaya lain yang direalisasikan setiap kali program ditawarkan. Biaya per peserta pelatihan
termasuk makanan, bahan, dan kehilangan produktivitas atau biaya yang dikeluarkan untuk mengganti
peserta pelatihan saat mereka menghadiri pelatihan.
Menentukan Manfaat
Untuk mengidentifikasi potensi manfaat pelatihan, perusahaan harus meninjau alasan awal
pelatihan itu dilakukan. Misalnya, pelatihan mungkin telah dilakukan untuk mengurangi biaya
produksi atau biaya lembur atau untuk meningkatkan jumlah bisnis yang berulang. Sejumlah
metode dapat membantu dalam mengidentifikasi manfaat pelatihan:
1. Literatur teknis, akademik, dan praktisi merangkum manfaat yang telah ditunjukkan
terkait dengan program pelatihan tertentu.
2. Program pelatihan percontohan menilai manfaat dari sekelompok kecil peserta pelatihan sebelum perusahaan
memberikan lebih banyak sumber daya.
3. Ketaatan terhadap pelaku pekerjaan yang sukses membantu perusahaan menentukan apa yang dilakukan oleh pelaku
pekerjaan yang sukses secara berbeda dari pelaku pekerjaan yang tidak berhasil.45
Untuk melakukan analisis biaya-manfaat, konsultan meminta setiap karyawan dalam kelompok pelatihan
memperkirakan pengaruh perubahan perilaku pada ukuran bisnis tertentu (misalnya, memecah tugas akan
meningkatkan produktivitas atau efisiensi). Para peserta pelatihan memberikan persentase kepercayaan pada
perkiraan. Untuk mendapatkan perkiraan biaya-manfaat untuk setiap kelompok peserta pelatihan, konsultan
mengalikan biaya-manfaat bulanan dengan tingkat kepercayaan dan dibagi dengan jumlah peserta pelatihan.
Misalnya, satu kelompok yang terdiri dari 20 peserta pelatihan memperkirakan total manfaat biaya bulanan
keseluruhan sebesar $336.000 terkait dengan peningkatan bisnis dan menunjukkan tingkat kepercayaan rata-rata 70
persen dengan perkiraan tersebut. Tujuh puluh persen dikalikan dengan $336.000 memberikan manfaat biaya
sebesar $235.200. Jumlah ini dibagi 20 ($235, 200/20 peserta pelatihan) untuk memberikan perkiraan manfaat biaya
rata-rata untuk masing-masing dari 20 peserta ($11.760). Untuk menghitung laba atas investasi, ikuti langkah-langkah
berikut:47
Bab 6 Evaluasi Pelatihan 243
TABEL 6.13
Biaya langsung
Menentukan
Pengajar $ 0
Biaya untuk
Instruktur internal (12 hari @ $125 per hari) 1.500
Biaya-Manfaat
Tunjangan tambahan (25% dari gaji) 375
Analisis
Biaya perjalanan 0
Bahan ($60 - 56 peserta) Ruang kelas dan 3,360
perlengkapan audiovisual (12 hari @ $50
per hari) 600
Minuman ($4 per hari - 3 hari - 56 peserta) Total 672
biaya langsung $ 6,507
Biaya tidak langsung
Manajemen pelatihan $ 0
Gaji juru tulis dan administrasi 750
Tunjangan tambahan (25% dari gaji) 187
Ongkos kirim, pengiriman, dan telepon 0
Materi pembelajaran sebelum dan sesudah pelatihan ($4 - 56 peserta) Total 224
biaya tidak langsung $ 1.161
Biaya Pengembangan
Biaya pembelian program $ 3.600
Pelatihan Instruktur
Biaya pendaftaran 1.400
Perjalanan dan penginapan 975
Gaji 625
Tunjangan (25% dari gaji) 156
Total biaya pengembangan $ 6.756
Biaya Overhead
Dukungan organisasi umum, waktu manajemen puncak (10% dari
biaya langsung, tidak langsung, dan pengembangan) $ 1,443
Total biaya overhead $ 1,443
Kompensasi untuk Trainee
Gaji dan tunjangan peserta (berdasarkan waktu tidak bekerja) $16.969
Total biaya pelatihan $ 32,836
Biaya per peserta pelatihan $587
jumlah tabungan baru adalah $484,000. Angka-angka ini didasarkan pada perkiraan, tetapi bahkan jika angka
tabungan bersih dipotong setengahnya, ROI masih di atas 100 persen. Dengan mampu mengukur manfaat
yang diberikan oleh program tersebut, departemen sumber daya manusia Mayo mencapai kredibilitas yang
lebih besar di dalam perusahaan.
Hasil Hasil
operasional Bagaimana sebelum setelah Perbedaan Dinyatakan dalam
Area Hasil diukur Pelatihan Pelatihan (+ atau --) dolar
Kualitas dari Persentase 2 persen 1,5 persen . 5 persen— $720 per hari,
panel ditolak ditolak- ditolak- panel 360 $172.800 per
1.440 panel 1.080 panel tahun
per hari per hari
Pembenahan Visual 10 cacat 2 cacat 8 cacat Tidak terukur
inspeksi (rata-rata) (rata-rata) di $
menggunakan 20-item
daftar periksa
Dapat dicegah Jumlah 24 per tahun 16 per tahun 8 per tahun $48,000 per
kecelakaan kecelakaan tahun
Biaya langsung dari $144,000 per $96.000 per $48,000 per
kecelakaan tahun tahun tahun
Sumber: Diadaptasi dari DG Robinson dan J. Robinson, “Pelatihan untuk Dampak,” Jurnal Pelatihan dan Pengembangan (Agustus 1989): 30–42.
desain pretest/posttest dengan kelompok pembanding untuk mendapatkan perkiraan perbedaan kinerja pekerjaan
untuk karyawan terlatih versus tidak terlatih. Jenis lain dari analisis ekonomi mengevaluasi pelatihan karena
menguntungkan perusahaan atau pemerintah dengan menggunakan biaya pelatihan langsung dan tidak langsung,
insentif pemerintah yang dibayarkan untuk pelatihan, kenaikan upah yang diterima oleh peserta pelatihan sebagai
hasil dari penyelesaian pelatihan, tarif pajak, dan tingkat diskonto.51
Menunjukkan hubungan antara pelatihan dan perolehan pangsa pasar atau hasil bisnis
strategis tingkat tinggi lainnya bisa sangat bermasalah. Hasil ini dapat dipengaruhi oleh terlalu
banyak faktor lain yang tidak terkait langsung dengan pelatihan (atau bahkan di bawah kendali
bisnis), seperti kinerja pesaing dan naik turunnya ekonomi. Unit bisnis mungkin tidak
mengumpulkan data yang diperlukan untuk mengidentifikasi ROI program pelatihan tentang
kinerja individu. Juga, pengukuran pelatihan seringkali bisa sangat mahal. Verizon
Communications mempekerjakan 240.000 orang.52 Perusahaan memperkirakan menghabiskan
sekitar $5.000 untuk studi ROI. Mengingat banyaknya program pelatihan yang ditawarkan
perusahaan, terlalu mahal untuk melakukan ROI untuk setiap program.
Perusahaan menemukan bahwa, terlepas dari kesulitan ini, permintaan untuk mengukur ROI
masih tinggi. Akibatnya, perusahaan menggunakan cara-cara kreatif untuk mengukur biaya dan
manfaat pelatihan.53Misalnya, untuk menghitung ROI untuk program pelatihan yang dirancang untuk
mengurangi ketidakhadiran, peserta pelatihan dan supervisor mereka diminta untuk memperkirakan
biaya ketidakhadiran. Nilai dirata-ratakan untuk mendapatkan perkiraan. Cisco Systems melacak
seberapa sering mitranya kembali ke situs Web-nya untuk instruksi tambahan. AT Kearney, sebuah
perusahaan konsultan manajemen, melacak keberhasilan pelatihannya dengan seberapa banyak
bisnis yang dihasilkan dari klien sebelumnya. Daripada mengandalkan ROI, Verizon Communications
menggunakan ROE pelatihan, atau pengembalian sesuai harapan. Sebelum pelatihan, manajer senior
yang bertanggung jawab secara finansial untuk program pelatihan diminta untuk mengidentifikasi
harapan mereka mengenai apa yang harus dicapai oleh program pelatihan serta perkiraan biaya dari
masalah atau masalah saat ini. Setelah latihan, manajer senior ditanya apakah harapan mereka telah
terpenuhi, dan mereka didorong untuk memberikan nilai uang pada harapan yang terpenuhi. ROE
digunakan sebagai perkiraan dalam analisis ROI. Verizon Communications terus melakukan analisis
ROI untuk program dan kursus pelatihan di mana jumlah objektif tersedia (misalnya, pelatihan
penjualan) dan di mana pengaruh pelatihan dapat diisolasi dengan lebih baik (desain evaluasi yang
memiliki kelompok pembanding dan yang mengumpulkan hasil prapelatihan dan pascapelatihan) .
Analisis statistik biaya dan manfaat yang diinginkan; namun, ini bukan satu-satunya cara untuk
menunjukkan bahwa pelatihan memberikan hasil yang paling mendasar. Kasus sukses juga dapat digunakan.
Kasus suksesmengacu pada contoh-contoh nyata dari dampak pelatihan yang menunjukkan bagaimana
pembelajaran telah menghasilkan hasil-hasil yang menurut perusahaan bermanfaat dan para manajer
menganggapnya kredibel.54Kasus sukses tidak berusaha untuk mengisolasi pengaruh pelatihan melainkan
untuk memberikan bukti bahwa itu berguna. Misalnya, Federated Department Store ingin menunjukkan
efektivitas program Pilihan Kepemimpinan, yang dirancang untuk meningkatkan kinerja penjualan dan laba
di toko Federated dengan membantu para pemimpin meningkatkan efektivitas pribadi, mengembangkan
rencana yang berfokus pada pelanggan untuk meningkatkan kinerja bisnis, dan mengenali dampak
keputusan pada hasil bisnis.55Di akhir program, peserta diminta untuk menetapkan tujuan bisnis dan
kepemimpinan untuk dikerjakan dalam tiga bulan ke depan. Karena manajer dalam program memiliki
tanggung jawab yang luas di berbagai divisi Federasi, perlu untuk menunjukkan bahwa program tersebut
menghasilkan hasil untuk manajer yang berbeda dengan tanggung jawab yang berbeda. Akibatnya, contoh
konkret digunakan untuk menggambarkan nilai program bagi manajemen. Ingat dari Tabel 6.12 bahwa
perusahaan mungkin ingin mempertimbangkan budaya organisasinya ketika memilih desain evaluasi. Karena
bercerita adalah bagian penting dari budaya Federated, menggunakan kasus sukses adalah cara yang dapat
diterima untuk menunjukkan kepada manajer senior dampak program kepemimpinan.
Peserta yang melaporkan kemajuan yang baik menuju tujuan mereka diwawancarai, dan studi
kasus ditulis untuk menyoroti dampak program di area prioritas manajemen, yang merupakan
kategori seperti "pengalaman berbelanja di dalam toko" dan "berbagai macam produk yang berbeda".
Bab 6 Evaluasi Pelatihan 247
barang." Karena studi kasus menceritakan kisah ritel, mereka mengomunikasikan jenis hasil yang dirancang untuk
dicapai oleh program. Misalnya, seorang manajer menetapkan tujuan untuk meningkatkan penjualan dengan
merancang berbagai macam perlengkapan dasi baru sehingga lantai penjualan akan menarik secara visual. Dia
mengarahkan pembeli rekanan baru untuk mengambil lebih banyak kepemilikan bisnis kalung, dia meninjau strategi
pembelian di masa depan, dan dia mengunjungi toko pesaing. Akibatnya, manajer ini melampaui tujuannya untuk
meningkatkan penjualan sebesar 5 persen.
Sejauh ini bab ini berfokus pada bagaimana mengevaluasi program pelatihan. Seperti disebutkan dalam Bab
1, pelatihan dan pengembangan berkontribusi pada aset tidak berwujud perusahaan seperti modal manusia.
Selain mempelajari cara mengevaluasi program pelatihan dan pengembangan, Anda juga perlu memahami
cara mengevaluasi fungsi pelatihan dan pengembangan serta cara mengukur sumber daya manusia.
Setiap tahun American Society of Training and Development (ASTD) menyiapkan laporan yang
merangkum pelatihan yang disediakan perusahaan di Amerika Serikat.56Laporan ini memberikan informasi
kepada perusahaan tentang jam pelatihan dan metode penyampaian yang dapat mereka gunakan untuk
membandingkan, atau membandingkan, diri mereka sendiri dengan perusahaan lain di industri serupa atau
dengan jumlah karyawan yang sama. Tabel 6.16 memberikan contoh pengukuran atau metrik yang berbeda.
Metrik ini berharga untuk tujuan benchmarking, untuk memahami jumlah aktivitas pelatihan saat ini di
perusahaan, dan untuk melacak tren historis dalam aktivitas pelatihan. Namun, mengumpulkan metrik ini
tidak membahas masalah seperti apakah pelatihan itu efektif atau apakah perusahaan menggunakan data
untuk membuat keputusan pelatihan strategis.57
Meskipun ada sejumlah metrik yang dapat dipilih, setiap perusahaan perlu memilih metrik
yang terkait dengan strategi atau tujuan bisnisnya (lihat Bab 2). Pertimbangkan bagaimana AG
Edwards dan Accenture mengukur dan menentukan nilai modal manusia.58
AG Edwards, sebuah perusahaan sekuritas dan jasa keuangan yang berbasis di Saint Louis, Missouri,
memberikan 813.000 jam pelatihan kepada 15.413 karyawan perusahaan yang berlokasi di seluruh Amerika
Serikat dan Eropa. Meskipun semua inisiatif investasi sumber daya manusia dievaluasi dengan cermat oleh
AG Edwards, mereka bukan bagian dari proses penganggaran tahunan. Ketua AG Edwards ingin membuat
perusahaan lebih kuat di masa depan dengan melakukan apa pun untuk mendapatkan perencana keuangan
yang paling terlatih dalam bisnis ini. Salah satu metrik yang digunakan perusahaan untuk mengukur
TABEL 6.16 kemajuan menuju tujuan ini adalah dengan menghitung jumlah karyawan yang telah memperoleh
Pelatihan
Metrik
Sumber: Berdasarkan Pengeluaran per karyawan Jam pembelajaran
A.Surga, 2008 yang diterima per karyawan Pengeluaran sebagai
Laporan Keadaan
persentase dari gaji Pengeluaran sebagai
Industri (Alexandria,
VA: Masyarakat Amerika persentase dari pendapatan Biaya per jam
untuk Pelatihan dan
pembelajaran yang diterima
Pembangunan, 2008);
L.Cuaca, Itu Persentase pengeluaran untuk layanan eksternal
Nilai Orang: Jam belajar yang diterima per anggota staf pelatihan dan pengembangan
Tantangan dan Persentase rata-rata kegiatan pembelajaran yang dialihdayakan
Peluang dari
Modal Manusia Me- Persentase rata-rata konten pembelajaran menurut area konten (misalnya, keterampilan dasar, layanan
kepastian dan Laporan- pelanggan, pengembangan eksekutif)
ing (Alexandria,
Persentase rata-rata jam pembelajaran yang diberikan melalui metode penyampaian yang berbeda (dipimpin instruktur,
VA: Masyarakat untuk
Ringkasan Evaluasi menyediakan informasi yang digunakan untuk menentukan efektivitas pelatihan. Evaluasi melibatkan mengidentifikasi hasil yang tepat untuk diukur. Bab ini mencatat bahwa evaluasi
yang baik memerlukan pemikiran tentang evaluasi sebelum melakukan pelatihan. Informasi dari penilaian kebutuhan dan tujuan pembelajaran yang spesifik dan terukur membantu
mengidentifikasi hasil yang harus dimasukkan dalam desain evaluasi. Hasil yang digunakan dalam mengevaluasi program pelatihan meliputi kepuasan peserta pelatihan dengan program
pelatihan, pembelajaran pengetahuan atau keterampilan, penggunaan pengetahuan dan keterampilan di tempat kerja, dan hasil seperti penjualan, produktivitas, atau pencegahan
kecelakaan. Evaluasi juga dapat mencakup membandingkan biaya pelatihan dengan manfaat yang diterima (laba atas investasi). Hasil yang digunakan dalam evaluasi pelatihan membantu
menentukan sejauh mana program telah menghasilkan baik pembelajaran maupun transfer pelatihan. Evaluasi juga melibatkan pemilihan desain yang tepat untuk memaksimalkan
kepercayaan yang dapat ditempatkan pada hasil. Desain didasarkan pada analisis yang cermat tentang bagaimana meminimalkan ancaman terhadap validitas internal dan eksternal serta
tujuan, keahlian, dan karakteristik perusahaan dan pelatihan lainnya. Jenis desain yang digunakan untuk evaluasi bervariasi berdasarkan apakah mereka menyertakan ukuran hasil pra-
pelatihan dan pascapelatihan dan penggunaan pelatihan dan kelompok pembanding. Bab ini diakhiri dengan diskusi tentang bagaimana mengukur kontribusi pelatihan terhadap aset sumber
daya manusia perusahaan. Evaluasi juga melibatkan pemilihan desain yang tepat untuk memaksimalkan kepercayaan yang dapat ditempatkan pada hasil. Desain didasarkan pada analisis
yang cermat tentang bagaimana meminimalkan ancaman terhadap validitas internal dan eksternal serta tujuan, keahlian, dan karakteristik perusahaan dan pelatihan lainnya. Jenis desain yang
digunakan untuk evaluasi bervariasi berdasarkan apakah mereka menyertakan ukuran hasil pra-pelatihan dan pascapelatihan dan penggunaan pelatihan dan kelompok pembanding. Bab ini
diakhiri dengan diskusi tentang bagaimana mengukur kontribusi pelatihan terhadap aset sumber daya manusia perusahaan. Evaluasi juga melibatkan pemilihan desain yang tepat untuk
memaksimalkan kepercayaan yang dapat ditempatkan pada hasil. Desain didasarkan pada analisis yang cermat tentang bagaimana meminimalkan ancaman terhadap validitas internal dan
eksternal serta tujuan, keahlian, dan karakteristik perusahaan dan pelatihan lainnya. Jenis desain yang digunakan untuk evaluasi bervariasi berdasarkan apakah mereka menyertakan ukuran
hasil pra-pelatihan dan pascapelatihan dan penggunaan pelatihan dan kelompok pembanding. Bab ini diakhiri dengan diskusi tentang bagaimana mengukur kontribusi pelatihan terhadap
aset sumber daya manusia perusahaan. Jenis desain yang digunakan untuk evaluasi bervariasi berdasarkan apakah mereka menyertakan ukuran hasil pra-pelatihan dan pascapelatihan dan penggunaan pelatihan dan kelompok pembanding. Bab ini diakh