MAKALAH PELATIHAN

“ EVALUASI PELATIHAN“

Dosen Pengampu : Tarmidi, S.Psi., M.Psi.

Pertemuan ke-6
Jumat, 23 Oktober 2020

Kelas : C
Disusun Oleh :
Kelompok 4
Muhammad Ali Murthadha Subroto 181301071
Agoeng Pratama 181301075
Aliffiya Tasya Aqilah 181301119
M. Rifki Nur Fauzan 181301123
Raja Arif J P G 181301127
Anthony Rifaldo Simanjuntak 181301131

UNIVERSITAS SUMATERA UTARA

FAKULTAS PSIKOLOGI
SEMESTER GANJIL
2020
 KATA PENGANTAR

Puji dan syukur penulis panjatkan kepada Allah SWT yang telah memberikan rahmat
dan hidayah-Nya sehingga penulis dapat menyelesaikan tugas makalah dengan judul “
Evaluasi Pelatihan “ tepat waktu.
Penulis juga berterima kasih kepada dosen pengampu pertemuan ke-6 Tarmidi, S.Psi.,
M.Psi. yang telah memberikan kesempatan kepada penulis untuk menyelesaikan makalah ini.
Tujuan dari penulisan makalah ini adalah pemenuhan tugas mata kuliah Pelatihan dan sebagai
penambah wawasan kita bersama baik pembaca dan penulis.
Penulis mengharapkan saran, masukan dan kritik yang membangun sebab makalah ini
tentu belum sempurna, dan harapannya makalah ini mampu bermanfaat bagi kita semua.

Kelompok 4
Medan, 23 Oktober 2020

i
 DAFTAR ISI

KATA PENGANTAR .....................................................................................................................................I

DAFTAR ISI ..................................................................................................................................................II

BAB I .............................................................................................................................................................. 1

A. LATAR BELAKANG................................................................................................................................... 1
B. RUMUSAN MASALAH ............................................................................................................................... 2
C. TUJUAN .................................................................................................................................................... 2

BAB II............................................................................................................................................................. 3

A. INTRODUCTION .................................................................................................................................. 3

B. REASONS FOR EVALUATING TRAINING ........................................................................................ 4

C. OVERVIEW OF THE EVALUATION PROCESS ................................................................................. 8

D. MODEL EVALUASI PROGRAM PELATIHAN .............................................................................. 11

1. MODEL PROGRAM CIPP (CONTEXT, INPUT, PROCESS, PRODUCT) ........................................................ 11

2. THE TRADITIONAL APPROACH: THE KIRKPATRICK MODEL ................................................................... 11
3. TO WHAT EXTENT IS PROGRAM EVALUATION CONDUCTED IN PRACTICE? ........................................... 12
4. A NEW APPROACH: THE RESULTS ASSESSMENT SYSTEM ...................................................................... 13
5. LEARNING RESULTS................................................................................................................................ 19

E. PERCEPTION RESULTS.................................................................................................................... 24

1. A RESULTS ASSESSMENT PLAN .............................................................................................................. 28

2. THE CORE DIMENSIONS ......................................................................................................................... 28
3. MAKING RESULTS ASSESSMENT PRACTICAL AND CREDIBLE ................................................................. 32
4. MORE THAN ONE PLACE TO START ........................................................................................................ 33
5. OVERCOMING RESISTANCE TO RESULT ASSESSMENT ............................................................................ 36

F. HASIL YANG DIGUNAKAN DALAM EVALUASI PROGRAM PELATIHAN ............................ 40

1. HASIL REAKSI........................................................................................................................................ 41
2. HASIL BELAJAR ATAU KOGNITIF.......................................................................................................... 43
3. HASIL AFEKTIF...................................................................................................................................... 45
4. HASIL ..................................................................................................................................................... 45

G. RETURN ON INVESTMENT (ROI) .................................................................................................... 46

1. DETERMINING RETURN ON INVESMENT (ROI) ..................................................................................... 47

2. DETERMINING COST ............................................................................................................................... 47
3. DETERMINING BENEFIT ......................................................................................................................... 48
4. PERTIMBANGAN PRAKTIS DALAM MENENTUKAN ROI ....................................................................... 49

ii
 5. SUCCESS CASES AND RETURN ON EXPECTATIONS.................................................................................. 50
6. MENENTUKAN APAKAH HASIL SESUAI................................................................................................. 50
7. PRAKTIK EVALUASI............................................................................................................................... 52
8. HASIL PELATIHAN MANA YANG HARUS DIKUMPULKAN? ................................................................... 53

H. MEASURING HUMAN CAPITAL AND TRAINING ACTIVITY ....................................................... 53

BIG DATA DAN WORKFORCE ANALYTICS ......................................................................................................... 53

I. DESAIN EVALUASI .......................................................................................................................... 56

1. ANCAMAN TERHADAP VALIDITAS: PENJELASAN ALTERNATIF ........................................................... 56

2. METODE PENGENDALIAN ANCAMAN TERHADAP VALIDITAS .............................................................. 57
4. JENIS DESAIN EVALUASI ....................................................................................................................... 59
5. PERTIMBANGAN MEMILIH DESAIN EVALUASI ..................................................................................... 62

BAB III ......................................................................................................................................................... 64

DAFTAR PUSTAKA ................................................................................................................................... 65

iii
 BAB I
PENDAHULUAN

A. Latar Belakang
Ada beberapa upaya yang dapat dilakukan oleh suatu organisasi ataupun
perusahaan untuk meningkatkan kemampuan dan keterampilan pekerjanya. Salah
satunya adalah dengan menyelenggarakan pelatihan. Pelatihan adalah suatu proses
perubahan yang sistematis dari pengetahuan, keterampilan, sikap dan perilaku
kerja yang terdefinisi jelas dan terukur (Robbins dalam Nuraini, 2016). Menurut
Noe dalam Nuraini (2016) mendefinisikan pelatihan sebagai upaya yang
direncanakan oleh perusahaan untuk memfasilitasi pembelajaran karyawan pada
kompetensi yang berhubungan dengan pekerjaannya. (Nuraini, Hermawan,
Hubeis, & Panjaitan, 2016)
Sasaran yang dapat dicapai dari suatu penyelenggaraan pelatihan adalah
peningkatan pengetahuan, dan melalui action learning adalah hasil kerja.
Sedangkan peningkatan kinerja organisasi serta peningkatan karir dipengaruhi
banyak faktor baik dari sistem maupun lingkungan organisasi. Salah satu upaya
untuk mengetahui apakah pelatihan telah mencapai sasaran adalah melalui
evaluasi pelatihan. Evaluasi pelatihan adalah proses pengumpulan hasil untuk
menentukan apakah pelatihan efektif (Noe dalam Nuraini, 2016). Sedangkan
definisi menurut Kirkpatrick dalam Nuraini (2016), evaluasi pelatihan adalah
mengukur perubahan perilaku yang terjadi sebagai hasil program pelatihan
(Nuraini, Hermawan, Hubeis, & Panjaitan, 2016).
Sebuah pelatihan yang sukses adalah pelatihan yang tidak hanya baik
dalam pelaksanaan prosesnya tetapi juga mampu untuk memenuhi tujuannya yaitu
dapat memperbaiki dan meningkatkan kualitas atau performa pesertanya, dengan
demikian para pelaksana pelatihan diwajibkan untuk mengevaluasi setiap
pelatihan yang diberikan kepada para pesertanya dan juga dampaknya terhadap
pekerjaan yang telah mereka lakukan. Maka karenanya, pada makalah ini kami
akan membahas mengenai hal-hal yang sangat berkaitan dengan evaluasi
pelatihan, seperti desain evaluasi pelatihan dan lain sebagainya.

1
B. Rumusan Masalah
1. Apa itu evaluasi pelatihan ?
2. Bagaimana cara melakukan evaluasi pelatihan ?
3. Hal apa saja yang harus diperhatikan ketika melakukan evaluasi ?

C. Tujuan
1. Mengetahui pengertian dari evaluasi pelatihan
2. Mengetahui bagaiman langkah-langkah evaluasi
3. Mengetahui hal apa saja yang mempengaruhi evaluasi hasil pelatihan

2
 BAB II
PEMBAHASAN

A. Introduction
Waktu, uang, dan upaya yang dicurahkan untuk pelatihan membuat
perbedaan. Artinya, fungsi pelatihan adalah untuk menilai efektivitas program
pelatihan. Efektivitas pelatihan mengacu pada manfaat yang diterima perusahaan
dan peserta pelatihan dari pelatihan. Manfaat bagi peserta pelatihan mungkin
termasuk mempelajari keterampilan atau perilaku baru. Manfaat bagi perusahaan
dapat mencakup peningkatan penjualan dan pelanggan yang lebih puas. Evaluasi
pelatihan mengukur hasil atau kriteria tertentu untuk menentukan manfaat
program. Hasil atau kriteria pelatihan mengacu pada ukuran yang digunakan
pelatih dan perusahaan untuk mengevaluasi program pelatihan. Untuk mengetahui
efektivitas pelatihan perlu dilakukan evaluasi. Evaluasi pelatihan mengacu pada
proses pengumpulan hasil yang diperlukan untuk menentukan apakah pelatihan
efektif. Data yang dikumpulkan melalui proses pengumpulan informasi
menyediakan data yang akurat untuk membuat kesimpulan tentang efektivitas
program pelatihannya. Rancangan evaluasi mengacu pada kumpulan informasi—
termasuk apa, kapan, bagaimana, dan dari siapa— yang akan digunakan untuk
menentukan efektivitas program pelatihan. Setiap organisasi yang mengevaluasi
pelatihan harus yakin bahwa pelatihan—daripada faktor lain— bertanggung jawab
atas perubahan hasil yang diinginkan (misalnya, pergantian, produktivitas).
Tingkat kepercayaan bahwa setiap hasil perubahan yang diinginkan karena
pelatihan tergantung pada jenis desain evaluasi yang digunakan.
Informasi dari need assessment, karakteristik lingkungan belajar, dan
langkah-langkah yang diambil untuk memastikan transfer pelatihan harus
digunakan untuk mengembangkan rencana evaluasi. Untuk mengidentifikasi hasil
pelatihan yang sesuai, perusahaan perlu melihat strategi bisnisnya, analisis
organisasinya (Mengapa kita melakukan pelatihan? Bagaimana hubungannya
dengan bisnis?), Analisis personilnya (Siapa yang membutuhkan pelatihan?),

3
Tugasnya analisis (Apa isi pelatihan?), tujuan pembelajaran dari pelatihan, dan
rencana transfer pelatihan (Noe, 2017).
B. Reasons for Evaluating Training
Perusahaan menginvestasikan jutaan dolar dalam program pelatihan untuk
membantu mendapatkan keunggulan kompetitif. Perusahaan berinvestasi dalam
pelatihan karena pembelajaran menciptakan pengetahuan; seringkali, pengetahuan
inilah yang membedakan perusahaan dan karyawan yang sukses dari mereka yang
tidak. Penelitian yang merangkum hasil penelitian yang telah meneliti keterkaitan
antara pelatihan dan hasil sumber daya manusia (seperti sikap dan motivasi,
perilaku, dan modal manusia), hasil kinerja organisasi (kinerja dan produktivitas),
atau hasil keuangan (laba dan indikator keuangan) menemukan bahwa perusahaan
yang melakukan pelatihan cenderung memiliki hasil sumber daya manusia yang
lebih positif hasil dan kinerja yang lebih besar. Pengaruh pelatihan terbesar
terletak pada hasil kinerja organisasi dan hasil sumber daya manusia dan terlemah
terletak pada hasil keuangan. Hal ini dikarenakan pelatihan tidak terlalu
mempengaruhi kondisi keuangan organisasi dan paling berpengaruh terhadap
praktik sumber daya manusia. Pelatihan lebih erat kaitannya dengan hasil
organisasi bila disesuaikan dengan strategi bisnis dan intensitas modal. Karena
perusahaan telah melakukan investasi dolar yang besar dalam pelatihan dan
pendidikan dan memandang pelatihan sebagai strategi untuk menjadi sukses,
mereka mengharapkan hasil atau manfaat yang terkait dengan pelatihan dapat
diukur.
Evaluasi pelatihan memberikan cara untuk memahami investasi yang
dihasilkan pelatihan dan memberikan informasi yang diperlukan untuk
meningkatkan pelatihan. Jika perusahaan menerima hasil yang tidak memadai
dalam pelatihan, perusahaan kemungkinan akan mengurangi investasinya dalam
pelatihan atau mencari penyedia pelatihan di luar perusahaan yang dapat
memberikan pengalaman pelatihan yang meningkatkan kinerja, produktivitas,
kepuasan pelanggan, atau apapun hasil lain perusahaan yang ingin dicapai.
Evaluasi pelatihan memberikan data yang diperlukan untuk menunjukkan bahwa
pelatihan memang menawarkan manfaat bagi perusahaan. Evaluasi pelatihan

4
melibatkan formative evaluation yang bertujuan memperoleh data dan informasi
sebagai dasar dalam perbaikan program pelatihan dan summative evaluation yang
bertujuan memperoleh data dan informasi untuk pegambilan keputusan tentang
kelanjutan dari pemanfaatan program pelatihan (Pribadi, 2014)
1. Formative Evaluation
Formative evaluation mengacu pada evaluasi pelatihan yang
berlangsung selama program desain dan pengembangan. Artinya,
formative evaluation membantu memastikan bahwa (1) program pelatihan
terorganisir dengan baik dan berjalan lancar, dan (2) peserta pelatihan
belajar dan puas dengan program tersebut. Formative evaluation
memberikan informasi tentang bagaimana membuat program menjadi lebih
baik; biasanya melibatkan pengumpulan data kualitatif tentang program.
Data kualitatif mencakup pendapat, keyakinan, dan perasaan tentang
program. Formative evaluation meminta pendapat pelanggan, karyawan,
manajer, dan subject-matter experts (SMEs) tentang deskripsi atau
gambaran isi (konten) dan tujuan pelatihan serta desain program. Orang-
orang ini juga diminta untuk mengevaluasi kejelasan dan kemudahan
penggunaan bagian dari program pelatihan yang ditujukan kepada mereka
dalam cara penyampaiannya (misalnya, online, tatap muka, atau video).
Formative evaluation dilakukan baik secara individu atau kelompok
sebelum program tersedia untuk seluruh perusahaan. Trainers juga dapat
dilibatkan untuk mengukur persyaratan waktu program. Sebagai hasil dari
formative evaluation, isi (konten) pelatihan dapat diubah menjadi lebih
akurat, lebih mudah dipahami, atau lebih menarik. Metode pelatihan dapat
disesuaikan untuk meningkatkan pembelajaran (misalnya, memberikan
peserta lebih banyak kesempatan untuk berlatih atau memberikan
feedback). Selain itu, memperkenalkan program pelatihan sedini mungkin
kepada manajer dan pelanggan membantu mereka untuk mengikuti
program, yang sangat penting untuk peran mereka dalam membantu
karyawan belajar dan mentransfer keterampilan. Hal ini juga

5
memungkinkan kekhawatiran mereka ditangani sebelum program
dilaksanakan (Noe, 2017)
Formative evaluation melibatkan pilot testing (uji coba). Pilot testing
(uji coba) mengacu pada proses melihat pratinjau program pelatihan
dengan calon peserta yang berpotensi dan manajer atau dengan pelanggan
(orang yang membayar untuk pengembangan program). Pilot testing dapat
digunakan sebagai "gladi bersih" untuk menunjukkan program kepada
manajer, peserta pelatihan, dan pelanggan. Misalnya, sekelompok calon
peserta pelatihan dan manajer mereka mungkin diminta untuk melihat
pratinjau atau uji coba program pelatihan berbasis web. Saat mereka
menyelesaikan program, trainee dan manajer mungkin diminta untuk
memberikan pendapat mereka tentang apakah grafik, video, atau musik
yang digunakan dalam program berkontribusi (atau mengganggu) pada
pembelajaran. Mereka mungkin juga ditanyai betapa mudahnya
menjalankan program dan menyelesaikan latihan, dan mereka mungkin
diminta untuk mengevaluasi kualitas feedback yang diberikan program
pelatihan setelah mereka menyelesaikan latihan. Informasi yang diperoleh
dari pratinjau ini akan digunakan oleh pengembang program untuk
meningkatkan program sebelum tersedia untuk semua karyawan. Contoh :
Sebuah Bank mengembangkan sistem pelatihan berbasis web baru untuk
teller bank. Sebelum program diberikan kepada semua teller bank,
program tersebut ditinjau oleh sekelompok kecil dari mereka yang
dianggap sebagai pengguna biasa program. Teller memberikan saran untuk
perbaikan, dan desainer instruksional memasukkan saran mereka ke dalam
versi akhir program (Noe, 2017).

2. Summative Evaluation
Summative evaluation mengacu pada evaluasi yang dilakukan untuk
menentukan sejauh mana peserta pelatihan telah berubah sebagai hasil dari
keikutsertaan dalam program pelatihan. Yaitu, apakah peserta pelatihan
memperoleh pengetahuan, keterampilan, sikap, perilaku, atau hasil lain

6
 yang diidentifikasi dalam tujuan pelatihan? Summative evaluation juga
dapat mencakup pengukuran keuntungan moneter (juga dikenal sebagai
laba atas investasi (return of investment) atau ROI) yang diterima
perusahaan dari program tersebut. Summative evaluation biasanya
melibatkan pengumpulan data kuantitatif (numerik) melalui tes, peringkat
perilaku, atau ukuran objektif kinerja seperti volume penjualan,
kecelakaan, atau paten (Noe, 2017).

Dari pembahasan summative dan formative evaluation, barangkali sudah jelas

alasan mengapa program pelatihan harus dievaluasi:
1. Mengidentifikasi kekuatan dan kelemahan program. Hal ini termasuk
menentukan apakah program tersebut memenuhi tujuan pembelajaran,
apakah kualitas lingkungan belajar memuaskan, dan apakah terjadi
transfer pelatihan ke pekerjaan.
2. Untuk menilai apakah konten (isi), organisasi, dan administrasi program
— termasuk jadwal, akomodasi, pelatih, dan materi — berkontribusi pada
pembelajaran dan penggunaan konten pelatihan di tempat kerja.
3. Untuk mengidentifikasi peserta pelatihan mana yang paling banyak atau
paling sedikit mendapat manfaat dari program ini.
4. Untuk membantu program pemasaran melalui pengumpulan informasi dari
peserta tentang apakah mereka akan merekomendasikan program kepada
orang lain, mengapa mereka mengikuti program, dan tingkat kepuasan
mereka terhadap program tersebut.
5. Untuk menentukan manfaat finansial dan biaya program.
6. Untuk membandingkan biaya dan manfaat pelatihan versus investasi non
pelatihan (seperti desain ulang pekerjaan atau sistem pemilihan karyawan
yang lebih baik).
7. Untuk membandingkan biaya dan manfaat program pelatihan yang
berbeda untuk memilih program terbaik.
Selain itu evaluasi yang dilakukan terhadap penyelenggaran program
pelatihan bertujuan untuk :

7
 • Mengetahui efektivitas dan efisiensi program
• Mendapat informasi apakah program dapat diterima oleh peserta
• Memperbaiki kualitas program
• Memutuskan kelanjutan dari pelaksanaan program pelatihan
• Mengetahui dampak program terhadap kinerja peserta

C. Overview of the Evaluation Process

Formative dan summative evaluation menyarankan bahwa evaluasi
pelatihan melibatkan penelitian program baik sebelum dan sesudah program
selesai. Gambar 6.1 menekankan bahwa evaluasi pelatihan harus dipertimbangkan
oleh manajer dan pelatih sebelum pelatihan benar-benar terjadi. Informasi yang
diperoleh dari proses desain pelatihan berguna untuk evaluasi pelatihan.

Proses evaluasi harus dimulai dengan menentukan kebutuhan pelatihan.

Need assessment membantu mengidentifikasi pengetahuan, keterampilan,
perilaku, atau kemampuan belajar lainnya yang dibutuhkan. Need assessment juga
membantu mengidentifikasi dimana pelatihan diharapkan akan berdampak. Need
assessment membantu memfokuskan evaluasi dengan mengidentifikasi tujuan
program, sumber daya yang dibutuhkan (manusia, keuangan, dan perusahaan),
dan hasil yang akan memberikan bukti bahwa program telah efektif. Langkah
selanjutnya dalam proses ini adalah mengidentifikasi pelatihan yang spesifik dan

8
terukur tujuan untuk memandu program. Semakin spesifik dan terukur tujuan ini,
semakin mudah mengidentifikasi hasil yang relevan untuk evaluasi. Selain
mempertimbangkan tujuan pembelajaran dan program dalam mengembangkan
pembelajaran hasil, penting juga untuk mempertimbangkan ekspektasi individu-
individu yang mendukung program dan memiliki kepentingan di dalamnya
(seperti peserta pelatihan, manajer, dan pelatih). Jika need assessment dilakukan
dengan baik, kepentingan para pemangku kepentingan kemungkinan besar akan
tumpang tindih dengan tujuan pembelajaran dan program. Analisis lingkungan
kerja untuk menentukan transfer pelatihan dapat berguna untuk menentukan
bagaimana konten pelatihan akan digunakan dalam pekerjaan. Berdasarkan tujuan
pembelajaran dan analisis transfer pelatihan, ukuran hasil dirancang untuk menilai
sejauh mana pembelajaran dan transfer telah terjadi.
Setelah hasil diidentifikasi, langkah selanjutnya adalah menentukan
strategi evaluasi. Faktor-faktor seperti keahlian, seberapa cepat informasi
dibutuhkan, potensi perubahan, dan budaya organisasi harus dipertimbangkan
dalam memilih desain. Perencanaan dan pelaksanaan evaluasi melibatkan
pratinjau (preview) program (formative evaluation), serta mengumpulkan hasil
pelatihan berdasarkan desain evaluasi. Hasil evaluasi digunakan untuk
memodifikasi, memasarkan, atau mendapatkan dukungan tambahan untuk
program tersebut. Hasil evaluasi juga harus digunakan untuk mendorong semua
pemangku kepentingan dalam proses pelatihan — termasuk manajer, karyawan,
dan trainers — untuk merancang atau memilih pelatihan yang membantu
perusahaan memenuhi strategi bisnisnya dan membantu manajer dan karyawan
mencapai tujuan mereka.

• Berpikir Sistematis (System Thinking)

System thinking berarti memandang program pelatihan sebagai sebuah
sistem untuk memahami program secara komprehensif dan holistik. Sistem terdiri
dari komponen-komponen yang merupakan subsistem sedangkan jika sistem
dilingkupi oleh sistem lain yang lebih besar cakupannya yang disebut sebagai
suprasistem, selain itu seluruh komponen yang ada didalam sistem saling

9
berinteraksi dalam karakteristik sistem yang saling berkaitan sesuai gambar dan
pendapat Reiser dibawah berikut (Pribadi, 2014) :

Menurut Reiser terdapat 4 karakter yang melekat pada konsep ini yaitu :
• Interependen (setiap komponen sistem saling bergantung)
• Sinergistik (komponen sistem saling bekerjasama)
• Sibernetik (setiap komponen sistem saling berkomunikasi)
• Dinamik (adaptasi sistem terhadap lingkungan )
Sistem memiliki mekanisme kerja yang berurutan dari input, process, dan
output yang hidup dalam suatu lingkungan. Output menghasilkan feedback yang
berguna sebagai penjaga kualitas output, lantas lingkungan yang menilai hasil
keluaran output tadi.

10
 D. Model Evaluasi Program Pelatihan
1. Model Program CIPP (context, input, process, product)
Model ini dikemukakan oleh Daniel Stufflebeam. Model evaluasi ini
terbagi menjadi 4 bagian yaitu (Pribadi, 2014):
• Context
Berfokus pada apa yang akan peserta dapatkan setelah pelatihan. Evaluasi
terhadap context dilakukan dengan analisa kebutuhan pelatihan atau TNA.
• Input
Berfokus pada penilaian aspek perencanaan pelatihan mengenai sumber
daya.
• Process
Berfokus pada aspek implementasi rencana pelatihan.
• Output
Berfokus pada target kualitas hasil yang ingin dicapai oleh program
pelatihan.

2. The Traditional Approach: The Kirkpatrick Model

Evaluasi pelatihan model Kirkpatrick (1998) telah mendominasi diskusi
evaluasi pelatihan sejak pertama kali diterbitkan empat puluh tahun yang lalu. Ini
menyarankan bahwa pelatihan harus dievaluasi pada empat "tingkat": 1 — reaksi
peserta, 2 — pembelajaran, 3 — perilaku di tempat kerja, dan 4 — hasil dari
perubahan perilaku. American Society for Training and Development (ASTD)
telah menggunakan kerangka ini dalam laporan hasil pembelajarannya. Sebagai
bagian dari layanan pembandingannya, peserta memberikan data tentang ukuran
standar hasil Tingkat 1 dan Tingkat 3. Terlepas dari popularitasnya di kalangan
praktisi, dalam beberapa tahun terakhir taksonomi empat tingkat telah mendapat
kritik yang semakin intens. Kritik utamanya adalah (Laird & Dugan, 2003):
• Tidak didukung oleh penelitian. Penelitian secara konsisten menunjukkan
bahwa level dalam taksonomi tidak terkait, atau hanya berkorelasi pada level
rendah.

11
 • Penekanan pada tindakan reaksi. Penelitian telah menunjukkan bahwa
ukuran reaksi memiliki korelasi yang hampir nol dengan pengukuran hasil
pembelajaran atau kinerja
• Gagal memperbarui model. Modelnya tetap sama selama empat puluh
tahun terakhir dengan sedikit usaha untuk memperbarui atau merevisinya.
• Tidak digunakan. Seperti yang akan dibahas pada bagian selanjutnya,
model ini tidak banyak digunakan. Meskipun empat puluh tahun mendesak
orang untuk menggunakannya, sebagian besar tidak menganggapnya sebagai
pendekatan yang berguna.
• Dapat menyebabkan keputusan yang salah. Model tersebut meninggalkan
begitu banyak variabel penting sehingga data empat tingkat saja tidak cukup
untuk membuat keputusan yang benar dan terinformasi tentang efektivitas
program pelatihan.

3. To What Extent Is Program Evaluation Conducted in Practice?

Salah satu aliran penelitian dalam evaluasi pelatihan telah
mendokumentasikan sejauh mana metode yang digunakan dalam praktik.
Penelitian ini penting karena menunjukkan sejauh man a model dan metode
preskriptif benar-benar digunakan dalam praktik, yang pada gilirannya akan
menginformasikan pengembangan model dan metode baru. Meskipun ada upaya
untuk membangun model evaluasi baru, sebagian besar survei praktik evaluasi
menggunakan kerangka Kirkpatrick karena kerangka itulah yang paling dikenal
luas datanya terlalu banyak untuk dimasukkan di sini. Namun, kesimpulan
keseluruhan dari survei ini adalah (a) banyak organisasi menggunakan evaluasi
Tingkat 1 dan 2 untuk setidaknya beberapa program; (b) kurang dari setengah
organisasi bahkan mencoba Tingkat 4; dan (c) hanya sebagian kecil program yang
menerima evaluasi Tingkat 3 dan 4. Secara keseluruhan, temuan ini menyajikan
pandangan yang sangat mengecewakan tentang praktik evaluasi. Lebih lanjut,
ketika mengikuti literatur kembali ke perkembangan empat tingkatan empat puluh
tahun yang lalu, tampaknya hanya ada sedikit perubahan dalam jumlah evaluasi
yang dilakukan dalam bisnis dan industri. Pada awal 1953, para peneliti

12
membahas kurangnya evaluasi pelatihan dan kebutuhannya. Literatur hari ini
berisi komentar paralel dan kurangnya evaluasi pelatihan masih ada. Tren yang
mereka sarankan sangat mencolok: Hanya sedikit keuntungan yang telah dicapai
dalam jumlah organisasi yang menggunakan praktik evaluasi ini. Lebih khusus
lagi, akan tampak bahwa peningkatan yang sederhana diperoleh di Tingkat 1 dan
2 dari tahun 1968 hingga 1989, tetapi hanya sedikit keuntungan dalam dua belas
tahun terakhir. Yang lebih meresahkan adalah bahwa sangat sedikit keuntungan
yang terjadi di Tingkat 3 dan 4, yang merupakan tingkat paling penting untuk
menunjukkan efek pelatihan pada kinerja organisasi (Laird & Dugan, 2003).
Alasan utama mengapa pelatihan tidak dievaluasi biasanya sama untuk
semua tingkatan — hal ini tidak diwajibkan oleh organisasi. Interpretasi biasa dari
hal ini adalah bahwa hal ini terus menimbulkan pertanyaan serius tentang apakah
pelatihan dihargai oleh organisasi sebagai proses bisnis inti. Alasan terpenting
kedua untuk tidak melakukan Level 3 dan 4 biasanya adalah kurangnya waktu,
dengan kurangnya pelatihan. Evaluasi terus terlihat lebih sulit untuk dicapai
daripada yang seharusnya. Jika empat puluh tahun mempromosikan evaluasi tidak
mengubah gambaran keseluruhan, sesuatu yang lain harus dibutuhkan. Jelas
bahwa evaluasi pelatihan model Kirkpatrick belum efektif dalam menjadikan
evaluasi sebagai bagian integral dari praktek Pengembangan Sumber Daya
Manusia (HRD). Tidak masalah jika Anda memeriksa praktisi yang lebih terlatih
dalam evaluasi (desainer instruksional), mereka yang memiliki hasil yang lebih
jelas (pelatih teknis, perawatan kesehatan), mereka yang berada di organisasi yang
lebih canggih (American Society for Training and Development [ASTD]
benchmarking kelompok), atau hanya praktisi pelatihan rata-rata, tingkat
penggunaan evaluasi hampir sama dan tidak banyak berubah (Laird & Dugan,
2003).

4. A New Approach: The Results Assessment System

Swanson dan Holton (1999) memperkenalkan Sistem Penilaian Hasil
(RAS) sebagai pendekatan yang praktis namun secara teoritis bagus untuk menilai
hasil dari program pelatihan. Pembaca akan merasakan kenyamanan awal dengan

13
Sistem Penilaian Hasil dibandingkan dengan Model Evaluasi 4-Tingkat yang
sudah dikenal. Sekilas, mereka tidak terlalu berbeda satu sama lain. Pandangan
kedua mengungkapkan perbedaan mendasar dan substansial dalam (1) prioritas
evaluasi dan penilaian mereka, dan (2) kelengkapan proses berbasis penelitian
praktis dan alat yang ditawarkan dalam Sistem Penilaian Hasil. Materi dalam bab
ini didasarkan pada buku Swanson dan Holton tahun 1999. Pertama, perhatikan
bahwa namanya tidak menyertakan "evaluasi". Kunjungi rak buku manajemen
atau buku organisasi mana saja dan cari kata "evaluasi" dalam indeks. Menurut
Anda, seberapa sering kata itu disebutkan? Kami tidak dapat menemukannya.
Meski demikian, profesi HRD secara konsisten berbicara tentang evaluasi tetapi
jarang mempraktikkannya di lapangan. Apa yang terjadi disini? Salah satu
petunjuknya adalah istilah-istilah yang terdapat dalam indeks kebanyakan buku
bisnis — kata-kata seperti kinerja, penilaian, dan pengukuran. Sebaliknya,
profesional evaluasi cenderung menjadi konsultan yang mempelajari program
pendidikan dan pemerintah daripada fokus pada kinerja dan proses organisasi inti.
Kami menyadari bahwa kata "evaluasi" membangkitkan gambaran negatif sekolah
dan gagasan untuk memberikan nilai pada kegiatan yang tidak jelas (Laird &
Dugan, 2003).
Sebaliknya, Sistem Penilaian Hasil adalah tentang menilai hasil, yang berbeda
dengan evaluasi. Penilaian hasil adalah proses organisasi inti. HRD adalah sarana
untuk mencapai hasil yang lebih besar dalam suatu organisasi. Karena alasan
inilah penilaian hasil tidak bersifat opsional, karena hasillah yang berdampak pada
organisasi dan pada akhirnya memberikan keluaran yang diinginkan oleh
pelanggan. Untuk HRD menjadi proses organisasi inti, maka hasil harus dinilai.
Penilaian hasil dapat didefinisikan sebagai menentukan apakah keluaran yang
diinginkan telah dicapai oleh intervensi HRD. Dalam bukunya, Swanson dan
Holton menyajikan sistem untuk menilai hasil dari intervensi HRD yang memiliki
empat komponen dasar: proses, domain hasil, rencana, dan alat.

• The process

14
 Proses inti dari Sistem Penilaian Hasil diilustrasikan pada lima langkah untuk
menilai hasil ini memberikan perjalanan yang sederhana dan langsung dari
masukan analisis hingga keluaran keputusan.
Beberapa aspek dari proses ini perlu diperhatikan di sini:
1. Agar paling efektif, penilaian hasil membutuhkan analisis front-end yang
kuat. Sulit untuk menilai hasil jika tujuan tidak didefinisikan dengan baik.
2. Proses ini memiliki orientasi tindakan di mana hasil akhir dianggap
keputusan tentang intervensi HRD dan tindakan yang diambil untuk
mempertahankan, mengubah, atau menghilangkan program. Tujuannya bukan
untuk penelitian.
3. Lima langkah tersebut menyajikan perkembangan kegiatan yang sederhana
dan logis yang penting untuk penilaian hasil yang efektif.
4. Penekanan yang cukup besar diberikan pada mendefinisikan hasil yang
diharapkan dan menafsirkannya dengan benar, di samping masalah
pengembangan ukuran yang baik.
5. Lima langkah ini menjelaskan langkah-langkah yang akan Anda ambil
dalam organisasi Anda untuk menggunakan alat-alat ini.

• Results Domains
Janji yang kami miliki untuk Anda adalah bahwa Anda akan belajar cara
mengukur hasil dalam tiga domain: kinerja, pembelajaran, dan persepsi. Setiap
domain memiliki dua opsi di dalamnya. Domain dan opsi dalam Sistem Penilaian
Hasil ini didefinisikan sebagai berikut:
Hasil Kinerja didefinisikan sebagai:

15
System: Satuan output terkait misi berupa barang dan / atau jasa yang memiliki
nilai bagi pelanggan dan terkait dengan organisasi inti, proses kerja, dan
kontributor kelompok / individu dalam organisasi.
Financial: konversi unit keluaran barang dan / atau jasa yang disebabkan oleh
intervensi menjadi uang dan interpretasi keuangan.

Penilaian sistem, keluaran terkait misi adalah pembicaraan garis bawah. Hal-
hal seperti 50.000 mobil dibuat; pasien hidup; atau 5.000 kontrak layanan terjual.
Mereka yang mengejar perbaikan dalam organisasi menghadapi dilema utama —
keluaran yang berhubungan dengan misi. Meskipun titik fokus adalah tujuan
keluaran, sarana, atau pendorong, dari tujuan tersebut mungkin terlihat sangat
berbeda. Sebuah analogi sederhana akan menjadi acara olahraga di mana
tujuannya adalah untuk menang dengan melempar bola melewati ring lebih sering
daripada lawan — mencetak poin.
Petugas T&D yang bertekad untuk relevan dengan tujuan utama organisasi
mereka akan memilih evaluasi berdasarkan kontribusi pada tujuan. Mereka
melihat diri mereka sendiri sebagai anggota tim pemecahan masalah. Mereka

16
secara khusus memperhatikan masalah kinerja organisasi. Mereka
memprioritaskan kebutuhan pelatihan dalam proporsi langsung dengan urgensi
organisasi. Oleh karena itu, mereka ingin mengetahui apakah pelatihan telah
menghilangkan atau mengurangi masalah yang mendesak tersebut.
Elemen penting dari evaluasi tersebut adalah mengidentifikasi dan memilih
indikator kunci. Proses evaluasi melibatkan penentuan berapa banyak unit yang
harus buruk sehingga memerlukan tindakan — dan perbaikan apa yang harus
dilakukan agar program dapat dinilai berhasil. Di antara indikator yang
dipertimbangkan adalah:

Departemen T&D yang mengevaluasi kontribusinya terhadap organisasi tidak

boleh mengabaikan indeks operasi standar yang telah ditetapkan. Garis dasar yang
mengungkapkan kekurangan seringkali merupakan garis dasar yang sama yang
termasuk dalam laporan manajemen reguler. Tidak selalu perlu untuk
mengidentifikasi indikator baru. Ketika sebuah indikator yang berguna telah
menjadi bagian dari laporan biasa, adalah bodoh untuk membuat indikator baru!

17
Petugas T&D yang dapat menemukan indeks yang ada dapat "berbicara dengan
manajemen dalam bahasa mereka sendiri."
Jadi sekarang kita melihat bahwa dimensi lain dari evaluasi adalah efektivitas
biaya dari solusi tersebut. Rumusnya hampir tidak perlu diulang — tetapi
bagaimanapun kita akan mengulanginya:
• Biaya kekurangan kinerja
• Dikurangi biaya program perbaikan
• Sama dengan efektivitas biaya program perbaikan

[Biaya kekurangan kinerja - biaya program perbaikan = efektivitas biaya

program perbaikan]
Untuk menerapkan formula ini pada program tertentu, spesialis T&D harus
menggunakan topi konsultan terbaik mereka, mengidentifikasi tidak hanya
indikator kunci tetapi juga biaya setiap unit. Untuk surat koleksi, seseorang
mungkin menghitung total waktu yang dihabiskan untuk menulis surat. Itu akan
menimbulkan biaya gaji. Ditambah dengan biaya bahan dan fasilitas. Data ini
selalu tersedia di suatu tempat di anggaran atau catatan departemen. Dengan
menjumlahkan total-total itu, kami menemukan total biaya penulisan surat. Untuk
menentukan biaya unit, kami membagi total itu dengan jumlah huruf. Panggilan
telepon akan sedikit lebih sulit untuk menentukan harga, tetapi itu bisa dilakukan.
Tagihan telepon mudah didapat, tetapi biaya waktu bisa jadi lebih sulit dipahami.
Beberapa observasi atau work-sampling dapat memberikan fakta yang
dibutuhkan: Berapa banyak waktu yang dihabiskan orang untuk bertelepon?
Logika dan investigasi serupa dapat digunakan pada tugas-tugas manajemen
yang sulit dipahami yang "tidak dapat diukur oleh siapa pun." Seseorang selalu
dapat memperkirakan waktu yang dihabiskan untuk tugas; seseorang selalu dapat
memperoleh angka overhead standar untuk departemen. Dan orang selalu dapat
menemukan "produk" —itulah cara kami mengetahui bahwa kami memiliki
kekurangan di tempat pertama.
Dengan demikian rapat harus menghasilkan keputusan; audiensi pengaduan
harus menghasilkan temuan; konseling harus menghasilkan kinerja yang berubah.

18
Cara kami mengetahui bahwa kami memiliki masalah adalah karena produk ini
terlalu sedikit atau terlalu rusak. Evaluasi kita hanya menanyakan, setelah kita
menghitung dan menilai tingkat produktivitas yang baru, "Apakah perubahannya
cukup? Cukup untuk memenuhi tujuan organisasi? Cukup untuk membayar
pelatihan?"
Ketika memberi label harga pada nilai-nilai kemanusiaan, konsultan T&D
yang pandai dengan cepat menunjukkan kepada manajer klien bahwa label harga
akhir mungkin merupakan elemen-elemen psikis yang tak ternilai seperti moral,
martabat manusia, semangat tim. Tapi, mereka menambahkan dengan cepat, ini
bisa datang melalui program-program yang membenarkan diri mereka sendiri atas
dasar ekonomi murni
Mereka juga berhati-hati agar tidak melompat ke indikator dangkal dari
perubahan dalam operasi. Hal-hal seperti "wajah tersenyum" atau "pelanggaran
yang dilaporkan oleh supervisor" tidak menunjukkan banyak arti. Karyawan dapat
belajar tersenyum bahkan saat mereka bersikap kasar atau merasa sedih;
supervisor dapat belajar untuk melihat ke arah lain.
Akhirnya, konsultan T&D yang pandai melakukan kesalahan di sisi
konservatif ketika memberi label harga pada kekurangan kinerja. Bagaimanapun,
ini adalah proses untuk mengevaluasi keefektifan biaya yang sebenarnya — bukan
untuk membenarkan program. Tetapi beberapa data keras di "sisi positif" dari
buku besar atau dari indeks operasi utama diperlukan sebelum seseorang dapat
memuji program pelatihan berdasarkan kontribusinya terhadap tujuan organisasi.

5. Learning Results
Hasil Pembelajaran didefinisikan sebagai (Laird & Dugan, 2003):
• Knowledge: Prestasi mental diperoleh melalui belajar dan pengalaman.
• Expertise: Human behaviors, having effective results and optimal
efficiency, acquired through study and experience within a specialized
domain
Pengetahuan, hasil intelektual atau kognitif dari pengalaman belajar,
merupakan hasil belajar dasar. Itu bersarang di benak seseorang. Ukuran

19
pengetahuan menegaskan tingkat pengetahuan yang dimiliki oleh individu dalam
bidang subjek tertentu. Untuk efektivitas dan efisiensi, tes kertas dan pensil adalah
alat utama untuk mengukur pengetahuan. Keahlian manusia adalah kategori kedua
dari pembelajaran — kategori hasil belajar yang lebih kompleks. Orang yang
memiliki keahlian memiliki pengetahuan dan mampu bertindak berdasarkan
pengetahuan itu. Kemampuan yang efektif dan efisien untuk bertindak
berdasarkan pengetahuan umumnya berasal dari pengalaman di luar pengetahuan
inti. Mengukur keahlian manusia mengharuskan individu menunjukkan perilaku
dalam lingkungan nyata atau simulasi. Saat menilai hasil pembelajaran, kami
biasanya merekomendasikan agar hasil pengetahuan dan hasil keahlian diukur.
Dan adalah logis bahwa pengetahuan dapat diukur beberapa saat sebelum keahlian
bahwa pelajar membutuhkan waktu untuk memperoleh pengalaman. Jangka
waktu akan bervariasi tergantung pada kompleksitas bidang keahlian yang
dikembangkan.
Apa tingkat pencapaian yang masuk akal? Peserta didik yang teliti ingin
menunjukkan prestasi 100 persen. Pelajar masalah akan puas mendekati nol.
Instruktur profesional akan memberi tahu Anda bahwa mereka "menang sedikit
dan kalah sedikit," tetapi mereka suka menembak 100 persen. Faktanya adalah,
Anda tidak dapat mengubah semua orang setiap saat. "Anda tidak bisa membuat
dompet sutra dari telinga babi," seperti kata pepatah. Untuk program internal, di
mana tujuan pembelajaran benar-benar konsisten dengan standar, 100 persen
adalah target yang masuk akal, tetapi persentasenya akan sangat bervariasi dengan
program yang berbeda di berbagai bagian organisasi. Ini jauh lebih rendah dalam
seminar publik, di mana tujuan mungkin tidak spesifik atau diperkuat oleh
manajemen peserta.
Jenis evaluasi ini mengharuskan setiap pelajar diuji pada setiap tujuan
pembelajaran yang terdaftar untuk program. Dalam sistem T & D yang sangat
menyeluruh, ini melibatkan pengukuran pasca-pelatihan tentang penggunaan
perilaku baru yang sebenarnya di tempat kerja. Pemeriksaan ulang seperti itu tidak
hanya menunjukkan bahwa pelajar "bisa" —tetapi bahwa mereka "sebenarnya".

20
 Menghitung prestasi belajar yang sebenarnya adalah satu langkah; untuk
mencocokkannya dengan target yang telah ditentukan adalah yang kedua.
Mengatur data dalam tampilan visual membantu instruktur dan penilai akhir.
Dimungkinkan untuk membuat matriks sederhana. Mari kita lakukan itu untuk
program menulis surat koleksi yang kita berikan kepada para pegawai itu

Sekilas pandang pada tampilan seperti itu memberi tahu analis mana pun
bahwa ada yang salah pada tujuan kedua: Enam dari delapan peserta pelatihan
tidak dapat memenuhi tujuan tersebut. Ini juga menunjukkan bahwa Pelajar 3
memiliki masalah: Lihat semua entri "Tidak". Bagan tersebut juga harus
menunjukkan nilai umpan balik dan pengujian berkala selama pembelajaran. Tren
tersebut dapat dideteksi dan dikoreksi — dengan cara yang akan menguntungkan
baik instruktur maupun pelajar
Kegagalan seperti yang ditunjukkan pada tampilan memunculkan
keputusan evaluasi lainnya: Apa yang harus kita lakukan terhadap kondisi
"Tidak"? Latih ulang? Menilai kembali tujuan? Mendesain ulang program? Coba
lihat proses seleksi? Jawabannya bisa jadi ya untuk semua pilihan itu. Ada
keadaan di mana beberapa atau semua itu mungkin merupakan keputusan yang
wajar bagi para penilai T&D. Mari kita lihat opsinya
Pelatihan ulang masuk akal. Kegagalan pertama kali bukanlah hasil yang
tidak biasa untuk usaha manusia. Menerapkan kembali stimulus asli dapat
menghasilkan hasil yang berbeda. Mungkin pengulangan belaka akan

21
menimbulkan respon yang berbeda. Mungkin ada beberapa variabel tak
teridentifikasi dalam kehidupan pelajar yang akan menghasilkan pembelajaran
yang diinginkan untuk kedua kalinya. Instruktur harus siap menghadapi perbedaan
individu. Ini bahkan mungkin berarti melaporkan kepada manajemen kembali
tentang pekerjaan bahwa "lulusan" tertentu memerlukan tindak lanjut pasca
pelatihan khusus. Misalnya, seorang peserta pelatihan mungkin memenuhi kriteria
kualitatif, tetapi tidak kuantitatif. Misalnya operator mesin magang: Di akhir
pelatihan, mereka mungkin melakukan semuanya dengan benar — tetapi tidak
melakukannya dengan cukup cepat.
Terkadang organisasi terlalu bersemangat. Mereka berharap terlalu banyak.
"Tolok ukur" mungkin diperlukan, dengan kriteria tertentu ditetapkan untuk akhir
pelatihan dan kriteria yang lebih ketat ditetapkan untuk tanggal selanjutnya.
Berikut ini contohnya: Peserta didik diharapkan menyelesaikan lima unit per jam
di akhir pelatihan, delapan unit per jam dua minggu kemudian, dan dua belas unit
per jam setelah satu bulan bekerja.
Jika pengalaman membuktikan bahwa tidak ada yang dapat memenuhi
tujuan ini, maka pertimbangkan opsi kedua: bahwa tujuan perlu dinilai ulang.
Beberapa mungkin dievaluasi sebagai "sekadar tidak masuk akal". Jika sebagian
besar peserta, tetapi tidak semuanya, gagal memenuhi tujuan yang diinginkan,
mungkin toleransi individu dapat dibuat. Jika demikian, departemen pelatihan
harus memastikan untuk menindaklanjuti dengan supervisor langsung dari semua
lulusan yang tidak dapat bekerja sesuai standar yang diharapkan.
Ketika jumlah yang signifikan gagal mencapai tujuan tertentu (atau
serangkaian tujuan), maka desain ulang program harus dipertimbangkan. Ketika
"output" hilang, masuk akal untuk mengevaluasi kembali "input". Mungkin
metode baru, lebih banyak latihan, alat bantu visual yang berbeda akan
menghasilkan pembelajaran yang diinginkan
Akhirnya, orang mungkin gagal memenuhi tujuan pembelajaran karena
mereka kekurangan persediaan pribadi atau pengalaman yang dibutuhkan.
Departemen personalia dan manajer dikenal sering menempatkan orang pada
pekerjaan yang tidak sesuai untuk mereka. Juga mengikuti, bahwa orang mungkin

22
ditugaskan untuk program pelatihan yang melibatkan tujuan yang tidak dapat
mereka kuasai. Bahkan orang yang cakap pun dapat membawa "inventaris afektif
negatif". Sikap buruk ini dapat menghambat atau mencegah perolehan perilaku
baru. Instruktur yang baik dapat mengatasi beberapa sikap apatis dan beberapa
negativisme — tetapi ada banyak pertanyaan tentang seberapa besar tanggung
jawab ini harus diletakkan di pundak instruktur. Pelajar dan atasan mereka
memiliki tanggung jawab untuk motivasi juga.
Yang memunculkan opsi baru: terkadang menerima kekalahan. Ini berarti
bahwa terkadang hal terbaik untuk dilakukan adalah "menyerah" pada individu
tertentu. Bukannya orang-orang ini tidak pernah bisa mencapai tujuan; hanya saja
untuk menghasilkan pembelajaran mungkin lebih mahal daripada nilainya. Biaya
itu bisa melibatkan energi dan rasa sakit psikis serta uang.
Ketika spesialis T&D menggunakan tampilan pencapaian tujuan
pembelajaran seperti itu, mereka dapat mengevaluasi (1) kewajaran tujuan, (2)
keefektifan desain pelatihan, (3) keefektifan pengajaran, dan (4) kesesuaian
peserta pelatihan dengan tugas belajar. (Apakah mereka termasuk dalam program
ini?)
Formula sederhana yang memungkinkan analisis kuantitatif:
1. Hitung potensi: Jumlah siswa dikalikan jumlah gol.
2. Menguji prestasi individu: Ujilah setiap siswa pada setiap tujuan.
3. Hitung pencapaian kotor: Tambahkan semua pencapaian "Ya".
4. Hitung kuota pencapaian: Bagilah langkah 3 dengan langkah 1.
Beberapa petugas T&D menetapkan kuota pencapaian untuk setiap
program. Dalam keterampilan yang sangat kritis, pencapaian 100 persen adalah
wajib; 90 persen lebih umum untuk kebanyakan pelatihan organisasi. (Sisa 10
persen dapat bertambah pada pekerjaan dengan tindak lanjut pengawasan yang
tepat.) Seminar umum jarang menetapkan kuota pencapaian; memang, mereka
jarang menggunakan pengujian kinerja sama sekali. Kuota pencapaian, atau
pengujian kinerja, menunjukkan pembelajaran apa yang telah dicapai. Pendekatan
yang sama dapat mengungkapkan pemanfaatan di tempat kerja.

23
 E. Perception Results
Hasil Persepsi didefinisikan sebagai (Laird & Dugan, 2003):
• Persepsi Peserta: Persepsi orang dengan pengalaman langsung dengan
sistem, proses, barang dan / atau jasa.
• Persepsi Pemegang Kepentingan: Persepsi sistem pemimpin dan / atau
orang dengan kepentingan pribadi pada hasil yang diinginkan dan sarana
pencapaian mereka
Dari kedua domain tersebut, persepsi memiliki biaya terendah dan
pengembalian terendah. Biayanya paling rendah dalam arti bahwa formulir
penilaian persepsi yang sederhana, pendek, dan terstandarisasi dapat dibuat untuk
peserta dan pemangku kepentingan. Mereka adalah imbalan terendah karena
memberikan informasi paling tidak valid tentang hasil kinerja. Penelitian secara
konsisten menunjukkan bahwa ada sedikit korelasi antara persepsi dan
pembelajaran atau kinerja.
Hasil persepsi adalah keadaan persepsi yang dipegang oleh berbagai orang
dalam organisasi seperti peserta pelatihan dan manajer mereka. Ukuran persepsi
mengakses informasi ini secara sistematis dari kelompok orang tertentu. Untuk
domain hasil persepsi harus (1) memperoleh data , (2) jangan menghabiskan
sumber daya dalam jumlah yang tidak proporsional untuk mendapatkannya, dan
(3) jangan menafsirkannya secara berlebihan.
Jadi, dari perspektif perencanaan umum, lakukan komitmen terhadap hasil
persepsi peserta dan pemegang kepentingan dalam Rencana Penilaian Hasil. Saat
Anda menanyakan persepsi seseorang, Anda dapat melakukan beberapa hal untuk
mengevaluasi data. Pertama, Anda dapat menghitung komentar positif dan
negatif. Selanjutnya, Anda dapat mengklasifikasikan komentar ke dalam kategori
yang melekat: konten, instruksi, fasilitas, kesesuaian tujuan.
Minor Trends tidak boleh digunakan sebagai dasar tindakan; juga tidak
seharusnya komentar dengan kata-kata kasar. Petugas T&D akan bijaksana untuk
meredam komentar berlebihan seperti "Program terburuk yang pernah saya
terima!" atau "Sama sekali tidak relevan dengan organisasi ini," atau
"Instrukturnya seorang yang egois. Reaksi seperti itu perlu diperlakukan karena

24
beberapa penilaian dilakukan pada kompetisi skating dan renang internasional
peringkat tertinggi dan terendah dikeluarkan dalam penghitungan akhir.
Setiap kali seseorang mencari data perseptual, ada "fenomena
keseimbangan" di mana komentar-komentar saling bertentangan dalam jumlah
yang hampir sama. Misalnya, tujuh belas orang akan mengatakan program itu
bergerak terlalu lambat; delapan belas akan mengatakan itu terlalu cepat.
Apa yang sebenarnya dikatakan ini kepada seorang evaluator? Mungkin
bukan karena programnya terlalu lambat atau terlalu cepat, tetapi desainnya perlu
menyediakan lebih banyak waktu untuk kegiatan individu untuk konseling tatap
muka. Itu memungkinkan semua tiga puluh lima komentator merasa nyaman
mengendalikan penjadwalan mereka sendiri. Ini mungkin juga memberi tahu
instruktur bahwa ada terlalu sedikit umpan balik terhadap proses yang sedang
berlangsung selama sesi kelas. Ketika sebanyak 10 persen dari setiap siswa
menyebutkan masalah kecepatan, instruktur mungkin tidak mendapatkan umpan
balik cukup cepat. Ini menimbulkan poin penting: Instruktur profesional
mengumpulkan data persepsi selama pembelajaran.
Instruktur secara jelas mengevaluasi berdasarkan persepsi setiap kali
mereka menyesuaikan instruksi mereka sebagai hasil dari persepsi tersebut.
Masalah lainnya adalah sifat pertanyaannya. Jika instruktur akan dievaluasi pada
saat penyampaian, penggunaan alat peraga, penampilan pribadi, dan penanganan
pertanyaan siswa, evaluasi harus dilakukan oleh seorang profesional. Ahli bedah
tidak meminta komentar pasien mereka tentang teknik pisau bedah mereka. Lalu,
mengapa spesialis T&D meminta peserta didik untuk mengevaluasi teknologi
instruksional? Pertanyaan yang tepat dan relevan berkaitan dengan pembelajaran,
dan persepsi peserta didik terhadap pembelajaran tersebut.
Lalu ada masalah waktu. Data perseptual harus dikumpulkan di semua fase
pembelajaran, bukan di akhir program ketika tekanan yang sebenarnya adalah
kembali, kembali ke kantor, atau kembali ke toko. Persepsi yang paling berguna
datang selama pembelajaran dan saat pembelajaran diterapkan di tempat kerja. Di
akhir pembelajaran, pertanyaan "Saya bisa / saya tidak bisa memenuhi tujuan"
sangat berguna. Ditambah dengan data pengujian yang sebenarnya, ini memberi

25
 manajemen T&D data yang divalidasi silang untuk membuat evaluasi. Persepsi di
tempat kerja harus fokus pada penerapan pembelajaran baru.
Instrumen tindak lanjut yang berguna meminta peserta didik untuk
menghitung atau memperkirakan seberapa sering mereka menggunakan
keterampilan baru dalam pekerjaan. Karena ini adalah pendekatan persepsi,
mereka mungkin hanya memilih di antara alternatif seperti "selalu" atau "sering"
atau "sekarang dan kemudian" atau "jarang" atau "tidak pernah". Jika total
kumulatif disajikan sebagai dasar evaluasi, mode dan median dapat ditempatkan
sebagai dasar evaluasi. Mari kita lihat pendekatan seperti itu yang diterapkan pada
program penulisan surat koleksi. Anda telah mensurvei persepsi ketekunan
keterampilan yang diperoleh. Data yang digabungkan terlihat seperti ini:
ALWAYS OFTEN NOW& SELDON NEVER
THEN
LANGSUNG 43 13 1 - -
MINTA
PEMBAYARAN
TANYAKAN 40 10 6 - 1
DALAM
FORMAT
PERTANYAAN
GUNAKAN 50 1 5 1 -
KATA GANTI
ORANG
PERTAMA
HINDARI 51 3 3 - -
BERTERIMA
KASIH
SEBELUMNYA
TETAPKAN 41 12 2 2 -
TENGGAT
WAKTU

26
TERTENTU
GUNAKAN 35 18 2 1 1
KURANG DARI
13% KATA
PANJANG
Catatan seperti itu akan menghasilkan evaluasi yang baik dari program dan
menunjukkan validitas umum dari tujuan pembelajaran dan kegunaannya. Data
perseptual seperti itu, ditambah dengan data kuat tentang hasil operasi (apakah
surat-surat itu memang menghasilkan uang!) Dapat memberikan data yang banyak
menjadi dasar evaluasi program T&D.
Ketika persepsi setelah pelatihan tentang lamaran mengungkapkan tidak
digunakannya keterampilan baru, tindak lanjut konsultasi T&D dapat
mengungkapkan penyebabnya. Seperti yang telah kita catat, penyebab tersebut
termasuk hal-hal seperti tujuan yang tidak masuk akal, tidak relevannya tujuan,
dan seringkali kegagalan atasan langsung untuk memperkuat perilaku baru.
Dengan evaluasi program yang ada, lebih dari satu petugas T&D mengetahui
bahwa program dimulai satu tingkat terlalu rendah! Tindakan yang ditunjukkan
untuk penemuan evaluatif itu adalah program pelatihan untuk para bos.
Instrumen persepsi pasca pelatihan juga dapat menggunakan pertanyaan
terbuka secara efektif. Untuk sampai pada persepsi, evaluator T&D menyukai
pertanyaan seperti ini:
Jika Anda menghadiri pelatihan yang sama hari ini, apa yang akan Anda
lakukan itu berbeda?
• Tujuan apa yang menurut Anda harus diperluas?
• Tujuan apa yang akan Anda ringkas?
• Tujuan apa yang akan Anda batalkan?
• Tujuan apa yang akan Anda tambahkan?
• Kegiatan kursus apa yang akan Anda kembangkan?
• Kegiatan kursus apa yang akan Anda hilangkan?
• Kegiatan kursus apa yang akan Anda ringkas?

27
• Apa yang ingin Anda beri tahukan kepada kami tentang kursus ini dan
pengaruhnya terhadap Anda atau cara Anda melakukan pekerjaan?

1. A Results Assessment Plan

Setiap keputusan perencanaan penilaian dicatat pada hasil rencana
penilaian. Melengkapi lembar perencanaan ini menuntun Anda melalui lima
keputusan inti yang perlu Anda buat tentang setiap opsi hasil dalam Penilaian
Hasil. Keputusan penting ini merupakan tanggapan atas pertanyaan-pertanyaan
berikut:
1. Dalam hal hasil, manakah dari tiga domain dan enam opsi yang akan diukur?
2. Kapan data hasil akan dikumpulkan (sebelum, selama, dan setelah intervensi)?
3. Akankah hasilnya dibandingkan dengan: siklus lain, standar, atau norma?
4. Bagaimana data akan dianalisis?
5. Alat dan detail pengukuran apa yang diperlukan untuk melaksanakan rencana
penilaian?
Baris horizontal (A-F) dari Rencana Penilaian Hasil mewakili tiga domain
hasil dan enam hasil yang dijelaskan di atas. Kolom vertikal mewakili lima
keputusan inti yang dibuat perencana terkait dengan masing-masing domain dan
opsi hasil. Mereka diberi nomor 1-5. Bagian selanjutnya meninjau setiap
keputusan ini.

2. The Core Dimensions

Keputusan 1: Manakah dari tiga domain hasil dan enam opsi hasil yang
akan diukur? Tidak selalu tepat atau perlu untuk memilih ketiga domain atau
keenam opsi. Misalnya, ketika kami berkonsultasi dengan dua divisi terpisah di
sebuah perusahaan besar yang berlokasi di dua negara bagian, kami seolah-olah
bekerja dengan dua organisasi yang berbeda. Dalam satu divisi, HRD telah
memantapkan dirinya sebagai proses utama dan kami hampir secara otomatis
dapat memikirkan keenam opsi hasil (A-F) sebagai hal yang sesuai: kinerja

28
sistem, kinerja keuangan, hasil pengetahuan, hasil keahlian, persepsi peserta, dan
persepsi pemangku kepentingan (Laird & Dugan, 2003).
Sebaliknya, departemen HRD di divisi lain tidak pernah memantapkan
dirinya sebagai proses bisnis utama. Misalnya, ia tidak pernah terlibat dalam
analisis kinerja fundamental (penemuan persyaratan dan solusi kinerja). Lebih
buruk lagi, departemen HRD bahkan tidak memiliki rekam jejak dalam menilai
hasil pembelajaran dari salah satu programnya (Laird & Dugan, 2003).
Akibatnya, gagasan hasil kinerja yang menjanjikan secara administratif
berada di luar jangkauan kelompok kerja HRD. Tantangan mereka adalah
pertama-tama mendapatkan kredibilitas melalui penilaian dan pelaporan hasil
pengetahuan dan keahlian dari program mereka dan kemudian berkembang
menjadi kinerja.
Keputusan 2: Kapan data hasil akan dikumpulkan (sebelum, selama, dan
setelah intervensi)? Data yang berkaitan dengan program, atau intervensi, akan
dikumpulkan dalam jadwal pengumpulan data dan dicatat di kolom 2 lembar
kerja. Setiap opsi hasil yang dipilih berpotensi dapat diukur sebelum, selama, dan
setelah intervensi. Misalnya, dimungkinkan untuk menilai hasil kinerja sistem
sebelum, selama, dan setelah intervensi. Selain itu, mungkin diinginkan untuk
mengukur opsi hasil beberapa kali sebelum, selama, dan setelah intervensi untuk
menemukan skor rata-rata atau untuk merencanakan tren. Seperti yang Anda lihat
di lembar kerja Rencana Penilaian Hasil, ini diwakili oleh dua interval waktu di
tahap sebelumnya (kotak waktu 1-2), dua di tahap selama (kotak waktu 3-4), dan
dua di tahap setelah (kotak waktu 5-6) (Laird & Dugan, 2003).
Ketika petugas T&D atau klien / manajer ingin membuktikan kausalitas
absolut antara pelatihan dan peningkatan, mereka perlu mengetahui bahwa
perbedaan antara "sebelum" dan "setelah" signifikan secara statistik. Untuk
tingkat analisis ini, seorang ahli statistik profesional harus dilibatkan. Hanya
teknisi seperti itu yang dapat menjawab pertanyaan utama, "Apakah perubahan ini
jauh melampaui kebetulan?" Ketika analisis numerik yang mendalam diperlukan,
konsultan statistik harus dilibatkan dalam proses sejak awal. Menunggu sampai

29
data terkumpul merupakan hal yang berbahaya, mungkin fatal. Pada saat itu
direktur T&D mungkin sudah "mem-boot" nya dengan satu atau beberapa cara:
• Data pra-pelatihan yang diperlukan tidak ada.
• Instrumen menanyakan pertanyaan yang salah.
• Ada kontaminasi dalam proses pengukuran.
• Indikator kunci tidak ada.
Contoh umum yang mungkin dilakukan adalah memberikan tes
pengetahuan sebelum memulai program pelatihan untuk melihat seberapa banyak
peserta yang sudah mengetahuinya (garis waktu pengetahuan kotak 2) dan
kemudian lagi di akhir program (garis waktu pengetahuan kotak 4). Contoh lain
mungkin mengambil ukuran keahlian tiga puluh hari (kotak garis waktu keahlian
5) dan sembilan puluh hari (kotak garis waktu keahlian 6) setelah pelatihan.
Idenya adalah bahwa garis waktu mengidentifikasi interval waktu tertentu untuk
dikumpulkan data spesifik dapat dengan cepat direncanakan dan diilustrasikan
dengan lembar perencanaan ini. Keputusan 3: Akankah hasilnya dibandingkan
dengan siklus, standar, atau norma lain? Semua ukuran hasil perlu dibandingkan
dengan sesuatu untuk menilai kualitas hasil yang dicapai. Opsi Perbandingan
diperlihatkan di kolom tiga dengan kotak 7, 8, dan 9
Kotak 7 mengacu pada siklus lain dari program yang sama (misalnya,
kelompok Mei dalam Pengembangan Eksekutif dibandingkan dengan kelompok
Agustus dalam Eksekutif Pengembangan). Ini juga bisa menjadi kelompok kontrol
yang tidak berpartisipasi dalam program (Laird & Dugan, 2003).
• Kotak 8 mengacu pada standar tingkat pencapaian ditetapkan yang
memiliki makna terverifikasi sebelumnya. Misalnya, memiliki kedatangan
penerbangan tepat waktu 90 persen atau lebih tinggi, standar penjualan sebesar 4
juta dolar per bulan untuk wilayah penjualan, peringkat kepuasan peserta rata-rata
yang positif. Standar ini tidak boleh sembarangan. Keduanya harus direferensikan
ke data dan informasi yang ada.
• Kotak 9 adalah norma. Norma berasal dari database besar yang
memberikan rata-rata yang digunakan sebagai titik perbandingan. Misalnya, rata-

30
rata atau tolok ukur industri dapat digunakan sebagai norma. Pada titik tertentu,
norma, jika dikonfirmasi, dapat menjadi standar.
Salah satu mekanisme yang mungkin ditegaskan oleh para ahli statistik
adalah "kelompok kontrol". Bahkan jika Anda tidak memiliki ahli statistik yang
bersikeras pada kelompok kontrol seperti itu, Anda memiliki alasan penting untuk
membuatnya. Ini berarti bahwa sebagian dari "populasi yang cacat" tidak akan
segera menerima pelatihan, atau program perubahan bentuk lainnya. Mereka
menjadi kelompok kontrol; mereka yang mengikuti pelatihan adalah "kelompok
eksperimen". Alasan untuk kelompok kontrol harus jelas. Jika perubahan terjadi
hanya pada kelompok eksperimen, ada beberapa alasan untuk menghargai
program perubahan atas perbaikan tersebut. Sebaliknya, jika kelompok kontrol
dan kelompok eksperimen bergerak ke arah yang sama, evaluator harus
mempertanyakan efek kausal dari program. Jika mereka bergerak ke arah yang
sama dengan kecepatan yang sama, lebih baik batalkan programnya. Dalam
situasi seperti ini, ahli statistik profesional adalah sumber daya yang berharga
untuk proses evaluasi berharga tetapi tidak mutlak diperlukan.
Keputusan 4: Bagaimana data akan dianalisis? Hanya data apa yang akan
dikumpulkan, dikompilasi, dan disajikan sebagai bagian dari laporan evaluasi
akhir untuk intervensi tertentu? Rencana Analisis Data memungkinkan perencana
untuk menyatakan data apa yang akan dibandingkan untuk menilai hasil masing-
masing dari enam pilihan hasil yang dipilih. Contoh di sini adalah persepsi peserta
di akhir program (Peserta 4) dibandingkan dengan standar 2.5 atau lebih tinggi
pada skala 1-4 (Peserta 8).
Rencana analisis data adalah perbandingan keduanya: Peserta 4 Peserta 8.
Berikut dua contoh lainnya:
• keahlian rata-rata sebelum mengikuti program dibandingkan dengan
keahlian setelah berpartisipasi dalam program (Keahlian 2 - Keahlian 4), dan
• laba atas investasi keuangan dari upaya peningkatan kinerja yang
dikelola staf dibandingkan dengan upaya yang dikelola konsultan eksternal
(Keuangan 6 - Keuangan 7).

31
 Keputusan 5: Informasi lain apa yang diperlukan untuk melaksanakan
rencana penilaian?
Kolom kelima ini mencatat rincian tentang dua area kritis dari penilaian
hasil:
(1) ukuran yang akan digunakan, dan (2) detail implementasi. Bab 15
membahas berbagai tindakan yang dapat digunakan. Contohnya termasuk data
produksi, data pangsa pasar, paper-and-pencil test, penilaian kinerja supervisor,
survei pelanggan, data biaya, dan sebagainya. Detail implementasi dapat
mencakup hal spesifik tentang langkah pengukuran aktual dan waktunya.
Misalnya, mereka mungkin memasukkan bagaimana pengukuran akan
dikumpulkan, instrumen didistribusikan dan dikumpulkan, dan waktu
pengumpulan data. Jadwal pengumpulan data secara umum (Bagian 2) perlu
dibuat lebih spesifik, seperti hari sebelum intervensi, jam terakhir intervensi, atau
enam puluh hari setelah intervensi, dan sebagainya.

3. Making Results Assessment Practical and Credible

Swanson dan Holton (1999) juga menawarkan beberapa pedoman tentang
bagaimana membuat penilaian hasil lebih praktis dan dapat dilakukan (Laird &
Dugan, 2003):
Memutuskan Intervensi Yang Akan Diukur. Mungkin Anda terkejut
mendengar kami mengatakan bahwa menilai hasil dari semua intervensi tidak
sebanding dengan upaya yang dilakukan. Menilai hasil membutuhkan sumber
daya waktu, energi, dan uang. Masuk akal untuk mencurahkan sumber daya Anda
hanya untuk menilai hasil yang penting. Sumber daya penilaian harus ditujukan
untuk program yang memiliki potensi manfaat tinggi dari penilaian.
Pertimbangkan kriteria kualitas hasil berikut:
• Apakah intervensi benar-benar dilakukan untuk tujuan meningkatkan
kinerja?
Jika tidak, itu mungkin berarti orang tidak peduli dengan hasil.
• Apakah intervensi diharapkan signifikan dan hasil bermanfaat?
Jika tidak, jangan sia-siakan sumber daya pengukuran Anda.

32
 • Apakah biaya untuk tidak mendapatkan hasil cukup tinggi untuk
membenarkan upaya?
Jika tidak, sponsor mungkin tidak peduli dengan data Anda.
• Apakah orang-orang yang peduli tentang hasil organisasi penting mitra?
Jika tidak, lalu apa yang Anda dapatkan?
• Jika intervensi terbukti tidak membuahkan hasil, apakah akan dihilangkan
atau diubah?
Jika tidak, maka hasilnya pasti tidak terlalu penting atau ada seperti yang lain
alasan itu harus dilakukan.
• Apakah hasil benar-benar dipertanyakan?
Jika sudah yakin berhasil, mungkin hasil pengukuran bisa ditunda sampai Anda
melihat program yang lebih meragukan
Jika Anda tidak dapat menjawab "ya" untuk semua pertanyaan di atas,
pertimbangkan untuk mencurahkan sumber daya penilaian Anda untuk intervensi
lain. Atau tanyakan pada diri Anda mengapa Anda melakukan intervensi di
tempat pertama.

4. More Than One Place to Start

Realitas yang sulit adalah tidak setiap organisasi siap untuk melakukan
semuanya sekaligus. Sebuah organisasi yang tidak pernah menilai intervensi
apapun mungkin beruntung untuk melaksanakan penilaian pengetahuan; satu lagi
yang telah melakukan pengujian rutin siap untuk melanjutkan ke penilaian
kinerja. Yang terpenting adalah memulai. Tidak apa-apa untuk memulai di tempat
yang nyaman. Tetapi tidak apa-apa untuk puas hanya dengan penilaian hasil
tingkat rendah. Jika hasilnya penting, sistem pengukuran harus terus ditingkatkan
hingga memenuhi sebagian besar domain pengukuran yang ditunjukkan dalam
buku ini dan memberikan informasi untuk keputusan yang tepat. Jadi mulailah
dari tempat yang nyaman, lalu tingkatkan (Laird & Dugan, 2003).

• Use Existing Measurement Systems

33
 Jika intervensi ditargetkan pada kebutuhan terkait kinerja nyata yang
penting, kemungkinan besar seseorang dalam organisasi sudah mengukurnya.
Jangan menemukan kembali sistem. Semakin dekat sistem penilaian dengan
sistem pengukuran organisasi yang mapan, semakin besar kemungkinannya untuk
bertahan.

• Don't Buy More Accuracy Than You Need

Tujuan penilaian hasil adalah untuk memungkinkan organisasi membuat
keputusan yang tepat tentang intervensi. Tingkat akurasi yang diperlukan untuk
keputusan organisasi jauh lebih rendah daripada yang dibutuhkan untuk
penelitian. Tugas Anda adalah menemukan "sweet spot" pada kontinum akurasi
sehingga Anda membeli akurasi yang cukup untuk sedikit melebihi ekspektasi
manajemen sehingga Anda memperoleh penghasilan kredibilitas maksimum. Jika
Anda membeli akurasi lebih dari itu, Anda membuang-buang sumber daya.
Misalnya, pertimbangkan program pengembangan organisasi yang kemungkinan
akan menghasilkan pengembalian finansial tipikal 800 persen dalam satu tahun
atau kurang. Akankah menjadi masalah bagi manajemen jika pengukuran Anda
meleset hingga 50 poin persentase yaitu, Anda melaporkan 750 persen atau 800
persen? Apakah Anda akan membuat keputusan yang lebih baik tentang program
tersebut jika Anda tahu pasti pengembaliannya 800 persen? Jika jawabannya ya,
maka bayarlah untuk tingkat akurasi tersebut. Jika jawabannya tidak, terima lebih
sedikit. Seringkali, menyerahkan sejumlah kecil akurasi akan menghemat sumber
daya yang cukup besar.

• Use Fast-Cycle Measurement Processes

Pengukuran siklus cepat adalah proses berulang yang berfungsi dalam
situasi di mana intervensi diulang dengan frekuensi tertentu. Idenya sederhana
tapi kuat. Pertama kali Anda menilai hasil, lakukan dengan interval keyakinan
yang sangat lebar; artinya, jangan membeli banyak akurasi. Jika hasilnya sangat
bagus, berhentilah. Melanjutkan contoh di atas, jika pengukuran awal
menunjukkan kisaran pengembalian dari 500 persen hingga 1000 persen, itu

34
mungkin cukup dekat. Banyak program tidak memerlukan pengukuran setelah
langkah pertama. Sumber daya yang disimpan di sana dapat dikhususkan untuk
pengukuran yang lebih akurat pada orang lain. Pendekatan ini bekerja sangat baik
dalam organisasi yang bergerak terlalu cepat untuk menyelesaikan proses
penilaian.

• Practical Sampling
Biasanya ada sedikit alasan untuk menilai hasil setiap kali intervensi
diulang. Prinsip dasar pengambilan sampel adalah bahwa kecuali kondisi secara
substansial berbeda, pengukuran yang dilakukan pada satu kelompok merupakan
perkiraan hasil yang masuk akal untuk kelompok lain. Jadi, misalnya, satu kelas
manajer di sebuah perusahaan kemungkinan besar akan serupa dengan kelas lain
jika itu adalah kelas pendaftaran terbuka. Jika demikian, menilai hasil dari satu
kelas mungkin sudah cukup. Ada banyak cara untuk mengambil sampel, di
antaranya:
siklus periodik (ditawarkan setiap dua bulan sekali)
subset kelas (satu dari setiap tiga kelas yang ditawarkan bulan ini)
subset peserta (satu dari setiap empat orang yang terlibat)
Terserah penilai untuk memastikan bahwa sampel tidak bias. Pastikan
bahwa orang yang dinilai kira-kira mewakili. Ingatlah bahwa ketika statistik akhir
dilaporkan, mereka akan digunakan untuk membuat pernyataan umum, jadi
pastikan sampel Anda tidak mungkin memberikan hasil yang tidak biasa atau
tidak representatif.

• Embed Results in Program Design

Semakin lengkap penilaian hasil diintegrasikan dengan proses
pembelajaran, maka akan semakin berhasil. Sayangnya, kecenderungan untuk
memperlakukannya sebagai proyek "penelitian", sering dilakukan oleh ahli dari
luar, yang berlangsung paralel atau di luar proses pembelajaran. Tidak jarang
melihat data "menghilang" dengan analis, dan hasilnya dibagikan hanya dengan
sekelompok orang tertentu. Saat Anda mengintegrasikan penilaian hasil, proses

35
tersebut membuat tugas pelatihan lebih mudah dan membuat pelatihan lebih
bermakna bagi peserta.

• Create Stakeholder Ownership of Results

Penilaian sering kali merupakan sesuatu yang dilakukan "kepada" peserta
oleh pakar dari luar. Hasilnya sering kali meningkatkan resistensi dan peserta
yang menyerang data sebagai tidak valid hanya karena mereka tidak memilikinya.
Penilaian hasil yang bekerja mengalihkan sebagian besar kepemilikan hasil, dan
penilaian hasil, kepada pemangku kepentingan, terutama para peserta dan
manajemen mereka. Selama penilaian hasil "dimiliki" oleh departemen HRD,
pemangku kepentingan memiliki sedikit alasan untuk menganggapnya serius.
Berikut adalah beberapa strategi untuk membangun kepemilikan pemangku
kepentingan atas penilaian hasil:
1. Harapkan hasil terjadi.
2. Melibatkan pemangku kepentingan dalam menentukan ukuran kinerja,
pembelajaran, dan persepsi.
3. Membuat peserta bertanggung jawab atas kinerja dan hasil
pembelajaran yang berhasil.
4. Membuat manajemen bertanggung jawab untuk mengumpulkan,
memantau, dan bereaksi terhadap hasil kinerja.
5. Pastikan semua pemangku kepentingan menerima laporan dari semua
data penilaian hasil.
6. Minta pemangku kepentingan memvalidasi data hasil.
7. Melibatkan pemangku kepentingan adalah pemecahan masalah untuk
mengoreksi hasil yang tidak sesuai.
8. Minta peserta dan manajer melakukan penilaian hasil sebanyak
mungkin.
9. Mengintegrasikan penilaian hasil ke dalam sistem penilaian yang ada,
seperti perencanaan strategis atau tinjauan kinerja departemen.

5. Overcoming Resistance to Result Assessment

36
 Result assessment bukan merupakan komponen yang selalu ada dari
kebanyakan praktik HRD. Pengembangan organisasi serta program pelatihan dan
pengembangan personil sering dilakukan dengan sedikit atau tanpa rencana
formal untuk assessment atau tanpa pemikiran tentang prosedur tindak lanjut yang
dirancang untuk mengidentifikasi hasil yang dapat diukur. Karena melakukan
penilaian semacam itu bukan standar dalam praktik HRD, sebagian besar
organisasi tidak memiliki keahlian, budaya, atau sistem untuk memudahkan
penerapannya. Apa yang berkembang dalam jenis organisasi ini adalah tipikal
mereka yang tidak berfokus pada hasil dan penilaian hasil. Selama bertahun-
tahun, aktivitas HRD menjadi semakin terisolasi dari sistem yang dirancang untuk
mereka support. Para profesional HRD dan manajer lini menjadi semakin tidak
berhubungan. Akhirnya, program dijalani terpisah dari tujuan dan proses kerja
yang digunakan untuk mencapainya (Noe, 2017).
Namun, result assessment jarang berhasil dalam menilai hasil kinerja,
apalagi pembelajaran, ketika penilaian hanya sesekali dilakukan. Strategi yang
paling efektif adalah menciptakan budaya di mana result assessment menjadi rutin
dan seperti yang diharapakan. Berikut empat strategi utama untuk mengatasi
penolakan terhadap perubahan:

Strategi Mengatasi Perlawanan # 1: Terapkan hanya apa yang diizinkan oleh

budaya.
Pelajaran penting pertama yang harus dipelajari oleh para profesional
result assessment adalah bahwa banyak orang tidak menyambut result assessment
dalam organisasi. Kemungkinan besar, salah satu reaksi khas dari penerapan
result assessment terjadi:
- Ketakutan bahwa hasil tidak akan baik
- Kecemasan tentang bagaimana data akan digunakan
- Ketidakpastian tentang mengapa result assessment diperlukan
- Keraguan tentang validitas menilai hasil dari pembelajaran
- Ketidaknyamanan bahwa program harus mengarah pada kinerja
organisasi dan individu

37
 - Kemarahan karena seseorang "memeriksa" hasil
- Berharap bahwa pengembangan mandiri sudah cukup
Ironisnya, individu dan perusahaan yang paling banyak memperoleh
keuntungan dari result assessment juga memiliki paling rugi jika hasilnya tidak
bagus. Jadi, resistensi sebenarnya mungkin lebih besar terjadi dalam organisasi
yang memiliki keuntungan paling banyak. Dengan demikian, memperkenalkan
penilaian hasil ke dalam organisasi harus dilihat sebagai tugas pengukuran dengan
masalah teknis terkait, dan proses perubahan budaya.

Strategi Mengatasi Resistensi # 2: Kompromi pada masalah pengukuran di

tahap awal untuk mendapatkan penerimaan.
Ketika memperkenalkan result assessment ke organisasi atau perusahaan,
sering terjadi kesalahan, yaitu terlalu memaksakan pengukuran yang ketat dan
intens. Pendekatan yang lebih disukai adalah melakukan pengukuran yang tidak
terlalu ketat di awal dan ketika sudah terbiasa, ketelitiannya akan ditingkatkan.
Dengan melakukan itu, ada kemungkinan lebih besar untuk diterima. Meskipun
pengukuran dari upaya awal kurang akurat, namun juga tidak terlalu mengancam.
Seiring waktu, peserta akan mulai menuntut data yang lebih akurat, yang memang
diinginkan. Kuncinya adalah melakukan apa yang diizinkan oleh budaya, dan
mungkin menambahkan sedikit lebih banyak, dan kemudian menambahkannya
saat penerimaan diperoleh. Setelah beberapa penilaian hasil dilakukan, orang
biasanya akan melihat nilai mereka dan menyadari bahwa itu bukanlah sesuatu
yang perlu mereka takuti.

Strategi Mengatasi Resistensi # 3: “Menjual” Penilaian Hasill.

Tidak semua dapat menerima hasil yang didapat dari result assessment.
Manajer lini mungkin melihatnya hanya sebagai tuntutan lain pada waktu mereka,
dan mereka mungkin perlu diyakinkan bahwa hal itu akan membantu mereka
dalam beberapa hal. Para peserta mungkin takut jika manajemen atas hanya
memeriksa mereka dan mungkin tidak menyadari bahwa mereka juga akan
mendapatkan keuntungan.

38
 Singkatnya, Anda harus siap untuk “menjual” proses tersebut kepada
manajemen senior, manajemen lini, dan peserta. Berikut adalah beberapa manfaat
utama yang setiap kelompok mungkin akan terima oleh dari pelaksanaan program
penilaian hasil; mereka dapat digunakan sebagai nilai jual.

MANAJEMEN SENIOR:
- Peningkatan produktivitas sebagai hasil dari HRD
- Penggunaan uang yang lebih baik yang diinvestasikan dalam HRD
- Manajemen lini yang lebih memuaskan

MANAJEMEN LINI:
- Hasil yang lebih cepat dari aktivitas HRD
- Peningkatan produktivitas
- Keterlibatan yang lebih besar dalam tujuan dan perencanaan HRD
- Lebih sedikit waktu yang terbuang percuma untuk intervensi bernilai
rendah
PESERTA:
- Intervensi HRD yang lebih terarah
- Tujuan yang lebih jelas dan hasil kinerja yang diharapkan
- Lebih sedikit waktu yang terbuang
- Meningkatnya peluang untuk umpan balik tentang hasil program

Strategi Mengatasi Resistensi # 4: Memberikan insentif dan penghargaan

untuk hasil penilaian.
Kita tidak bisa meminta orang dalam organisasi untuk melakukan hal-hal
yang mereka takuti tanpa memberikan semacam insentif dan reward kepada
mereka. Memperkenalkan penilaian hasil dalam organisasi tidak jauh berbeda,
terutama bila ini merupakan kegiatan opsional dan bukan wajib. Insentif dan
reward memiliki beberapa tujuan, termasuk mengirimkan sinyal yang jelas
tentang pentingnya penilaian hasil; mendorong peserta untuk mengambil risiko;
dan mendapatkan dukungan dari para pemimpin opini utama.

39
 Salah satu tanggapan yang sering atas saran ini adalah pernyataan dari
manajer HRD bahwa mereka tidak memiliki kewenangan untuk menawarkan
insentif dan reward. Pertimbangkan beberapa contoh berikut:
- Menawarkan bantuan ekstra kepada kelompok pertama yang ingin
berpartisipasi
- Memberikan akses istimewa ke sumber daya HRD untuk peserta
penilaian hasil
- Mengembangkan intervensi khusus untuk menangani kebutuhan
peningkatan kinerja
- Secara terbuka merayakan pencapaian divisi atau kelompok yang
berpartisipasi
Tentu saja, manajemen atas memiliki kekuatan lebih untuk menawarkan
insentif dan reward misalnya:
- Sumber daya tambahan untuk mendanai penilaian hasil dan intervensi
berikutnya
- "Status" yang lebih tinggi untuk kelompok yang menggunakan praktik
penilaian hasil terbaik
- Membuat proses untuk meninjau dan menindaklanjuti rekomendasi
penilaian hasil
- Secara publik mendukung dan menekankan penilaian hasil

F. Hasil Yang Digunakan Dalam Evaluasi Program Pelatihan

Untuk mengevaluasi program pelatihannya, perusahaan harus memutuskan
bagaimana ia akan menentukan efektivitas program; yaitu, ia harus
mengidentifikasi hasil pelatihan atau kriteria apa yang akan diukurnya. Tabel 6.1
menunjukkan enam kategori hasil pelatihan: hasil reaksi, hasil pembelajaran atau
kognitif, hasil perilaku dan berbasis keterampilan, hasil afektif, hasil, dan laba
atas investasi. Tabel 6.1 menunjukkan hasil pelatihan, tingkat kesesuaiannya
dalam model evaluasi Kirkpatrick, deskripsi dari masing-masing hasil dan
bagaimana mengukurnya, dan pertanyaan yang dapat dijawab oleh setiap hasil.
Model evaluasi orisinal Kirkpatrick hanya mencakup empat tingkat (reaksi,

40
pembelajaran, perilaku, dan hasil) tetapi pemikiran terkini menyarankan tingkat
kelima, Return of Investment (ROI), yang diperlukan untuk menunjukkan nilai
finansial pelatihan. Hasil tingkat 1 dan tingkat 2 (reaksi dan pembelajaran)
dikumpulkan setelah pelatihan selesai, sebelum peserta kembali bekerja. Hasil
Level 3 (perilaku / keterampilan) juga dapat dikumpulkan setelah pelatihan selesai
untuk menentukan perilaku atau tingkat keterampilan peserta pada saat itu. Untuk
menentukan apakah peserta pelatihan menggunakan konten pelatihan kembali di
tempat kerja (yaitu, apakah transfer pelatihan telah terjadi), hasil level 3, level 4,
dan / atau level 5 dapat dikumpulkan. Kriteria Level 3 dapat dikumpulkan untuk
menentukan apakah perilaku / keterampilan digunakan dalam pekerjaan. Kriteria
level 4 dan level 5 (hasil dan laba atas investasi) juga dapat digunakan untuk
menentukan apakah pelatihan telah menghasilkan peningkatan hasil bisnis, seperti
produktivitas atau kepuasan pelanggan. Kriteria ini juga membantu menentukan
apakah manfaat pelatihan melebihi biayanya. Ingatlah bahwa level tidak
menunjukkan pentingnya hasil atau bahwa hasil tingkat yang lebih rendah
menyebabkan hasil tingkat yang lebih tinggi. Artinya, reaksi menyebabkan
pembelajaran, yang pada gilirannya mempengaruhi keterampilan dan hasil. Hasil
yang dikumpulkan dalam evaluasi didasarkan pada kebutuhan pelatihan, tujuan
program, dan alasan strategis pelatihan (Laird & Dugan, 2003).

1. Hasil Reaksi
Hasil reaksi mengacu pada persepsi peserta pelatihan tentang program,
termasuk fasilitas, pelatih, dan konten. (Hasil reaksi sering disebut sebagai ukuran
"creature comfort") mereka sering disebut evaluasi kelas atau instruktur.
Informasi ini biasanya dikumpulkan pada akhir program. Reaksi berguna untuk
mengidentifikasi apa yang menurut peserta pelatihan berhasil atau apa yang
menghambat pembelajaran (Laird & Dugan, 2003).

TABLE 6.1 Evaluation Outcomes

Outcome Level What Is Examples Measurement Question

41
or Measured Methods
Criterion
Comfortable
training room
Learners’ Useful Surveys Did they
Reactions 1
satisfaction materials and Interviews like it?
program
content
Principles, facts,
Electrical
techniques,
Learning principles
procedures, or Tests What did
or 2 Safety rules
processes that the Work samples they learn?
cognitive Steps in
learners have
interviewing
acquired
Tests
Interpersonal
Preparing a Observations
Technical or
Behavior dessert Sawing Self, peer,
2 or motor skills or Do they use
and skill- wood Landing customer, and/
3 behaviors it?
based an airplane or managers’
acquired by
Listening ratings
learners
Work samples
Tolerance for
diversity
Did it
Learners’ Safety attitudes Attitude surveys
2, 3, change
Affective attitudes and Customer Interviews Focus
or 4 their
motivation service groups
attitudes?
orientation
Engagement
Payoffs for the Productivity Observation Did it
Results 4
company Quality Performance impact the

42
 Costs data from bottom
Repeat records or line?
customers company
Customer databases
satisfaction
Accidents
Identification and Dollar value of What is the
Return on comparison of productivity return from
5 Economic value
investment learning benefits divided by investing in
with costs training costs learning?

Sources: Based on K. Kraiger, J. K. Ford, and E. Salas, “Application of

cognitive, skill-based, and affective theories of learning outcomes to new methods
of training evaluation,” Journal of Applied Psychology, 78 (2) (1993): 311–328;
K. Kraiger, “Decision-Based Evaluation,” in Creating, Implementing, and
Managing Effective Training and Development, ed. K. Kraiger (San Francisco:
Jossey-Bass, 2002): 331–375; D. Kirkpatrick, “Evaluation,” in The ASTD
Training and Development Handbook, 2nd ed., ed. R. L. Craig (New York:
McGraw-Hill, 1996): 294–312.

2. Hasil Belajar atau Kognitif

Hasil kognitif digunakan untuk menentukan sejauh mana peserta pelatihan
terbiasa dengan prinsip, fakta, teknik, prosedur, dan proses yang ditekankan dalam
program pelatihan. Hasil kognitif mengukur pengetahuan yang dipelajari peserta
pelatihan dalam program. Hasil kognitif adalah kriteria level 2 (pembelajaran)
dalam kerangka Kirkpatrick. Biasanya, tes pensil dan kertas atau penilaian diri
digunakan untuk menilai hasil kognitif. Penilaian diri mengacu pada perkiraan
pelajar tentang seberapa banyak yang mereka ketahui atau pelajari dari pelatihan.
Tes dan kuis daripada penilaian diri adalah ukuran pembelajaran yang
disukai. Hal ini karena penilaian diri hanya sedikit terkait dengan pembelajaran

43
dan dipengaruhi oleh seberapa besar peserta didik menyukai kursus atau
termotivasi untuk belajar daripada apa yang sebenarnya mereka pelajari. Tabel 6.3
memberikan contoh item dari tes pensil dan kertas yang digunakan untuk
mengukur pengetahuan peserta pelatihan tentang keterampilan pengambilan
keputusan. Item-item ini membantu mengukur apakah peserta pelatihan tahu
bagaimana membuat keputusan (proses yang akan dia gunakan). Mereka tidak
membantu menentukan apakah peserta pelatihan benar-benar akan menggunakan
keterampilan pengambilan keputusan dalam pekerjaannya.
Table 6.3 Sample Test Items Used to Measure Learning

For each question, check all that apply.

1. If my boss returned a piece of work to me and asked me to make changes on it,

I would:

__ Prove to my boss that the work didn’t need to be changed.

__ Do what the boss said, but ask where the boss thought changes were needed __
Make the changes without talking to my boss.
__ Request a transfer from the department.
2. If I were setting up a new process in my office, I would:
__ Do it on my own, without asking for help.
__ Ask my boss for suggestions.
__ Ask the people who work for me for suggestions.
__ Discuss it with friends outside the company.

Hasil Berbasis Perilaku dan Keterampilan

Hasil berbasis keterampilan digunakan untuk menilai tingkat keterampilan
dan perilaku teknis atau motorik. Hasil berbasis keterampilan mencakup
perolehan atau pembelajaran keterampilan (pembelajaran keterampilan) dan
penggunaan keterampilan di tempat kerja (transfer keterampilan). Hasil berbasis
keterampilan berhubungan dengan level 2 (pembelajaran) Kirkpatrick dan level 3
(perilaku). Sejauh mana peserta pelatihan telah mempelajari keterampilan dapat

44
dievaluasi dengan mengamati kinerja mereka dalam sampel pekerjaan seperti
simulator. Transfer keterampilan biasanya ditentukan oleh observasi. Misalnya,
seorang mahasiswa kedokteran residen dapat melakukan operasi sementara ahli
bedah mengamatinya dengan cermat, memberikan nasihat dan bantuan sesuai
kebutuhan. Trainee mungkin diminta untuk memberikan peringkat perilaku atau
keterampilan mereka sendiri (penilaian diri). Rekan, manajer, dan bawahan juga
mungkin diminta untuk menilai perilaku atau keterampilan peserta pelatihan
berdasarkan pengamatan mereka. Karena penelitian menunjukkan bahwa
penggunaan penilaian diri saja kemungkinan besar menghasilkan penilaian positif
yang tidak akurat atas keterampilan atau transfer perilaku dari pelatihan,
disarankan agar penilaian keterampilan atau perilaku dikumpulkan dari berbagai
perspektif (misalnya, manajer dan bawahan atau rekan kerja).

3. Hasil Afektif
Hasil afektif meliputi sikap dan motivasi. Hasil afektif yang mungkin
dikumpulkan dalam evaluasi termasuk toleransi terhadap keragaman, keterlibatan
karyawan, motivasi untuk belajar, sikap keselamatan, dan orientasi layanan
pelanggan. Hasil afektif dapat diukur dengan menggunakan survei. Hasil afektif
berhubungan dengan level 2 (pembelajaran), level 3 (perilaku), atau level 4 (hasil)
Kirkpatrick, bergantung pada bagaimana mereka dievaluasi. Jika peserta ditanya
tentang sikap mereka dalam sebuah survei, itu akan dianggap sebagai ukuran
pembelajaran. Misalnya, sikap terhadap tujuan dan minat karier mungkin
merupakan hasil yang sesuai untuk digunakan untuk mengevaluasi pelatihan yang
berfokus pada pengelolaan diri karyawan atas karier mereka (Laird & Dugan,
2003).

4. Hasil
Hasilnya digunakan untuk menentukan hasil program pelatihan bagi
perusahaan. Contoh hasil akhir termasuk peningkatan produksi dan pengurangan
biaya terkait dengan tingkat pergantian karyawan dari talenta terbaik (manajer

45
atau karyawan lain), kecelakaan, dan waktu henti peralatan, serta peningkatan
kualitas produk atau layanan pelanggan (Laird & Dugan, 2003).

G. Return on Investment (ROI)

Return on Investment (ROI) mengacu pada perbandingan manfaat moneter
pelatihan dengan biaya pelatihan. ROI sering disebut sebagai evaluasi level 5
(lihat pada tabel 6.1). ROI dapat diukur dan dikomunikasikan berdasarkan
persentase atau rasio. Sebagai contoh, asumsikan bahwa program pelatihan
keselamatan baru menghasilkan penurunan sebesar 5 persen di perusahaan tingkat
kecelakaan. Ini memberikan total penghematan tahunan (manfaat) sebesar $
150.000 hari kerja yang hilang, kerusakan material dan peralatan, dan biaya
kompensasi pekerja. Itu biaya program pelatihan $ 50.000 untuk diterapkan
(termasuk biaya langsung dan tidak langsung). Untuk menghitung ROI, Kita perlu
mengurangi biaya pelatihan dari manfaat, dibagi dengan biaya, dan kalikan
dengan 100. Yaitu, ROI = ((150.000 - 50.000) ÷ 50.000) × 100% = 200%. ROI
untuk program ini adalah 200 persen (Laird & Dugan, 2003).
Biaya pelatihan bisa langsung dan tidak langsung. Biaya langsung
termasuk gaji dan tunjangan untuk semua karyawan yang terlibat dalam pelatihan,
termasuk peserta pelatihan, instruktur, konsultan, dan karyawan yang merancang
program; materi dan perlengkapan program; persewaan atau pembelian peralatan
atau ruang kelas; dan biaya perjalanan. Biaya tidak langsung tidak terkait
langsung dengan desain, pengembangan, atau pelaksanaan program pelatihan. Itu
termasuk perlengkapan kantor umum, fasilitas, peralatan, dan pengeluaran terkait;
perjalanan dan pengeluaran tidak langsung ditagihkan ke satu program;
manajemen departemen pelatihan dan gaji staf yang tidak terkait dengan satu
program; dan gaji dukungan administrasi dan staf. Manfaat adalah nilai yang
diperoleh perusahaan dari program pelatihan.

46
 1. Determining Return On Invesment (ROI)
Determining return on invesment (ROI) merupakan hasil penting dalam
pelatihan. Cost-benefit analysis disini adalah sebuah proses penentuan keuntungan
ekonomi dari program pelatihan melalui metode akuntansi dengan melihat
pengeluaran (biaya) dan pemasukan (keuntungan) dari program pelatihan. Alasan
biaya pelatihan penting dipertimbangkan disebakan oleh beberapa alasan berikut
(Noe, 2017):
1) Mengetahui total pengeluaran program pelatihan termasuk biaya langsung
dan tidak langsung.
2) Membandingkan biaya alternatif program pelatihan
3) Evaluasi proporsi biaya yang dihabiskan untuk pengembangan program
pelatihan, administrasi, evaluasi, dan membandingkan biaya yang
dihabiskan untuk program pelatihan karyawan dari berbagai kelompok.
4) Mengatur biaya program pelatihan
ROI digunakan untuk melihat seberapa hemat biaya program pelatihan
setelah dilaksanakan. Kendati demikian ROI juga berguna untuk mengestimasi
nilai suatu program pelatihan melalui pemilihan metode pelatihan yang hemat
biaya.
Umumnya ROI digunakan untuk menunjukkan efektivitas biaya program
pelatihan setelah dikirimkan. Namun, ROI juga berguna untuk memperkirakan
nilai potensial dari program pelatihan baru, memilih metode pelatihan yang paling
hemat biaya dengan memperkirakan dan membandingkan biaya dan manfaat dari
setiap pendekatan, dan membuat keputusan tentang apakah akan mendanai dan
menawarkan program pelatihan di masa depan.

2. Determining Cost
Salah satu metode untuk membandingkan biaya program pelatihan
alternatif adalah model kebutuhan sumber daya. Model kebutuhan sumber daya
membandingkan peralatan, fasilitas, personel, dan biaya material di berbagai
tahapan proses pelatihan (penilaian kebutuhan, pengembangan, desain pelatihan,

47
implementasi, dan evaluasi). Penggunaan model kebutuhan sumber daya dapat
membantu menentukan perbedaan biaya secara keseluruhan di antara program
pelatihan. Selain itu, biaya yang timbul pada berbagai tahapan proses pelatihan
dapat dibandingkan di seluruh program (Noe, 2017).

3. Determining Benefit
Mengidentifikasi manfaat potensial dari pelatihan, perusahaan harus
meninjau alasan awal penyelenggaraan pelatihan. Misalnya, pelatihan mungkin
telah dilakukan kepada mengurangi biaya produksi atau biaya lembur atau untuk
meningkatkan jumlah bisnis yang berulang. Sejumlah metode dapat membantu
dalam mengidentifikasi manfaat pelatihan (Noe, 2017):
1. Literatur teknis, akademis, dan praktisi merangkum manfaat yang telah
ditunjukkan terkait dengan program pelatihan tertentu.
2. Program pelatihan percontohan menilai manfaat dari sekelompok kecil peserta
pelatihan sebelum perusahaan memberikan lebih banyak sumber daya.
3. Kepatuhan terhadap pelaku pekerjaan yang sukses membantu perusahaan
menentukan apa yang dilakukan pelaksana pekerjaan yang sukses secara berbeda
dari pelaku pekerjaan yang tidak berhasil.
4. Peserta pelatihan dan manajer mereka memberikan perkiraan manfaat
pelatihan.
Untuk melakukan cost-benefit analysis , konsultan meminta setiap
karyawan dalam kelompok pelatihan untuk memperkirakan efek perubahan
perilaku pada ukuran bisnis tertentu (misalnya, memecah tugas akan
meningkatkan produktivitas atau efisiensi). Peserta pelatihan menetapkan
persentase kepercayaan pada perkiraan. Untuk mendapatkan perkiraan biaya-
manfaat untuk setiap kelompok peserta pelatihan, konsultan mengalikan manfaat-
biaya bulanan dengan tingkat kepercayaan dan dibagi dengan jumlah peserta
pelatihan.
Untuk menghitung ROI, ikuti langkah-langkah berikut:
1. Identifikasi hasil (misalnya, kualitas, kecelakaan).
2. Beri nilai pada hasil.

48
3. Tentukan perubahan kinerja setelah menghilangkan pengaruh potensial lainnya
pada hasil pelatihan.
4. Dapatkan jumlah keuntungan tahunan (hasil operasional) dari pelatihan
dengan membandingkan hasil setelah pelatihan dengan hasil sebelum pelatihan
(dalam dolar).
5. Tentukan biaya pelatihan (biaya langsung + biaya tidak langsung + biaya
pengembangan + biaya overhead + kompensasi untuk peserta pelatihan).
6. Hitung total manfaat dengan mengurangkan biaya pelatihan dengan manfaat
(hasil operasional).
7. Hitung ROI dengan membagi hasil operasional dengan biaya. ROI
memberikan perkiraan pengembalian dolar yang diharapkan dari setiap dolar yang
diinvestasikan dalam pelatihan.

4. Pertimbangan Praktis dalam Menentukan ROI

Analisis ROI mungkin tidak sesuai untuk semua program pelatihan pada
suatu perusahaan. Program pelatihan yang paling sesuai untuk analisis ROI
memiliki hasil yang teridentifikasi dengan jelas, bukan kejadian sekali waktu,
sangat terlihat di perusahaan, terfokus secara strategis, dan memiliki efek yang
dapat diisolasi. Dalam contoh analisis ROI di bab ini, hasilnya sangat terukur.
Artinya, pada contoh tanaman kayu, mudah untuk melihat perubahan kualitas,
menghitung tingkat kecelakaan, dan mengamati perilaku rumah tangga. Untuk
program pelatihan yang berfokus pada hasil lunak (misalnya, sikap atau
keterampilan interpersonal), mungkin lebih sulit untuk memperkirakan nilainya.
Berikut adalah contoh penentuan biaya melalui cost-benefit analysis :

49
 5. Success Cases and Return on Expectations
Salah satu cara untuk menetapkan nilai pelatihan dan mengatasi kesulitan
mengevaluasi pelatihan menggunakan desain yang dapat mengesampingkan dan
mengisolasi pengaruhnya terhadap hasil adalah dengan mengandalkan
pengembalian harapan atau kasus keberhasilan. Laba atas harapan (ROE)
mengacu pada proses di mana evaluasi menunjukkan kepada pemangku
kepentingan bisnis utama, seperti manajer tingkat atas, bahwa harapan mereka
tentang pelatihan telah terpenuhi. ROE bergantung pada menjalin kemitraan bisnis
dengan pemangku kepentingan bisnis dari awal program pelatihan hingga
evaluasinya.
Kasus atau kisah sukses mengacu pada contoh konkret dari dampak
pelatihan yang menunjukkan bagaimana pembelajaran telah menghasilkan hasil
yang menurut perusahaan berharga dan manajer menganggapnya dapat dipercaya.
Kasus sukses tidak berusaha untuk mengisolasi pengaruh pelatihan, melainkan
untuk memberikan bukti bahwa itu berguna. Baik Agilent Technologies, sebuah
perusahaan peralatan pengukuran berteknologi tinggi, dan Standard Chartered
Bank, sebuah bank internasional, menggunakan kisah sukses. Agilent memberi
para manajer senior penggunaan contoh spesifik, yang ditulis oleh peserta
pelatihan, tentang apa yang mereka lakukan dengan lebih baik dan berbeda saat
mereka menerapkan apa yang mereka pelajari pada pekerjaan mereka. Misalnya,
seorang insinyur manufaktur menyadari bahwa, sebagai hasil dari menghadiri
program pelatihan, mereka dapat memperluas wilayah pengaruh mereka di luar
tim mereka sendiri untuk memecahkan masalah pelaporan keuangan.

6. Menentukan Apakah Hasil Sesuai

Masalah penting dalam memilih hasil adalah menentukan apakah hasil
tersebut sesuai. Artinya, apakah hasil ini yang terbaik untuk diukur untuk
menentukan apakah program pelatihan itu efektif? Hasil pelatihan yang sesuai
harus relevan, andal, diskriminatif, dan praktis.

50
 • Relevansi
Relevansi kriteria mengacu pada sejauh mana hasil pelatihan terkait
dengan kemampuan belajar yang ditekankan dalam program pelatihan.
Kapabilitas yang dipelajari yang dibutuhkan untuk berhasil dalam program
pelatihan harus sama dengan yang dibutuhkan agar berhasil dalam pekerjaan.
Hasil yang dikumpulkan dalam pelatihan harus semirip mungkin dengan apa yang
dipelajari peserta pelatihan dalam program. Artinya, hasil harus menjadi ukuran
pembelajaran yang valid. Salah satu cara untuk memastikan relevansi hasil adalah
dengan memilih hasil berdasarkan tujuan pembelajaran program.
Kriteria kontaminasi mengacu pada sejauh mana hasil pelatihan mengukur
kemampuan yang tidak sesuai atau dipengaruhi oleh kondisi asing. Misalnya, jika
evaluasi manajer atas kinerja pekerjaan digunakan sebagai hasil pelatihan, peserta
pelatihan dapat menerima peringkat kinerja kerja yang lebih tinggi hanya karena
manajer tahu bahwa mereka menghadiri program pelatihan, percaya bahwa
program tersebut berharga, dan oleh karena itu memberikan peringkat tinggi
untuk memastikan bahwa pelatihan tampaknya berdampak positif pada kinerja.
Kriteria juga dapat terkontaminasi jika kondisi di mana hasil diukur berbeda dari
lingkungan belajar.
Kekurangan kriteria mengacu pada kegagalan untuk mengukur hasil
pelatihan yang ditekankan dalam tujuan pelatihan. Misalnya, tujuan dari program
pelatihan keterampilan spreadsheet menekankan bahwa peserta pelatihan
memahami perintah yang tersedia di spreadsheet (misalnya, menghitung) dan
menggunakan spreadsheet untuk menghitung statistik menggunakan kumpulan
data. Desain evaluasi yang hanya menggunakan hasil pembelajaran seperti tes
pengetahuan tentang tujuan penekanan tombol tidak memadai karena evaluasi
tidak mengukur hasil yang termasuk dalam tujuan pelatihan (misalnya,
menggunakan spreadsheet untuk menghitung mean dan deviasi standar. dari satu
set data) (Laird & Dugan, 2003).
• Reliabilitas
Reliabilitas mengacu pada sejauh mana hasil dapat diukur secara konsisten
dari waktu ke waktu. Misalnya, seorang pelatih memberi karyawan restoran tes

51
tertulis yang mengukur pengetahuan tentang standar keselamatan untuk
mengevaluasi program pelatihan keselamatan yang mereka hadiri. Tes diberikan
sebelum (pretraining) dan (post-training) karyawan mengikuti program. Tes yang
andal mencakup item yang makna atau interpretasinya tidak berubah seiring
waktu.
• Diskriminasi
Diskriminasi mengacu pada sejauh mana kinerja peserta pelatihan pada
hasil benar-benar mencerminkan perbedaan kinerja yang sebenarnya. Misalnya,
tes kertas dan pensil yang mengukur pengetahuan ahli listrik tentang prinsip-
prinsip kelistrikan harus mendeteksi perbedaan yang sebenarnya dalam
pengetahuan prinsip-prinsip kelistrikan peserta pelatihan. Artinya, tes tersebut
harus membedakan berdasarkan pengetahuan peserta didik tentang prinsip-prinsip
kelistrikan. (Orang yang mendapat skor tinggi pada tes memiliki pemahaman
yang lebih baik tentang prinsip kelistrikan daripada mereka yang mendapat skor
rendah.)
• Kepraktisan
Kepraktisan mengacu pada kemudahan di mana ukuran hasil dapat
dikumpulkan. Salah satu alasan perusahaan memberi untuk tidak memasukkan
hasil pembelajaran, kinerja, dan perilaku dalam evaluasi program pelatihan
mereka adalah karena mengumpulkannya terlalu membebani. (Dibutuhkan terlalu
banyak waktu dan energi, yang mengurangi bisnis.) Misalnya, dalam
mengevaluasi program pelatihan penjualan, mungkin tidak praktis meminta
pelanggan untuk menilai perilaku penjual karena ini akan menempatkan terlalu
banyak komitmen waktu pada pelanggan (dan mungkin merusak hubungan
penjualan di masa depan).

7. Praktik Evaluasi
Kita mungkin memiliki kesan yang salah bahwa kelima tingkat hasil perlu
dikumpulkan untuk mengevaluasi program pelatihan. Meskipun mengumpulkan
kelima tingkat hasil itu ideal, tujuan program pelatihan menentukan mana yang
harus dikaitkan dengan strategi bisnis yang lebih luas untuk memastikan evaluasi

52
pelatihan yang memadai, perusahaan harus mengumpulkan ukuran hasil yang
terkait dengan pembelajaran (level 1 dan 2) dan transfer pelatihan (level 3, 4, dan
5).
Ada sejumlah alasan mengapa perusahaan tidak mengevaluasi pelatihan.
Mempelajari laporan profesional dengan akses ke hasil dan alat yang dibutuhkan
untuk mendapatkannya adalah hambatan yang paling signifikan. Akses ke hasil
seringkali ditentukan oleh sejauh mana manajer dan pemimpin memahami
perlunya evaluasi dan mendukungnya. Mendapatkan pemangku kepentingan
utama (manajer, eksekutif) untuk memahami pentingnya pelatihan dan kaitannya
dengan tujuan bisnis dan keterlibatan mereka dalam merancang pelatihan dapat
membantu Anda mendapatkan akses ke jenis data yang diperlukan untuk
melakukan evaluasi (Laird & Dugan, 2003).

8. Hasil Pelatihan Mana yang Harus Dikumpulkan?

Pengukuran hasil pelatihan mana yang terbaik? Jawabannya tergantung
pada tujuan pelatihan. Misalnya, jika tujuan instruksional mengidentifikasi hasil
terkait bisnis seperti peningkatan layanan pelanggan atau kualitas produk, maka
hasil hasil harus dimasukkan dalam evaluasi. baik reaksi maupun hasil kognitif
dapat memengaruhi pembelajaran. Hasil reaksi memberikan informasi mengenai
sejauh mana pelatih, fasilitas, atau lingkungan belajar mungkin telah menghambat
pembelajaran. Hasil pembelajaran atau kognitif secara langsung mengukur sejauh
mana peserta pelatihan telah menguasai konten pelatihan. Namun, reaksi dan hasil
kognitif tidak membantu menentukan seberapa banyak peserta pelatihan
sebenarnya menggunakan konten pelatihan dalam pekerjaan mereka (Laird &
Dugan, 2003).

H. Measuring Human Capital And Training Activity

Big Data dan Workforce Analytics
Big data adalah kumpulan data kompleks yang dike mbangkan dengan
mengumpulkan data di berbagai sistem organisasi termasuk pemasaran dan
penjualan, sumber daya manusia, keuangan, akuntansi, layanan pelanggan, dan

53
operasi. Tiga dimensi menjadi ciri big data yaitu volume, kecepatan, dan variasi
(Noe, 2017).
Volume mengacu pada sejumlah besar data yang tersedia. Variasi
mencakup banyaknya sumber dan jenis data yang tersedia. Kecepatan mengacu
pada sejumlah besar data yang dihasilkan dan kecepatan yang harus dievaluasi,
ditangkap, dan dibuat berguna. Data besar dapat berasal dari berbagai sumber
termasuk transaksi, aplikasi bisnis, email, media sosial, ponsel cerdas, dan bahkan
sensor yang disematkan di lencana identifikasi karyawan atau produk perusahaan.
Tujuan big data adalah membuat keputusan tentang sumber daya manusia
berdasarkan data, bukan berdasarkan intuisi atau kebijaksanaan konvensional,
yang kemungkinan besar akan mengarah pada kesimpulan dan rekomendasi yang
salah. Big data dapat digunakan untuk berbagai tujuan, termasuk untuk
mengevaluasi efektivitas program pembelajaran dan pengembangan, menentukan
dampaknya terhadap hasil bisnis, dan mengembangkan model prediktif yang
dapat digunakan untuk memperkirakan kebutuhan pelatihan, pendaftaran kursus,
biaya, dan hasil. Misalnya, data besar dapat membantu memprediksi kapan
karyawan akan mengikuti pelatihan dalam karir mereka dan bagaimana hal itu
berkaitan dengan retensi dan promosi mereka. Memasukkan data terkait
pembelajaran sebagai bagian dari data besar dapat membantu menunjukkan nilai
strategis pembelajaran bagi sebuah perusahaan. Menggunakan data besar
membutuhkan penggunaan analitik tenaga kerja. Analisis tenaga kerja mengacu
pada praktik penggunaan metode kuantitatif dan metode ilmiah untuk
menganalisis data dari database sumber daya manusia, laporan keuangan
perusahaan, survei karyawan, dan sumber data lain untuk membuat keputusan
berbasis bukti dan menunjukkan bahwa praktik sumber daya manusia (termasuk
pelatihan, pengembangan, dan pembelajaran) memengaruhi metrik perusahaan
yang penting (Noe, 2017).
Untuk menganalisis data tentang bagaimana pembelajaran berkontribusi
pada kesuksesan tenaga penjualan mereka, Faktor Keberhasilan menggunakan
data dari tiga sistem: manajemen hubungan pelanggan, manajemen pembelajaran
dan kinerja, dan catatan karyawan. Data hubungan pelanggan meliputi jumlah dan

54
ukuran penjualan. Data pembelajaran termasuk kursus yang diambil dan evaluasi
diri terhadap efektivitas pelatihan. Data kinerja termasuk peringkat kinerja
manajer dan rencana pembelajaran. Catatan karyawan termasuk pengalaman
penjualan dan tanggal perekrutan. Mereka menganalisis kinerja dan jumlah serta
nilai penjualan yang dilakukan oleh karyawan yang menyelesaikan pelatihan
dibandingkan dengan mereka yang tidak. Defense Acquisition University (DAU)
menggunakan data besar untuk menentukan efektivitas program pembelajarannya.
DAU memberikan pelatihan untuk karyawan aktif dan cadangan teknologi
informasi di militer AS. DAU mengintegrasikan data dari sumber daya manusia,
penganggaran, dan sistem akuntansi dengan data pembelajaran dan informasi
peserta pelatihan. Misalnya, beberapa data pelatihan mencakup survei kualitas
kursus setelah pelatihan dan evaluasi instruktur yang diselesaikan oleh peserta
pelatihan segera setelah mereka menyelesaikan suatu kursus. Selain itu, dua bulan
kemudian peserta pelatihan diminta untuk menilai bagaimana kursus tersebut
memengaruhi kinerja dan hasil bisnis mereka.
Kumpulan data ini memungkinkan DAU untuk menentukan tren kursus,
kualitas, lokasi kursus yang disukai, tingkat partisipasi unit bisnis dalam
pelatihan, dan bagaimana jumlah karyawan yang mendaftar dalam kursus
berkaitan dengan kinerja bisnis. Misalnya, salah satu analisis menunjukkan bahwa
pembicara tamu dalam kursus sangat terkait dengan pembelajaran individu, yang
kemudian memengaruhi kinerja dan hasil bisnis. Analisis lain tentang biaya
kamar, gaji instruktur dan biaya perjalanan, kehadiran yang diharapkan, dan biaya
perjalanan untuk siswa membantu DAU menentukan tempat yang paling murah
untuk mengadakan pelatihan di kelas. Juniper Networks menggunakan LinkedIn
untuk melacak dan menganalisis keterampilan, pengetahuan, pengalaman, dan
jalur karier calon karyawan, saat ini, dan mantan karyawan. Juniper tertarik untuk
menentukan berapa lama staf penjualan baru menghasilkan pendapatan yang
diharapkan dan jenis pelatihan apa yang dapat mempersingkat jangka waktu
tersebut.
Beberapa perusahaan menggunakan Dashboard untuk membantu
mengukur keefektifan, keuntungan finansial, dan hubungan kegiatan

55
pembelajaran dengan strategi dan tujuan bisnis. Dashboard mengacu pada
antarmuka komputer yang dirancang untuk menerima dan menganalisis data dari
departemen dalam perusahaan untuk memberikan informasi kepada manajer dan
pembuat keputusan lainnya. Dashboard dapat mengambil datanya dari berbagai
sumber, seperti sistem informasi sumber daya manusia perusahaan atau
pengelolaan pembelajaran atau sistem pendaftaran kursus. Dashboard berguna
karena dapat memberikan tampilan visual menggunakan bagan hubungan antara
aktivitas pembelajaran dan data kinerja bisnis, termasuk pengukuran yang terkait
dengan aset tidak berwujud seperti modal manusia.

I. Desain Evaluasi
Desain evaluasi pelatihan menentukan keyakinan yang dapat ditempatkan
pada hasil, yaitu, seberapa yakin perusahaan bahwa pelatihan bertanggung jawab
atas perubahan hasil evaluasi atau telah gagal mempengaruhi hasil. Tidak ada
desain evaluasi yang dapat memastikan bahwa hasil evaluasi sepenuhnya karena
pelatihan. Apa yang diusahakan oleh evaluator adalah menggunakan desain yang
paling ketat (mengingat keadaan di mana evaluasi terjadi) untuk
mengesampingkan penjelasan alternatif untuk hasil evaluasi (Noe, 2017).
Pembahasan tentang desain evaluasi ini dimulai dengan mengidentifikasi
"penjelasan alternatif" yang harus coba dikendalikan oleh evaluator. Selanjutnya,
berbagai desain evaluasi dibandingkan. Terakhir, bagian ini membahas keadaan
praktis yang perlu dipertimbangkan oleh pelatih dalam memilih desain evaluasi.

1. Ancaman terhadap Validitas: Penjelasan Alternatif

Hasil Evaluasi Tabel 6.6 menyajikan ancaman terhadap validitas evaluasi.
Ancaman terhadap validitas mengacu pada faktor-faktor yang akan mengarahkan
seorang evaluator untuk mempertanyakan apakah (1) hasil studi dapat dipercaya
atau (2) sejauh mana hasil evaluasi dapat digeneralisasikan ke kelompok peserta
pelatihan dan situasi lain. Kepercayaan hasil studi mengacu pada validitas
internal. Ancaman internal terhadap validitas berkaitan dengan karakteristik
perusahaan (sejarah), ukuran hasil (instrumentasi, pengujian), dan orang-orang

56
dalam studi evaluasi (pematangan, regresi terhadap mean, mortalitas, perbedaan
kelompok awal). Karakteristik ini dapat menyebabkan evaluator mencapai
kesimpulan yang salah tentang efektivitas pelatihan. Studi evaluasi memerlukan
validitas internal untuk memberikan keyakinan bahwa hasil evaluasi (terutama
jika positif) disebabkan oleh program pelatihan dan bukan faktor lain. Misalnya,
pertimbangkan sekelompok manajer yang pernah mengikuti program pelatihan
keterampilan komunikasi. Pada saat yang sama mereka menghadiri program
tersebut, diumumkan bahwa perusahaan akan direstrukturisasi. Setelah program
selesai, para manajer dapat menjadi komunikator yang lebih baik hanya karena
mereka takut jika tidak, mereka akan kehilangan pekerjaan. Mungkin sama sekali
tidak ada pembelajaran yang terjadi dalam program pelatihan .
Pelatih juga tertarik pada generalisasi hasil studi untuk kelompok dan
situasi lain (yaitu, mereka tertarik pada validitas eksternal studi). Seperti yang
ditunjukkan pada Tabel 6.6, ancaman terhadap validitas eksternal berkaitan
dengan bagaimana peserta studi bereaksi untuk dimasukkan dalam studi dan efek
dari berbagai jenis pelatihan. Karena evaluasi biasanya tidak melibatkan semua
karyawan yang telah menyelesaikan suatu program (atau yang mungkin mengikuti
pelatihan di masa mendatang), pelatih ingin dapat mengatakan bahwa program
pelatihan akan efektif di masa mendatang dengan kelompok serupa (Noe, 2017).

2. Metode Pengendalian Ancaman terhadap Validitas

Karena pelatih sering kali ingin menggunakan hasil studi evaluasi sebagai
dasar untuk mengubah program pelatihan atau menunjukkan bahwa pelatihan
berhasil (sebagai cara untuk mendapatkan dana tambahan untuk pelatihan dari
mereka yang mengontrol anggaran pelatihan), penting untuk meminimalkan
ancaman terhadap validitas. Ada tiga cara untuk meminimalkan ancaman terhadap
validitas: penggunaan pretest dan post-test dalam desain evaluasi, kelompok
pembanding, dan tugas acak.
1. Pretest dan Post-test
Salah satu cara untuk meningkatkan validitas internal hasil studi adalah
dengan terlebih dahulu menetapkan ukuran baseline atau pre-training dari

57
 hasil. Ukuran lain dari hasil dapat diambil setelah pelatihan. Ini disebut
sebagai post-training measure. Perbandingan tindakan post-training dan
pre-training measures dapat menunjukkan sejauhmana peserta pelatihan
telah berubah sebagai hasil pelatihan.
2. Penggunaan Kelompok Pembanding
Validitas internal dapat ditingkatkan dengan menggunakan kontrol atau
grup pembanding. Kelompok pembanding mengacu pada sekelompok
karyawan yang mengikuti studi evaluasi tetapi tidak menghadiri program
pelatihan. Perbandingan karyawan memiliki karakteristik pribadi
(misalnya, jenis kelamin, pendidikan, usia, masa kerja, dan tingkat
keterampilan) yang semirip mungkin dengan peserta pelatihan.
Penggunaan kelompok pembanding dalam evaluasi pelatihan membantu
mengesampingkan kemungkinan bahwa perubahan yang ditemukan dalam
ukuran hasil disebabkan oleh faktor selain pelatihan. Efek Hawthorne
mengacu pada karyawan dalam studi evaluasi yang berkinerja di tingkat
tinggi hanya karena perhatian yang mereka terima. Penggunaan kelompok
pembanding membantu menunjukkan bahwa efek yang diamati secara
khusus disebabkan oleh pelatihan daripada perhatian yang diterima peserta
pelatihan. Penggunaan kelompok pembanding membantu mengontrol
pengaruh riwayat, pengujian, instrumentasi, dan pematangan karena baik
kelompok pembanding maupun kelompok pelatihan diperlakukan sama,
menerima ukuran yang sama, dan memiliki jumlah waktu yang sama
untuk berkembang. Ingatlah bahwa kelompok pembanding biasanya
tersedia untuk evaluasi pelatihan karena semua karyawan mungkin tidak
menerima pelatihan pada saat yang sama atau pelatihan mungkin dihadiri
oleh karyawan di satu atau beberapa lokasi perusahaan tetapi tidak di
semua lokasi. Karyawan yang awalnya tidak menerima pelatihan dapat
menjadi kelompok pembanding. Para karyawan ini dapat dijadwalkan
untuk menerima pelatihan di lain waktu setelah evaluasi selesai.
3. Random Assignment

58
 Random Assignment mengacu pada penugasan karyawan ke pelatihan atau
kelompok pembanding atas dasar kebetulan saja. Artinya, karyawan
ditugaskan untuk program pelatihan tanpa mempertimbangkan perbedaan
individu (kemampuan atau motivasi) atau pengalaman sebelumnya.
Penugasan acak membantu memastikan bahwa peserta pelatihan serupa
dalam karakteristik individu seperti usia, jenis kelamin, kemampuan, dan
motivasi. Karena seringkali tidak mungkin untuk mengidentifikasi dan
mengukur semua karakteristik individu yang mungkin mempengaruhi
ukuran hasil, penugasan acak memastikan bahwa karakteristik ini
didistribusikan secara merata dalam kelompok pembanding dan kelompok
pelatihan. Penugasan acak membantu mengurangi efek karyawan yang
putus studi (kematian) dan perbedaan antara kelompok pelatihan dan
kelompok pembanding dalam kemampuan, pengetahuan, keterampilan,
atau karakteristik pribadi lainnya. Perusahaan mungkin tidak mau
menyediakan grup pembanding. Salah satu solusi untuk masalah ini adalah
mengidentifikasi faktor-faktor di mana kelompok pelatihan dan
pembanding berbeda dan mengendalikan faktor-faktor ini dalam analisis
data (prosedur statistik yang dikenal sebagai analisis kovarian). Metode
lain adalah dengan menentukan karakteristik peserta pelatihan setelah
mereka ditugaskan dan memastikan bahwa kelompok pembanding
mencakup karyawan dengan karakteristik serupa.

4. Jenis Desain Evaluasi

Sejumlah desain berbeda dapat digunakan untuk mengevaluasi program
pelatihan. Secara umum, desain yang menggunakan hasil pre-training and post-
training measure serta menyertakan kelompok pembanding mengurangi risiko
bahwa faktor-faktor alternatif (selain pelatihan itu sendiri) bertanggung jawab atas
hasil evaluasi. Ini meningkatkan kepercayaan diri pelatih dalam menggunakan
hasil untuk membuat keputusan. Tentu saja, trade-off adalah bahwa evaluasi yang
menggunakan desain ini lebih mahal dan membutuhkan lebih banyak waktu untuk

59
dilakukan daripada evaluasi yang tidak menggunakan tindakan pretraining dan
post-training atau kelompok pembanding.
1) Post-test Only
Desain post-test-only mengacu pada desain evaluasi di mana hanya hasil
post-training yang dikumpulkan. Rancangan ini dapat diperkuat dengan
menambahkan kelompok pembanding (yang membantu mengesampingkan
penjelasan alternatif untuk perubahan). Desain post-test-only sesuai ketika
peserta pelatihan (dan kelompok pembanding, jika digunakan) dapat
diharapkan memiliki tingkat pengetahuan, perilaku, atau hasil hasil yang
sama (misalnya, jumlah penjualan yang sama atau kesadaran yang sama
tentang bagaimana menutup penjualan) sebelum pelatihan.
2) Pretest / Post-test
Pretest / post-test mengacu pada desain evaluasi di mana ukuran hasil pra-
pelatihan dan pasca-pelatihan dikumpulkan. Tidak ada kelompok
pembanding. Kurangnya kelompok pembanding menyulitkan untuk
mengesampingkan dampak kondisi bisnis atau faktor lain sebagai
penjelasan untuk perubahan. Desain ini sering digunakan oleh perusahaan
yang ingin mengevaluasi program pelatihan tetapi merasa tidak nyaman
dengan mengecualikan karyawan tertentu atau yang berniat untuk melatih
hanya sekelompok kecil karyawan.
3) Pretest / Post-test dengan Kelompok Pembanding
Pretest / post-test dengan kelompok pembanding mengacu pada desain
evaluasi yang mencakup peserta pelatihan dan kelompok pembanding.
Pengukuran hasil pra-pelatihan dan pasca-pelatihan dikumpulkan dari
kedua kelompok. Jika peningkatan lebih besar untuk kelompok pelatihan
daripada kelompok pembanding, temuan ini memberikan bukti bahwa
pelatihan bertanggung jawab atas perubahan tersebut. Jenis kontrol desain
ini untuk sebagian besar ancaman terhadap validitas. Prosedur statistik
yang dikenal sebagai analisis varian dan analisis kovarians digunakan
untuk menguji perbedaan antara ukuran pra-pelatihan dan ukuran pasca
pelatihan untuk setiap kondisi. Juga, perbedaan antara masing-masing

60
 kondisi pelatihan dan kelompok pembanding dianalisis. Prosedur ini
menentukan apakah perbedaan antara kelompok cukup besar untuk
menyimpulkan dengan tingkat keyakinan yang tinggi bahwa perbedaan
tersebut disebabkan oleh pelatihan, bukan oleh fluktuasi kebetulan dalam
skor peserta pelatihan pada pengukuran.
4) Waktu rangkaian (Time Series)
Waktu mengacu pada desain evaluasi di mana hasil pelatihan dikumpulkan
pada interval berkala sebelum dan setelah pelatihan. (Dalam desain
evaluasi lain yang dibahas di sini, hasil pelatihan dikumpulkan hanya
sekali setelah dan mungkin sekali sebelum pelatihan.) Kekuatan desain ini
dapat ditingkatkan dengan menggunakan pembalikan, yang mengacu pada
periode waktu di mana peserta tidak lagi menerima intervensi pelatihan.
Grup pembanding juga dapat digunakan dengan desain deret waktu. Salah
satu keuntungan desain Time Series adalah memungkinkan analisis
stabilitas hasil pelatihan dari waktu ke waktu. Keuntungan lain adalah
bahwa menggunakan kelompok pembalikan dan pembanding membantu
mengesampingkan penjelasan alternatif untuk hasil evaluasi. Rancangan
Time Series sering digunakan untuk mengevaluasi program pelatihan yang
berfokus pada peningkatan hasil yang mudah diamati (seperti tingkat
kecelakaan, produktivitas, dan ketidakhadiran) yang bervariasi dari waktu
ke waktu. CHG Healthcare Services mengevaluasi efek dari pelatihan
karyawan baru dengan terlebih dahulu menetapkan dasar kinerja yang
mencakup ukuran total penagihan, lamaran yang diterima, dan wawancara.
Saat kursus pelatihan baru diperkenalkan, CHG dapat melacak
pengaruhnya terhadap kinerja karyawan baru pada langkah-langkah ini.
5) Solomon Four-Group
Desain Solomon Four-Group menggabungkan kelompok pembanding
pretest / post-test dan desain control group post-test-only. Dalam desain
Solomon Four-Group, kelompok pelatihan dan kelompok pembanding
diukur pada hasil sebelum dan sesudah pelatihan. Kelompok pelatihan dan
kelompok kontrol lain diukur hanya setelah pelatihan. Desain ini

61
 mengontrol sebagian besar ancaman terhadap validitas internal dan
eksternal. Namun, ini tidak sering digunakan dalam evaluasi pelatihan
karena kompleksitasnya dan jumlah kelompok yang dibutuhkan.

5. Pertimbangan Memilih Desain Evaluasi

Tidak ada desain evaluasi yang sesuai. Desain evaluasi harus dipilih
berdasarkan evaluasi faktor-faktor yang ditunjukkan pada Tabel 6.10. Ada
beberapa alasan mengapa tidak ada evaluasi atau desain evaluasi yang kurang
ketat mungkin lebih sesuai daripada desain yang lebih ketat yang mencakup
kelompok pembanding, random assignment, atau pra-pelatihan dan tindakan
pasca-pelatihan. Pertama, manajer dan pelatih mungkin tidak mau mencurahkan
waktu dan upaya yang diperlukan untuk mengumpulkan hasil pelatihan. Kedua,
manajer atau pelatih mungkin kurang memiliki keahlian untuk melakukan studi
evaluasi. Ketiga, perusahaan mungkin memandang pelatihan sebagai investasi
yang diharapkan menerima sedikit atau tidak ada pengembalian. Desain evaluasi
yang lebih ketat (pretest / post-test dengan kelompok pembanding) harus
dipertimbangkan jika salah satu dari kondisi berikut ini benar (Noe, 2017):
1. Hasil evaluasi dapat digunakan untuk mengubah program.
2. Program pelatihan sedang berlangsung dan berpotensi memiliki pengaruh
penting bagi karyawan atau pelanggan.
3. Program pelatihan melibatkan banyak kelas dan banyak peserta pelatihan.
4. Pembenaran biaya untuk pelatihan didasarkan pada indikator numerik. (Di
sini, perusahaan memiliki orientasi yang kuat terhadap evaluasi.)
5. Pelatih atau orang lain di perusahaan memiliki keahlian (atau anggaran
untuk membeli keahlian dari luar perusahaan) untuk merancang dan
mengevaluasi data yang dikumpulkan dari studi evaluasi.
6. Biaya pelatihan menciptakan kebutuhan untuk menunjukkan bahwa
pelatihan itu berhasil.
7. Ada cukup waktu untuk melakukan evaluasi. Di sini, informasi mengenai
efektivitas pelatihan tidak diperlukan dengan segera.

62
 8. Ada minat untuk mengukur perubahan (dalam pengetahuan, perilaku,
keterampilan, dll.) Dari tingkat pra-pelatihan atau dalam membandingkan
dua atau lebih program yang berbeda.
Kadang-kadang tersedia kelompok pembanding yang terjadi secara alami,
yang memberikan kesempatan untuk menggunakan pre-test dan post-test dengan
kelompok pembanding atau post-test dengan desain evaluasi kelompok
pembanding. Hal ini dapat terjadi karena realita penjadwalan karyawan untuk
mengikuti pelatihan (semua karyawan tidak dapat menghadiri pelatihan pada saat
yang sama) atau saat pelatihan baru dilaksanakan. Misalnya, beberapa karyawan
mungkin dijadwalkan untuk menerima pelatihan lebih lambat dari yang lain.
Karyawan yang awalnya tidak menerima pelatihan dapat dianggap sebagai
kelompok pembanding. Hasil dapat diukur dan perbandingan dibuat antara
kelompok karyawan yang menerima pelatihan dan karyawan yang menunggu
untuk menerima pelatihan.

63
 BAB III
KESIMPULAN

Berdasarkan paparan materi diatas dapat kita simpulkan bahwa evaluasi

suatu program pelatihan harus melalui langkah-langkah yang panjang muali dari
penentuan tujuan dari evaluasi sampai penyusunan laporan yang akan menjadi
umpan balik bagi perancangan pelatihan agar mengetahui apakah target kualitas
telah dicapai atau belum. Selain itu terdapat dua model evaluasi yaitu CIPP dan
model Kirkpatrick dengan 4 tingkatan. Terdapat juga ROI sebagai pertimbangan
biaya pelatihan yang dilakukan agar memastikan bahwa biaya pelatihan yang
dikeluarkan tidak lebih besar dari hasil yang didapatkan dari program pelatihan
yang dilaksanakan. Desain dari evaluasi pelatihan terdiri dari beberapa jenis yaitu
posttest only, pretest/posttest, pretest/posttest dengan kelompok pembanding, dan
solomon four group.

64
 DAFTAR PUSTAKA

Laird, & Dugan. (2003). Approaches to Training and Development (3rd Revised
and Updated ed.). (S. N. Sharon, & F. H. Elwood, Penyunt.) Cambridge:
Perseus Publishing.
Noe, R. A. (2017). Employee Training & Developmeny (Seventh ed.). New York:
Mc. Graw-Hill Company.
Nuraini, E., Hermawan, A., Hubeis, A. V., & Panjaitan, N. K. (2016). Kajian
Evaluasi Pelatihan Program Pengembangan Manajemen. Jurnal Aplikasi
Manajemen, 14, 254-266.
Pribadi, B. A. (2014). Desain dan Pengembangan Program Pelatihan berbasis
Kompetensi Implementasi Model ADDIE. Jakarta: Prenada Media Group.

65