JUDUL PROPER
DISUSUN OLEH :
Puji syukur saya panjatkan kepada Tuhan Yang Maha Esa, atas berkat
dan rahmat-Nya, saya dapat menyelesaikan penyusunan laporan proyek
perubahan yang berjudul “Implementasi Return On Training Investment (ROTI)
pada Evaluasi Pasca Pelatihan di lingkungan Pusdiklat SDA dan Konstruksi”.
Saya menyadari bahwa tanpa bantuan dan bimbingan dari berbagai pihak hingga
akhir penyelesaian laporan proyek perubahan ini, akan sangat sulit bagi saya
untuk dapat menyelesiakan laporan proyek perubahan ini. Oleh karena itu, saya
ingin mengucapkan terimakasih atas bantuan yang diberikan selama proses
penyusunan laporan ini kepada pihak-pihak sebagai berikut:
1. Bapak Ir. Herman Suroyo, MT., Kepala Pusdiklat SDA dan Konstruksi dan
selaku Mentor Proyek Perubahan yang telah menyediakan waktu, tenaga,
dan pikiran untuk terus membimbing dalam proyek perubahan ini;
2. Bapak Ir. Yudha Mediawan, M.Dev.Plg., mantan Kepala Pusdiklat SDA
dan Konstruksi (saat ini menjabat sebagai Direktur Pengembangan
Sistem Penyediaan Air Minum, Direktorat Jenderal Cipta Karya);
3. Bapak Dr. Ir. Adiwijaya, Ph.D., selaku Coach Proyek Perubahan yang
telah sabar dalam membimbing dan mengarahkan saya dalam proyek
perubahan ini;
4. Bapak/Ibu Pengajar Diklat PIM III, yang telah membagikan ilmunya dalam
proyek perubahan ini;
5. Tim Efektif Proyek Perubahan, yang terus menerus mendukung
pelaksanaan proyek perubahan hingga tersusunnya laporan proyek
perubahan ini;
6. Semua pihak yang telah membantu dalam penyusunan laporan proyek
perubahan ini yang tidak mampu saya sebutkan satu persatu.
i
Akhir kata, saya menyadari bahwa laporan proyek perubahan ini masih
jauh dari kata sempurna. Oleh karena itu, saya mengharapkan saran dan kritik
yang membangun demi penyempurnaan proyek perubahan ini.
Muhammad Nizar
ii
PELATIHAN KEPEMIMPINAN TINGKAT III
BALAI PENDIDIKAN DAN PELATIHAN PUPR WILAYAH III JAKARTA
BADAN PENGEMBANGAN SUMBER DAYA MANUSIA
KEMENTERIAN PEKERJAAN UMUM DAN PERUMAHAN RAKYAT
LEMBAR PENGESAHAN
Disusun oleh :
DISEMINARKAN PADA :
HARI : Kamis
TANGGAL : 31 Oktober 2019
Telah diseminarkan Proyek Perubahan Peserta Diklat PIM III Pola Baru Tahun
2019.
Mentor Narasumber
Kepala Pusdiklat SDA dan Konstruksi Widyaiswara Ahli Utama
Badan Pengembangan Sumber Daya Manusia Lembaga Administrasi Negara RI
iv
RINGKASAN EKSEKUTIF
v
Monitoring dan evaluasi tidak hanya terhenti setelah para peserta selesai
mengikuti pelatihan saja, akan tetapi sebaiknya dilaksanakan berkelanjutan
dengan melaksanakan evaluasi pasca pelatihan sehingga kita dapat mengetahui
manfaat materil maupun non materil diperoleh oleh tiap peserta dalam rangka
pengembangan karirnya. Oleh sebab itu evaluasi pasca pelatihan merupakan
sarana untuk mengukur dan menilai capaian hasil penyelenggaraan pelatihan
yang telah direncanakan sehingga dapat ditentukan tingkat keberhasilannya.
Hasil ini selanjutnya akan menjadi umpan balik untuk merencanakan kembali
penyelenggaraan pelatihan di masa mendatang dan memberikan kontribusi
positif terhadap peningkatan kinerja alumni peserta pelatihan.
vi
Model Return On Training Investment (ROTI) yang dikembangkan Jack
Phillips merupakan level 5 evaluasi terakhir untuk melihat cost-benefit setelah
pelatihan dilaksanakan. Kegunaan model ini tidak hanya menitikberatkan pada
penilaian dari perspektif finansial saja, akan tetepi dapat mengukur bahwa
pelatihan merupakan salah suatu investasi. Return On Training Investment
(ROTI) adalah alat yang dapat membantu untuk menganalisis tingkat
kemanfaatan pelatihan secara nyata. Return On Training Investment (ROTI) dan
level evaluasi pelatihan memiliki fungsi yang sama yakni mengukur efektivitas
pelatihan.
viii
DAFTAR ISI
x
DAFTAR TABEL
xi
DAFTAR GAMBAR
xii
BAB I
GAGASAN PROYEK PERUBAHAN
1
2. Penyusunan laporan kinerja dan program serta pelaksanaan
pendidikan dan pelatihan bidang sumber daya air dan konstruksi.
2
Monitoring dan evaluasi tidak hanya terhenti setelah para peserta
selesai mengikuti pelatihan saja, akan tetapi sebaiknya dilaksanakan
berkelanjutan dengan melaksanakan evaluasi pasca pelatihan sehingga kita
dapat mengetahui manfaat materil maupul non materil diperoleh oleh tiap
peserta dalam rangka pengembangan karirnya. Oleh sebab itu evaluasi pasca
pelatihan merupakan sarana untuk mengukur dan menilai capaian hasil
penyelenggaraan pelatihan yang telah direncanakan sehingga dapat
ditentukan tingkat keberhasilannya. Hasil ini selanjutnya akan menjadi umpan
balik untuk merencanakan kembali penyelenggaraan pelatihan di masa
mendatang dan memberikan kontribusi positif terhadap peningkatan kinerja
alumni peserta pelatihan.
3
Model Return On Training Investment (ROTI) yang dikembangkan Jack
Phillips merupakan level 5 evaluasi terakhir untuk melihat cost-benefit setelah
pelatihan dilaksanakan. Kegunaan model ini tidak hanya menitikberatkan pada
penilaian dari perspektif finansial saja, akan tetepi dapat mengukur bahwa
pelatihan merupakan salah suatu investasi. Return On Training Investment
(ROTI) adalah alat yang dapat membantu untuk menganalisis tingkat
kemanfaatan pelatihan secara nyata. Return On Training Investment (ROTI)
dan level evaluasi pelatihan memiliki fungsi yang sama yakni mengukur
efektivitas pelatihan
Identifikasi masalah;
Permasalahan (gap);
Analisis masalah; dan
Penetapan sasaran perubahan.
4
c) Belum dilaksanakannya sosialisasi dan diseminasi terkait Return on
Training Investment (ROTI).
Adapun kondisi yang diharapkan dari proyek perubahan ini dalam layanan
konsultasi investasi infrastruktur bidang PUPR adalah:
Kondisi Yang
No Kondisi Saat Ini Solusi
Diharapkan
1. Belum disusunnya Disusunnya instrumen Penyusunan Instrumen
Instrumen Evaluasi Evaluasi Pasca Evaluasi Pasca
Pasca Pelatihan Pelatihan dengan Pelatihan dengan Return
dengan Return On Return On Training On Training Investment
Training Investment Investment (ROTI) (ROTI)
(ROTI)
2. Belum dilakukannya Dilakukannya Evaluasi Evaluasi pasca pelatihan
Evaluasi Pasca Pasca Pelatihan dengan menggunakan
Pelatihan dengan dengan Return On Return On Training
Return On Training Training Investment Investment (ROTI)
Investment (ROTI) (ROTI)
3. Belum Dilaksanakannya Sosialisasi dan
dilaksanakannya sosialisasi dan diseminasi terkait Return
sosialisasi dan diseminasi terkait
5
diseminasi terkait Return On Training On Training Investment
Return On Training Investment (ROTI) (ROTI)
Investment (ROTI)
Pusdiklat SDA dan Konstruksi sebagai institusi unit esselon II saat ini
sedang melaksanakan kegiatan Return On Training Investement (ROTI) pada
tahun 2019, Return On Training Investement (ROTI) ini belum dilaksanakan
pada kegiatan evaluasi pasca pelatihan bidang SDA dan Konstruksi, masih
dalam proses penyusunan instrumen. Oleh sebab itu perlu menggambarkan
proses alur pikir/konsep proyek perubahan yang akan dilaksanakan oleh
Bidang Evaluasi dan Pelaporan Pusdiklat SDA dan Konstruksi. Selanjutnya
untuk menentukan prioritas permasalahan, maka dilakukan Urgent Serious
Growth (USG) dengan menggunakan penilaian skala likert pada tabel 1.2.
6
Tabel 1. 2. Penilaian Urgent Serious Growth (USG)
7
1.2.3. Analisis Masalah
Dalam rangka meningkatkan kinerja Bidang Evaluasi dan Pelaporan
Pusdiklat SDA dan Konstruksi, maka perlu dilakukan identifikasi terhadap
permasalahan yang dihadapi. Hal ini perlukan dengan tujuan:
8
Belum dilaksanakannya sosialisasi dan…
1 2 3 4 5 6 7 8 9
Belum adanya update acuan evaluasi
Belum dilakukannya Evaluasi Pasca Pelatihan…
Belum adanya pengalaman dalam melakukan… STS
Belum adanya pengetahuan tentang ROTI TS
Belum adanya terobosan dalam melakukan…
S
Belum selesainya evaluasi pasca diklat level 3…
Belum adanya Metodologi Evaluasi Pasca… SS
Belum disusunnya instrumen Evaluasi Pasca…
0 10 20 30 40 50 60 70 80 90
9
7. Belum adanya update acuan evaluasi, 30% menyatkan sangat setuju, 40%
menyatakan setuju, 20% menyatakan tidak setuju, 10% menyatakan
sangat tidak setuju.
8. Belum dilaksanakannya sosialisasi dan diseminasi terkait Return on
Training Investment (ROTI), 30% menyatakan sangat setuju, 30% setuju,
20% tidak setuju, 20% sangat tidak setuju.
Hasil penilaian dengan peringkat 1 s.d 3 dapat dilihat pada tabel 1.3,
sebagai berikut:
Identifikasi
No Kaitan TUSI U S G Total Rangking
Permasalahan
1. Pemantauan, Belum disusunnya instrumen
evaluasi, dan Evaluasi Pasca Pelatihan
5 5 5 15 1
penyusunan dengan Return on Training
laporan Investment (ROTI)
penyelenggaraan Belum adanya Metodologi
pendidikan dan Evaluasi Pasca Pelatihan 5 4 5 14 2
pelatihan bidang yang tepat
sumber daya air Belum selesainya evaluasi
4 4 5 13 3
dan konstruksi pasca diklat level 3 dan 4
10
1.2.4. Penetapan Sasaran Perubahan
Analisis Urgent Serious Growth (USG) tersebut di atas menggunakan skala
likert, penulis dapat menetapkan sasaran perubahan dalam pelaksanan
layanan konsultasi investasi infrastruktur bidang PUPR. Berdasarkan kondisi
saat ini, kondisi yang diharapkan, permalasahan dan analisis masalah
tersebut di atas, perlu ada proyek perubahan yang dapat menjawab tantangan
sehingga dapat berdaya guna dan berhasil guna dalam menciptakan proses
pemantauan dan evaluasi pelatihan bidang SDA dan Konstruksi yang dapat
menjawab kebutuhan efektivitas dan efesiensi dalam proses pemantauan
evaluasi pelatihan.
Mengacu pada area organisasi yang bermasalah di atas, dapat
disimpulkan bahwa penyelesaian permalasahan sulitnya memperoleh data
evaluasi pasca pelatihan, hal tersebut menginiasi untuk membuat
gagasan,”Implementasi Return on Training Investment (ROTI) pada evaluasi
pasca pelatihan”.
11
1) Mengidentifikasi mekanisme dan prosedur ROTI pada evaluasi pasca
pelatihan berdasarkan peraturan-peraturan yang berlaku
2) Konsultasi dengan stakeholder untuk kesamaan persepsi
3) Kolaborasi model Return on Training Investment (ROTI) pada evaluasi
pasca pelatihan bidang SDA dan Konstruksi
b) Tujuan Jangka Menengah (Nopember 2019 sampai dengan Januari 2020)
Inputting dan konsolidasi data/dokumen dari kegiatan evaluasi pasca yang
sudah berlangsung (data existing)
c) Tujuan Jangka Panjang (Januari-Desember 2020)
1) Penyusunan program implementasi Return on Training Investment
(ROTI) pada evuluasi pasca pelatihan bidang SDA dan Konstruksi
2) Diseminasi dan bimbingan teknis
3) Implementasi Return on Training Investment (ROTI) pada evaluasi
pasca pelatihan di lingkungan Pusdiklat SDA dan Konstruksi
13
BAB II
RANCANGAN PROYEK PERUBAHAN
2.1. Roadmap/Milestone Proyek Perubahan
Milestone yaitu urutan capaian-capaian yang sangat penting pada
periode tertentu (minggu, bulan, tahun) yang harus diperhatikan untuk
menjamin terlaksananya proyek perubahan secacara tepat waktu dan tepat
sasaran. Milestone dalam hal ini berbeda dengan jadwal karena milestone
tidak terbatas hanya membuat rencana waktu kerja, tetapi ada target yang
perlu diselesaikan. Artinya milestone mengandung manajemen sumber daya
yang diperlukan. Milestone merupakan landasan untuk mengindentifikasi
segmen kerja utama dan tangal akhir sehingga dapat digunakna sebagai titik
pengendalian alami dan penting dalam proyek. Adapun milestone proyek
perubahan dibagi menjadi tiga milestone seusia dengan sasaran proyek
perubahan sebagai berikut:
Tabel 2. 1. Milestone Proyek Perubahan
14
Tabel 2. 2.Milestone Jangka Pendek
Bulan
No Kegiatan Agustus September Oktober
1 2 3 4 1 2 3 4 1 2 3 4
1 Melakukan koordinasi dan brainstorming
dengan Project Sponsor dan Tim Pelaksana
Proyek
2 Melakukan Penelaahan Peraturan-peraturan
15
Milestone Jangka Menengah (Nopember 2019 - Januari 2020).
Berdasarkan tabel 2.3 dan 2.4, proyek jangka menengah dimulai pada
bulan Nopember dan berakhir pada bulan Januari 2020, kegiatan tersebut
pada awal Nopember 2019 dimulai dengan melakukan inputting dan
konsolidasi data/dokumen dari kegiatan evaluasi pasca yang sudah
berjalan (data existing). Pada minggu keempat bulan Nopember sampai
dengan akhir Januari 2020 melaksanakan review dan konsolidasi
kegiatan-kegaitan tersebut. Output dari kegiatan tersebut berdasarkan
tabel 2.4., yakni notulensi dan dokumentasi.
Bulan
Nopember Desember Januari
No Kegiatan
2019 2019 2020
1 2 3 4 1 2 3 4 1 2 3 4
1 Melakukan inputting dan konsolidasi
data/dokumen dari kegiatan evaluasi
pasca yang sudah berjalan (data
eksisting)
2
Melaksanakan Review dan
Konsolidasi
16
Milestone Jangka Panjang (Tahun 2020)
Kegiatan-kegiatan dalam milestone jangka panjang adalah sebagai berikut:
Bulan
No Kegiatan Januari Februari Maret April Mei
1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4
Menyusun Program
Implementasi ROTI
1 pada evaluasi pasca
pelatihan Bidang SDA
dan Konstruksi
Melakukan
2 Konsolidasi
Stakeholder
Melakukan
Penyempurnaan
3 Program hasil
konsolidasi
Stakeholder
Menyiapkan Nota
4 Dinas Kapusdiklat
SDA dan Konstruksi
Melakukan Penyiapan
5 untuk Sosialisasi dan
Diseminasi
Pelaksanaan
6 Sosialisasi dan
Diseminasi
Implementasi ROTI
pada evaluasi pasca
7 pelatihan di
lingkungan Pusdiklat
SDA dan Konstruksi
17
hasil konsolidasi
Stakeholder
Minggu III Bulan Menyiapkan Nota Dinas Nota Dinas
4 Februari 2020 s.d Kapusdiklat SDA dan Kapusdiklat SDA dan
Minggu IV Bulan Konstruksi Konstruksi
Maret 2020
Minggu I s.d Minggu Melakukan Penyiapan Dokumen KAK
5 II Bulan April 2020 untuk Sosialisasi dan diseminasi
Diseminasi
Minggu III s.d IV Pelaksanaan Sosialisasi Workshop/diseminasi/
6 Bulan April Tahun dan Diseminasi bimbingan teknis
2020
Bulan Mei Bulan Implementasi ROTI pada Dokumen
7 2020 – dst evaluasi pasca pelatihan di Implementasi ROTI
lingkungan Pusdiklat SDA Evaluasi Pasca
dan Konstruksi Pelatihan
18
Peran efektif dari masing-masing tim efektif proyek perubahan adalah sebagai
berikut:
19
2.3. Identifikasi dan Analisis Stakeholder
Pada umumnya, stakeholder diartikan sebagai orang yang akan
mengambil peran aktif dalam eksekusi sistem mutu atau orang yang akan
merasakan dampak signifikan dari penggunanya. Stakeholder analysis
merupakan suatu kegiatan menganalisis sikap dan respon dari stakeholder
terhadap pelaksanaan kebijakan atau proyek. Biasanya stakeholder analysis
dilakukan pada tahap persiapan pelaksanaan proyek untuk mengetahui
respon dari stakeholder terutama mengenai kemungkinan perubahan proyek.
Identifikasi pandangan dan karakteristik dari setiap stakeholder ini sangat
penting, hal ini menjadi dasar untuk pelaksanaan tahap berikutnya. Untuk
mengetahui sejauh mana tingkat pengaruh dan tingkat kepentingan dari
masing-masing stakeholder serta merumuskan strateginya, maka dilakukan
identifikasi stakeholder yang kemudian akan digunakan sebagai dasar analisis
dan penentuan strategi pendekatan. Adapun stakeholder proyek perubahan
telah teridentifikasi dapat dilihat pada tabel 2.8. berikut ini.
20
8. Balai Diklat PUPR Wilayah
I-IX
9. Balai Diklat Uji Coba Sistem
Diklat SDA dan Konstruksi
EKSTERNAL
1. Perguruan
Tinggi/Akademisi
2. PPM Manajemen
21
Gambar 2. 3. Analisis Pemetaan Stakeholder
22
SDM yang masih minim pengetahuan mengenai Return On Training
Investment (ROTI) pada evaluasi pasca pelatihan
Belum adanya SOP dalam Return On Training Investment (ROTI) pada
evaluasi pasca pelatihan
Belum tersosialisasinya layanan Return On Training Investment (ROTI)
pada evaluasi pasca pelatihan
23
2.6. Faktor Pendukung Keberhasilan
Dalam pelaksanaan proyek perubahan, dilakukan identifikasi faktor-
faktor yang dapat mendukung keberhasilan dari proyek perubahan tersebut,
antara lain:
24
BAB III
PELAKSANAAN PROYEK PERUBAHAN
Transparansi
dalam
Akuntabilitas Good
E-Governance pemerintahan, Public Trust
Publik Governance
efisiensi &
efektivitas
25
Setelah kerangka berpikir telah dibangun maka langka selanjutnya adalah
menentukan metodologi yang tepat untuk digunakan dalam proyek perubahan
ini, dengan terlebih dahulu menyusun design matrix.
26
3 Mengidentifikasi Minggu ke II-IV Minggu ke II-IV Tercapai
mekanisme dan prosedur Agustus 2019 Agustus 2019
ROTI pada Evaluasi Pasca
Pelatihan berdasarkan
peraturan-peraturan yang
berlaku
4 Melakukan Konsultasi Minggu ke I Bulan Minggu ke I Bulan Tercapai
dengan stakeholder untuk September 2019 September 2019
kesamaan persepsi
sebelum proses aplikasi
5 Melakukan Kolaborasi Minggu I-III Bulan Minggu I-III Bulan Tercapai
Model ROTI pada September 2019 September 2019
Evaluasi Pasca Pelatihan
Bidang SDA dan
Konstruksi
6 Mengadakan Pertemuan Minggu III Minggu III -
untuk Review Progres September-Minggu September-Minggu
Mingguan tim pelaksana ke II Bulan Oktober ke II Bulan Oktober
proyek 2019 2019
28
3.2.1.2. Koordinasi dengan Stakeholder dan Tenaga Ahli
Selanjutnya pada tanggal 27 Agustus 2019 project leader melakukan
rapat koordinasi dan brainstorming dengan stakeholder internal di lingkungan
Pusdiklat SDA dan Konstruksi.
29
yang berada pada kuadran promoters dan defenders yang berarti memiliki
kepentingan pengaruh yang besar terhadap keberhasilan proyek perubahan.
Pendekatan terhadap stakeholder harus dilakukan dengan baik agar tingkat
kepentingan dan pengaruh tidak mengalami penurunan, sehingga sasaran
koordinasi dengan stakeholder internal tercapai sesuai dengan milestone
jangka pendek yang telah ditentukan yakni melakukan koordinasi dan
brainstorming dengan project sponsor dan tim pelaksana proyek
30
kegiatan yakni identifikasi proyek perubahan tercapai sesuai milestone jangka
pendek yang telah ditentukan.
31
berdasarkan Permen PU No.13 tahun 2014 pasal 11 ayat 2 disebutkan bahwa
melakukan monitoring dan evaluasi peserta pendidikan dan pelatihan selama
mengikuti program diklat dan pasca diklat, sehingga data-data terkait
monitoring dan evaluasi pelatihan bidang SDA dan konstruksi dapat dipenuhi.
32
Kegiatan konsultasi dengan stakeholder dihadiri oleh Perwakilan dari
Sekretariat BPSDM, Sekretariat Kepegawaian dan Ortala Sekjen, Kepala
Pusdiklat SDA dan Konstruksi, Kepala Bidang Anggaran dan Umum Pusdiklat
SDA dan Konstruksi, Kasubbid TM SDA, Kepala Balai Diklat Uji Coba Sistem
Diklat SDA dan Konstruksi, Kepala Sub Bidang Evaluasi dan Pelaporan I dan
II, perwakilan dari Balai Bendungan, narasumber Dr. Dra. Yuniari Susilowati,
M. M.Sc., ACP., CAC dan tenaga ahli.
33
Gambar 3. 10. Rapat Koordinasi Internal dan Tenaga Ahli
Gambar 3. 11. FGD Pekerjaan Konsultasi Kajian Return On Training Invesment (ROTI)
Penyelenggaraan Pelatihan Bidang SDA dan Konstruksi
34
Pelatihan Bidang SDA dan Konstruksi. Sejauh mana instrument Return
On Training Invesment (ROTI) dapat dikolaborasikan dengan berbagai
kebutuhan data pelatihan.
Gambar 3. 12. Sosialiasi Implementasi Return On Training Invesment (ROTI) pada kegiatan
Lokakarya Evaluasi Kurikulum Pelatihan Bidang SDA dan Konstruksi (Pengawasan
Bendungan dan OP Bendungan)
35
e. Implementasi Return On Training Invesment (ROTI) pada Evaluasi
Pasca Pelatihan Bidang SDA dan Konstruksi di BBWS Citarum
Pada tanggal 24 September 2019 dilaksanakan kegiatan Evaluasi Pasca
Pelatihan Bidang SDA dan Konstruksi di BBWS Citarum dalam rangka
mengukur sejauh mana implementasi Return On Training Invesment (ROTI)
pada evaluasi pasca pelatihan bidang SDA dan Konstruksi di lingkungan
BBWS Citarum.
Gambar 3. 14. Implementasi Return On Training Invesment (ROTI) pada Evaluasi Pasca
Pelatihan Bidang SDA dan Konstruksi di BBWS Citarum
36
3.3. Capaian Proyek Perubahan Jangka Menengah
Waktu
No Kegiatan Waktu Rencana Pelaksanaan
Realisasi
1 Melakukan inputting Minggu I-IV Bulan 28 Agustus Tercapai pada
dan konsolidasi Nopember Tahun 2019 periode jangka
data/dokumen dari 2019 pendek
kegiatan evaluasi
pasca yang sudah
berjalan (data
eksisting)
2 Melaksanakan Minggu III Bulan 10 Telah tercapai
Review dan Nopember- September pada periode
Konsolidasi Minggu IV Bulan 2019 jangka pendek,
Januari 2020 namun akan terus
diperbaharui
37
Gambar 3. 15. Implementasi Return On Training Invesment (ROTI) pada
Evaluasi Pasca Pelatihan Bidang SDA dan Konstruksi
38
satisfied/terus dipuaskan” dan “meet their needs/memenuhi kebutuhan
mereka”.
Defender : Stakeholder yang berada di kuadran ini memiliki minat
yang tinggi, namun pengaruhnya kecil terhadap proyek perubahan
sehingga diperlakukan strategi pendekatan “keep informed/terus
diinformasikan” dan “shoe consideration/menunjukkan pertimbangan”.
Apathetics : Stakeholder yang berada di kuadran ini memiliki minat
dan pengaruh yang kecil terhadap proyek perubahan sehingga diperlukan
strategi pendekatan yakni “monitor/dipantau”.
39
c) Defenders : terus menginformasikan progres kemajuan terkait
pelaksanan proyek perubahan, sehingga stakeholder dapat memberikan
pengaruh, sehingga dapat meningkatkan pengaruh stakeholder.
d) Apathetics : mengikutsertakan Kabag Kepegawaian Ditjen SDA,
Kabag Ditjen Bina Konstruksi, PPM Manajemen dan Akademisi agar turut
serta dilibatkan dalam pelaksanaan proyek perubahan agar dapat
dimonitor.
41
7 Melakukan inputting dan konsolidasi Notulen & Dokumentasi
data/dokumen dari kegiatan evaluasi pasca
yang sudah berjalan (data eksisting)
8 Melaksanakan Review dan Konsolidasi Notulen & Dokumentasi
9 Menyusun Program Implementasi ROTI pada Notulen dan Dokumentasi
evaluasi pasca pelatihan Bidang SDA dan
Konstruksi
10 Melakukan Konsolidasi Stakeholder Notulen dan Dokumentasi
11 Melakukan Penyempurnaan Program hasil Dokumen ManualAplikasi
konsolidasi Stakeholder
12 Menyiapkan Nota Dinas Kapusdiklat SDA dan Nota Dinas Kapusdiklat
Konstruksi SDA dan Konstruksi
42
Sebelum memasuki tahapan selanjutnya, kita harus mengetahui terlebih
dahulu prinsip dasar Return On Training Investment (ROTI), sebagai berikut:
1. Ketika melakukan evaluasi level atas, pengumpulan data dilakukan
pada level di bawahnya;
2. Bila merencanakan untuk melakukan evaluasi level atas, evaluasi pada
level sebelumnya tidak harus komprehensif (lengkap);
3. Pengumpulan dan analisis data hanya penggunakan narasumber yang
sangat dan dapat dipercaya;
4. Ketika menganalisis data, pilih pendekatan yang paling konservatif dari
pilihan yang tersedia;
5. Minimal satu metode harus digunakan untuk mengisolasi efek dari
pelatihan/pengembangan;
6. Bila tidak tersedia data improvement dari hasil program
pengembangan, dapat diasumsikan bahwa (sedikit) tidak terjadi
improvement;
7. Perkiraan terjadinya improvement harus disesuaikan (adjusted)
terhadap potensi kesalahan estimasi;
8. Data yang ekstrim dan tidak akurat tidak boleh digunakan dalam
perhitungan Return On Training Investment (ROTI);
9. Hanya manfaat (benefit) pada tahun pertama yang dapat digunakan
dalam analisis Return On Training Investment (ROTI);
10. Dalam menghitung Return On Training Investment (ROTI), gunakan
seluruh biaya yang terkait dalam program pengembangan SDM;
11. Manfaat yang bersifat intangible (tak terlihat), tidak dapat dikonversi ke
nilai uang/moneter;
12. Hasil perhitungan Return On Training Investment (ROTI) harus
dikomunikasikan kepada seluruh stakeholder
43
menentukan pelatihan mana yang akan dilakukan penghitungan Return
On Training Investment (ROTI), kita harus mengetahui beberapa kriteria
jenis pelatihan yang tepat untuk Return On Training Investment (ROTI),
antara lain:
a) Pelatihan dengan life cycle panjang
b) Sangat penting bagi perusahaan/added value besar
c) Terkait erat dengan langkah strategis
d) Biaya pelatihan mahal, mengkonsumsi banyak sumber daya
perusahaan
e) Untuk pelatihan yang jelas sangat visible atau sebaliknya yang
kontroversial
f) Target peserta banyak
g) Top management menginginkan evaluasi komprehensif
44
sudah tersedia di sistem e-pelatihan, evaluasi tersebut berdasarkan SE
No 02/SE/KM/2019 tentang Pedoman Umum Penyelenggaraan
Pelatihan Teknis Bidang PUPR.
45
3.8.2.1. Instrumen Evaluasi Pelatihan Kementerian PUPR
a. Evaluasi Level 1 (reaction) dan 2 (learning)
46
3.8.2.2. Instrumen Evaluasi Pasca Pelatihan Pusdiklat SDA dan
Konstruksi.
Pusdiklat SDA dan Konstruksi sudah memiliki instrumen evaluasi pasca
pelatihan bidang SDA dan Konstruksi, pada tahun 2019, evaluasi pasca
pelatihan sudah dilaksanakan di tiga tempat, antara lain BBWS Mesuji
Sekampung, BBWS Citarum dan BBWS Cimanuk Cisanggarung. Data
yang diperoleh dari evaluasi pasca pelatihan di ketiga tersebut dijadikan
dasar untuk proses analisis data selanjutnya.
Gambar 3.20. Instrumen Evaluasi Pasca Pelatihan Pusdiklat SDA dan Konstruksi
47
Tabel. 3.6. Instrumen Level 3 (Behaviour) Pelatihan Perencanaan Teknis Bendungan
48
Tabel.3.9. Pelaksanaan Pelatihan Pelatihan Perencanaan Teknis Embung
Nama Waktu Jumlah
No Balai Penyelenggara
Pelatihan Pelaksanaan Peserta
1 Perencanaan 16 – 23 April Balai Pendidikan dan 37
Teknis Embung 2018 Pelatihan PUPR Wilayah
VII Banjarmasin
49
5 Perencanaan 19 – 26 Balai Pendidikan dan 33
Teknis Sungai September Pelatihan PUPR Wilayah
2018 VIII Makassar
50
Pada minggu kedua bulan Oktober dilaksanakan evaluasi pasca pelatihan
ke BBWS Cimanuk Cisanggarung dalam rangka proses perhitungan
Return On Training Investment (ROTI), dari ketiga jenis pelatihan bidang
SDA tahun 2018, terdapat 9 orang total mengikuti pelaithan bidang SDA,
antara lain Pelatihan Perencanaan Teknis Bendungan sebanyak 3 orang,
Pelatihan Perencanaan Teknis Embung sebanyak 3 orang dan Pelatihan
Perencanaan Teknis Sungai sebanyak 3 orang.
Tabel 3.12. Daftar Alumni Peserta Pelatihan TA 2018 Bidang SDA di BBWS Cimanuk
Cisanggarung
Gambar 3.21. Instrumen Pasca Pelatihan dan Return On Training Investment (ROTI)
51
Gambar 3.23. Hasil Pengisian Return On Training Investment (ROTI)
52
mengaitkan manfaat dari pelatihan ke proyek yang berjalan sesudah
pelatihan dan melibatkan alumni pelatihan tersebut didalamnya. Contoh:
Pelatihan Perencanaan Teknis Bendungan, antara lain:
- Pada tahun 2018 Kementerian PUPR merencanakan pembangunan
Bendungan Sadawarna di Kabupaten Subang, Jawa Barat
- Pelaksana dari proyek pembanguan bendungan tersebut adalah Balai
Besar Wilayah Sungai Citarum, salah satu pegawainya merupakan
alumni dari peserta Perencanaan Teknis Bendungan (salah satu
pelaksananya merupakan peserta yang sudah dievaluasi pasca
pelatihan sampai level 4 di atas)
- Anggaran dari proyek pembangunan bendungan sebesar Rp. 898
miliar. Berdasarkan perhitungan penghitungan kontribusi terhadap
proyek karena peningkatan kompetensi hasil pelatihan didapat
kontribusi dari alumni A adalah sebesar 0,05%.
- Penghitungan benefit dari pelatihan yang akan dikonversi ke nilai rupiah
adalah sebesar 0,05 % x 15,96 % x Rp. 898 miliar = Rp. 71.660.400,-
- Hasil penghitungan biaya pelatihan dibagi peserta pelatihan, diperoleh
biaya pelatihan per peserta adalah sebesar Rp. 20 juta
- Sehingga besar Return on Training Investment adalah
𝑹𝒑. 𝟕𝟏.𝟔𝟔𝟎.𝟒𝟎𝟎 −𝑹𝒑. 𝟐𝟎.𝟎𝟎𝟎.𝟎𝟎𝟎
= 𝟐𝟓𝟖%
𝑹𝒑. 𝟐𝟎.𝟎𝟎𝟎.𝟎𝟎𝟎
53
BAB IV
PENUTUP
4.1. Kesimpulan
Berdasarkan uraian Bab I sampai dengan Bab III yang telah dijelaskan di atas,
maka dapat disimpulkan bahwa:
a. Area proyek perubahan yang diangkat yaitu Implementasi Return On
Training Invesment (ROTI) pada Evaluasi Pasca Pelatihan, karena belum
efektif, efisien dan objektif data yang diperoleh untuk evaluasi pasca
pelatihan.
b. Tujuan proyek perubahan yang ingin diwujudkan, yaitu:
1) Tujuan jangka pendek: Identifikasi mekanisme dan prosedur Return On
Training Invesment (ROTI) pada Evaluasi Pasca Pelatihan berdasarkan
peraturan-peraturan yang berlaku. Konsultasi dengan stakeholder
untuk kesamaan persepsi. Kolaborasi model Return On Training
Invesment (ROTI) pada Evaluasi Pasca Pelatihan Bidang SDA dan
Konstruksi;
2) Tujuan Jangka Menengah: Inputting dan Konsolidasi data/dokumen
dari kegiatan evaluasi pasca yang sudah berjalan (data saat ini);
3) Tujuan jangka Panjang: Penyusunan program implementasi Return On
Training Invesment (ROTI) pada evaluasi pasca bidang SDA dan
Konstruksi; diseminasi dan bimbingan teknis; implementasi Return On
Training Invesment (ROTI) pada evaluasi pasca pelatihan di lingkungan
Pusdiklat SDA dan Konstruksi.
c. Manfaat proyek perubahan ini yang diharapkan, yaitu:
54
4) Kriteria keberhasilan proyek perubahan yang mempengaruhi
suksesnya proyek perubahan adalah terbangunnya dan disetujuinya
perubahan yang dapat memberikan layanan prima kepada seluruh
stakeholder melalui Implementasi Return On Training Invesment
(ROTI) pada evaluasi pasca pelatihan dan dapat memberikan informasi
treasure study bagi unor tentang rekam jejak dari para pegawai
Kementerian PUPR yang telah mengikuti pelatihan bidang SDA dan
Konstruksi.
5) Berdasarkan berbagai kegiatan yang telah dilaksanakan, capaian
proyek perubahan adalah sebagai berikut:
a. Tercapainya semua kegiatan yang telah direncanakan dalam
milestone jangka pendek, sesuai dengan jadwal yang
direncanakan:
b. Beberapa kegiatan yang direncanakan untuk dilaksanakan pada
milestone jangka menengah, telah tercapai dan terlaksana lebih
cepat pada periode waktu jangka pendek.
4.3. Rekomendasi/Saran
Selah membahan paparan di muka dan membandingkan kendala internal dan
eksternal dengan kriteria keberhasilan, maka diperlukan strategi mengatasi
masalah, sebagai berikut:
55
a) Melaksanakan koordinasi diantara stakeholder yang terlibat dalam
implementasi Return On Training Invesment (ROTI) pada Evaluasi Pasca
Pelatihan Bidang SDA dan Konstruksi;
b) Melaksanakan sosialisasi dan diseminasi tentang Return On Training
Invesment (ROTI);
c) Disusunnya SOP Implementasi Return On Training Invesment (ROTI)
pada Evaluasi Pasca Pelatihan;
d) Melaksanakan sosialisasi Return On Training Invesment (ROTI) pada
organisasi pemerintah.
56
DAFTAR PUSTAKA
A. Buku
B. Peraturan Perundang-undangan
57
LAMPIRAN
DOKUMENTASI
IMPLEMENTASI RETURN ON
TRAINING INVESTMENT (ROTI)
PADA EVALUASI PASCA
PELATIHAN BIDANG SDA DAN
KONSTRUKSI
LAMPIRAN 1
LEMBAR PENGESAHAN
LAMPIRAN 3
KOORDINASI DAN
BRAINSTORMING DENGAN TIM
EFEKTIF, INTERNAL DAN
RUANG LINGKUP BPSDM
Koordinasi dan brainstorming dengan Tim Efektif,
Tanggal 31 Juli 2019
NO Pernyataan SS S TS STS
Belum disusunnya instrumen Evaluasi Pasca Pelatihan
1 dengan ROTI 80 20 0 0
Belum adanya Metodologi Evaluasi Pasca Pelatihan
2 yang tepat 70 20 10 0
3 Belum selesainya evaluasi pasca diklat level 3 dan 4 80 20 0 0
4 Belum adanya terobosan dalam melakukan evaluasi 50 30 10 0
5 Belum adanya pengetahuan tentang ROTI 70 30 0 0
6 Belum adanya pengalaman dalam melakukan evaluasi 0 50 50 0
Belum dilakukannya Evaluasi Pasca Pelatihan dengan
7 ROTI 70 30 0 0
8 Belum adanya update acuan evaluasi 60 40 0 0
Belum dilaksanakannya sosialisasi dan diseminasi
9 terkait ROTI 30 70 0 0
80 80
80 70 70 70 70
70 60
60 50 5050
50 40
40 30 30 30 30
30 20 20 20
20 10 10
10 00 0 00 0 00 0 0 00 00 00
0 DILAKSANAKANNYA…
TEROBOSAN DALAM…
DILAKUKANNYA…
UPDATE ACUAN…
BELUM ADANYA
BELUM DISUSUNNYA
BELUM ADANYA
BELUM ADANYA
BELUM SELESAINYA
PENGALAMAN…
PENGETAHUAN…
METODOLOGI…
BELUM ADANYA
EVALUASI PASCA…
BELUM ADANYA
BELUM
INSTRUMEN…
BELUM
1 2 3 4 5 6 7 8 9
SS S TS STS
LAMPIRAN 8
SURAT PERNYATAAN
DUKUNGAN
Lampiran Pernyataan Dukungan dengan Sekretaris BPSDM
Lampiran Pernyataan Dukungan dengan Kabag Kepegawaian Ortala, Direktorat
Jenderal Bina Konstruksi
/
Lampiran Pernyataan Dukungan dengan Kabag Kepegawaian Ortala, Direktorat
Jenderal SDA
LAMPIRAN 10
B. Penerima Manfaat
Pusdiklat SDA dan Konstruksi, Unit Organisai, dan Alumni Peserta Pelatihan.
D. Pelaksanaan FGD I
FGD I dilaksanakan 62 (enam puluh dua) hari kalender setelah
terbitnya SPMK. Tim tenaga ahli konsultan segera melaksanakan FGD I
bersama Bidang Evaluasi dan Pelaporan, tim teknis, Narasumber dan
pengguna jasa serta stakeholder yang terkait. Draf dokumen pembahasan
pada FGD I selambat-lambatnya 3 hari sebelum FGD I.
Dalam FGD I tersebut harus disusun berita acara pembahasan FGD I yang
diserahkan dan disahkan kepala Bidang Evaluasi dan Pelaporan.
1. Penyusunan Laporan antara
Konsultan menyusun laporan antara yang memuat:
Hasil pengolahan data dan analisis data
Kegiatan yang telah di capai
Rencana kegiatan dan laporan keuangan
Output kegiatan sebagai lampiran
2. Rapat Pembahasan Laporan Antara (sesuai dengan penjelasan
pada poin 1)
Pembahasan laporan antara dilaksanakan oleh tim ahli konsultan
selambat-lambatnya 82 (delapan puluh dua) hari kalender setelah
terbitnya SPMK bersama Bidang Evaluasi dan Pelaporan, tim teknis,
narasumber dan pengguna jasa. Setelah laporan pendahuluan
mendapatkan pengesahan dari Kepala Bidang Evaluasi dan Pelaporan,
Draf laporan antara harus diserahkan kepada pengguna jasa selambat-
lambatnya 3 (tiga) hari sebelum rapat pembahasan laporan
antara.
E. Pelaksanaan FGD II
FGD II dilaksanakan 112 (seratus dua belas) hari kalender setelah
tanggal terbitnya SPMK. Tim tenaga ahli konsultan segera melaksanakan
pembahasan FGD II bersama Bidang Evaluasi dan Pelaporan, tim teknis,
narasumber dan pengguna jasa serta stakeholder yang terkait. Draf dokumen
pembahasan pada FGD II harus diserahkan selambat lambatnya 3 hari
sebelum pelaksanaan FGD II.
Hasil rapat FGD tersebut harus disusun berita acara hasil pembahasan FGD
yang di sahkan oleh kepala Bidang Evaluasi dan Pelaporan. Berita acara
tersebut wajib dilaksananakan / ditindaklanjuti oleh konsultan.
H. Lokakarya
Lokakarya dilaksanakan 177 (seratus tujuh puluh tujuh) hari
kalender setelah tanggal terbitnya SPMK. Tim tenaga ahli konsultan
segera melaksanakan pembahasan pada Lokakarya bersama Bidang Evaluasi
dan Pelaporan, tim teknis, narasumber dan pengguna jasa serta stakeholder
yang terkait. Draft laporan akhir harus diserahan kepada pengguna jasa
selambat-lambatnya 3 hari sebelum pelaksanaan Lokakarya. Dalam
Lokakarya tersebut harus disusun berita acara hasil Lokakarya yang disahkan
Kepala Bidang Evaluasi dan pelaporan. Berita acara tersebut wajib
dilaksanakan / ditindaklanjuti oleh konsultan.
I. Finalisasi
Seluruh laporan materi dokumen sesuai dengan persyaratan yang berlaku
setelah dilakukan perbaikan sesuai dengan hasil workshop kemudian
disahkan oleh Kepada Bidang Evaluasi Dan Pelaporan. Laporan akhir
diserahlan dalam bentuk softcopy (hardisk eksternal) dan hardcopy sebanyak
10 dokumen yang memuat dokumen final antara lain :
1. RMK (10 rangkap)
2. Laporan awal (10 rangkap)
3. Laporan antara (10 rangkap)
4. Laporan akhir (10 rangkap)
5. Laporan bulanan (6 bulan) (10 rangkap)
6. Dokumen hasil Kajian return on investment in training dalam
Penyelenggaraan Pelatihan Bidang SDAK antara lain memuat :
a. Menjelaskan cara mengukur pengembalian investasi dari pelatihan
bidang SDA dan Konstruksi dengan teknik Return On Training
Investment (ROTI).
b. Memahami besarnya konstribusi pelatihan bagi Pusdiklat SDA dan
Konstruki maupun Unit Organisasi.
c. Menjelaskan bagaimana menentukan jenis pelatihan apa saja yang
diperlukan bagi instansi/unit organisasi.
d. Menyusun pelatihan sesuai dengan budget dan Sumber Daya.
J. Personil
Dalam rangka pelaksanaan kegiatan ini tenaga ahli yang dibutuhkan antara
lain:
1. Tenaga Ahli
a. Team Leader/Tenaga Ahli Evaluasi Pelatihan sebanyak 1
orang TA Madya pengalaman 2 tahun dengan Pendidikan min. S2
MSDM, memiliki sertifikasi dan/atau pengalaman keahlian. Pengalaman
sebagai Team Leader min. 2 tahun dalam bidang pekerjaan yang sama
dilengkapi dengan referensi kerja.
b. Tenaga Ahli Statistik sebanyak 1 orang
TA Muda Pendidikan min. S1 teknik sipil serta memiliki sertifikasi
dan/atau pengalaman keahlian. Pengalaman sebagai tenaga ahli teknik
sipil min. 1 tahun dalam bidang pekerjaan yang sama dilengkapi
dengan referensi kerja.
c. Tenaga Ahli Manajemen Keuangan sebanyak 1 orang
TA Muda dengan Pendidikan min. S1 statistik serta memiliki sertifikasi
dan/atau pengalaman keahlian sesuai dengan bidang keahlian yang
dikeluarkan oleh asosiasi.
Pengalaman sebagai tenaga ahli konstruksi min. 1 tahun dalam bidang
pekerjaan yang sama dilengkapi dengan referensi kerja.
d. Tenaga Ahli Pelatihan sebanyak 1 orang
TA Muda dengan Pendidikan min. S1 Pendidikan memiliki sertifikasi
dan/atau pengalaman keahlian sesuai dengan bidang keahlian.
Pengalaman sebagai tenaga ahli tersebut min. 1 tahun dalam bidang
pekerjaan yang sama dilengkapi dengan referensi kerja.
2. Tenaga Pendukung
1. Sekretaris 1 orang Pengalaman 4 Tahun
2. Operator Komputer 1 orang Pengalaman 4 Tahun
M. Lain-lain
a. Kerangka Acuan Kerja ini merupakan pedoman dasar yang dapat
dikembangkan lebih lanjut segingga dapat dikerjakan secara optimal dan
sesuai dengan yang diharapkan.
LAMPIRAN 11
PAPARAN LAPORAN
PENDAHULUAN IMPLEMENTASI
RETURN ON TRAINING
INVESTMENT (ROTI)
Laporan Pendahuluan
OUTLINE
PENDAHULUAN
01 Latar Belakang Kegiatan, Maksud dan Tujuan Kegiatan.
TINJAUAN PUSTAKA
02 Peraturan Perundang-Undangan yang terkait, Studi
Literatur.
METODOLOGI
03 Return On Training Investment.
RENCANA KERJA
04 Struktur Organisasi, Diagram Alir, Kurva-S.
Latar Belakang
Evaluasi Pelatihan merupakan sarana untuk mengukur dan menilai capaian hasil penyelenggaraan pelatihan yang telah
direncanakan sehingga dapat ditentukan tingkat keberhasilannya. Hasil ini selanjutnya akan menjadi umpan balik untuk
merencanakan kembali penyelenggaraan pelatihan di masa mendatang dan memberikan kontribusi positif terhadap peningkatan
kinerja alumni peserta pelatihan. Evaluasi pasca pelatihan dibutuhkan untuk mengambil keputusan tentang efektifitas hasil
pembelajaran selama menjalani pelatihan di lingkungan kerja.
Model Return On Investment (ROI) yang di kembangkan Jack Phillips merupakan level 5 evaluasi terakhir untuk melihat cost-
benefit setelah pelatihan di laksanakan. Kegunaan model ini agar pihak manajemen melihat pelatihan bukan sesuatu yang mahal
dan hanya merugikan pihak keuangan, akan tetapi pelatihan merupakan suatu investasi.
Maksud Tujuan
2
Diklat bertujuan : 1. Setiap Pegawai ASN memiliki hak dan kesempatan untuk mengembangkan kompetensi.
a. meningkatkan pengetahuan, keahlian, keterampilan, dan sikap untuk dapat melaksanakan 2. Pengembangan kompetensi sebagaimana dimaksud pada ayat (1) antara lain melalui
tugas jabatan secara profesional dengan dilandasi kepribadian dan etika PNS sesuai dengan pendidikan dan pelatihan, seminar, kursus, dan penataran.
kebutuhan instansi; 3. Pengembangan kompetensi sebagaimana dimaksud pada ayat (1) harus dievaluasi oleh
b. menciptakan aparatur yang mampu berperan sebagai pembaharu dan perekat persatuan dan Pejabat yang Berwenang dan digunakan sebagai salah satu dasar dalam pengangkatan
kesatuan bangsa; jabatan dan pengembangan karier.
c. memantapkan sikap dan semangat pengabdian yang berorientasi pada pelayanan,
pengayoman, dan pemberdayaan masyarakat;
3
PP No. 11 Tahun 2017
d. menciptakan kesamaan visi dan dinamika pola pikir dalam melaksanakan tugas pemerintahan
umum dan pembangunan demi terwujudnya kepemerintahan yang baik. Pasal 210 ayat 2
Pasal 12 ayat 1
Diklat Teknis dilaksanakan untuk mencapai persyaratan kompetensi teknis yang diperlukan Pengembangan kompetensi dapat dilaksanakan dalam bentuk:
untuk pelaksanaan tugas PNS. a. pendidikan; dan/atau b. pelatihan.
Pasal 29 ayat 1 Pasal 222 ayat 1 & 2
Pembinaan Diklat Teknis dilakukan oleh Instansi Teknis yang bersangkutan dan berkoordinasi 1) Evaluasi pengembangan kompetensi teknis dilaksanakan untuk menilai kesesuaian antara
dengan Instansi Pembina.
Pasal 29 ayat 2 huruf d kebutuhan kompetensi teknis PNS dengan standar kompetensi Jabatan dan pengembangan
Pembinaan Diklat sebagaimana dimaksud dalam ayat (1) dilaksanakan melalui: karier.
d. Evaluasi Diklat 2) Evaluasi pengembangan kompetensi teknis sebagaimana dimaksud pada ayat (1), dilakukan
. oleh instansi teknis masing-masing.
4
Permen PU No. 13 Tahun 2014 Permen PUPR No. 15 Tahun 2015
Pasal 1 angka 3 Pasal 1260
Pendidikan dan Pelatihan di Kementerian Pekerjaan Umum adalah penyelenggaraan program Pusat Pendidikan dan Pelatihan Sumber Daya Air dan Konstruksi mempunyai tugas
pengembangan kompetensi aparatur dalam rangka meningkatkan kemampuan aparatur melaksanakan penyiapan penyusunan kebijakan teknis dan penyelengggaraan pendidikan dan
Kementerian Pekerjaan Umum yang terdiri atas Pendidikan dan Pelatihan. pelatihan bidang sumber daya air dan konstruksi
5
Pasal 1 angka 8 Pasal 1261 huruf e
Pelatihan adalah diklat yang diselenggarakan oleh Kementerian Pekerjaan Umum melalui Dalam melaksanakan tugas sebagaimana dimaksud dalam Pasal 1260, Pusdiklat SDAK
Pusdiklat atau Lembaga Diklat lain di dalam negeri atau di luar negeri. menyelenggarakan fungsi:
Pasal 1 angka 33 e. pemantauan, evaluasi, dan penyusunan laporan penyelenggaraan pendidikan dan pelatihan
Pusat Pendidikan dan Pelatihan Kementerian Pekerjaan Umum yang selanjutnya disebut Pusdiklat bidang sumber daya air dan konstruksi;
adalah unit kerja yang mempunyai tugas dan kewenangan untuk melaksanakan pembinaan, Pasal 1275
pengembangan dan penyelenggaraan Bidang Evaluasi dan Pelaporan mempunyai tugas melaksanakan pemantauan, evaluasi, dan
pendidikan dan pelatihan teknis, fungsional dan kepemimpinan, serta pemberdayaan dan penyusunan laporan kinerja dan program serta penyelenggaraan pendidikan dan pelatihan
pembinaan Sumber Daya Manusia di Kementerian Pekerjaan Umum; bidang sumber daya air dan konstruksi.
Personnel Development
03 Mengembangkan sumber daya manusia, keterampilannya, keahlian dan pengetahuannya
melalui: program orientasi tenaga kerja, pendidikan dan pelatihan (analisis dan evaluasi),
pengembangan karir
Personnel Maintenance
04 Memelihara sumber daya manusia, gaji, reward, insentif, jaminan kesehatan dan keselamatan
tenaga kerja, menyelesaikan perselisihan perburuhan; menyelesaikan keluhan dan relationship
karyawan dan lain sebagainya. Agar sumber daya manusia berdedikasi tinggi, melalui;
kesejahteraan (kompensasi), lingkungan kerja yang sehat dan aman, hubungan industrial yang
baik
Personnel Utilization
05 Memanfaatkan dan mengoptimalkan sumber daya manusia, termasuk didalamnya promosi,
demosi, transfer, dan juga seperasi. Agar sumber daya manusia bekerja dengan baik melalui
motivasi, penilaian karya atau feed back, peraturan
Tahapan Proses Pelatihan
Training Evaluation
Training Delivery
Training Module
Development
Training Objective
Training Needs
Model Evaluasi Pelatihan
Assessment
Return On Training Investment
Metodologi ROTI
An Operating
Evaluation Standard and
Framework Philosophy Case
A Process Applications
Model and Practice
Model ROTI Jack Phillips
Sumber : Jack J. Phillips (2003:32)
12 Prinsip Dasar ROTI
Ketika melakukan evaluasi level atas, Perkiraan terjadinya improvement harus
1
1 pengumpulan data dilakukan pada level di
bawahnya
disesuaikan (adjusted) terhadap potensi
kesalahan estimasi 7
Bila merencanakan untuk melakukan evaluasi Data yang ekstrim dan tidak akurat tidak boleh
2
1 level atas, evaluasi pada level sebelumnya tidak
harus komprehensif (lengkap)
digunakan dalam perhitungan ROTI
8
Pengumpulan dan analisis data HANYA Hanya manfaat (benefit) pada tahun pertama yang
3
1 penggunakan narasumber yang SANGAT dan
dapat dipercaya
dapat digunakan dalam analisis ROTI
9
Ketika menganalisis data, pilih pendekatan yang Dalam menghitung ROTI, gunakan seluruh biaya
4
1 paling konservatif dari pilihan yang tersedia yang terkait dalam program pengembangan SDM
10
Minimal SATU metode harus digunakan untuk Manfaat yang bersifat intangible (tak terlihat), tidak
5
1 mengisolasi efek dari pelatihan/pengembangan dapat dikonversi ke nilai uang/moneter
11
Bila tidak tersedia data improvement dari hasil Hasil perhitungan ROTI harus dikomunikasikan
6
1 program pengembangan, dapat diasumsikan
bahwa (sedikit) tidak terjadi improvement
kepada seluruh stakeholders
12
Metode Pengumpulan Data
Metode
Hard Data Soft Data Pengumpulan Sumber Data
• Output
Data
• • Job satisfaction
Quality • Surveys • Catatan Kinerja
• • Customer satisfaction
Cost • Questionnaire Organisasi
• • Absenteism
Time • Tests • Peserta Pelatihan
• Turnover
• On the job observation • Atasan Peserta
• Complaints
• Interviews • Bawahan Peserta
• Focus groups • Rekan Sejawat
Data keras adalah ukuran • Action plans and • Grup Internal/ Eksternal
Data lunak biasanya program assignments
kinerja organisasi, karena subyektif, kadang sulit
bersifat objektif, mudah • Performance contracts
diukur, hampir selalu sulit • Business performance
diukur, dan mudah dikonversi ke nilai uang, dan
dikonversi ke nilai uang monitoring
berorientasi perilaku
Perhatian Manajemen
Total Perbaikan/
Peningkatan Insentif
Kinerja Sesudah
Pelatihan
Perubahan Sistem/ Prosedur
Pengaruh
Pelatihan
Pelatihan
Isolasi Pengaruh Pelatihan
Control Group
Manajemen
Estimasi Stakeholder
Input Pelanggan
Ahli/ Expert
Faktor Lain
Teknik Mengisolasi Pengaruh Pelatihan
Control Group
Tidak
Dapatkah
Adakah Dapatkah
diperoleh Ubah Data dan
metode untuk meyakinkan
Ya dengan Ya Ya Tambahkan ke
mendapatkan- bahwa nilai ini
sumber daya numerator
nya? kredibel?
yang terbatas?
Target Evaluasi
Jenis Pelatihan yang Tepat untuk ROTI
• Pelatihan dengan life cycle panjang
• Sangat penting bagi perusahaan / added value besar
• Terkait erat dengan langkah strategis
• Biaya pelatihan mahal, mengkonsumsi banyak sumberdaya perusahaan
• Untuk pelatihan yang jelas sangat visble atau sebaliknya yang kontroversial
• Target peserta banyak
• Top management menginginkan evaluasi komprehensif
Solusinya
• Cek apakah program pelatihan cocok diukur dengan RoTI
• RoTI adalah process improvement tool, bukan sekedar
performance evaluation tool
• Waspada pada tanda-tanda dini yang biasa muncul pada
evaluasi level 1
• Keep expectation RoTI tidak muluk-muluk
• Gunakan bahasa positif untuk mengungkap RoTI
• Gunakan informasi untuk melakukan perbaikan pada
pelatihan
Struktur Organisasi
Bagan Alir
Mulai A
Final Laporan
Antara
Diskusi
Rencana Mutu Kontrak
Focus Group Discussion II
Diskusi/Presentasi
Draft Lap. Pendahuluan Penghitungan Return On Training Investment
A
Selesai
JADWAL PELAKSANAAN PEKERJAAN
Jadwal Pelaksanaan Kegiatan
KAJIAN RETURN ON TRAINING INVESTMENT PADA PENYELENGGARAAN PELATIHAN BIDANG SDA DAN KONSTRUKSI
Bobot BULAN-1 (MEI-JUN) BULAN-2 (JUN-JUL) BULAN-3 (JUL-AGT) BULAN-4 (AGT-SEP) BULAN-5 (SEP-OKT) BULAN-6 (OKT-NOP)
NO. URAIAN KET.
(%) 21-28 29-5 6-13 14-20 21-28 29-6 7-14 15-21 22-29 30-6 7-14 15-21 22-28 29-4 5-11 12-18 19-26 27-2 3-10 11-17 18-24 25-31 1-7 8-15
C 31.00
ANALISA DATA RETURN ON TRAINING INVESTMENT
1 Identifikasi Biaya Pelatihan Bidang SDA dan Konstruksi 5.50 0.50 3.00 2.00
2 Isolasi Pengaruh Pelatihan 5.50 2.00 1.50 2.00
3 Identifikasi Manfaat Tidak Berwujud (Intangible Benefits) 7.00 2.00 4.00 1.00
4 Konversi Data Ke Dalam Ukuran Finansial 6.00 3.00 1.50 1.50
5 Penghitungan Return On Training Investment (ROTI) 7.00 1.00 2.00 3.00 1.00
D PELAPORAN 16.40
1 Laporan Bulanan 2.40 0.40 0.40 0.40 0.40 0.40 0.40
2 Laporan Pendahuluan 3.00 1.50 1.50
3 Laporan Antara 4.00 2.00 2.00
4 Draft Laporan Akhir 3.00 3.00
5 Laporan AKhir 4.00 2.00 2.00
E 27.00
RAPAT PEMBAHASAN , FGD DAN LOKAKARYA
1 Rapat Koordinasi Awal 3.00 3.00
2 Rapat Pembahasan Laporan Pendahuluan 4.00 4.00
3 Focus Group Discussion I 4.00 4.00
4 Rapat Pembahasan Laporan Antara 4.00 4.00
5 Focus Group Discussion II 4.00 4.00
6 Rapat Pembahasan Draft Laporan Akhir 4.00 4.00
7 Lokakarya 4.00 4.00
Nama Pekerjaan : Kajian Return on Training Investment pada Pendidikan dan Pelatihan
Bidang SDA dan Konstruksi
Waktu : Pukul 13.00 WIB – Selesai
Hari, Tanggal : Jum’at , 19 Juli 2019
Tempat : Gedung Pusat Pendidikan dan Pelatihan Sumber Daya Air dan Konstruksi
Ruang Rapat Lt.1
Pimpinan Rapat : Muhammad Nizar, SE., MT
1
Ibu Lena Hendayani SE., M.A.P.
- Yang ingin saya sampaikan terkait dengan durasi pelatihan yang panjang, sementara disini ada
pelatihan yang tidak perlu ROTI itu durasi pelatihan sangat pendek. Sementara saat ini itu kan kita
dituntut/disarankan itu untuk pelatihan yang tidak terlalu lama. Bahkan kita yang pelatihan lebih
dari lima hari saja sudah dianggap lama. Jadi bagaimana dengan pelatihan kita yang ada itu?
- Terkait dengan target peserta harus banyak. Banyak itu seberapa banyak batasannya. Mungkin
tadi kalau yang kata Pak Dadang itu harus dibatasi waktunya itu dari tahun berapa. Apakah
targetnya itu secara kumulatif seluruh peserta dari pelatihan tersebut (per angkatan), atau hanya
satu pelatihan itu saja.
- Kalau melihat persyaratan ini, apakah memungkinkan untuk kita melakukan perhitungan ROTI ini.
2
harapkan Awal Agustus minimal sudah ada ada catatan-catatan dan usulan-usulan dari temen-
temen tadi.
3
Tanggapan Pihak Konsultan
Bapak Drs. Adang Gandjar, ME
- Terimakasih atas beberapa masukan yang memang sangat fundamental, ini menjadi bahan
masukan penting bagi kami. Karena memang kami juga belum mempertemukan antara persepsi
kami terhadap KAK ini dengan mungkin pengalaman/kenyataan yang dialami di internal lembaga
ini. Mungkin melalui kesempatan ini nanti kami akan memperoleh beberapa arahan dan masukan.
Jadi, secara umum yang dipertanyakan itu :
1. Terkait dengan durasi pelatihan
2. Target peserta
3. Pelaksanaan pelatihan yang sudah dilangsungkan untuk SDA dan Konstruksi ini mungkin nanti
apakah sama atau dibedakan. Selama ini durasi maupun pesertanya ini hampir sama
dikelompokkan. Tadi katanya ada informasi bahwa selama ini penyelenggaraan pelatihan
waktunya hanya sekitar 1 minggu, mungkin semua itu berlaku umum. Jadi itu saya kira menjadi
pegangan kita bahwa yang akan dinilai ROTInya itu apa sudah ada kegiatan pelatihan yang
waktunya melebihi 1 minggu?.
Bapak Anggoro, ST
- Sebelumnya dari Pak Dadang yang mengatakan bahwa memang PU bukan benefit oriented tetapi
lebih ke palayanan sifatnya. Sedangkan untuk ROTI sendiri sebenarnya lebih banyak
diaplikasikan, selamanya ini sepanjang pengetahuan kami dan informasi yang saya peroleh
(salahsatunya yang dari PPM itu) belum pernah ada institusi pemerintah yang sifatnya pelayanan
publik itu menghitung ROTI. Paling biasanya kalaupun mereka melakukan evaluasi pasca
pelatihan itu sampai ke level 3 (sampai ke perubahan perilaku).
- Jika kita mengaitkan ROTI dengan perusahaan yang berorientasi bisnis, itu ada produk yang
dihasilkan, apapun itu apakah layanan ataupun bentuk fisik. Sehingga ketika kita melihat
peningkatan kinerja itu dengan mudahnya dapat dilihat dari peningkatan produksi. Tetapi, kalau
pendidikan (setelah kami mendapatkan masukan) sebenarnya bisa dihitung ROTInya.
4
- Mungkin kalau untuk rencana kerja saat ini sesuai dengan kurva S yang telah kami buat saat ini
memang masih pada collecting data pasca pelatihan. Kami sudah mengumpulkan data pelatihan
dari tahun 2015 – 2018, hanya memang belum sampai ke tahap secara lebih mendalam. Karena
kami sumber baru dari SimDiklat belum ke e-pelatihan, kami batasi hanya bidang SDA dan
Konstruksi, data yang sebenarnya kami butuhkan adalah yang kami dapatkan yaitu data post test
dan pre test . kemudian nantinya untuk level 3 dan 4 itu kami menyelaraskan jadwal dari Pak Nizar
untuk pengambilan data. Kami butuh masukan tentang cara delivery instrumen bagaiman itu
menjadi efisien.
- Untuk gambaran hasil akhir seperti apa, mungkin salah satu komponen yang sudah bisa dikatakan
pasti bisa dihitung itu yaitu : ketika peserta ikut pelatihan mereka punya gaji tetap, dengan control
group itu nanti kita akan menghitung peningkatan kompetensi dari yang sudah ikut pelatihan
dengan yang tidak ikut pelatihan. Nanti salah satu metodenya yaitu dengan cara memebrikan tes
yang sama dengan yang ikut pelatihan, kemudian kita hitung gap comptency nya nanti ada gap
data , itu dikonversikan ke gaji pokok itu.
Anggapannya jadi ketika unit organisasi menerima seorang ASN dengan golongan tertentu dengan
gaji tertentu, itu kemampuannya dasar. Tetapi ketika diberi pelatihan, itu ada peningkatan
kompetensi yang dikonversi ke gaji. Dengan pelatihan itu kita sebenarnya dianggap mendapatkan
ASN dengan kemampuan sekian.
Bapak sudah menghitung berapa ASN Direktorat Jenderal SDA yang sudah ikut pelatihan, itu
dihitung semua pengeluaran pelatihannya berapa. Nah dari pengeluaran ini karena “disetiap rupiah
yang dikeluarkan untuk pembiayaan pelatihan, ini bisa menghasilan benefit apa, perlu bapak
konversikan.
Bapak Anggoro, ST
- Kalau misalnya untuk tahap saat ini memang kami memaparkan dari dasar ilmunya. Cuma kalau
dari rumus dasarnya itu sebenarnya bisa dikatakan gampang rumusnya, program cost itu lebih
mudah kita samakan persepsi karena itu sudah keluar, jadi tidak ada kesulitan. Kesulitan yang
paling utama itu adalah benefit, karena banyak dari komptensi ini yang harus kita samakan
persepsi bahwa itu bisa dipersiapkan.
Apakah benefit itu akan dimasukan ke intangible (manfaat tidak terwujud) atau kita hitung ke rumus
yang tadi. Itu yang harus sama-sama kita diskusikan. Jadi ketika nanti ada hasil rumusan (hasil
akhir) sudah sama persepsi kita bahwa benefit yang dihitung itu berwujud dan bisa dikonversi ke
rupiah.
5
Bapak Dadang Karmen, S.ST., MT
- Kalau bisa coba bapak sesuatu yang bisa membuat kami mendapat sesuatu.
- Kalau lihat judul pekerjaan ini, apakah level 1- 4 tetap juga dilaksanakan?, sesuai dengan KAK
semua dipelajari, per level semua pelatihan SDA dan Konstruksi Bapak telisik.
- Tantangan ke depan yang perlu dibantu adalah saat melakukan observasi. Karena ini kami
pengalaman, karena kalau kita isi kuesioner itu jarang ada formulir kuesioner yang kembali.
6
Kesimpulan dan saran untuk Pihak Konsultan
1. Tim konsultan dalam membuat isi laporan itu mengacu pada KAK untuk bahasan dan isi yang
harus dimuat pada laporan.
2. Rencana ke depan terkait jadwal untuk survey, lokasi survey, dan data yang ingin diperoleh itu
dicantumkan dan dijelaskan secara detail di dalam laporan. Pertemuan untuk membahas ini
dijadwalkan awal Bulan Agustus.
3. Tim konsultan segera membuat acuan, rumusan, formulasi untuk menghitung ROTI secara jelas
dan cepat
7
LAMPIRAN 15
8
LAMPIRAN 16
LAPORAN PENDAHULUAN
IMPLEMENTASI RETURN ON
TRAINING INVESTMENT (ROTI)
KEMENTERIAN PEKERJAAN UMUM DAN PERUMAHAN RAKYAT
BADAN PENGEMBANGAN SUMBER DAYA MANUSIA
PUSAT PENDIDIKAN DAN PELATIHAN SUMBER DAYA AIR DAN KONSTRUKSI
Jalan Abdul Hamid, Cicaheum – Bandung 40193, Telp (022) 7206892, Fax 7236224
LAPORAN PENDAHULUAN
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Pendahuluan
DAFTAR ISI
DAFTAR ISI........................................................................................................... ii
2.1.1 UU No. 5 Tahun 2014 Tentang Aparatur Sipil Negara ................... 2-1
2.1.2 PP No. 11 Tahun 2017 Tentang Manajemen Pegawai Negeri Sipil .. 2-1
2.1.3 Permen PUPR No. 15 Tahun 2015 Tentang Organisasi & Tata Kerja
Kementerian PUPR .................................................................. 2-2
ii
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Pendahuluan
iii
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Pendahuluan
iv
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Pendahuluan
DAFTAR GAMBAR
Gambar 2.2. Ilustrasi Model Evaluasi Empat Level Kirkpatrick ................................ 2-13
Gambar 3.2. Hubungan antara penilaian kebutuhan dengan evaluasi ........................ 3-3
Gambar 3.7. Contoh Trend Line dalam hal Komplain di sebuah Rumah Sakit ............ 3-20
v
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Pendahuluan
DAFTAR TABEL
Tabel 3.3. Manfaat Tak Berwujud yang berhubungan dengan pelatihan ................... 3-26
Tabel 3.4. Perbandingan antara manfaat berwujud dan tak berwujud ...................... 3-27
vi
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Pendahuluan
BAB 1. PENDAHULUAN
1-1
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Pendahuluan
terkait. Draf dokumen pembahasan pada FGD I selambat-lambatnya 3 hari sebelum FGD
I.
Dalam FGD I tersebut harus disusun berita acara pembahasan FGD I yang
diserahkan dan disahkan kepala Bidang Evaluasi dan Pelaporan.
1-3
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Pendahuluan
1.3.11 Lokakarya
Lokakarya dilaksanakan 177 (seratus tujuh puluh tujuh) hari kalender
setelah tanggal terbitnya SPMK. Tim tenaga ahli konsultan segera melaksanakan
pembahasan pada Lokakarya bersama Bidang Evaluasi dan Pelaporan, tim teknis,
narasumber dan pengguna jasa serta stakeholder yang terkait. Draft laporan akhir harus
diserahan kepada pengguna jasa selambat-lambatnya 3 hari sebelum pelaksanaan
Lokakarya. Dalam Lokakarya tersebut harus disusun berita acara hasil Lokakarya yang
disahkan Kepala Bidang Evaluasi dan pelaporan. Berita acara tersebut wajib dilaksanakan
/ ditindaklanjuti oleh konsultan.
1.4 KELUARAN
Keluaran yang akan dihasilkan dari pekerjaan “Kajian Return of Training
Investment pada Penyelenggaraan Pelatihan Bidang SDA dan Konstruksi” ini
dirumuskan dalam produk laporan yang harus diserahkan selama proses pelaksanaan
hingga tahap akhir pekerjaan. Laporan inti hasil keluaran kegiatan ini yaitu :
1 buah dokumen Hasil Kajian return on investment in training dalam
Penyelenggaraan Pelatihan Bidang SDAK yang memuat antara lain :
Menjelaskan cara mengukur pengembalian investasi pelatihan dengan teknik
Return On Training Investment (ROTI).
Memahami besarnya konstribusi pelatihan bagi instansi.
Menjelaskan bagaimana menentukan jenis pelatihan apa saja yang diperlukan
bagi instansi.
Menyusun pelatihan sesuai dengan budget dan Sumber Daya.
Sesuai hasil analisis dan kajian awal, secara prinsip lingkup produk yang disusun
dan diserahkan kepada Pengguna Jasa, dapat dijabarkan dalam tabel berikut.
1-4
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Pendahuluan
1-5
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Pendahuluan
2-1
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Pendahuluan
2.1.3 Permen PUPR No. 15 Tahun 2015 Tentang Organisasi & Tata Kerja
Kementerian PUPR
Pasal 1260 : Pusdiklat Sumber Daya Air dan Konstruksi mempunyai
tugas melaksanakan penyiapan penyusunan kebijakan
teknis dan penyelengggaraan pendidikan dan pelatihan
bidang sumber daya air dan konstruksi.
Pasal 1260 : Dalam melaksanakan tugas sebagaimana dimaksud
huruf e dalam Pasal 1260, Pusat Pendidikan dan Pelatihan
Sumber Daya Air dan Konstruksi menyelenggarakan
fungsi:
e. pemantauan, evaluasi, dan penyusunan laporan
penyelenggaraan pendidikan dan pelatihan bidang
sumber daya air dan konstruksi;
Pasal 1275 : Bidang Evaluasi dan Pelaporan mempunyai tugas
melaksanakan pemantauan, evaluasi, dan penyusunan
laporan kinerja dan program serta penyelenggaraan
pendidikan dan pelatihan bidang sumber daya air dan
konstruksi.
Pasal 1276 : Dalam melaksanakan tugas sebagaimana dimaksud
huruf a dalam Pasal 1275, Bidang Evaluasi dan Pelaporan
menyelenggarakan fungsi:
a. pemantauan dan evaluasi penyelenggaraan pendidikan
dan pelatihan bidang sumber daya air dan konstruksi;
2-2
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Pendahuluan
2-3
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Pendahuluan
2-4
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Pendahuluan
KEPALA BIDANG TEKNIK DAN MATERI KEPALA BIDANG TEKNIK DAN MATERI KEPALA BIDANG EVALUASI DAN KEPALA BAGIAN ANGGARAN DAN
SUMBER DAYA AIR KONSTRUKSI PELAPORAN UMUM
Dr. FITRI RIANDINI, S.Si., MT ANWAR, ST MUHAMMAD NIZAR, SE., MT AMIR HAMZAH, ST.,MT
KEPALA SUB BIDANG TEKNIK DAN KEPALA SUB BIDANG TEKNIK DAN KEPALA SUB BIDANG EVALUASI DAN KEPALA SUB BAGIAN PROGRAM DAN
MATERI PELATIHAN SUMBER DAYA AIR I MATERI PELATIHAN KONSTRUKSI I PELAPORAN I EVALUASI
IRMAN FERDIAN, S.TP AGUNG YUANA PUTRA, ST., MM WAWAN RUSMANA, S.ST GANTIRA CHRISTIADY, S.Sos
KEPALA SUB BIDANG TEKNIK DAN KEPALA SUB BIDANG TEKNIK DAN KEPALA SUB BIDANG EVALUASI DAN KEPALA SUB BAGIAN UMUM
MATERI PELATIHAN SUMBER DAYA AIR II MATERI PELATIHAN KONSTRUKSI II PELAPORAN II
SONI SENJAYA EFENSI, ST., MT FIRMANSYAH PRIA UTAMA, ST., M.SI AGUS NARDI, SE YANA SURYANA, SE
2-5
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Pendahuluan
2.2.4 Kompetensi
Kompetensi adalah karakteristik dasar dari seseorang yang memungkinkan mereka
mengeluarkan kinerja superior dalam pekerjaannya. Kompetensi menurut Spencer dan
Spencer dalam Palan (2007) adalah sebagai karakteristik dasar yang dimiliki oleh
2-6
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Pendahuluan
seorang individu yang berhubungan secara kausal dalam memenuhi kriteria yang
diperlukan dalam menduduki suatu jabatan.
Spencer and Spencer dalam Wibowo (2010:325) mengemukakan bahwa
kompetensi adalah merupakan landasan dasar karakteristik orang dan
mengidentifikasikan cara berperilaku atau berfikir, menyamakan situasi dan mendukung
untuk periode waktu cukup lama.
Kompetensi menurut UU No. 13/2003 tentang Ketenagakerjaan: Pasal 1 (10),
“Kompetensi adalah kemampuan kerja setiap individu yang mencakup aspek
pengetahuan, keterampilan dan sikap kerja yang sesuai dengan standar yang
ditetapkan”.
Pertimbangan kebutuhan kompetensi mencakup:
1. Permintaan masa mendatang berkaitan dengan rencana dan tujuan strategis
dan operasional organisasi
2. Mengantisipasi kebutuhan pergantian manajemen dan karyawan
3. Perubahan pada proses dan teknologi dan peralatan organisasi
4. Evaluasi kompetensi karyawan dalam melaksanakan kegiatan dan proses yang
ditetapkan.
Kompetensi terdiri dari 5 tipe karakteristik yang dikutip oleh Panji (2009:33), yaitu
sebagai berikut:
1. Keahlian (Skill) yaitu kemampuan untuk melaksanakan suatu tugas tertentu
baik secara fisik maupun mental
2. Pengetahuan (Knowledge) yaitu suatu informasi yang dimiliki seseorang untuk
bidang tertentu. Knowledge merupakan kompetensi yang kompleks
3. Sikap atau nilai (Self-Concept) yaitu sikap dan nilai-nilai yang dimiliki
seseorang
4. Watak atau sifat (Trait) yaitu watak yang membuat orang untuk berprilaku
atau bagaimana seseorang merspon untuk berperilaku atau bagaimana
seseorang merespon seseorang dengan cara tertentu
5. Motif (Motive) yaitu sesuatu dimana seseorang secara konsisten berfikir
sehingga dapat melakukan tindakan.
Menurut Michael Zwell (2000:309) menyebutkan ada faktor-faktor yang dapat
dipergunakan untuk memperbaiki kompetensi yaitu:
1. Admitting Incompetence (Mengalami Kekurangan Kompetensi)
Seringkali terjadi orang menutupi kekurangannya agar tidak diketahui orang
lain. Budaya yang berusaha untuk selalu tampil baik mengandung bahaya tidak
menyadari kekurangan kecakapan dalam kompetensi. Untuk itu ada baiknya
orang mengakui dengan terus terang akan kekurangan dalam kompetensinya
sehingga dapat dilakukan usaha untuk memperbaikinya.
2. Raising Expectations (Meningkatkan Harapan)
2-7
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Pendahuluan
Pekerjaan manajer dan coach termasuk membantu orang memperluas visi atas
pekerjaan mereka sehingga mereka dapat memanfaatkan bakat, kemampuan,
dan potensinya. Tugas utama seorang coach adalah menciptakan dan
memelihara visi yang lebih tinggi bagi pekerja, dengan menjaga dalam
pikirannya apa yang mungkin bagi mereka apabila memanfaatkan semuanya
kemampuan dan bakatnya. Coach perlu terus-menerus meningkatkan pekerja
atas visinya, mendorong mereka untuk bekerja keras mencapai visi, membantu
mereka mencatat kesenjangan antara visi dengan perilaku saat ini, dan
membantu mereka mengembangkan tujuan dan langkah tindak untuk
mengatasi kesenjangan.
3. Identifying Barriers (Mengidentifikasi Hambatan)
Apabila terdapat hambatan terhadap kinerja dan pencapaian prestasi, penting
sekali untuk mengidentifikasi sifat dari hambatan tersebut sehingga dapat
diatasi secara efektif. Kebanyakan hambatan dapat dikategorikan dalam
pengetahuan, keterampilan, proses, dan emosional.
4. Including Support Mechanism (Memasukkan Mekanisme Dukungan)
Pada kebanyakan budaya organisasi, penguatan perilaku secara sadar
dipergunakan dalam konteks: program disiplin berkaitan dengan masalah
pekerja, dan rencana kompensasi dan promosi untuk memberi penghargaan
kontributor besar. Dengan secara sadar menggunakan penguatan perilaku
dengan lebih kreatif dan meluas, organisasi dapat membantu pekerja
memperbaiki kinerja dan kompetensi. Mekanisme dukungan yang dapat
dipergunakan organisasi dan pekerja adalah mencatat kemajuan tujuan dan
pelaksanaan langkah tindak, mengkomunikasikan kemajuan kepada orang
lainnya dan menggunakan penghargaan.
2.2.5 Perencanaan Suksesi
Vincent Gaspersz (2012:144) mengemukakan perencanaan suksesi (succesion
planning) adalah suatu proses untuk mengidentifikasi dan mengembangkan orang-orang
internal yang berpotensi tinggi (talenta) untuk mengisi posisi kunci atau penting dalam
organisasi. Perencanaan suksesi menjamin ketersediaan karyawan yang mampu dan
berpengalaman yang dipersiapkan untuk berperan penting di masa yang akan datang.
Proses suksesi mencakup beberapa langkah berikut :
1. Identifikasi posisi kunci untuk suksesi
2. Identifikasi kompetensi
3. Rencana pembelajaran individu
4. Evaluasi program suksesi
2-8
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Pendahuluan
2-9
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Pendahuluan
2.2.7 Pelatihan
Menurut Achmad Darodjat, Tubagus (2015:75) pelatihan merupakan salah satu
faktor yang perlu menjadi perhatian oleh seorang pimpinan dalam usaha memperoleh
program yang diinginkan baik usaha yang bersifat mencari keuntungan maupun usaha
yang bersifat pelayanan.
Undang-Undang Nomor 5 Tahun 2014 tentang Aparatur Sipil Negara pasal 3 huruf
d menyatakan bahwa Aparatur Sipil Negara (ASN) sebagai profesi berlandaskan pada
prinsip yang salah satunya adalah mempunyai kompetensi yang diperlukan sesuai
dengan bidang tugas. Sedangkan pada pasal 70, sebagai upaya mengembangkan
kompetensi bagi ASN tersebut, dapat dilakukan salah satunya melalui kegiatan
pendidikan dan pelatihan (diklat).
Berdasarkan Dessler, G (2013), pelatihan dan pengembangan sumber daya
manusia didefinisikan sebagai sebuah proses yang memanfaatkan berbagai metode
untuk menyediakan keterampilan yang dibutuhkan, baik untuk pegawai baru maupun
pegawai lama dalam melaksanakan pekerjaannya. Definisi tersebut selaras dengan
definisi diklat menurut Peraturan Pemerintah Republik Indonesia Nomor 101 Tahun 2000
tentang Pendidikan dan Pelatihan Jabatan Pegawai Negeri Sipil, yaitu proses
penyelenggaraan belajar mengajar dalam rangka meningkatkan kemampuan Pegawai
Negeri Sipil.
Adapun fungsi dari pelatihan dinyatakan oleh Noe, Hollenback, Gerhart, & Wright
dalam Ikramina, F., and Gustomo, A. (2014) adalah :
2-10
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Pendahuluan
2-11
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Pendahuluan
konteks ini evaluasi dilakukan terhadap setiap tahapan mulai dari analisis kebutuhan
diklat, pelaksanaan diklat sampai dengan setelah selesai pelaksanaan atau pasca diklat.
Perkembangan konsep evaluasi yang ada pada saat ini menunjukkan arah yang
lebih luas. Konsep tersebut pada umumnya berkisar pada pandangan sebagai berikut :
1. Evaluasi tidak hanya diarahkan kepada tujuan diklat yang ditetapkan, tetapi
juga terhadap tujuan-tujuan yang tersembunyi, termasuk efek yang mungkin
timbul
2. Evaluasi tidak hanya melalui pengukuran perilaku peserta diklat, tetapi juga
melakukan pengkajian terhadap komponen-komponen diklat, baik masukkan –
proses – keluaran
3. Evaluasi tidak hanya dimaksudkan untuk mengetahui tercapai tidaknya tujuan-
tujuan yang telah ditetapkan, tetapi juga untuk mengetahui apakah tujuan-
tujuan tersebut penting bagi peserta diklat dan bagaimana peserta
mencapainya
4. Mengingat luasnya tujuan dan obyek evaluasi, maka alat yang digunakan
dalam pengukuran sangat beraneka ragam, tidak hanya terbatas pada tes,
tetapi juga yang bukan tes
2-12
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Pendahuluan
Model evaluasi empat level dikenal pertama kali pada tahun 1959 ketika Donald L.
Kirkpatrick menulis empat seri artikel dengan judul “Techniques for Evaluating Training
Programs” yang diterbitkan dalam Training and Development, the journal of The
American Society for Training and Development (ASTD). Artkel-artikel tersebut
menggambarkan evaluasi empat level yang diformulasikan oleh Kirkpatrick berdasarkan
konsep dari desertasi beliau pada University of Wiconsin, Madison.
Kirkpatrick, D., L. & Kirkpatrick J., D. (2006) mengemukakan tiga alasan spesifik
dalam melakukan evaluasi program pelatihan, yaitu:
Untuk menjustifikasi keberadaan anggaran pelatihan dengan memperlihatkan
bagaimana program pelatihan tersebut berkontribusi pada tujuan dan sasaran
organisasi;
Untuk menentukan apakah suatu program pelatihan dilanjutkan atau tidak;
Untuk memperoleh informasi mengenai bagaimana cara meningkatkan program
pelatihan dimasa datang.
Metode evaluasi empat level merepresentasikan sebuah sekuen dari setiap tahapan
untuk mengevaluasi program pelatihan (Meghe, B., Bhise, V., P., & Muley, A. 2013).
Maksud dari sekuen adalah setiap level harus dilakukan secara bertahap. Hal tersebut
karena setiap level dalam model empat level adalah penting dan setiap level memberi
dampak pada level berikutnya (Abdulghani, M., H., Shaik, A., S., Khamis, N., Al-dress,
A., A., Irshad, M., Khalil, S., M., Alhaqwi, I., A., & Isnani, A. 2014).
Empat level tersebut adalah: Level 1- Reaction (Reaksi), Level 2- Learning
(Pembelajaran), Level 3- Behavior (Perilaku), dan Level 4- Results (Hasil/Dampak).
2-13
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Pendahuluan
2-14
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Pendahuluan
pelaksanaan evaluasi belajar di level-2 menurut Kennedy, E., P., Chyung, Y., S.,
Winiecki, J., D., & Brinkerhoff, O., R. (2013) adalah untuk mengukur seberapa baik
peserta didik dalam mempelajari pengetahuan atau keterampilan yang disampaikan
dalam kegiatan pengajaran.
Dari definisi tersebut, mengukur pembelajaran berarti menentukan satu hal atau
lebih yang berhubungan dengan tujuan pelatihan, seperti pengetahuan apa yang telah
dipelajari, keterampilan apa yang telah dikembangkan atau ditingkatkan, dan sikap apa
yang telah berubah.
Langkah-langkah dalam melaksanakan evaluasi di level-2, adalah:
1. Lakukan evaluasi terkait peningkatan pengetahuan, keterampilan, dan
perubahan sikap sebelum dan sesudah pelatihan.
2. Gunakan tes tertulis untuk mengukur pengetahuan dan sikap.
3. Gunakan tes performa dalam mengukur keterampilan;
4. Gunakan hasil pengukuran tersebut untuk melakukan tidakan yang sesuai.
Yang dimaksud tindakan yang sesuai dalam hal ini adalah melakukan tindakan
konfirmatif dengan hasil evaluasi di level-1, apakah karena pengajar kurang komunikatif
dalam menyampaikan materi, terkait strategi belajar yang tidak sesuai dengan harapan
peserta, atau karena faktorfaktor lain di level-1 yang mungkin dapat menyebabkan
peserta mengalami demotivasi dalam belajar, sehingga kekurangan evaluasi dalam level-
1 dapat segera mendapat perhatian.
C. Level 3 – Behavior (Perilaku)
Perilaku menurut Kirkpatrick, D., L. & Kirkpatrick J., D. (2006), didefinisikan
sebagai sejauh mana perubahan perilaku yang muncul karena peserta mengikuti
program pelatihan. Evaluasi level-3 dilakukan untuk mengindikasikan sejauh mana
materi dalam pelatihan diaplikasikan pada pekerjaan dan tempat kerja peserta
(Steensma, H., & Groeneveld, K. 2010). Menurut Tan, K. & Newman, E. (2013) evaluasi
perilaku mengukur pengetahuan, keterampilan, atau sikap apa yang dipelajari untuk
diaplikasikan atau dipindahkan pada pekerjaan.
Dari definisi tersebut dapat diartikan tujuan dilakukannya evaluasi di level 3 adalah
untuk mengukur perubahan dalam perilaku kerja yang muncul karena pegawai tersebut
mengikuti program pelatihan. Untuk dapat mengaplikasikan perubahan perilaku tersebut,
menurut Kirkpatrick, D., L. & Kirkpatrick J., D. (2006) terdapat empat kondisi yang
diperlukan, yaitu:
Seseorang harus mempunyai keinginan untuk berubah;
Seseorang harus tahu apa yang harus dilakukan dan bagaimana cara melakukan
hal tersebut;
Seseorang harus bekerja dalam lingkungan kerja yang tepat;
Seseorang harus mendapatkan penghargaan karena dia berubah.
2-15
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Pendahuluan
Program pelatihan dapat memberikan kondisi pertama dan kedua dengan program
pelatihan yang mendukung perubahan sikap sesuai dengan tujuan pelatihan dengan
memberikan materi terkait pengetahuan, keterampilan, ataupun sikap. Tetapi untuk hal
ketiga tentang lingkungan kondisi kerja yang tepat, berkaitan langsung dengan atasan
dan lingkungan peserta.
Terkait masalah tersebut Kirkpatrick, D., L. & Kirkpatrick J., D. (2006)
mengemukakan lima jenis kondisi kerja yang disebabkan karena perilaku pimpinan di
tempt kerja yang dapat mempengaruhi kondisi peserta pelatihan dalam menerapkan
perubahan perilaku, yaitu:
1. Menghalangi (preventing). Pimpinan melarang peserta pelatihan untuk mengerjakan
apa yang telah diajarkan dalam kegiatan pelatihan. Pemimpin tersebut mungkin
terpengaruh oleh budaya kerja organisasi yang telah ditetapkan, atau cara
memimpin yang bertentangan dengan apa yang telah diajarkan pada peserta
pelatihan.
2. Mengecilkan (discouraging). Dalam hal ini pimpinan peserta tidak secara langsung
mengatakan bahwa peserta tidak akan bisa melakukan perubahan, namum secara
tersirat pimpinan tersebut tidak ingin peserta melakukan perubahan perilaku karena
pimpinan tersebut tidak suka, atau pimpinan tidak mencontohkan perilaku sesuai
dengan yang peserta pelajari dipelatihan sehingga mengecilkan hati peserta sebagai
bawahan untuk berubah.
3. Netral (neutral). Pimpinan mengindahkan kenyataan bahwa anak buahnya telah
mengikuti program pelatihan. Pimpinan berpikir apa yang dengan kondisi yang
sekarang terjadi di lingkungan kerja sudah cukup dalam menyelesaikan pekerjaan.
Pimpinan tidak mau mengambil resiko, karena apabila peserta diklat melakukan
perubahan akan beresiko merubah kondisi kerja yang sudah ada sehingga ada
peluang pekerjaan menjadi tidak maksimal.
4. Mendorong (encouraging). Pimpinan mendukung bawahan untuk belajar dan
mengaplikasikan apa yang dipelajari dalam pelatihan di pekerjaan.
5. Menuntut (requiring). Pimpinan mengetahui bahwa bawahannya telah belajar dan
memastikan apa yang telah dipelajari oleh bawahannya diaplikasikan dalam
pekerjaan.
Untuk melakukan evaluasi level-3, terdapat masalah dalam menentukan kapan
kegiatan evaluasi tersebut dilakukan. Berbeda halnya dalam melakukan evaluasi di level
1 dan 2 yang dapat dilakukan segera. Hal tersebut dikarenakan beberapa faktor. Faktor
pertama, peserta tidak dapat merubah perilaku mereka dalam bekerja sampai mereka
mendapatkan kesempatan dalam melaksanakan perubahan perilaku tersebut. Faktor
yang kedua, tidak mungkin menentukan kapan perubahan tersebut terjadi. Faktor yang
ketiga, perubahan perilaku merupakan hak peserta itu sendiri, dalam artian peserta
2-16
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Pendahuluan
2-17
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Pendahuluan
2-18
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Pendahuluan
juga relatif mudah dan murah karena dilakukan saat peserta masih berada di lokasi
training dan belum kembali ke tempat kerjanya. Metode evaluasi yang digunakanpun
relatif sederhana dan bersifat umum dalam pengertian dapat digunakan untuk hampir
semua jenis training.
Sayangnya, hasil evaluasi pada Level 1 dan 2 tersebut menjadi kurang bermakna
ketika muncul pertanyaan‐pertanyaan kritis seperti ”Mampukah eks‐peserta training
nantinya menerapkan pengetahuan dan keterampilan barunya tersebut dalam
pekerjaannya sehari‐hari?” atau ”Relevankah materi yang diberikan dengan kenyataan
yang dihadapi?” atau lebih jauh lagi ”Apakah dengan mengikuti training tersebut
eks‐peserta terbukti meningkat kinerjanya?” dan sejumlah pertanyaan lain yang secara
keseluruhan akan menggugat efektivitas penyelenggaraan suatu training. Sebaliknya,
evaluasi pada Level 3 dan 4 dapat memberikan jawaban atas semua pertanyaan kritis
tadi.
Evaluasi pada Level 3 mampu memberikan pemahaman kepada
perusahaan/penyelenggara training mengenai apakah materi yang diberikan dapat
diterapkan atau diimplementasikan dengan baik dalam pekerjaan sehari‐hari dan jika
ternyata tidak, kendala‐kendala apa yang perlu diatasi. Hal yang lebih penting lagi,
evaluasi pada tahap ini dapat memberikan feedback yang berharga bagi penyempurnaan
pelaksanaan training secara keseluruhan dihubungkan dengan kenyataan yang ada
sehingga pada akhirnya dapat memberikan kontribusi yang nyata terhadap peningkatan
kinerja karyawan.
Sementara itu, evaluasi pada Level 4 akan memberikan jawaban akhir mengenai
apakah tujuan penyelenggaraan suatu training telah tercapai atau belum. Umumnya,
suatu training diselenggarakan dengan tujuan memberikan dampak yang positif terhadap
kinerja perusahaan, misalnya peningkatan hasil penjualan, peningkatan hasil produksi,
penurunan biaya produksi, peningkatan pelayanan nasabah, dan sebagainya, meski ada
pula training yang tidak berdampak langsung terhadap kinerja perusahaan, seperti
training mengenai kepemimpinan, kerjasama antarpegawai, dan sebagainya.
Mencermati hal tersebut, maka dapat dipahami bahwa evaluasi hingga Level 3 dan
Level 4 sebenarnya merupakan suatu keharusan apabila perusahaan ingin mengetahui
apakah hal‐hal yang menjadi tujuan training telah tercapai dan dengan demikian berarti
pula bahwa training tersebut telah terselenggara secara efektif. Sayangnya, masih
banyak perusahaan yang menghadapi berbagai masalah dan kendala dalam melakukan
evaluasi training hingga level tersebut.
Lebih jauh lagi, hasil evaluasi pada Level 4 ini dapat digunakan sebagai dasar
perhitungan Return on Training Investment (ROTI) yang membandingkan hasil yang
diperoleh dengan biaya yang dikeluarkan untuk menyelenggarakan suatu training.
Perusahaan/penyelenggara training semakin menyadari pentingnya dilakukan evaluasi
hingga Level 4 sekaligus pengukuran ROTI‐nya agar mereka memiliki keyakinan bahwa
2-19
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Pendahuluan
2-20
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Pendahuluan
gambaran yang menyeluruh mengenai evaluasi training sebaik yang diberikan oleh
pengukuran result sebagaimana yang dimaksudkan oleh Kirkpatrick.
Sebaliknya, beberapa pakar justru menekankan pentingnya evaluasi training yang
didasarkan pada perhitungan finansial agar mampu memberikan informasi yang nyata
dan tegas kepada perusahaan mengenai kontribusi training tersebut terhadap kinerja
perusahaan. Sandra Shelton dan George Alliger (1993) menegaskan bahwa tidak dapat
dihindari lagi bahwa perusahaan harus menghitung secara cermat setiap uang yang
dikeluarkan untuk membiayai penyelenggaraan training, dan bahwa perhitungan tersebut
haruslah dalam konteks business results dan return on investment. Shelton dan Alliger
mensinyalir bahwa banyak perusahaan tidak mau melakukan evaluasi finansial atas
training yang diselenggarakannya karena masalah pengumpulan data dan interpretasinya
yang sulit dan membutuhkan banyak waktu, meski sebenarnya mereka telah menyadari
bahwa training cost‐benefit analysis akan memberikan informasi yang jauh lebih baik
bagi kepentingan perusahaan dibandingkan data yang diperoleh dari survey mengenai
pelaksanaan training itu sendiri.
Donna Goldwasser (2001) juga menekankan perlunya dilakukan evaluasi training
yang didasarkan atas perhitungan manfaat dan biaya secara tegas, bahkan dia
mengatakan bahwa evaluasi pada ketiga level pertama (Level 1 sampai dengan Level 3)
menjadi berkurang maknanya apabila perusahaan tidak mengevaluasi training sesuai
dengan bottom line‐nya, yaitu meningkatkan kinerja pegawai dan perusahaan secara
keseluruhan. Goldwasser mengatakan bahwa salah satu hambatan utama dalam
melakukan evaluasi Level 4 dan perhitungan ROTI adalah masalah metode pengukuran
(measurement) yang tepat untuk digunakan, termasuk untuk mengisolasi hasil yang
diperoleh akibat training dari faktor‐faktor lainnya.
Jack J. Phillips dan Ron Drew Stone (2002) bahkan lebih tegas lagi. Phillips dan
Stone tidak hanya berpendapat bahwa evaluasi training harus dilakukan dalam konteks
training cost‐benefit analysis, namun lebih jauh lagi mereka menyebut perhitungan ROTI
sebagai evaluasi Level 5. Level 5 ini merupakan evaluasi terhadap nilai‐nilai finansial dari
pengaruh bisnis (business impact) yang diakibatkan oleh penyelenggaraan training,
dibandingkan dengan biaya training itu sendiri. Data business impact dikonversi ke dalam
nilai‐nilai finansial agar dapat dimasukkan dalam perhitungan matematis ROTI. Dengan
perhitungan tersebut maka nilai training yang sesungguhnya dapat tergambarkan dalam
konteks bisnis perusahaan secara keseluruhan. Secara tegas, mereka menyatakan
bahwa evaluasi training tidaklah lengkap bila tidak dilakukan hingga Level 5.
Phillips dan Stone juga mengemukakan perlunya diperhitungkan manfaat‐manfaat
training lain yang merupakan intangible benefits yang tidak dapat atau tidak boleh
dikonversi ke dalam nilai‐nilai finansial. Beberapa contoh intangible benefits antara lain
peningkatan kepuasan pelanggan/nasabah, perbaikan dalam hal response time kepada
pelanggan/nasabah, peningkatan kerjasama, dan sebagainya.
2-21
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Pendahuluan
Berkaitan dengan evaluasi hingga Level 4 sekaligus perhitungan ROTI ini, Shelton
dan Alliger (1993) mengingatkan bahwa tidak semua jenis training perlu dievaluasi
hingga level tersebut. Langkah pertama yang harus dilakukan menurut mereka adalah
meyakini terlebih dahulu apakah memang training yang akan dievaluasi memiliki dampak
langsung terhadap business results perusahaan dan memang ditujukan untuk
meningkatkan kinerja perusahaan secara langsung. Jika tidak, maka evaluasi hingga
Level 4 dan perhitungan ROTI sesungguhnya tidak diperlukan. Setelah memastikan hal
tersebut, harus pula diyakini bahwa evaluasi Level 4 dan perhitungan ROTI tersebut
memang dapat dilakukan (doable) terkait dengan ketersediaan data, waktu, biaya, dan
terutama metode pengukuran kinerja usaha dari perusahaan yang bersangkutan.
Berdasarkan penelaahan terhadap berbagai pandangan para peneliti di atas maka
dapat dipahami bahwa pada dasarnya dimungkinkan untuk melakukan evaluasi suatu
training hingga ke perhitungan dampak finansialnya, antara lain dalam bentuk Return on
Training Investment. Dalam melakukan perhitungan dampak finansial training tersebut,
terdapat dua hal penting yang perlu dicermati, yaitu pertama perlunya dilakukan isolasi
atas faktor training dari faktor‐faktor lainnya agar perusahaan dapat meyakini seberapa
besar kontribusi training terhadap perubahan/peningkatan kinerja seseorang; dan kedua
kemampuan untuk mengkonversi data yang diperoleh ke dalam ukuran‐ukuran finansial.
Tahap isolasi faktor training dan tahap konversi data ini sekaligus menjawab keraguan
Kirkpatrick mengenai mungkin tidaknya perhitungan dampak finansial training dilakukan.
Tahap ROI paling sulit dilakukan. Tujuannya adalah untuk mengevaluasi nilai balik
modal dari pelaksanaan pelatihan. Dibutuhkan waktu, biaya dan analisis data yang
akurat untuk keberhasilan evaluasi ini.
Salah satu cara adalah mengisolasi pengaruh pelatihan, ada tiga strategi yang
dengan mudah diperhitungkan yaitu :
1. Perbandingan antara kelompok peserta dan kelompok bukan peserta. Kinerja
antara kelompok peserta pelatihan dapat diperbandingkan dengan kelompok lain
yang setara dan belum mendapatkan pelatihan. Contohnya, cara menjawab telepon
yang masuk dari kelompok resepsionis peserta pelatihan Sopan Santun Bertelepon
dibandingkan dengan kelompok yang belum mendapatkan pelatihan. Secara
kualitatif, cara menjawab yang lebih baik dapat disimpulkan disebabkan oleh
pelatihan tersebut.
2. Perbandingan antara sebelum dan sesudah pelatihan. Kinerja antara sebelum dan
sesudah pelatihan dari kelompok yang sama diperbandingkan. Contohnya,
penjualan retail sebelum pelatihan direct selling dibandingkan dengan penjualan
setelah pelatihan. Tentu saja analisis yang dilakukan juga perlu memperhatikan
tren kenaikan atau penurunan tanpa adanya pelatihan.
3. Estimasi peserta terhadap presentase pengaruh pelatihan. Inilah perhitungan yang
paling mudah dilakukan. Peserta pelatihan diminta untuk mengungkapkan berapa
2-22
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Pendahuluan
2-23
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Pendahuluan
tersebut dengan pertanyaan “bagaimana hasil kerja dari individu yang baru diberikan
pelatihan tersebut?”, dan “apakah ada peningkatan?” Inilah dilema organisasi yang
masih melihat tolok ukur kesuksesan pelatihan dari aspek ROI saja.
Pelatihan sudah memang seharusnya tidak terlepas dari program peningkatan
kinerja. Bahkan, organisasi berkelas seperti Microsoft, Virgin Group dan Sampoerna
mampu mengkaitkan program pelatihan dengan banyak hal seperti diversifikasi produk,
inovasi produk, perbaikan kualitas hingga supervisi. Maka dari itu untuk melihat sejauh
mana program pelatihan itu mencapai tujuannya berikut akan dijabarkan beberapa hal
yang perlu diperhatikan dalam evaluasi program pelatihan.
Pertama, melakukan tinjauan pada pra pelatihan dengan melihat hasil analisis
kebutuhan pelatihan. Semua organisasi dengan departmen HR sebagai kepanjangan
tangannya tentu sudah meramalkan kebutuhan pelatihan untuk masa yang akan datang.
Yang perlu digarisbawahi pada aktivitas ini adalah pemutakhiran data baik internal
maupun eksternal. Data internal seperti urgensi kebutuhan peningkatan keahlian
tertentu dari masing-masing departmen mutlak dibutuhkan, karena pada intinya
departmen terkaitlah yang tahu kebutuhan ini. Data eksternal seperti keadaan
persaingan usaha yang menuntut pelaku usaha untuk senantiasa meningkatkan
keterampilan karyawannya juga menjadi penentu, apakah memang dibutuhkan pelatihan
atau tidak. Kombinasi dari dua data ini diharapkan dapat memberikan gambaran
prioritas, pelatihan seperti apa dan untuk departmen apa sebenarnya program itu
dibutuhkan.
Kedua, pada proses pelatihan itu sendiri. Pada kegiatan pelatihan ini baik pihak
pengirim dan penyelengara pelatihan harus mampu mensinergikan tujuan pelatihan dari
masing-masing pihak. Hal ini bertujuan untuk mensinkronkan kebutuhan pelatihan
dengan proses learning yang nantinya akan menjadi bekal peserta pelatihan kelak jika
kembali ke organisasinya. Dengan hal ini diharapkan tidak ada materi yang under dan
over delivery. Artinya, demi menekan efesiensi biaya (baca: uang, waktu, tenaga), pihak
pengirim pelatihan harus mendapatkan keyakinan dari training provider akan cakupan
materi pelatihan serta relevansinya di dunia kerja. Form feedback yang diberikan oleh
penyedia jasa pelatihan di akhir sesi pelatihan bukan satu-satunya tolok ukur akan tepat
sasaranya program pelatihan tersebut, tapi justru pada mental dan willingness dari
peserta dalam mengikuti program pelatihan itu sendiri. Baik itu targeting lesson learned
dari training provider maupun learning requirement dari pengirim pelatihan harus
bertemu pada satu titik. Lebih lanjut apakah pelatihan tersebut diberikan dalam konteks
on the job training atau off the job training tidak menjadi masalah. Pada kegiatan pra-
pelatihanlah sebenarnya keputusan ini diambil. Tidak ada salah satu dari dua metode
tersebut yang paling baik maupun yang jelek, kembali kepada analisis kebutuhan serta
ketepatan dari program tersebut.
2-24
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Pendahuluan
2-25
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Pendahuluan
2-26
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Pendahuluan
3-2
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Pendahuluan
C. Tujuan Program
Program pelatihan dievaluasi pada tingkat yang berbeda seperti yang dijelaskan
secara singkat sebelumnya. Sesuai dengan tingkat evaluasi adalah tingkat tujuan:
- Tujuan Reaksi dan Kepuasan (1)
- Tujuan pembelajaran (2)
- Tujuan aplikasi (3)
- Tujuan dampak (4)
- Tujuan ROI (5)
Sebelum evaluasi ROI dimulai, tujuan program harus diidentifikasi atau
dikembangkan. Tujuan membentuk dasar untuk menentukan kedalaman evaluasi,
artinya mereka menentukan level apa evaluasi akan dilakukan. Secara historis, tujuan
pembelajaran dikembangkan secara rutin. Tujuan penerapan dan dampak tidak selalu
ada, tetapi diperlukan untuk fokus yang tepat pada hasil.
3-3
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Pendahuluan
Jika aplikasi dan tujuan dampak tidak tersedia, mereka harus dikembangkan,
menggunakan input dari beberapa kelompok seperti petahana pekerjaan, pengembang
program, fasilitator, dan pemimpin tim di tempat kerja.
Terikat sangat erat dengan menetapkan tujuan adalah waktu pengumpulan data.
Dalam beberapa kasus, pengukuran praprogram diambil untuk membandingkan dengan
tindakan pasca-program dan, dalam beberapa kasus, beberapa tindakan diambil. Dalam
situasi lain, pengukuran pra-program tidak tersedia dan tindak lanjut spesifik masih
dilakukan setelah program. Masalah penting dalam bagian proses ini adalah menentukan
waktu untuk evaluasi tindak lanjut. Sebagai contoh, sebuah maskapai besar memulai
pengumpulan data untuk evaluasi tiga minggu setelah program pelatihan keterampilan
layanan pelanggan. Dalam contoh lain, sebuah perusahaan Indonesia membutuhkan lima
tahun untuk mengukur pengembalian bagi karyawan yang menghadiri program MBA di
Amerika Serikat. Untuk sebagian besar pelatihan profesional dan pengawasan, tindak
lanjut biasanya dilakukan dalam rentang tiga hingga enam bulan.
3.1.2 Pengembangan Perencanaan Evaluasi
Untuk menyelesaikan proses perencanaan, tiga dokumen perencanaan sederhana
dikembangkan: Rencana Pengumpulan Data, Rencana Analisis ROI, dan Rencana Proyek.
Dokumen-dokumen ini harus diselesaikan sebelum proyek evaluasi dilaksanakan —
idealnya, sebelum program dirancang atau dikembangkan. Perhatian awal yang tepat
akan menghemat banyak waktu nanti ketika data benar-benar dikumpulkan.
Tabel 3.1 Contoh formulir pengumpulan data
3-4
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Pendahuluan
3-5
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Pendahuluan
dalam kasus ini.Tujuan ROI ditetapkan, jika perlu. Nilai ini, paling umum dinyatakan
sebagai persen, menentukan tingkat pengembalian minimum yang dapat diterima untuk
berinvestasi dalam program ini. Sponsor program atau individu yang meminta studi
dampak biasanya memberikan nilai. Dalam contoh ini, eksekutif toko regional
menetapkan angka pada 50%.
Rencana pengumpulan data adalah bagian penting dari strategi evaluasi dan harus
diselesaikan sebelum bergerak maju dengan program pelatihan. Untuk program
pelatihan yang ada, rencana tersebut diselesaikan sebelum melanjutkan studi dampak
ROI. Rencana tersebut memberikan arah yang jelas tentang jenis data apa yang akan
dikumpulkan, bagaimana data itu akan dikumpulkan, siapa yang akan memberikan data,
kapan akan dikumpulkan, dan siapa yang akan mengumpulkannya.
B. Rencana Analisis ROI
Gambar 3-4 menunjukkan rencana analisis ROI yang lengkap untuk program
keterampilan penjualan interaktif. Dokumen perencanaan ini merupakan kelanjutan dari
rencana pengumpulan data yang disajikan pada Gambar 3-3 dan menangkap informasi
tentang beberapa item utama yang diperlukan untuk mengembangkan perhitungan ROI
aktual.
Tabel 3.2 Contoh rencana analisis ROI
Di kolom pertama, item data signifikan dicantumkan, biasanya data dampak bisnis
Level 4, tetapi dalam beberapa kasus dapat mencakup item Level 3. Barang-barang ini
akan digunakan dalam analisis ROI. Metode untuk mengisolasi efek pelatihan terdaftar di
sebelah setiap item data di kolom kedua. Untuk sebagian besar kasus, metode ini akan
sama untuk setiap item data, tetapi mungkin ada variasi. Misalnya, jika tidak ada data
historis yang tersedia untuk satu item data, maka analisis garis tren tidak mungkin untuk
item tersebut, meskipun mungkin sesuai untuk item lainnya. Metode konversi data ke
nilai moneter termasuk dalam kolom ketiga, menggunakan salah satu dari sepuluh
strategi yang diuraikan sebelumnya.
3-6
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Pendahuluan
Kategori biaya yang akan ditangkap untuk program pelatihan diuraikan dalam
kolom keempat. Instruksi tentang bagaimana biaya tertentu harus diprioritaskan akan
dicatat di sini. Biasanya kategori biaya akan konsisten dari satu program ke program
lainnya. Namun, biaya spesifik yang unik untuk program ini juga akan dicatat. Manfaat
tidak berwujud yang diharapkan dari program ini diuraikan pada kolom kelima.
Daftar ini dihasilkan dari diskusi tentang program dengan sponsor dan pakar
subjek. Sasaran komunikasi diuraikan dalam kolom keenam. Meskipun mungkin ada
banyak kelompok yang harus menerima informasi, empat kelompok sasaran selalu
disarankan:
1. Grup manajemen senior (sponsor)
2. Manajer peserta
3. Peserta program
4. Pelatihan dan pengembangan staf
Keempat kelompok ini perlu tahu tentang hasil analisis ROI.
Terakhir, masalah atau peristiwa lain yang mungkin mempengaruhi implementasi
program akan disorot di kolom terakhir. Item khas termasuk kemampuan peserta,
tingkat akses ke sumber data, dan masalah analisis data yang unik.
Rencana analisis ROI, ketika dikombinasikan dengan rencana pengumpulan data,
memberikan informasi terperinci tentang penghitungan ROI, menggambarkan bagaimana
proses akan berkembang dari awal hingga akhir.
C. Rencana proyek
Rencana akhir yang dikembangkan untuk tahap perencanaan evaluasi adalah
rencana proyek. Rencana proyek terdiri dari deskripsi program dan detail singkat tentang
program, seperti durasi, target audiens, dan jumlah peserta. Ini juga menunjukkan garis
waktu proyek, dimulai dengan perencanaan penelitian hingga komunikasi hasil yang
terakhir. Rencana ini menjadi alat operasional untuk menjaga proyek tetap pada
jalurnya. Terkadang, tanggal akhir mendorong seluruh proses perencanaan. Sebagai
contoh, seorang eksekutif senior dapat meminta agar data seputar studi dampak
dikembangkan dan disajikan kepada tim senior pada tanggal tertentu. Dengan titik akhir
itu, semua tanggal lainnya ditambahkan. Alat perencanaan proyek yang tepat dapat
digunakan untuk mengembangkan rencana.
Secara kolektif, ketiga dokumen perencanaan ini (rencana pengumpulan data,
rencana analisis ROI, dan rencana proyek) memberikan arahan yang diperlukan untuk
studi dampak ROI. Sebagian besar keputusan mengenai proses dibuat saat alat
perencanaan ini dikembangkan. Sisa proyek menjadi proses metodis, sistematis untuk
mengimplementasikan rencana tersebut. Ini adalah langkah penting dalam metodologi
ROI, di mana waktu berharga yang dialokasikan untuk proses ini akan menghemat waktu
berharga nanti.
3-7
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Pendahuluan
D. Bawahan Peserta
Dalam situasi di mana penyelia dan manajer dilatih, laporan langsung mereka
dapat memberikan informasi tentang perubahan yang dirasakan dalam perilaku yang
dapat diamati yang telah terjadi sejak program dilaksanakan. Input dari bawahan sesuai
untuk data Level 3 (perilaku) tetapi tidak Level 4. Sementara mengumpulkan data dari
sumber ini bisa sangat membantu dan instruktif, sering kali dihindari karena potensi bias
yang dapat masuk ke dalam proses umpan balik.
E. Rekan Sejawat
Individu-individu yang melayani sebagai anggota tim dengan peserta atau
menempati posisi tingkat sebaya dalam organisasi adalah sumber data lain untuk
beberapa jenis program. Dalam situasi ini, anggota kelompok sebaya memberikan
masukan tentang perubahan perilaku yang dirasakan dari peserta (data Level 3). Sumber
data ini lebih tepat ketika semua anggota tim berpartisipasi dalam program, dan
akibatnya, ketika mereka melaporkan upaya kolektif kelompok atau perubahan perilaku
individu tertentu. Karena sifat subjektif dari proses ini, dan kurangnya kesempatan untuk
sepenuhnya mengevaluasi penerapan keterampilan, sumber data ini agak terbatas.
F. Grup Internal / Eksternal
Dalam beberapa situasi, kelompok internal atau eksternal, seperti staf pelatihan
dan pengembangan, fasilitator program, pengamat ahli, atau konsultan eksternal, dapat
memberikan masukan pada keberhasilan individu ketika mereka belajar dan menerapkan
keterampilan dan pengetahuan yang tercakup dalam program. Kadang-kadang pengamat
atau penilai ahli dapat digunakan untuk mengukur pembelajaran (data Level 2). Sumber
ini mungkin berguna untuk pengamatan di tempat kerja (data Level 3) setelah program
pelatihan selesai. Mengumpulkan data dari sumber ini memiliki kegunaan yang terbatas.
Karena kelompok internal mungkin memiliki kepentingan dalam hasil evaluasi, masukan
mereka mungkin kehilangan kredibilitas.
A. Jenis-jenis Kuesioner
Selain jenis data yang dicari, jenis pertanyaan membedakan survei dari kuesioner.
Survei dapat memiliki jawaban ya atau tidak ketika persetujuan atau ketidaksepakatan
mutlak diperlukan, atau serangkaian tanggapan dapat digunakan dari sangat tidak setuju
hingga sangat setuju. Skala titik fokus sangat umum.
Kuisioner dapat berisi salah satu atau semua jenis pertanyaan ini:
Pertanyaan terbuka: memiliki jawaban yang tidak terbatas. Pertanyaan ini diikuti
oleh ruang kosong yang cukup untuk tanggapan.
Checklist: memberikan daftar item di mana peserta diminta untuk memeriksa
item yang berlaku dalam situasi tersebut.
Pertanyaan dua arah: memiliki respons alternatif, jawaban ya / tidak atau
kemungkinan lain.
Pertanyaan pilihan ganda: ada beberapa pilihan, dan peserta diminta untuk
memilih yang paling sesuai.
Skala peringkat: mengharuskan peserta untuk membuat peringkat daftar item.
B. Langkah-langkah Desain Kuesioner
Desain kuesioner adalah proses yang sederhana dan logis. Tidak ada yang lebih
membingungkan, membuat frustrasi, dan berpotensi memalukan selain kuesioner yang
dirancang dengan buruk atau tidak tepat. Langkah-langkah berikut dapat memastikan
bahwa instrumen yang valid, andal, dan efektif dikembangkan (Robson, 2002).
Tentukan informasi spesifik yang dibutuhkan. Sebagai langkah pertama dalam
desain kuesioner, topik, keterampilan, atau sikap yang disajikan dalam program
ditinjau untuk item potensial untuk kuesioner. Terkadang sangat membantu untuk
mengembangkan informasi ini dalam bentuk garis besar sehingga pertanyaan
atau item terkait dapat dikelompokkan. Masalah-masalah lain yang terkait dengan
penerapan program ini dieksplorasi untuk dimasukkan dalam kuesioner.
Libatkan manajemen dalam proses. Sedapat mungkin, manajemen harus terlibat
dalam proses ini, baik sebagai klien, sponsor, pendukung, atau pihak yang
berkepentingan. Jika memungkinkan, manajer yang paling akrab dengan program
atau proses harus memberikan informasi tentang isu-isu spesifik dan masalah
yang sering membingkai pertanyaan aktual yang direncanakan untuk kuesioner.
Dalam beberapa kasus, manajer ingin memberikan masukan tentang masalah
atau item tertentu. Input manajer tidak hanya bermanfaat dan berguna dalam
desain kuesioner, tetapi juga membangun kepemilikan dalam proses pengukuran
dan evaluasi.
Pilih jenis pertanyaan. Dengan menggunakan lima jenis pertanyaan yang
disebutkan sebelumnya, langkah pertama dalam desain kuesioner adalah memilih
jenis yang akan menghasilkan data spesifik terbaik yang dibutuhkan. Analisis data
3-10
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Pendahuluan
3-11
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Pendahuluan
Kembangkan kuesioner yang telah diisi dan siapkan ringkasan data. Pertanyaan-
pertanyaan harus diintegrasikan untuk mengembangkan kuesioner yang menarik
dengan instruksi yang tepat sehingga dapat diberikan secara efektif. Selain itu,
lembar ringkasan harus dikembangkan sehingga data dapat ditabulasi dengan
cepat untuk analisis.
mereka memilih untuk mengabaikan masalah tersebut, berharap bahwa itu tidak akan
diperhatikan oleh sponsor. Tak satu pun dari tanggapan ini dapat diterima oleh tim
manajemen senior yang berusaha memahami hubungan antara pelatihan dan
kesuksesan bisnis. Estimasi kredibel yang disesuaikan dengan kesalahan akan sering
memenuhi persyaratan mereka.
Poin penting adalah untuk selalu mengatasi masalah ini, bahkan jika estimasi ahli
digunakan dengan penyesuaian kesalahan. Dengan cara ini, masalah mengisolasi efek
pelatihan menjadi langkah penting dalam analisis. Dengan demikian, prinsip pedoman
ditetapkan pada masalah ini.
Sebagai langkah pertama dalam mengisolasi dampak pelatihan terhadap kinerja,
semua faktor kunci yang mungkin berkontribusi pada peningkatan kinerja harus
diidentifikasi. Langkah ini mengungkapkan faktor-faktor lain yang mungkin telah
mempengaruhi hasil, menggarisbawahi bahwa program pelatihan bukan satu-satunya
sumber peningkatan. Akibatnya, kredit untuk perbaikan dibagi dengan beberapa variabel
dan sumber yang mungkin, suatu pendekatan yang cenderung mendapatkan rasa
hormat dari manajemen.
Beberapa sumber potensial mengidentifikasi variabel-variabel pengaruh utama.
Sponsor mungkin dapat mengidentifikasi faktor-faktor yang harus mempengaruhi ukuran
output jika mereka telah meminta program. Klien biasanya akan menyadari inisiatif atau
program lain yang dapat mempengaruhi hasil. Bahkan jika program itu operasional, klien
mungkin memiliki banyak wawasan tentang pengaruh-pengaruh lain yang mungkin telah
mendorong peningkatan kinerja.
Peserta program sering menyadari pengaruh lain yang mungkin menyebabkan
peningkatan kinerja. Bagaimanapun, ini adalah dampak dari upaya kolektif mereka yang
dipantau dan diukur. Dalam banyak situasi, mereka menyaksikan gerakan sebelumnya
dalam ukuran kinerja dan dapat menunjukkan alasan untuk perubahan. Mereka biasanya
ahli dalam masalah ini.
Analis dan pengembang program adalah sumber lain untuk mengidentifikasi
variabel yang berdampak pada hasil. Analisis kebutuhan akan secara rutin mengungkap
variabel-variabel yang berpengaruh ini. Desainer program biasanya menganalisis
variabel-variabel ini saat menangani masalah transfer pelatihan.
Dalam beberapa situasi, pengawas peserta mungkin dapat mengidentifikasi variabel
yang mempengaruhi peningkatan kinerja. Ini sangat berguna ketika peserta program
pelatihan adalah karyawan tingkat pemula atau rendah (operatif) yang mungkin tidak
sepenuhnya sadar akan variabel yang dapat memengaruhi kinerja.
Akhirnya, manajemen menengah dan atas mungkin dapat mengidentifikasi
pengaruh lain, berdasarkan pengalaman dan pengetahuan mereka tentang situasi
tersebut. Mungkin mereka telah memantau, memeriksa, dan menganalisis pengaruh
lainnya.
3-13
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Pendahuluan
3-15
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Pendahuluan
pelatihan, tidak pantas untuk menahan pelatihan dari satu kelompok tertentu sementara
pelatihan diberikan kepada yang lain. Ini sangat penting untuk keterampilan kritis yang
diperlukan segera di tempat kerja. Misalnya, dalam pelatihan tingkat pemula, karyawan
membutuhkan keterampilan dasar untuk melakukan pekerjaan mereka. Tidaklah pantas
untuk menahan pelatihan dari sekelompok karyawan baru hanya agar mereka dapat
dibandingkan dengan kelompok yang menerima pelatihan. Meskipun ini akan
mengungkapkan dampak dari pelatihan awal, itu akan menghancurkan bagi orang-orang
yang berjuang untuk mempelajari keterampilan yang diperlukan, berusaha untuk
mengatasi situasi pekerjaan. Dalam contoh sebelumnya, kelompok kontrol layak.
Pelatihan yang diberikan belum tentu penting untuk pekerjaan itu dan organisasi tidak
sepenuhnya yakin bahwa itu akan menambah nilai dalam hal penjualan aktual.
Rintangan khusus ini membuat banyak kelompok kontrol tidak diimplementasikan.
Manajemen tidak mau menahan pelatihan di satu bidang untuk melihat bagaimana
kerjanya di tempat lain. Namun, dalam praktiknya, ada banyak peluang untuk
kesepakatan kelompok kontrol alami untuk berkembang dalam situasi di mana pelatihan
dilaksanakan di seluruh organisasi. Jika perlu beberapa bulan bagi semua orang di
organisasi untuk menerima pelatihan, mungkin ada cukup waktu untuk perbandingan
paralel antara kelompok awal yang dilatih dan kelompok terakhir yang dilatih. Dalam
kasus-kasus ini, sangat penting untuk memastikan bahwa kelompok-kelompok tersebut
dicocokkan sedekat mungkin sehingga dua kelompok pertama sangat mirip dengan dua
kelompok terakhir. Kelompok kontrol yang terjadi secara alami ini sering ada dalam
implementasi program pelatihan utama. Tantangannya adalah untuk mengatasi masalah
ini cukup awal untuk mempengaruhi jadwal implementasi sehingga kelompok serupa
dapat digunakan dalam perbandingan.
Masalah besar kedua adalah pemilihan kelompok. Dari perspektif praktis, hampir
tidak mungkin untuk memiliki kontrol yang sama dan kelompok eksperimen. Lusinan
faktor dapat memengaruhi kinerja karyawan, beberapa di antaranya individu dan lainnya
kontekstual. Untuk mengatasi masalah ini secara praktis, yang terbaik adalah memilih
tiga hingga lima variabel yang akan memiliki pengaruh terbesar pada kinerja. Sebagai
contoh, dalam program keterampilan penjualan interaktif dalam rantai toko ritel, tiga
kelompok dilatih dan penampilan mereka dibandingkan dengan tiga kelompok serupa,
yang merupakan kelompok kontrol (Phillips dan Phillips, 2001). Pemilihan kelompok
tertentu didasarkan pada empat variabel yang menurut eksekutif toko akan
mempengaruhi kinerja paling besar dari satu toko ke toko lainnya: kinerja penjualan
sebelumnya, area pasar aktual, ukuran toko, dan lalu lintas pelanggan.
Dalam contoh ini, ada lusinan variabel yang dapat memengaruhi kinerja toko, mulai
dari perbedaan individu (misalnya, pengalaman penjualan, pendidikan, dan masa kerja)
hingga perbedaan manajerial dan kepemimpinan di dalam departemen dan toko
3-16
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Pendahuluan
(misalnya, gaya kepemimpinan dan kontrol manajerial) , serta kebijakan dalam toko
tentang perdagangan dan pemasaran.
Mungkin perbedaan yang paling terjadi secara eksternal dengan area pasar dan
persaingan di sekitarnya. Tantangannya adalah untuk mengambil pendekatan yang
realistis dan untuk mengatasi sejumlah langkah yang masuk akal. Dalam contoh ini,
eksekutif toko regional memilih empat ukuran yang mungkin paling tidak 80% dari
perbedaan. Dengan demikian, menggunakan aturan 80-20, tantangan memilih kelompok
dapat dikelola. Ketika output dapat dipengaruhi oleh sebanyak 40-50 tindakan, hampir
tidak mungkin untuk mempertimbangkan semua tindakan dengan ukuran sampel toko
420. Dengan demikian, penggunaan praktis dari kelompok kontrol harus
mempertimbangkan kendala dalam pekerjaan. pengaturan dan fokus pada pengaruh
paling penting, selain pelatihan, yang akan membuat perbedaan dalam ukuran output.
Masalah ketiga dengan pengaturan kelompok kontrol adalah kontaminasi, yang
dapat berkembang ketika peserta dalam program pelatihan mengajar orang lain dalam
kelompok kontrol. Kadang-kadang situasi sebaliknya terjadi ketika anggota kelompok
kontrol memodelkan perilaku dari kelompok yang terlatih. Dalam kedua kasus,
percobaan menjadi terkontaminasi karena pengaruh filter pelatihan ke kelompok kontrol.
Ini dapat diminimalkan dengan memastikan bahwa kelompok kontrol dan kelompok
eksperimen berada di lokasi yang berbeda, memiliki shift yang berbeda, atau berada di
lantai yang berbeda di gedung yang sama. Ketika hal ini tidak memungkinkan, kadang-
kadang bermanfaat untuk menjelaskan kepada kedua kelompok bahwa satu kelompok
akan menerima pelatihan sekarang dan yang lain akan menerima pelatihan di kemudian
hari. Juga, mungkin bermanfaat untuk memohon rasa tanggung jawab dari mereka yang
dilatih dan meminta mereka untuk tidak membagikan informasi tersebut kepada orang
lain.
Terkait erat dengan masalah sebelumnya adalah masalah waktu. Semakin lama
kelompok kontrol dan kelompok eksperimen beroperasi, kemungkinan pengaruh lain
untuk mempengaruhi hasil meningkat. Lebih banyak variabel akan masuk ke dalam
situasi, mencemari hasil. Di ujung lain skala, harus ada cukup waktu sehingga pola yang
jelas dapat muncul di antara kedua kelompok. Dengan demikian, waktu untuk
perbandingan kelompok kontrol harus mencapai keseimbangan menunggu yang cukup
lama untuk menunjukkan perbedaan kinerja mereka, tetapi tidak terlalu lama sehingga
hasilnya menjadi sangat terkontaminasi.
Masalah kelima terjadi ketika berbagai kelompok berfungsi di bawah pengaruh
lingkungan yang berbeda. Karena mereka mungkin berada di lokasi yang berbeda,
kelompok tersebut mungkin memiliki pengaruh lingkungan yang berbeda. Kadang-
kadang pemilihan kelompok dapat membantu mencegah masalah ini terjadi. Juga,
menggunakan lebih banyak kelompok daripada yang diperlukan dan membuang mereka
dengan beberapa perbedaan lingkungan adalah taktik lain. Masalah keenam dengan
3-17
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Pendahuluan
menggunakan kelompok kontrol adalah bahwa hal itu mungkin tampak terlalu
berorientasi pada penelitian untuk sebagian besar organisasi bisnis. Misalnya,
manajemen mungkin tidak ingin meluangkan waktu untuk bereksperimen sebelum
melanjutkan dengan program atau mereka mungkin tidak ingin menahan pelatihan dari
suatu kelompok hanya untuk mengukur dampak dari program eksperimental. Karena
keprihatinan ini, beberapa praktisi pembela HAM tidak menyukai gagasan menggunakan
kelompok kontrol. Namun ketika proses ini digunakan, beberapa organisasi melakukan
itu dengan peserta uji coba sebagai kelompok eksperimen dan bukan peserta sebagai
kelompok kontrol. Di bawah pengaturan ini, kelompok kontrol tidak diberitahu tentang
status kelompok kontrol mereka.
Karena ini adalah pendekatan yang efektif untuk mengisolasi dampak pelatihan, itu
harus dianggap sebagai strategi ketika studi dampak ROI utama direncanakan. Dalam
situasi ini, penting agar dampak program diisolasi ke tingkat akurasi yang tinggi;
keuntungan utama dari proses kelompok kontrol adalah akurasi. Sekitar sepertiga dari
lebih dari 100 studi yang dipublikasikan tentang metodologi ROI menggunakan proses
kelompok kontrol.
B. Trend Line Analysis
Teknik lain yang bermanfaat untuk memperkirakan dampak pelatihan adalah
analisis garis tren. Dengan pendekatan ini, garis tren ditarik, menggunakan kinerja
sebelumnya sebagai basis, dan memperluas tren ke masa depan.
Ketika pelatihan dilakukan, kinerja aktual dibandingkan dengan nilai yang
diproyeksikan, garis tren. Setiap peningkatan kinerja melebihi apa yang diprediksi garis
tren kemudian dapat secara wajar dikaitkan dengan pelatihan, jika dua kondisi
terpenuhi:
1. Tren yang telah berkembang sebelum program diharapkan akan berlanjut jika
program belum dilaksanakan untuk mengubahnya (yaitu, jika program
pelatihan belum dilaksanakan, apakah tren ini akan berlanjut pada jalur yang
sama yang ditetapkan sebelum pelatihan? ). Pemilik proses harus dapat
memberikan masukan untuk mencapai kesimpulan ini. Jika jawabannya "tidak,"
analisis garis tren tidak akan digunakan. Jika jawabannya "ya," kondisi kedua
dipertimbangkan.
2. Tidak ada variabel atau pengaruh baru lainnya memasuki proses setelah
pelatihan dilakukan. Kata kuncinya adalah "baru," menyadari bahwa tren telah
ditetapkan karena pengaruh sudah ada, dan tidak ada pengaruh tambahan
memasuki proses di luar program pelatihan dan pengembangan. Jika
jawabannya "ya," metode lain harus digunakan. Jika jawabannya “tidak,”
analisis garis tren mengembangkan perkiraan yang masuk akal dari dampak
pelatihan.
3-18
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Pendahuluan
Gambar 3-6 menunjukkan contoh analisis garis tren ini yang diambil dari
departemen pengiriman dalam operasi gudang. Persentase tersebut mencerminkan
tingkat pengiriman aktual dibandingkan dengan pengiriman terjadwal. Data disajikan
sebelum dan sesudah program pelatihan tim, yang dilakukan pada bulan Juli. Seperti
yang ditunjukkan pada gambar, ada tren naik pada data sebelum melakukan pelatihan.
Meskipun program tersebut ternyata memiliki efek dramatis pada produktivitas
pengiriman, garis tren menunjukkan bahwa perbaikan akan terus berlanjut, berdasarkan
tren yang sebelumnya telah ditetapkan. Sangat menggoda untuk mengukur peningkatan
dengan membandingkan rata-rata pengiriman enam bulan sebelum program (87,3%)
dengan rata-rata enam bulan setelah program (94,4%) menghasilkan perbedaan 6,9%.
Namun, perbandingan yang lebih akurat adalah rata-rata enam bulan setelah program
dibandingkan dengan garis tren (92,3%).
Dalam contoh ini, perbedaannya adalah 2,1%. Dalam hal ini, dua kondisi yang
diuraikan di atas terpenuhi (ya pada yang pertama; tidak pada yang kedua). Dengan
demikian, menggunakan ukuran yang lebih sederhana ini meningkatkan akurasi dan
kredibilitas proses untuk mengisolasi dampak program.
Data pra-program harus tersedia sebelum teknik ini dapat digunakan dan data
harus memiliki tingkat stabilitas yang wajar. Jika varians data tinggi, stabilitas garis tren
menjadi masalah. Jika ini adalah masalah yang sangat kritis dan stabilitas tidak dapat
dinilai dari plot langsung data, analisis statistik yang lebih rinci dapat digunakan untuk
menentukan apakah data cukup stabil untuk membuat proyeksi (Salkind, 2000).
Garis tren, diproyeksikan langsung dari data historis menggunakan garis lurus,
mungkin dapat diterima. Jika akurasi tambahan diperlukan, garis tren dapat
diproyeksikan dengan rutin sederhana, tersedia di banyak kalkulator dan paket
perangkat lunak, seperti Microsoft Excel.
3-19
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Pendahuluan
Gambar 3.5 Contoh Trend Line dalam hal Komplain di sebuah Rumah Sakit
Penggunaan analisis garis tren menjadi lebih dramatis dan meyakinkan ketika suatu
tindakan, bergerak ke arah yang tidak diinginkan, sepenuhnya berbalik dengan program
pelatihan. Misalnya, Gambar 3-7 menunjukkan garis tren keluhan pelecehan seksual
dalam rantai rumah sakit besar (Phillips dan Hill, 2001). Seperti yang ditunjukkan oleh
gambar, keluhan meningkat ke arah yang tidak diinginkan oleh organisasi. Lokakarya
dan kegiatan-kegiatan selanjutnya yang berhubungan dengan program membalikkan
situasi sehingga hasil yang sebenarnya ada di arah lain. Proses garis tren menunjukkan
kapan peningkatan dramatis telah terjadi. Nilai proyeksi garis tren menunjukkan angka
yang jauh lebih tinggi daripada hasil aktual dan perbedaan pra-program dan pasca-
program.
Kerugian utama dari pendekatan garis tren ini adalah tidak selalu akurat.
Penggunaan pendekatan ini mengasumsikan bahwa peristiwa-peristiwa yang
mempengaruhi variabel kinerja sebelum program masih ada setelah program, kecuali
untuk pelaksanaan program pelatihan (yaitu, tren yang didirikan sebelum pelatihan akan
berlanjut pada saat yang sama. arah relatif). Juga, diasumsikan bahwa tidak ada
pengaruh baru memasuki situasi pada saat pelatihan dilakukan. Ini jarang terjadi.
Keuntungan utama dari pendekatan ini adalah sederhana dan murah. Jika data
historis tersedia, garis tren dapat dengan cepat ditarik dan perbedaan diperkirakan.
Meskipun tidak tepat, ini memberikan penilaian yang sangat cepat tentang dampak
potensial pelatihan. Sekitar 15% dari lebih dari 100 studi yang dipublikasikan tentang
metodologi ROI menggunakan teknik analisis garis tren. Ketika variabel lain memasuki
situasi, analisis tambahan diperlukan.
3-20
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Pendahuluan
C. Forecasting Methods
Pendekatan yang lebih analitis untuk analisis garis tren adalah penggunaan metode
peramalan yang memprediksi perubahan variabel kinerja. Pendekatan ini merupakan
interpretasi matematis dari analisis garis tren yang dibahas di atas ketika variabel lain
memasuki situasi pada saat pelatihan. Premis dasarnya adalah bahwa kinerja aktual
suatu tindakan, terkait dengan pelatihan, dibandingkan dengan nilai perkiraan ukuran
itu. Nilai perkiraan didasarkan pada pengaruh lainnya. Model linier, dalam bentuk y = a x
+ b, sesuai ketika hanya satu variabel lain yang mempengaruhi kinerja output dan
hubungan itu ditandai oleh garis lurus. Alih-alih menggambar garis lurus, persamaan
linear dikembangkan, yang menghitung nilai peningkatan kinerja yang diantisipasi.
Contoh akan membantu menjelaskan penerapan proses ini. Rantai toko ritel besar
dengan budaya penjualan yang kuat menerapkan program pelatihan penjualan untuk
rekanan penjualan. Program tiga hari dirancang untuk meningkatkan keterampilan
penjualan dan teknik pencarian calon pelanggan. Penerapan keterampilan harus
meningkatkan volume penjualan untuk setiap karyawan.
Ukuran penting dari kesuksesan program adalah penjualan per karyawan enam
bulan setelah program dibandingkan dengan ukuran yang sama sebelum program.
Penjualan harian rata-rata per karyawan sebelum pelatihan, menggunakan rata-rata satu
bulan, adalah $ 1.100 (dibulatkan ke $ 100 terdekat). Enam bulan setelah program,
rata-rata penjualan harian per karyawan adalah $ 1500 (bulan keenam). Kedua angka
penjualan ini adalah nilai rata-rata untuk kelompok peserta tertentu. Dua pertanyaan
terkait harus dijawab: Apakah perbedaan dalam dua nilai ini disebabkan oleh program
pelatihan? Apakah faktor-faktor lain memengaruhi tingkat penjualan aktual?
Setelah meninjau faktor-faktor yang berpotensi mempengaruhi dengan beberapa
eksekutif toko, hanya satu faktor, tingkat periklanan, yang tampaknya telah berubah
secara signifikan selama periode yang dipertimbangkan. Saat meninjau penjualan
sebelumnya per data karyawan dan tingkat iklan, hubungan langsung tampaknya ada.
Seperti yang diharapkan, ketika pengeluaran iklan meningkat, penjualan per karyawan
meningkat secara proporsional.
3-21
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Pendahuluan
Staf iklan telah mengembangkan hubungan matematis antara iklan dan penjualan.
Menggunakan nilai historis, model linier sederhana menghasilkan hubungan berikut: y =
140 + 40x, di mana y adalah penjualan harian per karyawan dan x adalah tingkat
pengeluaran iklan per minggu (dibagi dengan 1000). Persamaan ini dikembangkan oleh
departemen pemasaran menggunakan metode kuadrat terkecil untuk memperoleh
hubungan matematis antara dua kolom data (yaitu, iklan dan penjualan). Ini adalah opsi
rutin pada beberapa kalkulator dan termasuk dalam banyak paket perangkat lunak.
Gambar 3-8 menunjukkan hubungan linear antara iklan dan penjualan.
Tingkat pengeluaran iklan mingguan pada bulan sebelum pelatihan adalah $ 24.000
dan tingkat pengeluaran pada bulan keenam setelah pelatihan adalah $ 30.000. Dengan
asumsi bahwa faktor-faktor lain yang mungkin mempengaruhi penjualan tidak signifikan,
eksekutif toko menentukan dampak dari iklan dengan memasukkan jumlah pengeluaran
iklan baru, 30, untuk x dan menghitung penjualan harian, yang menghasilkan $ 1340.
Dengan demikian, tingkat penjualan baru yang disebabkan oleh peningkatan iklan adalah
$ 1.340, seperti yang ditunjukkan pada Gambar 3-8. Karena nilai aktual yang baru
adalah $ 1500, maka $ 160 (mis., 1500 –1340) harus dikaitkan dengan program
pelatihan. Efek dari pelatihan dan periklanan ditunjukkan pada gambar.
Kerugian utama dengan pendekatan ini terjadi ketika beberapa variabel memasuki
proses. Kompleksitasnya berlipat ganda dan penggunaan paket statistik canggih untuk
analisis beragam variabel diperlukan. Meski begitu, kecocokan data dengan model
mungkin tidak dimungkinkan. Sayangnya, beberapa organisasi belum mengembangkan
hubungan matematis untuk variabel output sebagai fungsi dari satu atau lebih input.
Tanpa mereka, metode peramalan sulit digunakan.
Keuntungan utama dari proses ini adalah dapat secara akurat memprediksi ukuran
kinerja bisnis tanpa pelatihan, jika tersedia data dan model yang sesuai. Penyajian
metode spesifik berada di luar cakupan buku ini dan terkandung dalam karya-karya lain
(Armstrong, 2001). Sekitar 5% dari studi yang dipublikasikan tentang metodologi ROI
menggunakan teknik peramalan.
D. Participant Estimate
Metode yang mudah diterapkan untuk mengisolasi dampak pelatihan adalah
dengan memperoleh informasi langsung dari peserta program. Efektivitas pendekatan ini
bertumpu pada asumsi bahwa peserta mampu menentukan atau memperkirakan
seberapa besar peningkatan kinerja terkait dengan program pelatihan. Karena tindakan
mereka telah menghasilkan peningkatan, peserta mungkin memiliki masukan yang
sangat akurat tentang masalah ini.
Mereka harus tahu berapa banyak perubahan yang disebabkan oleh penerapan apa
yang telah mereka pelajari dalam program. Meskipun merupakan perkiraan, nilai ini
biasanya akan memiliki kredibilitas dengan manajemen karena peserta berada di pusat
perubahan atau peningkatan.
3-22
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Pendahuluan
3-23
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Pendahuluan
Data keras mewakili output, kualitas, biaya, dan waktu proses terkait pekerjaan.
Tabel 3-1 menunjukkan contoh data keras tipikal di bawah empat kategori ini. Hampir
setiap departemen atau unit akan memiliki ukuran kinerja data keras. Misalnya, kantor
pemerintah yang menyetujui aplikasi untuk visa kerja di negara asing akan memiliki
empat ukuran ini di antara pengukuran kinerja keseluruhan: jumlah aplikasi yang
diproses (Output), biaya per aplikasi yang diproses (Biaya), jumlah kesalahan yang
dibuat aplikasi pemrosesan (Kualitas), dan waktu yang diperlukan untuk memproses dan
menyetujui aplikasi (Waktu). Idealnya, program pelatihan untuk karyawan di unit ini
harus dikaitkan dengan satu atau lebih ukuran data keras.
Karena banyak program pelatihan dirancang untuk mengembangkan keterampilan
lunak, data lunak diperlukan dalam evaluasi. Data lunak biasanya subyektif, kadang sulit
diukur, hampir selalu sulit dikonversikan ke nilai moneter, dan berorientasi perilaku. Jika
dibandingkan dengan data keras, data lunak biasanya kurang kredibel sebagai ukuran
kinerja. Pengukuran data lunak mungkin atau tidak dapat dikonversi ke nilai moneter.
Item data lunak dapat dikelompokkan ke dalam beberapa kategori; Tabel 3-2
menunjukkan satu pengelompokan seperti itu. Ukuran seperti pergantian karyawan,
absensi, dan keluhan muncul sebagai item data lunak, bukan karena mereka sulit untuk
diukur, tetapi karena sulit untuk secara akurat mengubahnya menjadi nilai moneter.
Tabel 3.4 Contoh Data Lunak (Soft Data)
3-24
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Pendahuluan
disediakan, atau penjualan yang disempurnakan. Ukuran waktu bervariasi dan termasuk
item seperti waktu untuk menyelesaikan proyek, waktu siklus, atau waktu respons
pelanggan.
Unit ini biasanya dinyatakan sebagai menit, jam, atau hari. Kualitas adalah ukuran
umum, dan unit mungkin satu kesalahan, menolak, cacat, atau mengolah item. Ukuran
data lunak bervariasi, dan unit perbaikan dapat mencakup item seperti keluhan,
ketidakhadiran, statistik turnover karyawan, atau perubahan satu titik dalam indeks
kepuasan pelanggan. Tentukan nilai setiap unit. Tempatkan nilai (V) pada unit yang
diidentifikasi pada langkah pertama. Untuk ukuran produksi, kualitas, biaya, dan waktu,
prosesnya relatif mudah. Sebagian besar organisasi memiliki catatan atau laporan yang
mencerminkan nilai barang seperti satu unit produksi atau biaya cacat. Data lunak lebih
sulit untuk dikonversi ke nilai, karena biaya satu ketidakhadiran, satu keluhan, atau
perubahan satu titik dalam survei sikap karyawan seringkali sulit untuk ditentukan.
Teknik dalam bab ini menyediakan berbagai kemungkinan untuk melakukan konversi ini.
Ketika lebih dari satu nilai tersedia, nilai yang paling kredibel atau terendah digunakan.
Hitung perubahan dalam data kinerja. Perubahan data output dikembangkan
setelah efek pelatihan diisolasi dari pengaruh lain. Perubahan (DP) adalah peningkatan
kinerja, diukur sebagai data keras atau lunak, yang secara langsung dikaitkan dengan
program pelatihan. Nilai tersebut dapat mewakili peningkatan kinerja untuk individu, tim,
grup, atau beberapa grup peserta.
Tentukan jumlah tahunan untuk perubahan. Tahunankan nilai DP untuk
mengembangkan perubahan total dalam data kinerja selama satu tahun. Menggunakan
satu tahun telah menjadi pendekatan standar dengan banyak organisasi yang ingin
menangkap manfaat total dari program pelatihan. Meskipun manfaatnya mungkin tidak
direalisasikan pada tingkat yang sama untuk satu tahun penuh, beberapa program akan
terus menghasilkan manfaat di luar satu tahun. Dalam beberapa kasus, aliran manfaat
mungkin memerlukan beberapa tahun. Namun, menggunakan manfaat satu tahun
dianggap sebagai pendekatan konservatif untuk solusi jangka pendek (kebanyakan
pelatihan tentang inisiatif peningkatan kinerja adalah solusi jangka pendek). Untuk solusi
jangka panjang, periode yang lebih lama, tetapi konservatif digunakan. Kerangka waktu
ditetapkan sebelum studi dimulai. Ini mengarah pada prinsip panduan: Hanya manfaat
pada tahun pertama yang sebaiknya digunakan dalam analisis ROI untuk
proyek/ inisiatif jangka pendek.
Hitung nilai total peningkatan. Kembangkan nilai total peningkatan dengan
mengalikan perubahan kinerja tahunan (DP) dengan nilai unit (V) untuk grup lengkap
yang dimaksud. Misalnya, jika satu kelompok peserta untuk suatu program sedang
dievaluasi, nilai total akan mencakup peningkatan total untuk semua peserta dalam
kelompok. Nilai manfaat program tahunan ini kemudian dibandingkan dengan biaya
program, biasanya melalui pengembalian formula investasi
3-25
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Pendahuluan
3-26
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Pendahuluan
Tidak semua tindakan termasuk dalam kategori nyata. Dengan desain, beberapa
tindakan ditangkap dan dilaporkan sebagai tindakan tidak berwujud. Meskipun mereka
mungkin tidak dianggap sama berharganya dengan langkah-langkah yang dikonversi ke
nilai moneter, tindakan tidak berwujud sangat penting untuk keberhasilan keseluruhan
organisasi (Oxman, 2002). Dalam beberapa program, seperti pelatihan keterampilan
interpersonal, pengembangan tim, kepemimpinan, pelatihan komunikasi, dan
pengembangan manajemen, manfaat tidak berwujud (nonmoneter) dapat lebih penting
daripada tindakan nyata (moneter). Akibatnya, langkah-langkah ini harus dipantau dan
dilaporkan sebagai bagian dari evaluasi keseluruhan. Dalam praktiknya, setiap proyek
atau program, terlepas dari sifat, ruang lingkup, dan kontennya, akan memiliki ukuran
tidak berwujud yang terkait dengannya (Fitz-enz, 2001). Tantangannya adalah
mengidentifikasi dan melaporkannya secara efisien.
Mungkin langkah pertama untuk memahami intangible adalah dengan jelas
mendefinisikan perbedaan antara aset berwujud dan tidak berwujud dalam organisasi
bisnis. Seperti yang disajikan pada Tabel 3-4, aset berwujud diperlukan untuk operasi
bisnis dan mudah terlihat, dikuantifikasi secara ketat, dan direpresentasikan sebagai item
baris pada neraca (Saint-Onge, 2000). Aset tidak berwujud adalah kunci untuk
keunggulan kompetitif di era pengetahuan dan tidak terlihat, sulit untuk diukur, dan
tidak dilacak melalui praktik akuntansi tradisional. Dengan perbedaan ini, lebih mudah
untuk memahami mengapa tindakan tidak berwujud sulit dikonversi ke nilai moneter.
3-27
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Pendahuluan
Perbedaan lain antara tangible dan intangible adalah konsep hard data versus soft
data. Konsep ini, yang telah dibahas sebelumnya, mungkin lebih dikenal oleh para
praktisi pelatihan dan peningkatan kinerja. Tabel 3-5 menunjukkan perbedaan antara
data keras dan lunak, yang digunakan sebelumnya dalam buku ini. Bagian terpenting
dari definisi ini adalah kesulitan dalam mengubah data menjadi nilai moneter. Dari titik
inilah prinsip panduan lain diturunkan.
Ukuran tidak berwujud didefinisikan sebagai ukuran yang sengaja tidak dikonversi
ke nilai moneter. Menggunakan definisi sederhana ini menghindari kebingungan apakah
suatu item data harus diklasifikasikan sebagai data keras atau data lunak. Ini dianggap
sebagai data lunak jika proses yang kredibel dan layak secara ekonomi tidak tersedia
untuk konversi.
Tabel 3.7 Karakteristik Data
𝑃𝑟𝑜𝑔𝑟𝑎𝑚 𝐵𝑒𝑛𝑒𝑓𝑖𝑡𝑠
𝐵𝐶𝑅 =
𝑃𝑟𝑜𝑔𝑟𝑎𝑚 𝐶𝑜𝑠𝑡𝑠
Terkadang rasio ini dinyatakan sebagai rasio biaya / manfaat, meskipun rumusnya
sama dengan BCR. Pengembalian investasi menggunakan manfaat bersih dibagi dengan
biaya program. Manfaat bersih adalah manfaat program dikurangi biaya. Dalam bentuk
formula, ROI menjadi:
Ini adalah formula dasar yang sama yang digunakan dalam mengevaluasi investasi
lain di mana ROI secara tradisional dilaporkan sebagai pendapatan dibagi dengan
investasi. ROI dari beberapa program pelatihan tinggi. Misalnya, dalam pelatihan
penjualan, pengawasan, dan manajerial, ROI bisa sangat tinggi (seringkali lebih dari
100%), sedangkan nilai ROI untuk pelatihan teknis dan operator mungkin lebih rendah.
3-28
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Pendahuluan
3-29
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Pendahuluan
3-30
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Pendahuluan
3-31
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Pendahuluan
3-32
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Pendahuluan
3-33
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Pendahuluan
4-1
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Pendahuluan
Mulai
Diskusi
Rencana Mutu Kontrak
Penyusunan
Laporan Pendahuluan Final Laporan
RMK
Diskusi/Presentasi
Draft Lap. Pendahuluan
4-2
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Pendahuluan
Penyusunan Draft
Laporan Antara
Diskusi/Presentasi
Draft Lap. Antara
Final Laporan
Antara
Diskusi/Presentasi
Draft Lap. Akhir
Final Laporan
Akhir
Lokakarya
Selesai
4-3
Kajian Return On Training Investment pada Penyelenggaraan Pelatihan Bidang SDAK Laporan Pendahuluan
Bobot BULAN-1 (MEI-JUN) BULAN-2 (JUN-JUL) BULAN-3 (JUL-AGT) BULAN-4 (AGT-SEP) BULAN-5 (SEP-OKT) BULAN-6 (OKT-NOP)
NO. URAIAN KET.
(%) 21-28 29-5 6-13 14-20 21-28 29-6 7-14 15-21 22-29 30-6 7-14 15-21 22-28 29-4 5-11 12-18 19-26 27-2 3-10 11-17 18-24 25-31 1-7 8-15
C 31.00
ANALISA DATA RETURN ON TRAINING INVESTMENT
1 Identifikasi Biaya Pelatihan Bidang SDA dan Konstruksi 5.50 0.50 3.00 2.00
2 Isolasi Pengaruh Pelatihan 5.50 2.00 1.50 2.00
3 Identifikasi Manfaat Tidak Berwujud (Intangible Benefits) 7.00 2.00 4.00 1.00
4 Konversi Data Ke Dalam Ukuran Finansial 6.00 3.00 1.50 1.50
5 Penghitungan Return On Training Investment (ROTI) 7.00 1.00 2.00 3.00 1.00
D PELAPORAN 16.40
1 Laporan Bulanan 2.40 0.40 0.40 0.40 0.40 0.40 0.40
2 Laporan Pendahuluan 3.00 1.50 1.50
3 Laporan Antara 4.00 2.00 2.00
4 Draft Laporan Akhir 3.00 3.00
5 Laporan AKhir 4.00 2.00 2.00
E 27.00
RAPAT PEMBAHASAN , FGD DAN LOKAKARYA
1 Rapat Koordinasi Awal 3.00 3.00
2 Rapat Pembahasan Laporan Pendahuluan 4.00 4.00
3 Focus Group Discussion I 4.00 4.00
4 Rapat Pembahasan Laporan Antara 4.00 4.00
5 Focus Group Discussion II 4.00 4.00
6 Rapat Pembahasan Draft Laporan Akhir 4.00 4.00
7 Lokakarya 4.00 4.00
4-4
K ajia n Return O n T r ai nin g In v e s t m e n t p a d a
Laporan Pendahuluan
Pe nyeleng garaan P e l a ti h a n Bi d a n g S D AK
4.3 JA D W A L PERALATA N
JADWAL PERALATAN
KAJIAN RETURN ON TRAINING INVESTMENT PADA PENYELENGGARAAN
T a b e l 4 . 2 . J a d w a l P e rPENDIDIKAN
alata n DAN PELATIHAN BIDANG SDA DAN KONSTRUKSI
BULAN-1 BULAN-2 BULAN-3 BULAN-4 BULAN-5 BULAN-6
No JENIS ALAT Waktu Jumlah
1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4
1 PeralatanKomunikasi (Telepon, Fax, Internet) 6 1
2 ATK 6 1
3 Komputer & Printer (Consumables) 6 1
4 Kendaraan Roda-4 6 1
5 Printer Color A4 6 1
6 Printer Laser Jet A4 6 1
7 Komputer Deskstop 6 1
8 Laptop 6 1
4-5
K ajia n Return O n T r ai nin g In v e s t m e n t p a d a
Laporan Pendahuluan
Pe nyeleng garaan P e l a ti h a n Bi d a n g S D AK
T a b el 4 . 3 . J a d w a l P e n u g a s a n P e r s o nil
JADWAL PERSONIL
KAJIAN RETURN ON TRAINING INVESTMENT PADA PENYELENGGARAAN PENDIDIKAN DAN PELATIHAN BIDANG SDA DAN KONSTRUKSI
4-6
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Pendahuluan
A PEKERJAAN PERSIAPAN
1 Pengumpulan Data Pelatihan Bulan I Minggu III - Bulan II Minggu II Data Pelatihan
Pemilahan Data Pelatihan Untuk Analisa Data Hasi Pemilahan untuk Analisa
2 Bulan II Minggu I - IV
ROTI ROTI
3 Finalisasi Data Bulan II Minggu III - Bulan III Minggu II Data Final untuk Analisa ROTI
Identifikasi Biaya Pelatihan Bidang SDA Biaya Pelatihan Bidang SDA dan
1 Bulan III Minggu II - III
dan Konstruksi Konstruksi
Bulan III Minggu IV - Bulan IV Minggu
2 Isolasi Pengaruh Pelatihan Isolasi Pengaruh Pelatihan
II
Identifikasi Manfaat Tidak Berwujud
3 Bulan IV Minggu II - IV Data (Intangible Benefits)
(Intangible Benefits)
Konversi Data Ke Dalam Ukuran Bulan IV Minggu IV - Bulan V Minggu
4 Konversi Data
Finansial II
Penghitungan Return On Training Penghitungan Return On Training
5 Bulan V Minggu I - IV
Investment (ROTI) Investment (ROTI)
D PELAPORAN
4-7
LAMPIRAN 17
METODOLOGI
02 Tahapan proses pelatihan, Model Return on Training
Investment, Prinsip Dasar ROTI, Metode Pengumpulan
Data, Isolasi Pengaruh Pelatihan, Perhitungan Biaya,
Konversi ke Terminologi Rupiah
RENCANA KERJA
04 Struktur Organisasi, Diagram Alir, Kurva-S.
Latar Belakang
Evaluasi Pelatihan merupakan sarana untuk mengukur dan menilai capaian hasil penyelenggaraan pelatihan yang telah
direncanakan sehingga dapat ditentukan tingkat keberhasilannya. Hasil ini selanjutnya akan menjadi umpan balik untuk
merencanakan kembali penyelenggaraan pelatihan di masa mendatang dan memberikan kontribusi positif terhadap peningkatan
kinerja alumni peserta pelatihan. Evaluasi pasca pelatihan dibutuhkan untuk mengambil keputusan tentang efektifitas hasil
pembelajaran selama menjalani pelatihan di lingkungan kerja.
Model Return On Investment (ROI) yang di kembangkan Jack Phillips merupakan level 5 evaluasi terakhir untuk melihat cost-
benefit setelah pelatihan di laksanakan. Kegunaan model ini agar pihak manajemen melihat pelatihan bukan sesuatu yang mahal
dan hanya merugikan pihak keuangan, akan tetapi pelatihan merupakan suatu investasi.
Maksud Tujuan
Training Delivery
Training Module
Development
Training Objective
Training Needs
Model Evaluasi Pelatihan
Assessment
Return On Training Investment
Metodologi ROTI
An Operating
Evaluation Standard and
Framework Philosophy Case
A Process Applications
Model and Practice
Model ROTI Jack Phillips
Sumber : Jack J. Phillips (2003:32)
12 Prinsip Dasar ROTI
Ketika melakukan evaluasi level atas, Perkiraan terjadinya improvement harus
1
1 pengumpulan data dilakukan pada level di
bawahnya
disesuaikan (adjusted) terhadap potensi
kesalahan estimasi 7
Bila merencanakan untuk melakukan evaluasi Data yang ekstrim dan tidak akurat tidak boleh
2
1 level atas, evaluasi pada level sebelumnya tidak
harus komprehensif (lengkap)
digunakan dalam perhitungan ROTI
8
Pengumpulan dan analisis data HANYA Hanya manfaat (benefit) pada tahun pertama yang
3
1 penggunakan narasumber yang SANGAT dan
dapat dipercaya
dapat digunakan dalam analisis ROTI
9
Ketika menganalisis data, pilih pendekatan yang Dalam menghitung ROTI, gunakan seluruh biaya
4
1 paling konservatif dari pilihan yang tersedia yang terkait dalam program pengembangan SDM
10
Minimal SATU metode harus digunakan untuk Manfaat yang bersifat intangible (tak terlihat), tidak
5
1 mengisolasi efek dari pelatihan/pengembangan dapat dikonversi ke nilai uang/moneter
11
Bila tidak tersedia data improvement dari hasil Hasil perhitungan ROTI harus dikomunikasikan
6
1 program pengembangan, dapat diasumsikan
bahwa (sedikit) tidak terjadi improvement
kepada seluruh stakeholders
12
• Metode Pengumpulan Data
Metode
Hard Data Soft Data Pengumpulan Sumber Data
• Output
Data
• • Job satisfaction
Quality • Surveys • Catatan Kinerja
• • Customer satisfaction
Cost • Questionnaire Organisasi
• • Absenteism
Time • Tests • Peserta Pelatihan
• Turnover
• On the job observation • Atasan Peserta
• Complaints
• Interviews • Bawahan Peserta
• Focus groups • Rekan Sejawat
Data keras adalah ukuran • Action plans and • Grup Internal/ Eksternal
Data lunak biasanya program assignments
kinerja organisasi, karena subyektif, kadang sulit
bersifat objektif, mudah • Performance contracts
diukur, hampir selalu sulit • Business performance
diukur, dan mudah dikonversi ke nilai uang, dan
dikonversi ke nilai uang monitoring
berorientasi perilaku
Perhatian Manajemen
Total Perbaikan/
Peningkatan Insentif
Kinerja Sesudah
Pelatihan
Perubahan Sistem/ Prosedur
Pengaruh
Pelatihan
Pelatihan
Isolasi Pengaruh Pelatihan
Control Group
Manajemen
Estimasi Stakeholder
Input Pelanggan
Ahli/ Expert
Faktor Lain
Teknik Mengisolasi Pengaruh Pelatihan
Control Group
Tidak
Dapatkah
Adakah Dapatkah
diperoleh Ubah Data dan
metode untuk meyakinkan
Ya dengan Ya Ya Tambahkan ke
mendapatkan- bahwa nilai ini
sumber daya numerator
nya? kredibel?
yang terbatas?
Target Evaluasi
Jenis Pelatihan yang Tepat untuk ROTI
• Pelatihan dengan life cycle panjang
• Sangat penting bagi perusahaan / added value besar
• Terkait erat dengan langkah strategis
• Biaya pelatihan mahal, mengkonsumsi banyak sumberdaya perusahaan
• Untuk pelatihan yang jelas sangat visble atau sebaliknya yang kontroversial
• Target peserta banyak
• Top management menginginkan evaluasi komprehensif
Evaluasi Sumatif
• Belum ada dasar hukumnya
• Belum rutin dilakukan, terakhir uji coba oleh Pusdiklat SDAK di BBWS Mesuji-Sekampung tahun 2019 menggunakan
kuesioner dengan pernyataan yang masih normatif
• Kuesioner diisi dengan responden alumni pelatihan dan atasan alumni pelatihan
Contoh : Pelatihan Hidrologi
1. Reaction • F-1. Evaluasi Materi Diklat • SK Kepala BPSDM No. 25 Tahun 2015 Tentang Terintegrasi dengan SIM-
• F-2a. Evaluasi Pengajar oleh Peserta Pedoman Evaluasi Di Lingkungan Kementerian PUPR D & E-Pelatihan
• F-3. Evaluasi Manajemen Penyelenggaran • SE No 02/SE/KM/2019 Tentang Pedoman Umum
Diklat Penyelenggaraan Pelatihan Teknis Bidang PUPR
2. Learning • Pre Test dan Post Test • SK Kepala BPSDM No. 25 Tahun 2015 Tentang Terintegrasi dengan SIM-
• Nilai Kelulusan Pedoman Evaluasi Di Lingkungan Kementerian PUPR D & E-Pelatihan
• SE No 02/SE/KM/2019 Tentang Pedoman Umum
Penyelenggaraan Pelatihan Teknis Bidang PUPR
3. Behavior • Mendefinisikan perilaku kerja yang relevan Belum ada
dengan tujuan pelatihan
• Penyebaran kuesioner dengan responden
alumni, atasan langsung dan rekan sejawat
Nilai rata-rata peningkatan sebesar 51,16 % sangat baik dan persentase kelulusan 95 % sudah diatas target
3. Evaluasi Level-3 – Behavior (3-6 Bulan Pasca Pelatihan)
Bahwa telah terjadi proses belajar mengajar yang berlangsung dengan baik dan kondusif, selanjutnya akan dilakukan penilaian
behavior, attitude dan skill peserta pelatihan yang diaplikasikan di tempat kerjanya dengan menggunakan metode penyebaran
kuesioner kepada atasan dan rekan sejawat, kuesioner ini bertujuan untuk mengukur persentase perubahan behavior sebelum
pelatihan dan sesudah pelatihan.
Peningkatan diukur dengan menghitung selisih antara sesudah pelatihan dan sebelum pelatihan. Bila hasilnya positif, artinya
perubahan behavior yang baik dari alumni pelatihan. Adapun form kuesioner yang disebarkan dengan format pertanyaan sebagai
berikut
Dari hasil penyebaran kuesioner didapat rata-rata peningkatan perubahan behavior alumni pelatihan setelah pelatihan dan kembali
ke unor masing-masing sebesar 14,71 %
4. Evaluasi Level-4 – Results (6-12 Bulan Pasca Pelatihan)
Pada evaluasi ini yang krusial adalah menentukan faktor dominan yang mempengaruhi kinerja unit organisasi
Dalam mengidentifikasi dan merumuskan faktor dominan tersebut harus dilakukan brainstorming dan FGD dengan stakeholder terkait. Dari hasil
diskusi didapatkan faktor dominan yang mempengaruhi kinerja unor :
Faktor 1 (F1) : Pengaruh kompetensi alumni dalam merencanakan teknis bendungan terhadap kinerja unor
Faktor 2 (F2) : Pengaruh faktor eksternal terhadap kinerja unor
Faktor 3 (F3) : Pengaruh insentif tambahan terhadap kinerja unor
Faktor 4 (F4) : Pengaruh perhatian manajemen terhadap kinerja unor
Faktor 5 (F5) : Pengaruh perubahan sistem/ prosedur terhadap kinerja unor
Faktor 6 (F6) : Pengaruh perubahan alat kerja (modernisasi) terhadap kinerja unor
Kuesioner ini dikirimkan kepada atasan peserta pelatihan dan unit organisasi, terdapat 6 faktor dominan yang mempengaruhi kinerja, salah satunya
adalah kompetensi alumni dalam merencanakan teknis bendungan (F1)
No Peserta F1 F2 F3 F4 F5 F6 No Peserta F1 F2 F3 F4 F5 F6
1 Alumni 1 9 8 9 7 9 8 11 Alumni 11 8 8 8 8 8 8
2 Alumni 2 8 9 7 8 7 7 12 Alumni 12 9 8 9 8 9 8
3 Alumni 3 8 8 7 7 8 8 13 Alumni 13 7 9 8 7 9 8
4 Alumni 4 9 8 7 8 8 7 14 Alumni 14 7 7 7 7 7 7
5 Alumni 5 9 8 7 8 9 8 15 Alumni 15 9 9 9 8 8 8
6 Alumni 6 7 8 9 9 8 8 16 Alumni 16 7 7 7 8 7 8
7 Alumni 7 9 8 9 8 9 8 17 Alumni 17 7 8 8 9 8 9
8 Alumni 8 9 7 7 8 8 7 18 Alumni 18 9 8 9 8 9 8
9 Alumni 9 7 8 9 7 8 9 19 Alumni 19 7 8 9 7 8 9
10 Alumni 10 9 9 9 9 9 9 20 Alumni 20 9 9 8 8 7 7
Rata-rata 8.15 8.1 8.1 7.85 8.15 7.95
Nilai Proporsional 16,8 16.7 16.7 16.3 16.8 16.4
Persentase pengaruh pelatihan terhadap kinerja unor didapat dengan mengambil proporsional rata-rata Faktor-1 (F1) sebesar 16,8 % dengan
confidence level 95%. Hasil pengolaha data kuesioner didapat nilai isolation effect adalah 16,8 % x 95 % = 15,96%
5. Penghitungan Return on Training Investment
Menghitung Return on Training Investment pada organisasi pemerintah yang tidak berorientasi keuntungan seperti Pusdiklat SDAK BPSDM PUPR
memiliki karakteristik yang berbeda dengan perusahaan yang mengejar laba, karena manfaat dari pelatihan akan menghasilkan peningkatan
kompetensi yang bermuara pada peningkatan kinerja organisasi, tidak semata-mata pada peningkatan penjualan seperti pada perusahaan umum.
Masalah yang kemudian timbul adalah karena penghitungan ROTI adalah penghitungan cost-benefit yang harus menghasilkan nilai uang sehingga
diperlukan konversi dari manfaat pelatihan ke terminologi rupiah.
Salah satu cara yang dapat digunakan untuk menghitung Return on Training Investment adalah dengan mengaitkan manfaat dari pelatihan ke proyek
yang berjalan sesudah pelatihan dan melibatkan alumni pelatihan tersebut didalamnya.
Pada tahun 2018 Kementerian PUPR merencanakan pembangunan Bendungan Sadawarna di Kabupaten Subang, Jawa Barat
Proyek ini dilaksanakan oleh BBWS Citarum dengan salah satu anggota tim pelaksana di dalamnya adalah alumni A dari pelatihan Perencanaan
Teknis Bendungan (yang sudah dievaluasi pasca pelatihan sampai level 4 diatas)
Proyek ini menghabiskan anggaran sebesar Rp. 898 miliar
Melalui penghitungan kontribusi terhadap proyek karena peningkatan kompetensi hasil pelatihan didapat kontribusi dari alumni A adalah sebesar
0,05 %
Maka untuk menghitung benefit dari pelatihan yang akan dikonversi ke nilai rupiah adalah sebesar
0,05 % x 15,96 % x Rp. 898 miliar = Rp. 71.660.400,-
Sedangkan dari hasil penghitungan biaya pelatihan dibagi peserta pelatihan, didapat biaya pelatihan per peserta adalah sebesar Rp. 20 juta
𝑹𝒑.𝟕𝟏.𝟔𝟔𝟎.𝟒𝟎𝟎 −𝑹𝒑.𝟐𝟎.𝟎𝟎𝟎.𝟎𝟎𝟎
Sehingga besar Return on Training Investment adalah = 𝟐𝟓𝟖%
𝑹𝒑.𝟐𝟎.𝟎𝟎𝟎.𝟎𝟎𝟎
Kesimpulannya setiap satu rupiah yang diinvestasikan dalam pelatihan perencanaan teknis bendung, sebesar 258
rupiah akan diperoleh kembali oleh organisasi
1. Batasan pelatihan yang akan dilakukan penghitungan ROTI
A. KEGIATAN
B. PEMBAHASAN
1
2. Yang sudah masuk result dan SOT, result, slide nomor 21, kalau mengukur result harus
dikembalikan ke sasaran pelaitihan, bunyi sasarannya ada informasi, hidrologi, result adalah
peningkatan kompetensinya yang disajikan sudah pada proses isolasi training, slide 4, yang
ditulisnya faktor dominan sudah masuk ke dalam accountability.
3. Slide 21 merupakan tahapan isolasi efek training berhubungan dengan konsep di slide
nomor 9 dan 10, yang mempengaruhi peningkatan, isolasi efek training dalam rangka
mengetahui konstribusi pelaihtan dan konstrusi efek. SOTI dipisahkan dari pencapaian level
4, result dilihat dari sasaran pelatihan, kalau di dunia pelatihan meningkatkan penjualan
sekian, result dari peningkatan pelatihan hidrologi berupa peningkatan kompetensi inilah
yang merupiahkan, merupiahkan result dari pelatihan itu sendiri, sudah banyak yang betul.
4. Proses result ini instrumen evaluasinya jauh lebih sederhana, hanya dilihat dari bunyi
sasaran, misalnya pembangunan bendungan supaya sesuai anggaran 900 M, result-nya
bisa betul-bbeutl berdiri, itulah yang nanti harus dirupiahkan, karena itu yang menjadi benefit,
cukup.
5. Bagaimana mendefinisikan result, kalau peningkatan perilaku tidak harus sampai ROTI,
mengkonfirmasikan dalam rupiah. Alur proses perhitungan ROTI, kalau bisa disebutkan dari
skala berapa, ini bagus dari sekala berapa, jangan lupa menyebutkan skala 1-6, dalam
pelaporan harus mencantumkan skala berapa sampai skala berapa, mohon revisi, behaviour
bukan lagi pemahaman, harus ada responden yang mengisi.
6. Slide alur proses perhitungan ROTI sudah masuk. Persentasi 15.98% hasil dari isolation
effect, dampak dari training-nya 15.96%. Isolasi training ini harus dari stakeholder dari satu,
harus dari semua stakeholders keseluruhan. Teknik isolasi, control group, trend analysis.
Control group, pembanding yang ikut pelaithan dan yang tidak ikut pelatihan, terjadi
peningkatan karena terkait peningkatan pelatihan, perubahan perilaku dan lain, salah
satunya dengan estimasi stakeholder, control group untuk pelaihtan di level dua. Alur
perhitungan ROTI, anggap bahwa ini yang benefit, proyek ini sesuai anggaran, menjadi
benefit, yang dijadikan laporan, angka 0.05 individu, bicara ROTI bukan per inidividu tetapi
per training itu sendiri, kalau mau dilihat tidak usah dipecah ke individu, cukup dari hasil
estimasi stakeholders terhadap pelatihan tersebut. Alur proses perhitungan ROTI yang betul,
ini baru satu stakeholders, tapi baru bisa semuanya, investasi dari training, prinsip
perhitunganya. Hitungan 0.05 perindividu, kalau menghitung peindividu, penentuan angka
individu sangat profesional. Pelatihan apa dulu yang yang akan diukur, benefit-nya kumulatif
dari semua, nilai proyeknya macem-macem, konsen dari pak nizar mau dilihat dari setahun
terakhir, dan betul-betul harus dihitung, yang krusial berikutnya, kita harus mengisolasi efek
training, nilai proyeknya macem-macm kalau mau melakukan FGD dalam teori tidak semua
alumni diundang, ternyata nilai proyeknya beda-beda bearti harus diundang semuanya,
training itu judulnya pelatihan untuk meningkatkan penjualan 4 milliar dengan jumlah peserta
20, karena pealtihannya rumit, teknisnya alumni dengan atasan diundangn, kontribusi andar
berapa, ini agak sulit dari sisi teori, estimasi kontribusi pelatihan, yang perlu direnungkan,
investasi dari training, lebih sederhana, angka dari esmimasi stakeholders pengali dari.
7. Mereka diundang, faktor-faktor apa saja di luar pelatihan hidrologi terhadap pelatihan
tersebut, dari situ, para stakeholder melakukan nanti ada confidence level, proses teknisnya
si atasan langsung saya contohkan, atasan langsung kontribusi pelatihanb berapa persen,
keluar angka, subjektif, ketidaksubjektifan bisa dieliminer dengan banyak stakeholders. Bisa
dilihat dari kinerja unor, mestinya dilihat pengaruh faktor eksternal terhadap kinerja, kecuali
mengukurnya dari organisasi, ada banyak sekali pelatihan-pelatihan, itu dikaitkan dengan
SKP individu itu bisa, prinsip ROTI mau melihat perindividu traing atau akumulatif, kalau
training secara individu, faktornya, pertanyaan menurut ada selain peningkatan hidrologi
faktor-faktor apa yang kaitannya dengan hidrologi, kecuali mau detil, ya udah nilai individu
SKP, hawatirnya kurang detil, kita mau mengukur ROTI, trainingnya judulnya apa, kinerja
individu.
8. Apabila akan menghitung sampling, kalau sampling boleh random. Dari yang tidak relevan
dikeluarkan dulu. Stakeholder adalah peserta pelatihan, atasan, manajer, input pelanggan,
ahli expert, faktor lain. Pengajar tidak kita libatkan. Itu hanya cukup sampai behaviour. Pada
saat mengukur hasil dan benefit, kalau di PUPR yang mau diukur benefit-nya anggaran,
menentukan sebelum pelatihan anggarannya berapa dan setelah pelatihan berapa, agak
kurang pas, challenge, terpaksa tidak sangat ideal, ROTI pengukur peningkatan sebelum
pelatihan dan setelah pelatihan dilaksanakan, dilihat anggaran sebelum dan setelah. Kalau
2
bisa diukur, selisihnya, mempertimbangkan, kalau tidak mungkin dilakukan. Kalau di swasta
berapa, sangat mudah ukurannya, penghematan bearpa, menjadi konsen pada saat proses.
9. Kita punya 5 level, harus ROTI biasanya satu tahun karena membutuhkan waktu sampai
kelihatan dulu hasilnya, ini bisa dijadikan patokan, tidak kaku, satu tahun pertama pada saat
bendungan selesai, khusus dengan pekerjaan teknis satu tahun pada saat proyeknya jadi.
Satu tahun pertama belum terllalu jauh dair pelatihannya.
Pak Anggoro
1. PUPR pesertanya tersebut, mennggunakan per individu, dibagi ke seluruh Indonesia, contoh
alumninya dari BBWS Citarum. Dipakai, alurnya dipakai. Prinsipnya menggunakan dami,
angkanya masih berupa angka dami, pasti ada ahli keuangan yang menghitung, proyek yang
dihitung. Angka masih dami, biaya peserta per 20 juta, lebih detil kontribusi ada perhitungan
yang lebih rinci, begitu juga dengan cost, kami munculkan supaya prosesnya meningkat.
Kadang ada yang tidak sesuai dengan jenis pelatihan. Konstribusi yang kami hitung baru
sebatas angka yang sangat umum, tugas kami untuk mendefinisikan, pasti ada hitungannya,
alumni konstribusinya kami detilkan, angkanya relevan, bagaimana menghitungnya. Level
tiga kami akan merubahnya, dari memahami dan melaksanakan.
2. Secara teori dan sumber daya tidak mungkin kami mengukur waktu cukup lama, ada
batasan pelatihan yang tidak dapat dihitung. Prinsip dasar merupakan yang dikembangkan
oleh Jack kenapa Jack Phillips hanya melakukan di tahun pertama, secara teori pesertanya
cukup lama luma, benefit rupiah apakah terkait inflasi ada kaitannya ama infrasi, itu
kaitannya dengan ini ada, kalau bertahun-tahun penghitungannya menjadi kopleks.
Pak Adang
1. Dasar estimasi ada satu proyek yang memerlukan treatment, bertolak dari kebutuhan, diklat
itu direkrut untuk memenuhi pelatihan tersebut, diikutkan berapa orang pesera, dan
pesertanya ini diukur, di lingkungan PUPR tidak seperti itu, mewakili daerah, latar
belakangnya beda-beda, malah ada yang belajar administrasi, jadi kontribusi individu susah
diukurnya.
2. Stakeholders ini memerlukan batasan
3
Dadang Karmen, S.ST., MT.
Kepala Balai Uji Coba Sistem Diklat SDA dan Konstruksi
1. Konsultan menghitung dari individu tetapi bisa dihitung berdasarkan organisasi,
peningkatan anggaran cukup besar di Kementerian PUPR, dari anggaran 60 -107 M,
sebetulnya bisa nambah profit-nya, kalau di perusahaan itu mudah, kalau di kita ada SKL,
ini bukan individu tapi organisasi. Beberapa orang yang menghitung tidak akan sama,
mudah-mudahan masih meningkatkan. Akan lebih converge difasilitasi, nanti akan belajar
banyak.
Kristianto
Pusdiklat Jalan Jembatan, Perkim dan PIW
1. Beberapa catatan, mengenai sistem penilaian, penentuan kriteria pelatihan yang akan
diukur, komponen ini sudah memenuhi kaidah pareto, 20% berkontribusi paling besar, mana
yang paling relevan dengan misi PUPR, kita tidak perlu lagi kesulitan mengklasifikasikan,
ada pelatihan yang berkelanjutan, boleh dimaskan unsur pareto, target peserta banyak pasti,
efeknya pasti lebih besar, daripada pelatihan yang pesertanya pas-paspasan, padahal
sistem pareto, efeknya paling berguna, ini akan sangat membantu kita, metodologi, hasil
isolasi 15.96%, dami kerangkanya belum terstruktur,
2. Kita tidak mendapatkan gambaran umum, kalau menggunakan data dami, dari 100%
kontribusi, 40 peserta mungkin dibagi. Betul-betul krusial bilamana angkanya kita belum
dapat kejelasan untuk itu, sebetulnya bagus, kalau tidak memilki kejelasan dalam komponen
penilaian, ada beberapa faktor yang sangat panjang, perubahan sikap tidak hanya sampai
pemahaman tetapi juga pelaksanaa.
4
Bu Sarry
Sekretariat BPSDM
Saya setuju pernyataan dari makro ke mikro, consensus pelatihan itu, keterlibatan stakeholder
harus dilakukan diskusi lebih lanjut terhadap nilai kriteria untuk analisis ROTI tersebut.
BKO BPSDM
1. ROTI, slide 7, prinsip dasar roti nomor 9, benefit seseorang pada konstribusi setelah
pelatihan, misalnya dalam setahun ini lebih ke output daripada outcome, anggaplah
membangun bendungan, output-nya bendungan, laporan setahun lebih ke output. Terkait
dengan isolasi, untuk membedakan apakah hasil yang telah dicapai itu apakah ada faktor
lain, nanti dilaporan, bisa jadi sesorang mengikuti pelatihan, konstribusinya seberapa besar
apabila ybs bukan sebagai leader. Pihak sebagai inisiatif, nilai itu pasti kecil selain tidak
terkait dengan ekskusi, di tim tapi tidak ada, barangkali bisa dipertimbangkan benefitnya,
terkait benefit dirupiahkan.
2. Di organisasi lebih komplek, capaian di unornya, untuk simplifikasi lebih ke proyek, SKP ke
tahunan dan lebih kompleks.
KESIMPULAN
5
LAMPIRAN 22
STANDARD OPERATING
02 PROCEDURE (SOP)
Evaluasi 4 Level Kirkpatrick dan Level 5 Jack Phillips
pada evaluasi pelatihan di BPSDM PUPR
INSTRUMEN EVALUASI
03 Instrumen Evaluasi, Isolasi Pengaruh Pelatihan
RENCANA KERJA
04 SELANJUTNYA
Penghitungan ROTI pada pelatihan di bidang SDAK
Latar Belakang
Evaluasi Pelatihan merupakan sarana untuk mengukur dan menilai capaian hasil penyelenggaraan pelatihan yang telah
direncanakan sehingga dapat ditentukan tingkat keberhasilannya. Hasil ini selanjutnya akan menjadi umpan balik untuk
merencanakan kembali penyelenggaraan pelatihan di masa mendatang dan memberikan kontribusi positif terhadap peningkatan
kinerja alumni peserta pelatihan. Evaluasi pasca pelatihan dibutuhkan untuk mengambil keputusan tentang efektifitas hasil
pembelajaran selama menjalani pelatihan di lingkungan kerja.
Model Return On Investment (ROI) yang di kembangkan Jack Phillips merupakan level 5 evaluasi terakhir untuk melihat cost-
benefit setelah pelatihan di laksanakan. Kegunaan model ini agar pihak manajemen melihat pelatihan bukan sesuatu yang mahal
dan hanya merugikan pihak keuangan, akan tetapi pelatihan merupakan suatu investasi.
Maksud Tujuan
1. Reaction • F-1. Evaluasi Materi Diklat • SK Kepala BPSDM No. 25 Tahun 2015 Tentang Terintegrasi dengan SIM-
• F-2a. Evaluasi Pengajar oleh Peserta Pedoman Evaluasi Di Lingkungan Kementerian PUPR D & E-Pelatihan
• F-3. Evaluasi Manajemen Penyelenggaran • SE No 02/SE/KM/2019 Tentang Pedoman Umum
Diklat Penyelenggaraan Pelatihan Teknis Bidang PUPR
2. Learning • Pre Test dan Post Test • SK Kepala BPSDM No. 25 Tahun 2015 Tentang Terintegrasi dengan SIM-
• Nilai Kelulusan Pedoman Evaluasi Di Lingkungan Kementerian PUPR D & E-Pelatihan
• SE No 02/SE/KM/2019 Tentang Pedoman Umum
Penyelenggaraan Pelatihan Teknis Bidang PUPR
3. Behavior • Mendefinisikan perilaku kerja yang relevan Belum ada
dengan tujuan pelatihan
• Penyebaran kuesioner dengan responden
alumni, atasan langsung dan rekan sejawat
Sampel responden alumni pelatihan dan atasan akan dipilih dengan menyesuaikan jadwal evaluasi pasca
pelatihan bidang EP
Penentuan faktor dominan yang mempengaruhi kinerja (untuk penghitungan isolasi pengaruh pelatihan) akan
didapat melalui Focus Group Discussion dengan stakeholder terkait
Penghitungan manfaat (benefit) dari pelatihan menggunakan cara mengaitkan manfaat dari pelatihan ke proyek
yang berjalan sesudah pelatihan dan melibatkan alumni pelatihan tersebut didalamnya
Manfaat dihitung dengan menghitung bobot kontribusi alumni pelatihan dalam proyek yang dikaitkan tersebut
No Waktu Pelaksanaan Balai Penyelenggara Jumlah Peserta
1 16 – 27 Juli 2018 Balai Pendidikan dan Pelatihan PUPR Wilayah I Medan 47
2 27 Agustus – 7 September 2018 Balai Pendidikan dan Pelatihan PUPR Wilayah VIII Makassar 27
3 21 Nopember – 1 Desember 2018 Balai Pendidikan dan Pelatihan PUPR Wilayah V Yogyakarta 13
JUMLAH 87
Faktor Eksternal
Perhatian Manajemen
Total Perbaikan/
Peningkatan Insentif
Kinerja Sesudah
Pelatihan
Perubahan Sistem/ Prosedur
Pengaruh
Pelatihan
Pelatihan
Isolation Effect
Isolasi Pengaruh Pelatihan
Control Group
Manajemen
Estimasi Stakeholder
Input Pelanggan
Ahli/ Expert
Faktor Lain
2 Pelaksanaan Pelatihan 1
Total Biaya
Koefisien penyusunan kurikulum & modul pelatihan adalah proporsional 1 kelas dibandingkan dengan 17 kelas
yang telah dilaksanakan (sejak 2016), maka diperoleh 1/17 = 0,059
Koefisien cost of avoidance adalah proporsional 10 hari pelatihan dibandingkan 22 hari kerja selama sebulan,
maka diperoleh 10/22 = 0,455
Perhitungan Kontribusi Alumni dalam Proyek
UU No 2 Tahun 2017 Jasa Konstruksi
Pasal 1 ayat (1) “Jasa Konstruksi adalah layanan jasa konsultansi konstruksi dan/atau pekerjaan konstruksi.”
Pasal 1 ayat (2) “Konsultansi Konstruksi adalah layanan keseluruhan atau sebagian kegiatan yang meliputi pengkajian,
perencanaan, perancangan, pengawasan, dan manajemen penyelenggaraan konstruksi suatu bangunan.”
Pasal 1 ayat (3) “Pekerjaan Konstruksi adalah keseluruhan atau sebagian kegiatan yang meliputi pembangunan,
pengoperasian, pemeliharaan, pembongkaran, dan pembangunan kembali suatu bangunan.”
Perhitungan kontribusi alumni dalam proyek dengan menghitung dan menjumlahkan bobot pekerjaan pada setiap tahap
pelaksanaan proyek (SIDLACOM) dimana alumni pelatihan tersebut terlibat di dalamnya, kemudian dikonversi ke bentuk
rupiah dengan mengalikan dengan angka dalam Rencana Anggaran Biaya (RAB)
1. Melakukan pengambilan data untuk evaluasi pasca pelatihan dan
menganalisa data tersebut
Nama Pekerjaan : Kajian Return on Training Investment pada Pendidikan dan Pelatihan
Bidang SDA dan Konstruksi
Waktu : Pukul 10.00 WIB – Selesai
Hari, Tanggal : Senin, 23 September 2019
Tempat : Gedung Pusat Pendidikan dan Pelatihan Sumber Daya Air dan Konstruksi
Ruang Rapat Lt.1
Pimpinan Rapat : Muhammad Nizar, SE., MT
Rapat dibuka oleh Direksi selanjutnya pihak konsultan memaparkan Draft Laporan Antara. Beberapa
masukan penting terangkum dalam tanya-jawab antara pihak Direksi dengan Konsultan, sebagai
berikut.
1
LAMPIRAN 26
LAPORAN ANTARA
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
DAFTAR ISI
2.1.1 UU No. 5 Tahun 2014 Tentang Aparatur Sipil Negara ...................... 2-1
2.1.2 PP No. 11 Tahun 2017 Tentang Manajemen Pegawai Negeri Sipil ..... 2-1
2.1.3 Permen PUPR No. 15 Tahun 2015 Tentang Organisasi & Tata Kerja
Kementerian PUPR ........................................................................................ 2-2
iv
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
DAFTAR GAMBAR
Gambar 2.2. Ilustrasi Model Evaluasi Empat Level Kirkpatrick ........................ 2-11
Gambar 3.2. Hubungan antara penilaian kebutuhan dengan evaluasi ................ 3-3
Gambar 3.7. Contoh Trend Line dalam hal Komplain di sebuah Rumah Sakit .... 3-20
v
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
DAFTAR TABEL
Tabel 3.3. Manfaat Tak Berwujud yang berhubungan dengan pelatihan ........... 3-27
Tabel 3.4. Perbandingan antara manfaat berwujud dan tak berwujud .............. 3-28
vi
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
BAB 1. PENDAHULUAN
Gambar 1. Picture dummy, do not erase Tabel 1. Table dummy, do not erase
1.2.2 Tujuan
Melakukan penghitungan Return on Training Investment pada Penyelenggaraan
Pelatihan Bidang SDA dan Konstruksi
1-1
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
1-3
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
1.3.11 Lokakarya
Lokakarya dilaksanakan 177 (seratus tujuh puluh tujuh) hari kalender
setelah tanggal terbitnya SPMK. Tim tenaga ahli konsultan segera melaksanakan
pembahasan pada Lokakarya bersama Bidang Evaluasi dan Pelaporan, tim teknis,
narasumber dan pengguna jasa serta stakeholder yang terkait. Draft laporan akhir harus
diserahan kepada pengguna jasa selambat-lambatnya 3 hari sebelum pelaksanaan
Lokakarya. Dalam Lokakarya tersebut harus disusun berita acara hasil Lokakarya yang
disahkan Kepala Bidang Evaluasi dan pelaporan. Berita acara tersebut wajib dilaksanakan
/ ditindaklanjuti oleh konsultan.
1.4 KELUARAN
Keluaran yang akan dihasilkan dari pekerjaan “Kajian Return of Training
Investment pada Penyelenggaraan Pelatihan Bidang SDA dan Konstruksi” ini
dirumuskan dalam produk laporan yang harus diserahkan selama proses pelaksanaan
hingga tahap akhir pekerjaan. Laporan inti hasil keluaran kegiatan ini yaitu :
1 buah dokumen Hasil Kajian return on investment in training dalam
Penyelenggaraan Pelatihan Bidang SDAK yang memuat antara lain :
Menjelaskan cara mengukur pengembalian investasi pelatihan dengan teknik
Return On Training Investment (ROTI).
Memahami besarnya konstribusi pelatihan bagi instansi.
Menjelaskan bagaimana menentukan jenis pelatihan apa saja yang diperlukan
bagi instansi.
Menyusun pelatihan sesuai dengan budget dan Sumber Daya.
1-4
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
Sesuai hasil analisis dan kajian awal, secara prinsip lingkup produk yang disusun
dan diserahkan kepada Pengguna Jasa, dapat dijabarkan dalam tabel berikut.
1-5
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
2-1
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
2.1.3 Permen PUPR No. 15 Tahun 2015 Tentang Organisasi & Tata Kerja
Kementerian PUPR
Pasal 1260 : Pusdiklat Sumber Daya Air dan Konstruksi mempunyai
tugas melaksanakan penyiapan penyusunan kebijakan
teknis dan penyelengggaraan pendidikan dan pelatihan
bidang sumber daya air dan konstruksi.
Pasal 1260 : Dalam melaksanakan tugas sebagaimana dimaksud
huruf e dalam Pasal 1260, Pusat Pendidikan dan Pelatihan
Sumber Daya Air dan Konstruksi menyelenggarakan
fungsi:
e. pemantauan, evaluasi, dan penyusunan laporan
penyelenggaraan pendidikan dan pelatihan bidang
sumber daya air dan konstruksi;
Pasal 1275 : Bidang Evaluasi dan Pelaporan mempunyai tugas
melaksanakan pemantauan, evaluasi, dan penyusunan
laporan kinerja dan program serta penyelenggaraan
pendidikan dan pelatihan bidang sumber daya air dan
konstruksi.
Pasal 1276 : Dalam melaksanakan tugas sebagaimana dimaksud
huruf a dalam Pasal 1275, Bidang Evaluasi dan Pelaporan
menyelenggarakan fungsi:
a. pemantauan dan evaluasi penyelenggaraan pendidikan
dan pelatihan bidang sumber daya air dan konstruksi;
2-2
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
2-3
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
2-4
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
2.2.2 Kompetensi
Kompetensi terdiri dari 5 tipe karakteristik yang dikutip oleh Panji (2009:33), yaitu
sebagai berikut:
1. Keahlian (Skill) yaitu kemampuan untuk melaksanakan suatu tugas tertentu
baik secara fisik maupun mental
2. Pengetahuan (Knowledge) yaitu suatu informasi yang dimiliki seseorang untuk
bidang tertentu. Knowledge merupakan kompetensi yang kompleks
3. Sikap atau nilai (Self-Concept) yaitu sikap dan nilai-nilai yang dimiliki
seseorang
4. Watak atau sifat (Trait) yaitu watak yang membuat orang untuk berprilaku
atau bagaimana seseorang merspon untuk berperilaku atau bagaimana
seseorang merespon seseorang dengan cara tertentu
5. Motif (Motive) yaitu sesuatu dimana seseorang secara konsisten berfikir
sehingga dapat melakukan tindakan.
2-5
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
2-6
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
2-7
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
2-8
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
2.2.5 Pelatihan
Menurut Achmad Darodjat, Tubagus (2015:75) pelatihan merupakan salah satu
faktor yang perlu menjadi perhatian oleh seorang pimpinan dalam usaha memperoleh
program yang diinginkan baik usaha yang bersifat mencari keuntungan maupun usaha
yang bersifat pelayanan.
Undang-Undang Nomor 5 Tahun 2014 tentang Aparatur Sipil Negara pasal 3 huruf
d menyatakan bahwa Aparatur Sipil Negara (ASN) sebagai profesi berlandaskan pada
prinsip yang salah satunya adalah mempunyai kompetensi yang diperlukan sesuai
dengan bidang tugas. Sedangkan pada pasal 70, sebagai upaya mengembangkan
kompetensi bagi ASN tersebut, dapat dilakukan salah satunya melalui kegiatan
pendidikan dan pelatihan (diklat).
Berdasarkan Dessler, G (2013), pelatihan dan pengembangan sumber daya
manusia didefinisikan sebagai sebuah proses yang memanfaatkan berbagai metode
untuk menyediakan keterampilan yang dibutuhkan, baik untuk pegawai baru maupun
pegawai lama dalam melaksanakan pekerjaannya. Definisi tersebut selaras dengan
definisi diklat menurut Peraturan Pemerintah Republik Indonesia Nomor 101 Tahun 2000
tentang Pendidikan dan Pelatihan Jabatan Pegawai Negeri Sipil, yaitu proses
penyelenggaraan belajar mengajar dalam rangka meningkatkan kemampuan Pegawai
Negeri Sipil.
Adapun fungsi dari pelatihan dinyatakan oleh Noe, Hollenback, Gerhart, & Wright
dalam Ikramina, F., and Gustomo, A. (2014) adalah :
untuk mengembangkan pengetahuan dari pegawai tentang budaya perusahaan
dan pesaingnya;
untuk membantu pekerja yang mempunyai keterampilan dalam bekerja dengan
menggunakan teknologi baru;
untuk membantu pegawai dalam mamahami bagaimana bekerja secara efisien
dan efektif dalam sebuah tim yang bertujuan untuk produk dan pelayanan yang
berkualitas;
untuk menjamin budaya perusahaan yang menekankan pada inovasi, kreativitas,
dan pengetahuan;
untuk menjamin keselamatan dengan memberikan ide-ide tentang bagaimana
pekerja dapat berkontribusi kepada perusahaan dalam jam kerja yang aman;
dan ketika para pegawai tersebut membutuhkan perubahan atau ketika suatu
keterampilan baru dianggap wajib;
serta untuk menyiapkan pegawai dalam menerima dan bekerja secara efektif
antar sesama, khususnya dengan minoritas dan wanita.
Evaluasi mengenai dampak dan efektifitas dari pelatihan diperlukan agar kelebihan
dan kekurangan dalam program tersebut dapat diidentifikasi sehingga perbaikan dapat
2-9
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
ditindaklanjuti (Rouse, D. 2011). Hal tersebut sesuai dengan fungsi evaluasi yang
dikemukakan Badu, Q., S. (2013) yaitu untuk memperoleh informasi yang akurat dan
objektif pada sebuah program, yang telah direncanakan dan diimplementasikan pada
fase sebelumnya.
Wall dalam ULUM (2015) mendeskripsikan kegiatan evaluasi sebagai suatu tujuan
yang sistematik, dan pengumpulan data secara hati-hati serta menganalisis informasi
yang digunakan untuk menentukan efektivitas dan dampak dari suatu program, serta
mengidentifikasi halhal apa saja yang harus ditingkatkan atau dirubah. Alasan utama
dilakukannya kegiatan evaluasi menurut Kirkpatrick, D., L. & Kirkpatrick J., D. (2006)
adalah untuk menentukan tingkat efektifitas dari suatu program pelatihan, sehingga
ketika kegiatan evaluasi sudah dilakukan diharapkan dapat menjadi dasar bagi pihak-
pihak yang bertanggung jawab dalam program tersebut, dalam membuat keputusan
berdasarkan hasil evaluasi.
Definisi dan fungsi evaluasi tersebut secara implisit sesuai dengan definisi evaluasi
dibidang pendidikan menurut Undang-Undang Nomor 20 Tahun 2003 tentang Sistem
Pendidikan Nasional, yaitu kegiatan pengendalian, penjaminan, dan penetapan mutu
pendidikan terhadap berbagai komponen pendidikan pada setiap jalur, jenjang, dan jenis
pendidikan sebagai bentuk pertanggungjawaban penyelenggaraan pendidikan.
Secara umum evaluasi adalah suatu proses sistematik untuk mengetahui tingkat
keberhasilan dan efisiensi suatu program. Dalam perspektif critical event models,
evaluasi merupakan bagian yang tak terpisahkan dari seluruh tahapan siklus diklat. Pada
konteks ini evaluasi dilakukan terhadap setiap tahapan mulai dari analisis kebutuhan
diklat, pelaksanaan diklat sampai dengan setelah selesai pelaksanaan atau pasca diklat.
Perkembangan konsep evaluasi yang ada pada saat ini menunjukkan arah yang
lebih luas. Konsep tersebut pada umumnya berkisar pada pandangan sebagai berikut :
1. Evaluasi tidak hanya diarahkan kepada tujuan diklat yang ditetapkan, tetapi
juga terhadap tujuan-tujuan yang tersembunyi, termasuk efek yang mungkin
timbul
2. Evaluasi tidak hanya melalui pengukuran perilaku peserta diklat, tetapi juga
melakukan pengkajian terhadap komponen-komponen diklat, baik masukkan –
proses – keluaran
3. Evaluasi tidak hanya dimaksudkan untuk mengetahui tercapai tidaknya tujuan-
tujuan yang telah ditetapkan, tetapi juga untuk mengetahui apakah tujuan-
tujuan tersebut penting bagi peserta diklat dan bagaimana peserta
mencapainya
4. Mengingat luasnya tujuan dan obyek evaluasi, maka alat yang digunakan
dalam pengukuran sangat beraneka ragam, tidak hanya terbatas pada tes,
tetapi juga yang bukan tes
2-10
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
Model evaluasi empat level dikenal pertama kali pada tahun 1959 ketika Donald L.
Kirkpatrick menulis empat seri artikel dengan judul “Techniques for Evaluating Training
Programs” yang diterbitkan dalam Training and Development, the journal of The
American Society for Training and Development (ASTD). Artkel-artikel tersebut
menggambarkan evaluasi empat level yang diformulasikan oleh Kirkpatrick berdasarkan
konsep dari desertasi beliau pada University of Wiconsin, Madison.
2-11
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
Kirkpatrick, D., L. & Kirkpatrick J., D. (2006) mengemukakan tiga alasan spesifik
dalam melakukan evaluasi program pelatihan, yaitu:
Untuk menjustifikasi keberadaan anggaran pelatihan dengan memperlihatkan
bagaimana program pelatihan tersebut berkontribusi pada tujuan dan sasaran
organisasi;
Untuk menentukan apakah suatu program pelatihan dilanjutkan atau tidak;
Untuk memperoleh informasi mengenai bagaimana cara meningkatkan program
pelatihan dimasa datang.
Metode evaluasi empat level merepresentasikan sebuah sekuen dari setiap tahapan
untuk mengevaluasi program pelatihan (Meghe, B., Bhise, V., P., & Muley, A. 2013).
Maksud dari sekuen adalah setiap level harus dilakukan secara bertahap. Hal tersebut
karena setiap level dalam model empat level adalah penting dan setiap level memberi
dampak pada level berikutnya (Abdulghani, M., H., Shaik, A., S., Khamis, N., Al-dress,
A., A., Irshad, M., Khalil, S., M., Alhaqwi, I., A., & Isnani, A. 2014).
Empat level tersebut adalah: Level 1- Reaction (Reaksi), Level 2- Learning
(Pembelajaran), Level 3- Behavior (Perilaku), dan Level 4- Results (Hasil/Dampak).
A. Level 1 – Reaction (Reaksi)
Mengevaluasi reaksi adalah sama halnya dengan mengukur tingkat kepuasan
konsumen (Kirkpatrick, D., L. & Kirkpatrick J., D. 2006). Menurut McLean, S. & Moss, G.
(2003) evaluasi di level satu biasa disebut dengan “happy face evaluation”, dimana
dilevel ini diukur reaksi dan kepuasan peserta terhadap program pelatihan. Mengukur
tingkat kepuasan peserta dalam kegiatan pelatihan merupakan hal yang penting, karena
menyangkut motivasi mereka dalam belajar. Hal tersebut sesuai dengan apa yang
dikemukakan oleh Holton, F., E. (1996) bahwa motivasi belajar berhubungan langsung
dengan pembelajaran.
Evaluasi di level 1 tidak mengukur apa yang peserta telah pelajari, namun
mengukur minat, motivasi, dan tingkat perhatian dari peserta pelatihan (Smidt,.,
Balandin, S., Sigafoos, J., & Reed, V, A.2009). Pentingnya mengukur reaksi menurut
Kirkpatrick, D., L. & Kirkpatrick J., D. (2006) berdasarkan beberapa alasan, yaitu:
Untuk memberikan masukkan yang berharga kepada penyelenggara pelatihan
dalam meningkatkan program pelatihan dimasa datang;
Memberikan saran dan masukkan kepada pengajar mengenai tingkat efektifitas
mereka dalam mengajar;
Dapat memberikan informasi kuantitatif kepada para pembuat keputusan terkait
dengan pelaksanaan program pelatihan;
Dapat memberikan informasi kuantitatif kepada pengajar yang dapat digunakan
sebagai dasar untuk membuat standar pengajaran untuk program yang akan
datang.
2-12
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
2-13
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
2-14
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
2-15
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
Hubungan antara hasil positif yang diterima oleh Perusahaan dengan kegiatan
pelatihan merupakan hal yang rumit, karena banyak aspek-aspek lain yang
mempengaruhi hal tersebut dan pelatihan mungkin adalah salah satunya.
Langkah-langkah dalam melakukan evalausi di level4 adalah:
1. Lakukan terlebih dahulu evaluasi di level-3.
2. Berikan waktu dalam melihat dampak muncul atau tercapai. Tidak ada waktu
yang spesifik dalam melakukan evaluasi hasil, sehingga dalam menentukan
waktu pelaksanaan evaluasi harus mempertimbangkan berbagai faktor yang
terlibat.
3. Dapat dilakukan dengan metode survey menggunakan kuisioner ataupun
wawancara terhadap peserta pelatihan dan pimpinan perusahaan.
4. Lakukan pengukuran, baik sebelum dan sesudah program pelatihan apabila
memungkinkan.
5. Lakukan evaluasi ulangan pada waktu yang sesuai pada waktu yang sesuai.
6. Pertimbangan biaya yang dikeluarkan dengan hasil yang didapat.
7. Dapat menggunakan data sekunder, seperti data penjualan, data produksi, dan
data lainnya yang mendukung hasil survey dalam menganalisi hasil.
2-16
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
Faktor lain yang tidak kalah penting adalah dengan melihat hasil analisis evaluasi di
level-2, sehingga dapat ditelusuri, apakah ketidakmampuan peserta sehingga bisa
merubah perilakunya juga disebabkan oleh kurangnya pemahaman peserta terhadap
materi. Alasan kurangnya peserta dalam memahami materi kemudian dapat juga
ditelusuri dengan melihat hasil analisis peserta di level-1, apakah pemahaman materi
yang kurang dari peserta karena disebabkan oleh ketidakpuasan peserta terhadap
penyelenggaraan pelatihan atau karena kualitas pengajar yang kurang, sehingga peserta
tidak mempunyai motivasi dalam belajar. Jadi dengan dilakukannya implementasi model
empat level secara sekuen, terdapat ukuran lebih sebagai dasar analisis untuk menarik
suatu kesimpulan.
Mencermati keempat tingkat evaluasi tersebut, maka dapat dipahami bahwa Level
1 merupakan evaluasi yang paling sederhana dan mudah untuk dilakukan, sementara
Level 4 adalah evaluasi yang paling sulit. Umumnya, perusahaan melakukan evaluasi
pada Level 1 dan 2 saja dengan pertimbangan keterbatasan waktu, biaya, maupun
metode pengukurannya, sebagaimana diuraikan pada bagian lain tulisan ini. Mereka
sudah puas pada hasil evaluasi yang mengatakan, misalnya, bahwa training telah
dilaksanakan dengan baik, modul‐modul yang diberikan cukup menarik, cara
penyampaian oleh trainer sudah baik, materi yang disampaikan dapat dipahami oleh
peserta, serta hal‐hal teknis lainnya. Penyelenggaraan evaluasi Level 1 dan Level 2 ini
juga relatif mudah dan murah karena dilakukan saat peserta masih berada di lokasi
training dan belum kembali ke tempat kerjanya. Metode evaluasi yang digunakanpun
relatif sederhana dan bersifat umum dalam pengertian dapat digunakan untuk hampir
semua jenis training.
Sayangnya, hasil evaluasi pada Level 1 dan 2 tersebut menjadi kurang bermakna
ketika muncul pertanyaan kritis seperti ”Mampukah eks‐peserta training nantinya
menerapkan pengetahuan dan keterampilan barunya tersebut dalam pekerjaannya
sehari‐hari?” atau ”Relevankah materi yang diberikan dengan kenyataan yang dihadapi?”
atau lebih jauh lagi ”Apakah dengan mengikuti training tersebut eks‐peserta terbukti
meningkat kinerjanya?” dan sejumlah pertanyaan lain yang secara keseluruhan akan
menggugat efektivitas penyelenggaraan suatu training. Sebaliknya, evaluasi pada Level 3
dan 4 dapat memberikan jawaban atas semua pertanyaan kritis tadi.
Evaluasi pada Level 3 mampu memberikan pemahaman kepada
perusahaan/penyelenggara training mengenai apakah materi yang diberikan dapat
diterapkan atau diimplementasikan dengan baik dalam pekerjaan sehari‐hari dan jika
ternyata tidak, kendala‐kendala apa yang perlu diatasi. Hal yang lebih penting lagi,
evaluasi pada tahap ini dapat memberikan feedback yang berharga bagi penyempurnaan
pelaksanaan training secara keseluruhan dihubungkan dengan kenyataan yang ada
sehingga pada akhirnya dapat memberikan kontribusi yang nyata terhadap peningkatan
kinerja karyawan.
2-17
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
Sementara itu, evaluasi pada Level 4 akan memberikan jawaban akhir mengenai
apakah tujuan penyelenggaraan suatu training telah tercapai atau belum. Umumnya,
suatu training diselenggarakan dengan tujuan memberikan dampak yang positif terhadap
kinerja perusahaan, misalnya peningkatan hasil penjualan, peningkatan hasil produksi,
penurunan biaya produksi, peningkatan pelayanan nasabah, dan sebagainya, meski ada
pula training yang tidak berdampak langsung terhadap kinerja perusahaan, seperti
training mengenai kepemimpinan, kerjasama antarpegawai, dan sebagainya.
Mencermati hal tersebut, maka dapat dipahami bahwa evaluasi hingga Level 3 dan
Level 4 sebenarnya merupakan suatu keharusan apabila perusahaan ingin mengetahui
apakah hal‐hal yang menjadi tujuan training telah tercapai dan dengan demikian berarti
pula bahwa training tersebut telah terselenggara secara efektif. Sayangnya, masih
banyak perusahaan yang menghadapi berbagai masalah dan kendala dalam melakukan
evaluasi training hingga level tersebut.
Lebih jauh lagi, hasil evaluasi pada Level 4 ini dapat digunakan sebagai dasar
perhitungan Return on Training Investment (ROTI) yang membandingkan hasil yang
diperoleh dengan biaya yang dikeluarkan untuk menyelenggarakan suatu training.
Perusahaan/penyelenggara training semakin menyadari pentingnya dilakukan evaluasi
hingga Level 4 sekaligus pengukuran ROTI‐nya agar mereka memiliki keyakinan bahwa
training yang diselenggarakannya benar‐benar memiliki dampak positif terhadap kinerja
perusahaannya serta masih memberikan keuntungan finansial yang lebih besar
dibandingkan dengan biaya yang mereka keluarkan.
Beberapa peneliti juga menekankan pentingnya evaluasi training yang didasarkan
pada perhitungan finansial agar mampu memberikan informasi yang nyata dan tegas
kepada perusahaan mengenai kontribusi training tersebut terhadap kinerja perusahaan.
Sandra Shelton dan George Alliger (1993), Donna Goldwasser (2001), serta Jack J.
Phillips dan Ron Drew Stone (2002) adalah beberapa peneliti yang meyakini bahwa
perusahaan harus menghitung secara cermat setiap uang yang dikeluarkan untuk
membiayai penyelenggaraan training, dan bahwa perhitungan tersebut haruslah dalam
konteks business results dan return on investment. 6
Pembahasan di atas menyiratkan perlunya dilakukan evaluasi training yang lengkap
dan komprehensif untuk mengetahui efektivitas penyelenggaraan training tersebut dalam
konteks perubahan/peningkatan kinerja pegawai yang pada gilirannya membawa
dampak positif bagi kemajuan bisnis perusahaan. Lebih jauh lagi, pengukuran efektivitas
training tersebut haruslah dilakukan dalam hubungannya dengan business results dan
return on investment agar dapat memberikan gambaran finansial yang sebenarnya bagi
perusahaan.
2-18
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
Menurutnya, paling tidak ada tiga keterbatasan metode ROI yang menyebabkannya
bukanlah merupakan alat diagnostik yang baik untuk mengevaluasi suatu training.
Pertama, ROI biasanya tidak mencakup seluruh tujuan stratejik perusahaan. Kedua, ROI
lebih merupakan potret sesaat yang memberikan informasi mengenai apa yang telah
dicapai perusahaan, namun tidak mampu memberikan gambaran mengenai apa yang
akan dicapai di masa depan. Ketiga, ROI merupakan sebuah lagging indicator.
Pendeknya, menurut Karie, ROI bukanlah suatu metode yang mampu memberikan
gambaran yang menyeluruh mengenai evaluasi training sebaik yang diberikan oleh
pengukuran result sebagaimana yang dimaksudkan oleh Kirkpatrick.
2-19
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
Jack J. Phillips dan Ron Drew Stone (2002) bahkan lebih tegas lagi. Phillips dan
Stone tidak hanya berpendapat bahwa evaluasi training harus dilakukan dalam konteks
training cost‐benefit analysis, namun lebih jauh lagi mereka menyebut perhitungan ROTI
sebagai evaluasi Level 5. Level 5 ini merupakan evaluasi terhadap nilai‐nilai finansial dari
pengaruh bisnis (business impact) yang diakibatkan oleh penyelenggaraan training,
dibandingkan dengan biaya training itu sendiri. Data business impact dikonversi ke dalam
nilai‐nilai finansial agar dapat dimasukkan dalam perhitungan matematis ROTI. Dengan
perhitungan tersebut maka nilai training yang sesungguhnya dapat tergambarkan dalam
konteks bisnis perusahaan secara keseluruhan. Secara tegas, mereka menyatakan
bahwa evaluasi training tidaklah lengkap bila tidak dilakukan hingga Level 5.
Berkaitan dengan evaluasi hingga Level 4 sekaligus perhitungan ROTI ini, Shelton
dan Alliger (1993) mengingatkan bahwa tidak semua jenis training perlu dievaluasi
hingga level tersebut. Langkah pertama yang harus dilakukan menurut mereka adalah
meyakini terlebih dahulu apakah memang training yang akan dievaluasi memiliki dampak
langsung terhadap business results perusahaan dan memang ditujukan untuk
meningkatkan kinerja perusahaan secara langsung. Jika tidak, maka evaluasi hingga
Level 4 dan perhitungan ROTI sesungguhnya tidak diperlukan. Setelah memastikan hal
tersebut, harus pula diyakini bahwa evaluasi Level 4 dan perhitungan ROTI tersebut
memang dapat dilakukan (doable) terkait dengan ketersediaan data, waktu, biaya, dan
terutama metode pengukuran kinerja usaha dari perusahaan yang bersangkutan.
2-20
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
Tahap ROI paling sulit dilakukan. Tujuannya adalah untuk mengevaluasi nilai balik
modal dari pelaksanaan pelatihan. Dibutuhkan waktu, biaya dan analisis data yang
akurat untuk keberhasilan evaluasi ini.
Salah satu cara adalah mengisolasi pengaruh pelatihan, ada tiga strategi yang
dengan mudah diperhitungkan yaitu :
1. Perbandingan antara kelompok peserta dan kelompok bukan peserta. Kinerja
antara kelompok peserta pelatihan dapat diperbandingkan dengan kelompok
lain yang setara dan belum mendapatkan pelatihan. Contohnya, cara
menjawab telepon yang masuk dari kelompok resepsionis peserta pelatihan
Sopan Santun Bertelepon dibandingkan dengan kelompok yang belum
mendapatkan pelatihan. Secara kualitatif, cara menjawab yang lebih baik dapat
disimpulkan disebabkan oleh pelatihan tersebut.
2. Perbandingan antara sebelum dan sesudah pelatihan. Kinerja antara sebelum
dan sesudah pelatihan dari kelompok yang sama diperbandingkan. Contohnya,
penjualan retail sebelum pelatihan direct selling dibandingkan dengan
penjualan setelah pelatihan. Tentu saja analisis yang dilakukan juga perlu
memperhatikan tren kenaikan atau penurunan tanpa adanya pelatihan.
3. Estimasi peserta terhadap presentase pengaruh pelatihan. Inilah perhitungan
yang paling mudah dilakukan. Peserta pelatihan diminta untuk mengungkapkan
berapa persentase pengaruh pelatihan terhadap perbaikan kinerjanya.
Contohnya, peserta pelatihan Interconnecting Network Device melaporkan
bahwa 70% keberhasilan mengerjakan proyek Wireless Connection disebabkan
oleh aplikasi pelatihan. Sisanya, 30% lainnya oleh faktor-faktor lain, seperti
proses belajar sendiri, umpan balik atasan, dll.
2-21
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
Saat ini telah terjadi pergeseran paradigma dalam evaluasi pelatihan, yang
sebelumnya ditekankan pada aspek ROI (return of investment) menuju ke pendekatan
yang lebih melihat keseluruhan mekanisme pelatihan itu sendiri, dari sebelum, selama
dan sesudah masa pelatihan.
Pelatihan sering didefisinisikan sebagai pemberian bekal keterampilan teknis
tertentu pada suatu bidang tertentu untuk meningkatkan kinerja seseorang di di dalam
organisasi, yang nantinya akan terukur dari kinerja organisasi secara keseluruhan.
Jika kita melihat definisi ini, tentunya langkah yang paling mudah untuk melihat
apakah training telah mencapai efektivitasnya adalah dengan cara mengukur apakah
biaya yang dikeluarkan untuk pelatihan sepadan dengan hasil yang diperoleh organisasi,
yakni berupa profit. Namun, akan jadi sangat sulit bagi sebuah organisasi yang besar
untuk mengukur ROI dari pelatihan, karena kita tidak pernah tahu apakah benar
seseorang/sekelompok orang yang ada dalam departmen tertentu memang benar telah
melakukan perbaikan kinerja pasca pelatihan, sehingga diperoleh peningkatan hasil
kerja? Jika hal ini terjadi akan sulit bagi organisasi untuk secara tepat memutuskan
departmen dan bagian keahlian mana yang akan dilatih pada masa berikutnya.
Banyak pelatihan yang diberikan oleh training provider yang kompeten dan terkenal
karena kemutakhiran materi serta keluwesan pematerinya sering hanya memberikan
“refreshment” pada tingkat pelaksanaan pelatihan itu sendiri. Learning yang menjadi
momok penting bagi program pelatihan kadang hanya terhenti pada saat pelatihan itu
dilangsungkan, setelah mereka pulang ke organisasi, mereka akan bingung karena faktor
lingkungan sudah tidak sesuai lagi dengan kondisi saat mereka di latih.
Pertanyaanya, apakah peserta pelatihan mampu menemukenali kelemahan dirinya
dan akan berkomitmen memperbaikinya di lingkungan organisasi pasca pelatihan?
Pertanyaan ini tentu akan dijawab oleh training provider dengan "iya". Hal ini sangat
beralasan, karena hampir semua penyedia jasa pelatihan akan memberikan feedback
form yang intinya menanyakan mengenai program pelatihan serta menanyakan hal yang
klasik ”apakah pelatihan ini berguna bagi Anda?” Bagi organisasi dengan budget
pelatihan yang sudah sedemikian rupa dianggarkan tentunya akan menyenangkan hati
mereka, karena pelatihan dinilai telah berhasil.
Demikian pula departmen HR akan senang karena itu berarti analisis kebutuhan
training telah terpenuhi, dan juga bagi departmen keuangan berarti ROI sudah tercapai.
Jika hal ini yang terjadi, maka kita perlu menanyakan lebih lanjut kepada departmen
terkait yang mengirimkan individu atau sekelompok individu untuk mengikuti pelatihan
tersebut dengan pertanyaan “bagaimana hasil kerja dari individu yang baru diberikan
pelatihan tersebut?”, dan “apakah ada peningkatan?” Inilah dilema organisasi yang
masih melihat tolok ukur kesuksesan pelatihan dari aspek ROI saja.
2-22
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
Pertama, melakukan tinjauan pada pra pelatihan dengan melihat hasil analisis
kebutuhan pelatihan. Semua organisasi dengan departmen HR sebagai kepanjangan
tangannya tentu sudah meramalkan kebutuhan pelatihan untuk masa yang akan datang.
Yang perlu digarisbawahi pada aktivitas ini adalah pemutakhiran data baik internal
maupun eksternal. Data internal seperti urgensi kebutuhan peningkatan keahlian
tertentu dari masing-masing departmen mutlak dibutuhkan, karena pada intinya
departmen terkaitlah yang tahu kebutuhan ini. Data eksternal seperti keadaan
persaingan usaha yang menuntut pelaku usaha untuk senantiasa meningkatkan
keterampilan karyawannya juga menjadi penentu, apakah memang dibutuhkan pelatihan
atau tidak. Kombinasi dari dua data ini diharapkan dapat memberikan gambaran
prioritas, pelatihan seperti apa dan untuk departmen apa sebenarnya program itu
dibutuhkan.
Kedua, pada proses pelatihan itu sendiri. Pada kegiatan pelatihan ini baik pihak
pengirim dan penyelengara pelatihan harus mampu mensinergikan tujuan pelatihan dari
masing-masing pihak. Hal ini bertujuan untuk mensinkronkan kebutuhan pelatihan
dengan proses learning yang nantinya akan menjadi bekal peserta pelatihan kelak jika
kembali ke organisasinya. Dengan hal ini diharapkan tidak ada materi yang under dan
over delivery. Artinya, demi menekan efesiensi biaya (baca: uang, waktu, tenaga), pihak
pengirim pelatihan harus mendapatkan keyakinan dari training provider akan cakupan
materi pelatihan serta relevansinya di dunia kerja. Form feedback yang diberikan oleh
penyedia jasa pelatihan di akhir sesi pelatihan bukan satu-satunya tolok ukur akan tepat
sasaranya program pelatihan tersebut, tapi justru pada mental dan willingness dari
peserta dalam mengikuti program pelatihan itu sendiri. Baik itu targeting lesson learned
dari training provider maupun learning requirement dari pengirim pelatihan harus
bertemu pada satu titik. Lebih lanjut apakah pelatihan tersebut diberikan dalam konteks
on the job training atau off the job training tidak menjadi masalah. Pada kegiatan pra-
pelatihanlah sebenarnya keputusan ini diambil. Tidak ada salah satu dari dua metode
tersebut yang paling baik maupun yang jelek, kembali kepada analisis kebutuhan serta
ketepatan dari program tersebut.
2-23
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
2-24
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
2-25
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
3-2
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
C. Tujuan Program
Program pelatihan dievaluasi pada tingkat yang berbeda seperti yang dijelaskan
secara singkat sebelumnya. Sesuai dengan tingkat evaluasi adalah tingkat tujuan:
- Tujuan Reaksi dan Kepuasan (1)
- Tujuan pembelajaran (2)
- Tujuan aplikasi (3)
- Tujuan dampak (4)
- Tujuan ROI (5)
Sebelum evaluasi ROI dimulai, tujuan program harus diidentifikasi atau
dikembangkan. Tujuan membentuk dasar untuk menentukan kedalaman evaluasi,
artinya mereka menentukan level apa evaluasi akan dilakukan. Secara historis, tujuan
pembelajaran dikembangkan secara rutin. Tujuan penerapan dan dampak tidak selalu
ada, tetapi diperlukan untuk fokus yang tepat pada hasil.
3-3
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
Jika aplikasi dan tujuan dampak tidak tersedia, mereka harus dikembangkan,
menggunakan input dari beberapa kelompok seperti petahana pekerjaan, pengembang
program, fasilitator, dan pemimpin tim di tempat kerja.
Terikat sangat erat dengan menetapkan tujuan adalah waktu pengumpulan data.
Dalam beberapa kasus, pengukuran praprogram diambil untuk membandingkan dengan
tindakan pasca-program dan, dalam beberapa kasus, beberapa tindakan diambil. Dalam
situasi lain, pengukuran pra-program tidak tersedia dan tindak lanjut spesifik masih
dilakukan setelah program. Masalah penting dalam bagian proses ini adalah menentukan
waktu untuk evaluasi tindak lanjut. Sebagai contoh, sebuah maskapai besar memulai
pengumpulan data untuk evaluasi tiga minggu setelah program pelatihan keterampilan
layanan pelanggan. Dalam contoh lain, sebuah perusahaan Indonesia membutuhkan lima
tahun untuk mengukur pengembalian bagi karyawan yang menghadiri program MBA di
Amerika Serikat. Untuk sebagian besar pelatihan profesional dan pengawasan, tindak
lanjut biasanya dilakukan dalam rentang tiga hingga enam bulan.
3.1.2 Pengembangan Perencanaan Evaluasi
Untuk menyelesaikan proses perencanaan, tiga dokumen perencanaan sederhana
dikembangkan: Rencana Pengumpulan Data, Rencana Analisis ROI, dan Rencana Proyek.
Dokumen-dokumen ini harus diselesaikan sebelum proyek evaluasi dilaksanakan —
idealnya, sebelum program dirancang atau dikembangkan. Perhatian awal yang tepat
akan menghemat banyak waktu nanti ketika data benar-benar dikumpulkan.
3-5
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
sebagai persen, menentukan tingkat pengembalian minimum yang dapat diterima untuk
berinvestasi dalam program ini. Sponsor program atau individu yang meminta studi
dampak biasanya memberikan nilai. Dalam contoh ini, eksekutif toko regional
menetapkan angka pada 50%.
Rencana pengumpulan data adalah bagian penting dari strategi evaluasi dan harus
diselesaikan sebelum bergerak maju dengan program pelatihan. Untuk program
pelatihan yang ada, rencana tersebut diselesaikan sebelum melanjutkan studi dampak
ROI. Rencana tersebut memberikan arah yang jelas tentang jenis data apa yang akan
dikumpulkan, bagaimana data itu akan dikumpulkan, siapa yang akan memberikan data,
kapan akan dikumpulkan, dan siapa yang akan mengumpulkannya.
B. Rencana Analisis ROI
Gambar 3-4 menunjukkan rencana analisis ROI yang lengkap untuk program
keterampilan penjualan interaktif. Dokumen perencanaan ini merupakan kelanjutan dari
rencana pengumpulan data yang disajikan pada Gambar 3-3 dan menangkap informasi
tentang beberapa item utama yang diperlukan untuk mengembangkan perhitungan ROI
aktual.
Di kolom pertama, item data signifikan dicantumkan, biasanya data dampak bisnis
Level 4, tetapi dalam beberapa kasus dapat mencakup item Level 3. Barang-barang ini
akan digunakan dalam analisis ROI. Metode untuk mengisolasi efek pelatihan terdaftar di
sebelah setiap item data di kolom kedua. Untuk sebagian besar kasus, metode ini akan
sama untuk setiap item data, tetapi mungkin ada variasi. Misalnya, jika tidak ada data
historis yang tersedia untuk satu item data, maka analisis garis tren tidak mungkin untuk
item tersebut, meskipun mungkin sesuai untuk item lainnya. Metode konversi data ke
nilai moneter termasuk dalam kolom ketiga, menggunakan salah satu dari sepuluh
strategi yang diuraikan sebelumnya.
3-6
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
Kategori biaya yang akan ditangkap untuk program pelatihan diuraikan dalam
kolom keempat. Instruksi tentang bagaimana biaya tertentu harus diprioritaskan akan
dicatat di sini. Biasanya kategori biaya akan konsisten dari satu program ke program
lainnya. Namun, biaya spesifik yang unik untuk program ini juga akan dicatat. Manfaat
tidak berwujud yang diharapkan dari program ini diuraikan pada kolom kelima.
Daftar ini dihasilkan dari diskusi tentang program dengan sponsor dan pakar
subjek. Sasaran komunikasi diuraikan dalam kolom keenam. Meskipun mungkin ada
banyak kelompok yang harus menerima informasi, empat kelompok sasaran selalu
disarankan:
1. Grup manajemen senior (sponsor)
2. Manajer peserta
3. Peserta program
4. Pelatihan dan pengembangan staf
Keempat kelompok ini perlu tahu tentang hasil analisis ROI.
Terakhir, masalah atau peristiwa lain yang mungkin mempengaruhi implementasi
program akan disorot di kolom terakhir. Item khas termasuk kemampuan peserta,
tingkat akses ke sumber data, dan masalah analisis data yang unik.
Rencana analisis ROI, ketika dikombinasikan dengan rencana pengumpulan data,
memberikan informasi terperinci tentang penghitungan ROI, menggambarkan bagaimana
proses akan berkembang dari awal hingga akhir.
C. Rencana proyek
3-7
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
ROI, di mana waktu berharga yang dialokasikan untuk proses ini akan menghemat waktu
berharga nanti.
3-8
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
kesulitan dan masalah yang terkait dengan aplikasi. Meskipun input pengawas biasanya
terbaik untuk data Level 3, ini dapat berguna untuk Level 4. Namun penting bagi
pengawas untuk menjaga obyektivitas ketika menilai peserta program.
D. Bawahan Peserta
Dalam situasi di mana penyelia dan manajer dilatih, laporan langsung mereka
dapat memberikan informasi tentang perubahan yang dirasakan dalam perilaku yang
dapat diamati yang telah terjadi sejak program dilaksanakan. Input dari bawahan sesuai
untuk data Level 3 (perilaku) tetapi tidak Level 4. Sementara mengumpulkan data dari
sumber ini bisa sangat membantu dan instruktif, sering kali dihindari karena potensi bias
yang dapat masuk ke dalam proses umpan balik.
E. Rekan Sejawat
Individu-individu yang melayani sebagai anggota tim dengan peserta atau
menempati posisi tingkat sebaya dalam organisasi adalah sumber data lain untuk
beberapa jenis program. Dalam situasi ini, anggota kelompok sebaya memberikan
masukan tentang perubahan perilaku yang dirasakan dari peserta (data Level 3). Sumber
data ini lebih tepat ketika semua anggota tim berpartisipasi dalam program, dan
akibatnya, ketika mereka melaporkan upaya kolektif kelompok atau perubahan perilaku
individu tertentu. Karena sifat subjektif dari proses ini, dan kurangnya kesempatan untuk
sepenuhnya mengevaluasi penerapan keterampilan, sumber data ini agak terbatas.
F. Grup Internal / Eksternal
Dalam beberapa situasi, kelompok internal atau eksternal, seperti staf pelatihan
dan pengembangan, fasilitator program, pengamat ahli, atau konsultan eksternal, dapat
memberikan masukan pada keberhasilan individu ketika mereka belajar dan menerapkan
keterampilan dan pengetahuan yang tercakup dalam program. Kadang-kadang pengamat
atau penilai ahli dapat digunakan untuk mengukur pembelajaran (data Level 2). Sumber
ini mungkin berguna untuk pengamatan di tempat kerja (data Level 3) setelah program
pelatihan selesai. Mengumpulkan data dari sumber ini memiliki kegunaan yang terbatas.
Karena kelompok internal mungkin memiliki kepentingan dalam hasil evaluasi, masukan
mereka mungkin kehilangan kredibilitas.
3.2.2 Kuesioner dan Survey
Mungkin bentuk paling umum dari metode pengumpulan data adalah kuesioner
(Alreck dan Settle, 1995). Mulai dari bentuk reaksi singkat hingga alat tindak lanjut yang
terperinci, kuesioner dapat digunakan untuk memperoleh informasi subjektif tentang
peserta, serta untuk mendokumentasikan hasil bisnis yang terukur secara obyektif untuk
analisis ROI. Dengan keserbagunaan dan popularitas ini, kuesioner adalah metode yang
disukai untuk menangkap data Level 1, 2, 3, dan 4 di beberapa organisasi.
Survei mewakili jenis kuesioner tertentu dengan beberapa aplikasi untuk mengukur
keberhasilan pelatihan. Survei digunakan dalam situasi di mana sikap, kepercayaan, dan
pendapat hanya ditangkap; sedangkan, kuesioner memiliki lebih banyak fleksibilitas dan
3-9
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
menangkap data mulai dari sikap hingga statistik peningkatan spesifik. Prinsip-prinsip
konstruksi dan desain survei mirip dengan desain kuesioner. Pengembangan kedua jenis
instrumen dibahas dalam bagian ini.
A. Jenis-jenis Kuesioner
Selain jenis data yang dicari, jenis pertanyaan membedakan survei dari kuesioner.
Survei dapat memiliki jawaban ya atau tidak ketika persetujuan atau ketidaksepakatan
mutlak diperlukan, atau serangkaian tanggapan dapat digunakan dari sangat tidak setuju
hingga sangat setuju. Skala titik fokus sangat umum.
Kuisioner dapat berisi salah satu atau semua jenis pertanyaan ini:
Pertanyaan terbuka: memiliki jawaban yang tidak terbatas. Pertanyaan ini diikuti
oleh ruang kosong yang cukup untuk tanggapan.
Checklist: memberikan daftar item di mana peserta diminta untuk memeriksa
item yang berlaku dalam situasi tersebut.
Pertanyaan dua arah: memiliki respons alternatif, jawaban ya / tidak atau
kemungkinan lain.
Pertanyaan pilihan ganda: ada beberapa pilihan, dan peserta diminta untuk
memilih yang paling sesuai.
Skala peringkat: mengharuskan peserta untuk membuat peringkat daftar item.
B. Langkah-langkah Desain Kuesioner
Desain kuesioner adalah proses yang sederhana dan logis. Tidak ada yang lebih
membingungkan, membuat frustrasi, dan berpotensi memalukan selain kuesioner yang
dirancang dengan buruk atau tidak tepat. Langkah-langkah berikut dapat memastikan
bahwa instrumen yang valid, andal, dan efektif dikembangkan (Robson, 2002).
Tentukan informasi spesifik yang dibutuhkan. Sebagai langkah pertama dalam
desain kuesioner, topik, keterampilan, atau sikap yang disajikan dalam program
ditinjau untuk item potensial untuk kuesioner. Terkadang sangat membantu untuk
mengembangkan informasi ini dalam bentuk garis besar sehingga pertanyaan
atau item terkait dapat dikelompokkan. Masalah-masalah lain yang terkait dengan
penerapan program ini dieksplorasi untuk dimasukkan dalam kuesioner.
Libatkan manajemen dalam proses. Sedapat mungkin, manajemen harus terlibat
dalam proses ini, baik sebagai klien, sponsor, pendukung, atau pihak yang
berkepentingan. Jika memungkinkan, manajer yang paling akrab dengan program
atau proses harus memberikan informasi tentang isu-isu spesifik dan masalah
yang sering membingkai pertanyaan aktual yang direncanakan untuk kuesioner.
Dalam beberapa kasus, manajer ingin memberikan masukan tentang masalah
atau item tertentu. Input manajer tidak hanya bermanfaat dan berguna dalam
desain kuesioner, tetapi juga membangun kepemilikan dalam proses pengukuran
dan evaluasi.
3-10
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
3-11
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
mock-up. Langkah ini menghindari masalah analisis data yang tidak memadai,
rumit, dan panjang yang disebabkan oleh kata-kata atau desain yang tidak tepat.
Kembangkan kuesioner yang telah diisi dan siapkan ringkasan data. Pertanyaan-
pertanyaan harus diintegrasikan untuk mengembangkan kuesioner yang menarik
dengan instruksi yang tepat sehingga dapat diberikan secara efektif. Selain itu,
lembar ringkasan harus dikembangkan sehingga data dapat ditabulasi dengan
cepat untuk analisis.
3.3 ANALISA DATA (DATA ANALYSIS)
3.3.1 Isolasi Pengaruh Pelatihan
Sementara mengisolasi efek pelatihan tampaknya merupakan masalah yang logis,
praktis, dan perlu, masih banyak diperdebatkan. Beberapa profesional berpendapat
bahwa untuk mengisolasi efek pelatihan bertentangan dengan semua yang diajarkan
dalam pemikiran sistem dan peningkatan kinerja tim (Brinkerhoff dan Dressler, 2002).
Yang lain berpendapat bahwa satu-satunya cara untuk menghubungkan pelatihan
dengan hasil bisnis aktual adalah dengan mengisolasi efeknya pada langkah-langkah
bisnis tersebut (Russ-Eft dan Preskill, 2001). Sebagian besar perdebatan berpusat pada
kesalahpahaman dan tantangan untuk mengisolasi efek dari proses. Poin pertama dalam
perdebatan adalah masalah proses yang saling melengkapi. Memang benar bahwa
pelatihan sering dilaksanakan sebagai bagian dari inisiatif peningkatan kinerja total.
Selalu ada pengaruh lain yang harus bekerja selaras dengan pelatihan untuk
meningkatkan hasil bisnis. Ini sering bukan masalah apakah pelatihan merupakan bagian
dari campuran, tetapi berapa banyak pelatihan yang dibutuhkan, konten spesifik apa
yang dibutuhkan, dan pengiriman yang paling tepat diperlukan untuk mengarahkan
bagian pelatihan dari peningkatan kinerja.
Masalah mengisolasi efek pelatihan tidak dimaksudkan untuk menyarankan bahwa
pelatihan harus berdiri sendiri sebagai variabel yang memengaruhi tunggal untuk
mendorong kinerja bisnis yang signifikan. Masalah isolasi ikut bermain, namun, ketika
ada pemilik berbeda dari proses yang mempengaruhi hasil bisnis dan mereka harus
memiliki lebih banyak informasi tentang kontribusi relatif. Dalam banyak situasi,
pertanyaan ini harus diatasi: Berapa banyak peningkatan yang disebabkan oleh
pelatihan?
Tanpa jawaban, atau metode khusus untuk mengatasi masalah ini, kredibilitas yang
luar biasa hilang, terutama dengan tim manajemen senior. Poin lain dalam perdebatan
adalah sulitnya mencapai isolasi. Pendekatan klasik adalah dengan menggunakan
pengaturan kelompok kontrol di mana satu kelompok menerima pelatihan dan yang
lainnya tidak. Ini adalah salah satu teknik yang dijelaskan dalam bab ini dan merupakan
yang paling kredibel.
Namun, kelompok kontrol mungkin tidak sesuai dalam sebagian besar studi.
Akibatnya, metode lain harus digunakan. Peneliti terkadang menggunakan analisis deret
3-12
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
waktu, juga dibahas dalam bab ini sebagai analisis garis tren. Di luar itu, banyak peneliti
menyerah dan menyarankan bahwa itu tidak dapat diatasi dengan kredibilitas atau
mereka memilih untuk mengabaikan masalah tersebut, berharap bahwa itu tidak akan
diperhatikan oleh sponsor. Tak satu pun dari tanggapan ini dapat diterima oleh tim
manajemen senior yang berusaha memahami hubungan antara pelatihan dan
kesuksesan bisnis. Estimasi kredibel yang disesuaikan dengan kesalahan akan sering
memenuhi persyaratan mereka.
Poin penting adalah untuk selalu mengatasi masalah ini, bahkan jika estimasi ahli
digunakan dengan penyesuaian kesalahan. Dengan cara ini, masalah mengisolasi efek
pelatihan menjadi langkah penting dalam analisis. Dengan demikian, prinsip pedoman
ditetapkan pada masalah ini.
Sebagai langkah pertama dalam mengisolasi dampak pelatihan terhadap kinerja,
semua faktor kunci yang mungkin berkontribusi pada peningkatan kinerja harus
diidentifikasi. Langkah ini mengungkapkan faktor-faktor lain yang mungkin telah
mempengaruhi hasil, menggarisbawahi bahwa program pelatihan bukan satu-satunya
sumber peningkatan. Akibatnya, kredit untuk perbaikan dibagi dengan beberapa variabel
dan sumber yang mungkin, suatu pendekatan yang cenderung mendapatkan rasa
hormat dari manajemen.
Beberapa sumber potensial mengidentifikasi variabel-variabel pengaruh utama.
Sponsor mungkin dapat mengidentifikasi faktor-faktor yang harus mempengaruhi ukuran
output jika mereka telah meminta program. Klien biasanya akan menyadari inisiatif atau
program lain yang dapat mempengaruhi hasil. Bahkan jika program itu operasional, klien
mungkin memiliki banyak wawasan tentang pengaruh-pengaruh lain yang mungkin telah
mendorong peningkatan kinerja.
Peserta program sering menyadari pengaruh lain yang mungkin menyebabkan
peningkatan kinerja. Bagaimanapun, ini adalah dampak dari upaya kolektif mereka yang
dipantau dan diukur. Dalam banyak situasi, mereka menyaksikan gerakan sebelumnya
dalam ukuran kinerja dan dapat menunjukkan alasan untuk perubahan. Mereka biasanya
ahli dalam masalah ini.
Analis dan pengembang program adalah sumber lain untuk mengidentifikasi
variabel yang berdampak pada hasil. Analisis kebutuhan akan secara rutin mengungkap
variabel-variabel yang berpengaruh ini. Desainer program biasanya menganalisis
variabel-variabel ini saat menangani masalah transfer pelatihan.
Dalam beberapa situasi, pengawas peserta mungkin dapat mengidentifikasi variabel
yang mempengaruhi peningkatan kinerja. Ini sangat berguna ketika peserta program
pelatihan adalah karyawan tingkat pemula atau rendah (operatif) yang mungkin tidak
sepenuhnya sadar akan variabel yang dapat memengaruhi kinerja.
Akhirnya, manajemen menengah dan atas mungkin dapat mengidentifikasi
pengaruh lain, berdasarkan pengalaman dan pengetahuan mereka tentang situasi
3-13
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
3-14
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
kelompok eksperimen dan kelompok kontrol (Keuler, 2001). Program pelatihan dirancang
untuk meningkatkan umpan balik pelanggan Verizon dan diharapkan dapat mengurangi
jumlah panggilan keseluruhan yang meningkat ke tingkat pengawasan. Perbedaan antara
kedua kelompok menunjukkan sejauh mana keterampilan dipindahkan ke pekerjaan
(Level 3) dan juga dampak yang dimilikinya di tempat kerja (Level 4). Dengan demikian,
perbedaan kelompok kontrol dapat digunakan untuk mengisolasi efek pada data Level 3
dan Level 4.
Dalam contoh lain, program pengurangan omset untuk spesialis komunikasi di
lembaga pemerintah menggunakan kelompok kontrol dan kelompok eksperimen (Phillips
dan Phillips, 2002). Kelompok eksperimen terdiri dari individu-individu dalam program
khusus yang dirancang untuk memungkinkan peserta mencapai gelar master dalam ilmu
informasi tentang waktu keagenan dan dengan biaya agensi. Kelompok kontrol dipilih
dengan cermat untuk mencocokkan dengan kelompok eksperimen dalam hal jabatan,
masa kerja dengan agensi, dan gelar sarjana yang diperoleh. Perbedaan kelompok
kontrol / eksperimen sangat dramatis, menunjukkan dampak dari program solusi retensi.
Satu peringatan yang perlu diingat adalah bahwa penggunaan kelompok kontrol
dapat membuat gambar bahwa staf HRD membuat pengaturan laboratorium, yang dapat
menyebabkan masalah bagi beberapa administrator dan eksekutif. Untuk menghindari
stigma ini, beberapa organisasi menjalankan program menggunakan peserta uji coba
sebagai kelompok eksperimen dan tidak memberi tahu kelompok kontrol yang tidak
berpartisipasi. Contoh lain akan menggambarkan pendekatan ini. Perusahaan manufaktur
khusus internasional mengembangkan program untuk perwakilan layanan pelanggannya
yang menjual langsung ke publik. Program ini dirancang untuk meningkatkan
keterampilan penjualan dan menghasilkan tingkat penjualan yang lebih tinggi.
Sebelumnya, perolehan keterampilan penjualan bersifat informal, di tempat kerja, atau
karena coba-coba. Manajer HRD yakin bahwa pelatihan formal akan secara signifikan
meningkatkan penjualan. Manajemen skeptis dan menginginkan bukti — skenario yang
lazim. Program ini diuji coba dengan mengajarkan keterampilan penjualan kepada 16
perwakilan layanan pelanggan yang dipilih secara acak dari 32 yang baru direkrut. 16
sisanya menjabat sebagai kelompok kontrol dan tidak menerima pelatihan. Sebelum
pelatihan, kinerja diukur menggunakan rata-rata penjualan harian (penjualan dibagi
dengan jumlah hari) selama 30 hari (atau lamanya layanan, jika lebih pendek) untuk
masing-masing dari kedua kelompok. Setelah pelatihan, rata-rata penjualan harian
dicatat selama 30 hari. Perbedaan signifikan dalam penjualan kedua kelompok muncul,
dan karena kelompok hampir identik dan mengalami pengaruh lingkungan yang sama,
disimpulkan bahwa perbedaan penjualan adalah hasil dari pelatihan dan bukan faktor
lain. Dalam pengaturan ini, kelompok pilot adalah kelompok eksperimen. Kelompok
pembanding (kelompok kontrol) mudah dipilih. Teknik ini digunakan tanpa publisitas dan
potensi kritik yang khas ketika menggunakan pengaturan kelompok kontrol.
3-15
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
3-16
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
Dalam contoh ini, ada lusinan variabel yang dapat memengaruhi kinerja toko, mulai
dari perbedaan individu (misalnya, pengalaman penjualan, pendidikan, dan masa kerja)
hingga perbedaan manajerial dan kepemimpinan di dalam departemen dan toko
(misalnya, gaya kepemimpinan dan kontrol manajerial) , serta kebijakan dalam toko
tentang perdagangan dan pemasaran.
Mungkin perbedaan yang paling terjadi secara eksternal dengan area pasar dan
persaingan di sekitarnya. Tantangannya adalah untuk mengambil pendekatan yang
realistis dan untuk mengatasi sejumlah langkah yang masuk akal. Dalam contoh ini,
eksekutif toko regional memilih empat ukuran yang mungkin paling tidak 80% dari
perbedaan. Dengan demikian, menggunakan aturan 80-20, tantangan memilih kelompok
dapat dikelola. Ketika output dapat dipengaruhi oleh sebanyak 40-50 tindakan, hampir
tidak mungkin untuk mempertimbangkan semua tindakan dengan ukuran sampel toko
420. Dengan demikian, penggunaan praktis dari kelompok kontrol harus
mempertimbangkan kendala dalam pekerjaan. pengaturan dan fokus pada pengaruh
paling penting, selain pelatihan, yang akan membuat perbedaan dalam ukuran output.
Masalah ketiga dengan pengaturan kelompok kontrol adalah kontaminasi, yang
dapat berkembang ketika peserta dalam program pelatihan mengajar orang lain dalam
kelompok kontrol. Kadang-kadang situasi sebaliknya terjadi ketika anggota kelompok
kontrol memodelkan perilaku dari kelompok yang terlatih. Dalam kedua kasus,
percobaan menjadi terkontaminasi karena pengaruh filter pelatihan ke kelompok kontrol.
Ini dapat diminimalkan dengan memastikan bahwa kelompok kontrol dan kelompok
eksperimen berada di lokasi yang berbeda, memiliki shift yang berbeda, atau berada di
lantai yang berbeda di gedung yang sama. Ketika hal ini tidak memungkinkan, kadang-
kadang bermanfaat untuk menjelaskan kepada kedua kelompok bahwa satu kelompok
akan menerima pelatihan sekarang dan yang lain akan menerima pelatihan di kemudian
hari. Juga, mungkin bermanfaat untuk memohon rasa tanggung jawab dari mereka yang
dilatih dan meminta mereka untuk tidak membagikan informasi tersebut kepada orang
lain.
Terkait erat dengan masalah sebelumnya adalah masalah waktu. Semakin lama
kelompok kontrol dan kelompok eksperimen beroperasi, kemungkinan pengaruh lain
untuk mempengaruhi hasil meningkat. Lebih banyak variabel akan masuk ke dalam
situasi, mencemari hasil. Di ujung lain skala, harus ada cukup waktu sehingga pola yang
jelas dapat muncul di antara kedua kelompok. Dengan demikian, waktu untuk
perbandingan kelompok kontrol harus mencapai keseimbangan menunggu yang cukup
lama untuk menunjukkan perbedaan kinerja mereka, tetapi tidak terlalu lama sehingga
hasilnya menjadi sangat terkontaminasi.
Masalah kelima terjadi ketika berbagai kelompok berfungsi di bawah pengaruh
lingkungan yang berbeda. Karena mereka mungkin berada di lokasi yang berbeda,
kelompok tersebut mungkin memiliki pengaruh lingkungan yang berbeda. Kadang-
3-17
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
kadang pemilihan kelompok dapat membantu mencegah masalah ini terjadi. Juga,
menggunakan lebih banyak kelompok daripada yang diperlukan dan membuang mereka
dengan beberapa perbedaan lingkungan adalah taktik lain. Masalah keenam dengan
menggunakan kelompok kontrol adalah bahwa hal itu mungkin tampak terlalu
berorientasi pada penelitian untuk sebagian besar organisasi bisnis. Misalnya,
manajemen mungkin tidak ingin meluangkan waktu untuk bereksperimen sebelum
melanjutkan dengan program atau mereka mungkin tidak ingin menahan pelatihan dari
suatu kelompok hanya untuk mengukur dampak dari program eksperimental. Karena
keprihatinan ini, beberapa praktisi pembela HAM tidak menyukai gagasan menggunakan
kelompok kontrol. Namun ketika proses ini digunakan, beberapa organisasi melakukan
itu dengan peserta uji coba sebagai kelompok eksperimen dan bukan peserta sebagai
kelompok kontrol. Di bawah pengaturan ini, kelompok kontrol tidak diberitahu tentang
status kelompok kontrol mereka.
Karena ini adalah pendekatan yang efektif untuk mengisolasi dampak pelatihan, itu
harus dianggap sebagai strategi ketika studi dampak ROI utama direncanakan. Dalam
situasi ini, penting agar dampak program diisolasi ke tingkat akurasi yang tinggi;
keuntungan utama dari proses kelompok kontrol adalah akurasi. Sekitar sepertiga dari
lebih dari 100 studi yang dipublikasikan tentang metodologi ROI menggunakan proses
kelompok kontrol.
B. Trend Line Analysis
Teknik lain yang bermanfaat untuk memperkirakan dampak pelatihan adalah
analisis garis tren. Dengan pendekatan ini, garis tren ditarik, menggunakan kinerja
sebelumnya sebagai basis, dan memperluas tren ke masa depan.
Ketika pelatihan dilakukan, kinerja aktual dibandingkan dengan nilai yang
diproyeksikan, garis tren. Setiap peningkatan kinerja melebihi apa yang diprediksi garis
tren kemudian dapat secara wajar dikaitkan dengan pelatihan, jika dua kondisi
terpenuhi:
1. Tren yang telah berkembang sebelum program diharapkan akan berlanjut jika
program belum dilaksanakan untuk mengubahnya (yaitu, jika program
pelatihan belum dilaksanakan, apakah tren ini akan berlanjut pada jalur yang
sama yang ditetapkan sebelum pelatihan? ). Pemilik proses harus dapat
memberikan masukan untuk mencapai kesimpulan ini. Jika jawabannya "tidak,"
analisis garis tren tidak akan digunakan. Jika jawabannya "ya," kondisi kedua
dipertimbangkan.
2. Tidak ada variabel atau pengaruh baru lainnya memasuki proses setelah
pelatihan dilakukan. Kata kuncinya adalah "baru," menyadari bahwa tren telah
ditetapkan karena pengaruh sudah ada, dan tidak ada pengaruh tambahan
memasuki proses di luar program pelatihan dan pengembangan. Jika
jawabannya "ya," metode lain harus digunakan. Jika jawabannya “tidak,”
3-18
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
analisis garis tren mengembangkan perkiraan yang masuk akal dari dampak
pelatihan.
Gambar 3-6 menunjukkan contoh analisis garis tren ini yang diambil dari
departemen pengiriman dalam operasi gudang. Persentase tersebut mencerminkan
tingkat pengiriman aktual dibandingkan dengan pengiriman terjadwal. Data disajikan
sebelum dan sesudah program pelatihan tim, yang dilakukan pada bulan Juli. Seperti
yang ditunjukkan pada gambar, ada tren naik pada data sebelum melakukan pelatihan.
Meskipun program tersebut ternyata memiliki efek dramatis pada produktivitas
pengiriman, garis tren menunjukkan bahwa perbaikan akan terus berlanjut, berdasarkan
tren yang sebelumnya telah ditetapkan. Sangat menggoda untuk mengukur peningkatan
dengan membandingkan rata-rata pengiriman enam bulan sebelum program (87,3%)
dengan rata-rata enam bulan setelah program (94,4%) menghasilkan perbedaan 6,9%.
Namun, perbandingan yang lebih akurat adalah rata-rata enam bulan setelah program
dibandingkan dengan garis tren (92,3%).
Dalam contoh ini, perbedaannya adalah 2,1%. Dalam hal ini, dua kondisi yang
diuraikan di atas terpenuhi (ya pada yang pertama; tidak pada yang kedua). Dengan
demikian, menggunakan ukuran yang lebih sederhana ini meningkatkan akurasi dan
kredibilitas proses untuk mengisolasi dampak program.
Data pra-program harus tersedia sebelum teknik ini dapat digunakan dan data
harus memiliki tingkat stabilitas yang wajar. Jika varians data tinggi, stabilitas garis tren
menjadi masalah. Jika ini adalah masalah yang sangat kritis dan stabilitas tidak dapat
dinilai dari plot langsung data, analisis statistik yang lebih rinci dapat digunakan untuk
menentukan apakah data cukup stabil untuk membuat proyeksi (Salkind, 2000).
Garis tren, diproyeksikan langsung dari data historis menggunakan garis lurus,
mungkin dapat diterima. Jika akurasi tambahan diperlukan, garis tren dapat
3-19
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
Gambar 3.7. Contoh Trend Line dalam hal Komplain di sebuah Rumah Sakit
Penggunaan analisis garis tren menjadi lebih dramatis dan meyakinkan ketika suatu
tindakan, bergerak ke arah yang tidak diinginkan, sepenuhnya berbalik dengan program
pelatihan. Misalnya, Gambar 3-7 menunjukkan garis tren keluhan pelecehan seksual
dalam rantai rumah sakit besar (Phillips dan Hill, 2001). Seperti yang ditunjukkan oleh
gambar, keluhan meningkat ke arah yang tidak diinginkan oleh organisasi. Lokakarya
dan kegiatan-kegiatan selanjutnya yang berhubungan dengan program membalikkan
situasi sehingga hasil yang sebenarnya ada di arah lain. Proses garis tren menunjukkan
kapan peningkatan dramatis telah terjadi. Nilai proyeksi garis tren menunjukkan angka
yang jauh lebih tinggi daripada hasil aktual dan perbedaan pra-program dan pasca-
program.
Kerugian utama dari pendekatan garis tren ini adalah tidak selalu akurat.
Penggunaan pendekatan ini mengasumsikan bahwa peristiwa-peristiwa yang
mempengaruhi variabel kinerja sebelum program masih ada setelah program, kecuali
untuk pelaksanaan program pelatihan (yaitu, tren yang didirikan sebelum pelatihan akan
berlanjut pada saat yang sama. arah relatif). Juga, diasumsikan bahwa tidak ada
pengaruh baru memasuki situasi pada saat pelatihan dilakukan. Ini jarang terjadi.
Keuntungan utama dari pendekatan ini adalah sederhana dan murah. Jika data
historis tersedia, garis tren dapat dengan cepat ditarik dan perbedaan diperkirakan.
Meskipun tidak tepat, ini memberikan penilaian yang sangat cepat tentang dampak
potensial pelatihan. Sekitar 15% dari lebih dari 100 studi yang dipublikasikan tentang
metodologi ROI menggunakan teknik analisis garis tren. Ketika variabel lain memasuki
situasi, analisis tambahan diperlukan.
3-20
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
C. Forecasting Methods
Pendekatan yang lebih analitis untuk analisis garis tren adalah penggunaan metode
peramalan yang memprediksi perubahan variabel kinerja. Pendekatan ini merupakan
interpretasi matematis dari analisis garis tren yang dibahas di atas ketika variabel lain
memasuki situasi pada saat pelatihan. Premis dasarnya adalah bahwa kinerja aktual
suatu tindakan, terkait dengan pelatihan, dibandingkan dengan nilai perkiraan ukuran
itu. Nilai perkiraan didasarkan pada pengaruh lainnya. Model linier, dalam bentuk y = a x
+ b, sesuai ketika hanya satu variabel lain yang mempengaruhi kinerja output dan
hubungan itu ditandai oleh garis lurus. Alih-alih menggambar garis lurus, persamaan
linear dikembangkan, yang menghitung nilai peningkatan kinerja yang diantisipasi.
Contoh akan membantu menjelaskan penerapan proses ini. Rantai toko ritel besar
dengan budaya penjualan yang kuat menerapkan program pelatihan penjualan untuk
rekanan penjualan. Program tiga hari dirancang untuk meningkatkan keterampilan
penjualan dan teknik pencarian calon pelanggan. Penerapan keterampilan harus
meningkatkan volume penjualan untuk setiap karyawan.
Ukuran penting dari kesuksesan program adalah penjualan per karyawan enam
bulan setelah program dibandingkan dengan ukuran yang sama sebelum program.
Penjualan harian rata-rata per karyawan sebelum pelatihan, menggunakan rata-rata satu
bulan, adalah $ 1.100 (dibulatkan ke $ 100 terdekat). Enam bulan setelah program,
rata-rata penjualan harian per karyawan adalah $ 1500 (bulan keenam). Kedua angka
penjualan ini adalah nilai rata-rata untuk kelompok peserta tertentu. Dua pertanyaan
terkait harus dijawab: Apakah perbedaan dalam dua nilai ini disebabkan oleh program
pelatihan? Apakah faktor-faktor lain memengaruhi tingkat penjualan aktual?
Setelah meninjau faktor-faktor yang berpotensi mempengaruhi dengan beberapa
eksekutif toko, hanya satu faktor, tingkat periklanan, yang tampaknya telah berubah
secara signifikan selama periode yang dipertimbangkan. Saat meninjau penjualan
sebelumnya per data karyawan dan tingkat iklan, hubungan langsung tampaknya ada.
Seperti yang diharapkan, ketika pengeluaran iklan meningkat, penjualan per karyawan
meningkat secara proporsional.
3-21
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
Staf iklan telah mengembangkan hubungan matematis antara iklan dan penjualan.
Menggunakan nilai historis, model linier sederhana menghasilkan hubungan berikut: y =
140 + 40x, di mana y adalah penjualan harian per karyawan dan x adalah tingkat
pengeluaran iklan per minggu (dibagi dengan 1000). Persamaan ini dikembangkan oleh
departemen pemasaran menggunakan metode kuadrat terkecil untuk memperoleh
hubungan matematis antara dua kolom data (yaitu, iklan dan penjualan). Ini adalah opsi
rutin pada beberapa kalkulator dan termasuk dalam banyak paket perangkat lunak.
Gambar 3-8 menunjukkan hubungan linear antara iklan dan penjualan.
Tingkat pengeluaran iklan mingguan pada bulan sebelum pelatihan adalah $ 24.000
dan tingkat pengeluaran pada bulan keenam setelah pelatihan adalah $ 30.000. Dengan
asumsi bahwa faktor-faktor lain yang mungkin mempengaruhi penjualan tidak signifikan,
eksekutif toko menentukan dampak dari iklan dengan memasukkan jumlah pengeluaran
iklan baru, 30, untuk x dan menghitung penjualan harian, yang menghasilkan $ 1340.
Dengan demikian, tingkat penjualan baru yang disebabkan oleh peningkatan iklan adalah
$ 1.340, seperti yang ditunjukkan pada Gambar 3-8. Karena nilai aktual yang baru
adalah $ 1500, maka $ 160 (mis., 1500 –1340) harus dikaitkan dengan program
pelatihan. Efek dari pelatihan dan periklanan ditunjukkan pada gambar.
Kerugian utama dengan pendekatan ini terjadi ketika beberapa variabel memasuki
proses. Kompleksitasnya berlipat ganda dan penggunaan paket statistik canggih untuk
analisis beragam variabel diperlukan. Meski begitu, kecocokan data dengan model
mungkin tidak dimungkinkan. Sayangnya, beberapa organisasi belum mengembangkan
hubungan matematis untuk variabel output sebagai fungsi dari satu atau lebih input.
Tanpa mereka, metode peramalan sulit digunakan.
Keuntungan utama dari proses ini adalah dapat secara akurat memprediksi ukuran
kinerja bisnis tanpa pelatihan, jika tersedia data dan model yang sesuai. Penyajian
metode spesifik berada di luar cakupan buku ini dan terkandung dalam karya-karya lain
3-22
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
(Armstrong, 2001). Sekitar 5% dari studi yang dipublikasikan tentang metodologi ROI
menggunakan teknik peramalan.
D. Participant Estimate
Metode yang mudah diterapkan untuk mengisolasi dampak pelatihan adalah
dengan memperoleh informasi langsung dari peserta program. Efektivitas pendekatan ini
bertumpu pada asumsi bahwa peserta mampu menentukan atau memperkirakan
seberapa besar peningkatan kinerja terkait dengan program pelatihan. Karena tindakan
mereka telah menghasilkan peningkatan, peserta mungkin memiliki masukan yang
sangat akurat tentang masalah ini.
Mereka harus tahu berapa banyak perubahan yang disebabkan oleh penerapan apa
yang telah mereka pelajari dalam program. Meskipun merupakan perkiraan, nilai ini
biasanya akan memiliki kredibilitas dengan manajemen karena peserta berada di pusat
perubahan atau peningkatan.
Saat menggunakan teknik ini, beberapa asumsi dibuat.
1. Pelatihan (atau peningkatan kinerja) telah dilakukan dengan berbagai kegiatan,
latihan, dan peluang pembelajaran yang berbeda-beda yang semuanya
berfokus pada peningkatan kinerja.
2. Satu atau lebih tindakan bisnis telah diidentifikasi sebelum pelatihan dan telah
dipantau setelah proses. Pemantauan data telah mengungkapkan peningkatan
dalam ukuran bisnis.
3. Ada kebutuhan untuk menghubungkan pelatihan dengan jumlah peningkatan
kinerja tertentu dan mengembangkan dampak moneter dari peningkatan
tersebut. Informasi ini membentuk dasar untuk menghitung ROI aktual.
Dengan asumsi-asumsi ini, para peserta dapat menentukan hasil aktual yang
terkait dengan program pelatihan dan memberikan data yang diperlukan untuk
mengembangkan ROI. Ini dapat dicapai dengan menggunakan kelompok fokus atau
dengan kuesioner.
3-23
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
Data keras mewakili output, kualitas, biaya, dan waktu proses terkait pekerjaan.
Tabel 3-1 menunjukkan contoh data keras tipikal di bawah empat kategori ini. Hampir
setiap departemen atau unit akan memiliki ukuran kinerja data keras. Misalnya, kantor
pemerintah yang menyetujui aplikasi untuk visa kerja di negara asing akan memiliki
empat ukuran ini di antara pengukuran kinerja keseluruhan: jumlah aplikasi yang
diproses (Output), biaya per aplikasi yang diproses (Biaya), jumlah kesalahan yang
dibuat aplikasi pemrosesan (Kualitas), dan waktu yang diperlukan untuk memproses dan
menyetujui aplikasi (Waktu). Idealnya, program pelatihan untuk karyawan di unit ini
harus dikaitkan dengan satu atau lebih ukuran data keras.
Karena banyak program pelatihan dirancang untuk mengembangkan keterampilan
lunak, data lunak diperlukan dalam evaluasi. Data lunak biasanya subyektif, kadang sulit
diukur, hampir selalu sulit dikonversikan ke nilai moneter, dan berorientasi perilaku. Jika
dibandingkan dengan data keras, data lunak biasanya kurang kredibel sebagai ukuran
kinerja. Pengukuran data lunak mungkin atau tidak dapat dikonversi ke nilai moneter.
Item data lunak dapat dikelompokkan ke dalam beberapa kategori; Tabel 3-2
menunjukkan satu pengelompokan seperti itu. Ukuran seperti pergantian karyawan,
absensi, dan keluhan muncul sebagai item data lunak, bukan karena mereka sulit untuk
diukur, tetapi karena sulit untuk secara akurat mengubahnya menjadi nilai moneter.
3-24
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
3-25
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
program pelatihan. Nilai tersebut dapat mewakili peningkatan kinerja untuk individu, tim,
grup, atau beberapa grup peserta.
Tentukan jumlah tahunan untuk perubahan. Tahunankan nilai DP untuk
mengembangkan perubahan total dalam data kinerja selama satu tahun. Menggunakan
satu tahun telah menjadi pendekatan standar dengan banyak organisasi yang ingin
menangkap manfaat total dari program pelatihan. Meskipun manfaatnya mungkin tidak
direalisasikan pada tingkat yang sama untuk satu tahun penuh, beberapa program akan
terus menghasilkan manfaat di luar satu tahun. Dalam beberapa kasus, aliran manfaat
mungkin memerlukan beberapa tahun. Namun, menggunakan manfaat satu tahun
dianggap sebagai pendekatan konservatif untuk solusi jangka pendek (kebanyakan
pelatihan tentang inisiatif peningkatan kinerja adalah solusi jangka pendek). Untuk solusi
jangka panjang, periode yang lebih lama, tetapi konservatif digunakan. Kerangka waktu
ditetapkan sebelum studi dimulai. Ini mengarah pada prinsip panduan: Hanya manfaat
pada tahun pertama yang sebaiknya digunakan dalam analisis ROI untuk
proyek/ inisiatif jangka pendek.
Hitung nilai total peningkatan. Kembangkan nilai total peningkatan dengan
mengalikan perubahan kinerja tahunan (DP) dengan nilai unit (V) untuk grup lengkap
yang dimaksud. Misalnya, jika satu kelompok peserta untuk suatu program sedang
dievaluasi, nilai total akan mencakup peningkatan total untuk semua peserta dalam
kelompok. Nilai manfaat program tahunan ini kemudian dibandingkan dengan biaya
program, biasanya melalui pengembalian formula investasi
3.3.3 Perhitungan Biaya Pelatihan
Bagian lain dari persamaan pada analisis manfaat / biaya adalah biaya program.
Tabulasi biaya melibatkan pemantauan atau pengembangan semua biaya terkait dari
program yang ditargetkan untuk perhitungan ROI. Di antara komponen biaya yang harus
dimasukkan adalah:
biaya untuk merancang dan mengembangkan program, mungkin diprioritaskan
selama umur program yang diharapkan;
biaya semua materi program yang diberikan kepada masing-masing peserta;
biaya untuk instruktur / fasilitator, termasuk waktu persiapan serta waktu
pengiriman;
biaya fasilitas untuk program pelatihan;
biaya perjalanan, penginapan, dan makan untuk para peserta, jika berlaku;
gaji ditambah tunjangan karyawan dari peserta yang menghadiri pelatihan; dan
biaya administrasi dan overhead dari fungsi pelatihan, dialokasikan dengan cara
yang mudah.
Selain itu, biaya spesifik yang terkait dengan penilaian dan evaluasi kebutuhan
harus dimasukkan, jika sesuai. Pendekatan konservatif adalah memasukkan semua biaya
ini sehingga totalnya terisi penuh.
3-26
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
Tidak semua tindakan termasuk dalam kategori nyata. Dengan desain, beberapa
tindakan ditangkap dan dilaporkan sebagai tindakan tidak berwujud. Meskipun mereka
mungkin tidak dianggap sama berharganya dengan langkah-langkah yang dikonversi ke
nilai moneter, tindakan tidak berwujud sangat penting untuk keberhasilan keseluruhan
organisasi (Oxman, 2002). Dalam beberapa program, seperti pelatihan keterampilan
interpersonal, pengembangan tim, kepemimpinan, pelatihan komunikasi, dan
pengembangan manajemen, manfaat tidak berwujud (nonmoneter) dapat lebih penting
daripada tindakan nyata (moneter). Akibatnya, langkah-langkah ini harus dipantau dan
dilaporkan sebagai bagian dari evaluasi keseluruhan. Dalam praktiknya, setiap proyek
atau program, terlepas dari sifat, ruang lingkup, dan kontennya, akan memiliki ukuran
tidak berwujud yang terkait dengannya (Fitz-enz, 2001). Tantangannya adalah
mengidentifikasi dan melaporkannya secara efisien.
Mungkin langkah pertama untuk memahami intangible adalah dengan jelas
mendefinisikan perbedaan antara aset berwujud dan tidak berwujud dalam organisasi
bisnis. Seperti yang disajikan pada Tabel 3-4, aset berwujud diperlukan untuk operasi
bisnis dan mudah terlihat, dikuantifikasi secara ketat, dan direpresentasikan sebagai item
baris pada neraca (Saint-Onge, 2000). Aset tidak berwujud adalah kunci untuk
keunggulan kompetitif di era pengetahuan dan tidak terlihat, sulit untuk diukur, dan
tidak dilacak melalui praktik akuntansi tradisional. Dengan perbedaan ini, lebih mudah
untuk memahami mengapa tindakan tidak berwujud sulit dikonversi ke nilai moneter.
3-27
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
Perbedaan lain antara tangible dan intangible adalah konsep hard data versus soft
data. Konsep ini, yang telah dibahas sebelumnya, mungkin lebih dikenal oleh para
praktisi pelatihan dan peningkatan kinerja. Tabel 3-5 menunjukkan perbedaan antara
data keras dan lunak, yang digunakan sebelumnya dalam buku ini. Bagian terpenting
dari definisi ini adalah kesulitan dalam mengubah data menjadi nilai moneter. Dari titik
inilah prinsip panduan lain diturunkan.
Ukuran tidak berwujud didefinisikan sebagai ukuran yang sengaja tidak dikonversi
ke nilai moneter. Menggunakan definisi sederhana ini menghindari kebingungan apakah
suatu item data harus diklasifikasikan sebagai data keras atau data lunak. Ini dianggap
sebagai data lunak jika proses yang kredibel dan layak secara ekonomi tidak tersedia
untuk konversi.
Tabel 3.5. Karakteristik Data
3-28
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
𝑃𝑟𝑜𝑔𝑟𝑎𝑚 𝐵𝑒𝑛𝑒𝑓𝑖𝑡𝑠
𝐵𝐶𝑅 =
𝑃𝑟𝑜𝑔𝑟𝑎𝑚 𝐶𝑜𝑠𝑡𝑠
Terkadang rasio ini dinyatakan sebagai rasio biaya / manfaat, meskipun rumusnya
sama dengan BCR. Pengembalian investasi menggunakan manfaat bersih dibagi dengan
biaya program. Manfaat bersih adalah manfaat program dikurangi biaya. Dalam bentuk
formula, ROI menjadi:
3-30
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
3-31
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
Pendapat sulit untuk diubah, dan pendapat negatif dari kelompok HRD mungkin
tidak berubah hanya dengan presentasi fakta. Namun, penyajian fakta saja dapat
memperkuat pendapat yang dimiliki oleh mereka yang sudah setuju dengan hasilnya. Ini
membantu memperkuat posisi mereka dan memberikan pembelaan dalam diskusi
dengan orang lain. Grup HRD dengan tingkat kredibilitas dan rasa hormat yang tinggi
mungkin memiliki waktu yang relatif mudah untuk menyampaikan hasil. Kredibilitas yang
rendah dapat menciptakan masalah ketika mencoba bersikap persuasif. Reputasi
kelompok HRD merupakan pertimbangan penting dalam mengembangkan strategi
keseluruhan.
3.4.3 Tujuan Pelaporan
Karena ada banyak alasan untuk mengkomunikasikan hasil, daftar harus
disesuaikan dengan situasi dan proyek. Alasan spesifik tergantung pada proyek,
pengaturan, dan kebutuhan unik sponsor. Alasan paling umum adalah:
Untuk mendapatkan persetujuan untuk proyek dan mengalokasikan sumber daya
waktu dan uang. Komunikasi awal menyajikan proposal, proyeksi ROI, atau data
lain yang dimaksudkan untuk mengamankan persetujuan proyek. Komunikasi ini
mungkin tidak memiliki banyak data tetapi mengantisipasi apa yang akan terjadi.
Untuk mendapatkan dukungan untuk proyek dan tujuannya. Penting untuk
mendapat dukungan dari berbagai kelompok. Komunikasi ini dimaksudkan untuk
membangun dukungan yang diperlukan untuk membuat proyek berhasil.
Untuk mengamankan kesepakatan tentang masalah, solusi, dan sumber daya.
Ketika program dimulai, penting bagi semua yang terlibat langsung untuk
memiliki persetujuan dan pemahaman tentang elemen-elemen dan persyaratan
penting di sekitar program.
Untuk membangun kredibilitas untuk kelompok HRD, tekniknya, dan produk jadi.
Penting di awal proses untuk memastikan bahwa mereka yang terlibat memahami
pendekatan dan reputasi staf HRD, dan, berdasarkan pendekatan yang diambil,
komitmen yang dibuat oleh semua pihak.
Untuk memperkuat proses. Penting bagi manajer kunci untuk mendukung
program dan memperkuat berbagai proses yang digunakan dalam desain,
pengembangan, dan pengiriman. Komunikasi ini dirancang untuk meningkatkan
proses-proses tersebut.
Untuk mendorong tindakan untuk perbaikan dalam proyek. Komunikasi awal ini
dirancang sebagai alat perbaikan proses untuk menghasilkan perubahan dan
peningkatan karena kebutuhannya terbongkar dan berbagai individu membuat
saran.
Untuk mempersiapkan peserta untuk program ini. Penting bagi mereka yang
paling terlibat langsung dalam program, para peserta, agar siap untuk
3-32
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
pembelajaran, aplikasi, dan tanggung jawab yang akan dituntut dari mereka
ketika mereka membawa kesuksesan ke proyek.
Untuk meningkatkan hasil di seluruh proyek dan kualitas umpan balik di masa
depan. Komunikasi ini dirancang untuk menunjukkan status proyek dan untuk
mempengaruhi keputusan, mencari dukungan, atau mengomunikasikan peristiwa
dan harapan kepada para pemangku kepentingan utama. Selain itu, ini akan
meningkatkan kualitas dan kuantitas informasi karena pemangku kepentingan
melihat siklus umpan balik dalam aksi.
Untuk menunjukkan hasil lengkap dari program pelatihan. Ini mungkin
komunikasi yang paling penting, di mana semua hasil yang melibatkan keenam
jenis tindakan dikomunikasikan kepada individu yang sesuai sehingga mereka
memiliki pemahaman penuh tentang keberhasilan atau kekurangan proyek.
Untuk menggarisbawahi pentingnya mengukur hasil. Beberapa individu perlu
memahami pentingnya pengukuran dan evaluasi dan melihat perlunya memiliki
data penting tentang tindakan yang berbeda.
Untuk menjelaskan teknik yang digunakan untuk mengukur hasil. Sponsor
program dan staf pendukung perlu memahami teknik yang digunakan dalam
mengukur hasil. Dalam beberapa kasus, teknik ini dapat ditransfer secara internal
untuk digunakan dengan proyek lain. Singkatnya, individu-individu ini perlu
memahami kesehatan dan kerangka kerja teoritis dari proses yang digunakan.
Untuk merangsang keinginan peserta untuk terlibat dalam program ini. Idealnya,
peserta ingin terlibat dalam program ini. Komunikasi ini dirancang untuk
membangkitkan minat mereka pada program dan memberi tahu mereka tentang
pentingnya program ini.
Untuk merangsang minat pada fungsi HRD. Dari perspektif HRD, beberapa
komunikasi dirancang untuk menciptakan minat pada semua produk dan layanan
berdasarkan hasil yang diperoleh oleh program saat ini.
Untuk menunjukkan akuntabilitas atas pengeluaran. Penting bagi kelompok luas
untuk memahami kebutuhan akan akuntabilitas dan pendekatan staf SDM. Ini
memastikan akuntabilitas untuk pengeluaran pada proyek.
Untuk memasarkan proyek masa depan. Dari sudut pandang HRD, penting untuk
membangun basis data proyek-proyek sukses untuk digunakan dalam
meyakinkan orang lain bahwa pelatihan dan peningkatan kinerja dapat
menambah nilai.
3-33
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
SKL (Standar Kompetensi Lulusan) adalah rumusan kompetensi dari satu jenis pelatihan
4-1
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
2. Pengembangan ide/gagasan
Penilaian terhadap unsur pengembangan ide/gagasan diukur berdasarkan
kreativitas dalam mengembangkan rumusan masalah pada setiap kasus. Kriteria
nilai pengembangan ide/gagasan adalah sebagai berikut:
Tabel 4.3. Kriteria nilai pengembangan ide/gagasan
3. Keaktifan
Penilaian terhadap unsur keaktifan diukur berdasarkan keaktifan dalam tanya
jawab antara pengajar dan peserta pada saat pelatihan sedang berlangsung.
Kriteria nilai keaktifan adalah sebagai berikut:
Tabel 4.4. Kriteria nilai keaktifan
4-2
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
Sedangkan kualifikasi kelulusan peserta pelatihan dapat dilihat pada tabel berikut :
Tabel 4.5. Kualifikasi kelulusan peserta
4-3
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
Adapun formulir evaluasi materi pelatihan yang harus diisi oleh para peserta
pelatihan pada setiap materi yang diberikan dapat dilihat pada gambar berikut :
4-4
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
Tatacara evaluasi:
Evaluasi pengajar dilakukan setiap kali materi selesai disampaikan oleh Pengajar.
Evaluasi dilakukan secara online melalui aplikasi e-pelatihan oleh seluruh peserta
pelatihan dan SDM penyelenggara dengan syarat minimal merupakan Pejabat
Struktural Eselon IV dan telah memiliki sertifikat MOT (Management of Training).
Batas waktu evaluasi pengajar adalah sebelum waktu penutupan pelatihan.
4-5
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
4-6
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
Evaluasi dilakukan secara online melalui aplikasi e-pelatihan oleh seluruh peserta
pelatihan.
Batas waktu evaluasi manajemen penyelenggaraan adalah sebelum waktu
penutupan pelatihan.
4-7
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
Nilai akhir setiap aspek penilaian diperoleh dari penjumlahan seluruh kategori yang
dipilih oleh peserta dibagi jumlah responden.
𝐽𝑢𝑚𝑙𝑎ℎ 𝑘𝑎𝑡𝑒𝑔𝑜𝑟𝑖 𝑦𝑎𝑛𝑔 𝑑𝑖𝑝𝑖𝑙𝑖ℎ 𝑠𝑒𝑙𝑢𝑟𝑢ℎ 𝑟𝑒𝑠𝑝𝑜𝑛𝑑𝑒𝑛
𝑁𝑖𝑙𝑎𝑖 𝐴𝑘ℎ𝑖𝑟 𝑝𝑒𝑟 𝐴𝑠𝑝𝑒𝑘 =
𝐽𝑢𝑚𝑙𝑎ℎ 𝑟𝑒𝑠𝑝𝑜𝑛𝑑𝑒𝑛
Sedangkan nilai akhir setiap unsur evaluasi diperoleh dari jumlah kategori yang
dipilih seluruh responden pada seluruh aspek evaluasi dibagi jumlah responden dikali
banyaknya aspek evaluasi.
𝐽𝑢𝑚𝑙𝑎ℎ 𝑘𝑎𝑡𝑒𝑔𝑜𝑟𝑖 𝑦𝑎𝑛𝑔 𝑑𝑖𝑝𝑖𝑙𝑖ℎ 𝑠𝑒𝑙𝑢𝑟𝑢ℎ 𝑟𝑒𝑠𝑝𝑜𝑛𝑑𝑒𝑛 𝑝𝑎𝑑𝑎 𝑠𝑒𝑙𝑢𝑟𝑢ℎ 𝑎𝑠𝑝𝑒𝑘
𝑁𝑖𝑙𝑎𝑖 𝐸𝑣𝑎𝑙𝑢𝑎𝑠𝑖 =
𝐽𝑢𝑚𝑙𝑎ℎ 𝑟𝑒𝑠𝑝𝑜𝑛𝑑𝑒𝑛 𝑥 𝐵𝑎𝑛𝑦𝑎𝑘𝑛𝑦𝑎 𝑎𝑠𝑝𝑒𝑘
Adapun kriteria hasil evaluasi materi dapat dilihat pada tabel berikut :
Tabel 4.6. Kriteria Hasil Evaluasi Materi
4-8
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
5-1
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
5-2
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
5-3
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
5-4
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
5-5
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
5-6
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
No Waktu Pelaksanaan Ba
5-7
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
Keterangan :
B = Pelatihan Perencanaan Teknis Bendungan;
E = Pelatihan Perencanaan Teknis Embung;
S = Pelatihan Perencanaan Teknis Sungai
1 BWS Sumatera I 13 - 3 16
2 BWS Sumatera II 3 1 5 8
4 BWS Sumatera IV 1 - - 1
5 BWS Sumatera V - - 12 12
6 BWS Sumatera VI 4 - - 4
10 BBWS Cidanau-Ciujung-Cidurian - - 3 3
12 BBWS Citarum - - - 0
14 BBWS Citanduy - - 1 1
5-8
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
18 BBWS Brantas 2 2 8 12
19 BWS Bali-Penida - - 3 3
20 BWS Kalimantan I - - 3 3
21 BWS Kalimantan II 3 - 6 9
23 BWS Sulawesi I - - 2 2
24 BWS Sulawesi II - - - 0
26 BWS Sulawesi IV 3 - 3 6
31 BWS Maluku - - - 0
32 BWS Papua - - 9 9
34 BWS Merauke - - 4 4
35 Lain-Lain 26 20 15 61
Lain-Lain : Satker PJPA Prov. Sulbar; Satker PJSA Prov. Sulbar; Subdit HL SDA; Ditjen SDA; SNVT PJSA Prov.
Sulbar; Direktorat Bina PSDA; Balitbang; BDW IX Jayapura; dll
5-9
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
5-10
Kajian Return On Training Investment pada
Penyelenggaraan Pelatihan Bidang SDAK Laporan Antara
No Komponen Anggaran (
2 Pelaksanaan Pelatihan
5-11