EVALUASI PROGRAM IPTEK

Dr. Widyantoko Sumarlin

Direktorat Kebijakan Pengembangan

& Penguasaan Teknologi
Badan Pengkajian dan Penerapan Teknologi

Widy Sumarlin BPP Teknologi 1

Lokakarya Peningkatan Kemampuan
Manajemen Balai Litbang

Dr. Lukman Hakim, M.Sc.

Dr. Widyantoko Sumarlin, MPP
Dr. Teguh Rahardjo
Dra. Habsari Kuspurwahati, MA

Direktorat Kebijaksanaan Pengembangan dan Penguasaan Teknologi

Deputi Pengkajian Kebijaksanaan Teknologi
Badan Pengkajian dan Penerapan Teknologi

Widy Sumarlin BPP Teknologi 2

 Manajemen Program Iptek sebagai
Suatu Hirarki
•portofolio kebijakan dan alokasi sumberdaya
Kebijakan •alasan diperlukannya program
•menerima laporan perkembangan dan kinerja program

Menentukan Tujuan Program

•mengelola dan mengalokasi sumberdaya program
Program •mengkaji, menilai, monitor dan evaluasi
•laporan perkembangan
Menentukan Tujuan dan
Rencana Proyek
•Mengelola dan mengalokasi sumberdaya proyek
Proyek •mengkaji, menilai, monitor dan evaluasi
•laporan perkembangan

Widy Sumarlin BPP Teknologi 3

 Langkah-Langkah Merancang Evaluasi

Memahami Agenda
Menyusun Menentu-
operasio- Evaluasi
konteks strategi kan taktik
nal

Fase Perancangan

Widy Sumarlin BPP Teknologi 4

 Memahami Konteks Evaluasi
 Memahami faktor pendorong kegiatan evaluasi
 Selalu mencoba ambil strategi yang paling sederhana
 Baca semua macam dokumentasi
 Identifikasi pihak yang berkepentingan
 Wawancara pihak yang berkepentingan
 Tuliskan faktor pendorongnya
 Diberitahu hasilnya dan mendapatkan ‘kesepakatan’
 Kaji ulang dan ubah sebagaimana perlu
 Ambil prosedur lebih formal jika diperlukan
 Sejarah dan tujuan program

Widy Sumarlin BPP Teknologi 5

 Menyusun Strategi Evaluasi
 Isu-Isu generik
 Faktor-faktor yang mempengaruhi pilihan isunya

 Pendekatan dalam evaluasi

Widy Sumarlin BPP Teknologi 6

 Isu-Isu Generik
 Isu  Pertanyaan
 Kesesuaian  Apakah sudah merupakan langkah tepat?
 Ekonomis  Apakah lebih murah dari bayangan
semula?
 Efektifitas  Apakah sudah memenuhi harapan?
 Efisiensi  Apakah berjalan baik?
 Mutu  Seberapa baik luarannya?
 Dampak  Apa yang telah terjadi sebagai akibatnya?
 Unsur penambah
(additionality)
 Apa yang telah menjadi nilai lebih
dibandingkan yang sudah ada?
 Perbaikan proses
 Strategi
 Bagaimana bisa dijalankan lebih baik
 Apa yang perlu dilakukan berikutnya?

Widy Sumarlin BPP Teknologi 7

 Faktor yang Mempengaruhi Pilihan Isu
 Perbedaan dalam maksud evaluasi
 Summative
 Formative
 Waktu mulainya evaluasi (timing)
 Ex ante
 Real time
 Ex post
 Tingkat ambisi yang ingin dicapai

Widy Sumarlin BPP Teknologi 8

 Pendekatan Evaluasi
 Impact oriented
 Output oriented
 Process oriented

Widy Sumarlin BPP Teknologi 9

 Menentukan Taktik Evaluasi
 Karakterisasi sistem
 Batasan dan interaksi sistem
 Variabel dan indikator sistem
 Teknik dan prosedur evaluasi
 Pendekatan berorientasi luaran dan berorientasi proses
 Isu, variabel dan indikator
 Kendala sumberdaya
 Ketersediaan data
 Pengalaman dan kepakaran
 Waktu dan dana

Widy Sumarlin BPP Teknologi 10

 Sistem dan Lingkungannya
Lingkungan

Batasan sistem
Sub-sistem

Hubungan
sub-sistem

Hubungan sistem dgn. lingkungannya

Widy Sumarlin BPP Teknologi 11

 Model Kalkulasi Evaluasi Sederhana

Ia Oa

S
Ib Ob

Variabel sistem Isu Evaluasi

Ia = Input nyata Ia/Ib = Ekonomis
Ib = Input yg ditargetkan Oa/Ob = Efektifitas
Oa = Output nyata Oa/Ia = Efisiensi
Ob = Output yg ditargetkan

Widy Sumarlin BPP Teknologi 12

 Metode Evaluasi (1)
Metode Kekuatan Kelemahan
Studi •Metode terbaik utk. litbang •Tidak ada cara “mengagregasi”

•Memberikan ilustrasi yang utk. mengukur secara total

kasus
baik antara litbang dan dampak •Tidak bisa diekstrapolasi ke
proyek litbang lain
Indikator Info mudah didapat •Umumnya bisa dijumlah
Terbaik untuk pemantauan berdasarkan perkiraan subyektif
parsial •Hanya gambaran parsial

Indikator •Indentifikasi prioritas secara •Bergantung pada penilaian

terstruktur subyektif
parsial •Menentukan determinan kunci •Bias dalam memberikan bobot
terpadu

Widy Sumarlin BPP Teknologi 13

 Metode Evaluasi (2)
Metode Kekuatan Kelemahan
Penilaian •Mudah penyelenggaraanya •Bergantung opini beberapa pakar
•Bisa memberikan info •Info kualitatif
pakar
berguna utk. potensi manfaat
•Terbaik utk. litbang dasar

Survei •Memanfaatkan jumlah • Tidak begitu mudah

pengguna yg besar
pengguna •Bisa mendapatkan indeks

kuantitaf
Metode •Estimasi manfaat yg cukup •Makan waktu dan tenaga lama
logis •Bergantung pada asumsi yg juga
B/C •Memaksa pertanyaan apa yg. tidak pasti
Patut dipertimbangkan •Terbatas utk. proyek tertentu

Widy Sumarlin BPP Teknologi 14