METODE EVALUASI

PEMBANGUNAN

InHouse Training
Bappeda Provinsi Jawa Barat
22 November 2019

NURROHMAN WIJAYA, S.T., M.T., M.Sc., Ph.D.(c)

KK Pengelolaan Pembangunan & Pengembangan Kebijakan
Sekolah Arsitektur, Perencanaan, dan Pengembangan Kebijakan
INSTITUT TEKNOLOGI BANDUNG
 Konsep EVALUASI
• Evaluasi adalah proses “penghakiman“ terhadap
sesuatu dengan mengkaji dan membuat
keputusan secara hati-hati berdasarkan berbagai
faktor:
– kriteria pertimbangan objektif, seperti standar, aturan,
harga, dan bandingan;
– kriteria pertimbangan subjektif, seperti sistem nilai;
dan
– asumsi-asumsi yang digunakan.
• Evaluasi adalah penilaian yang sistematis dan
objektif atas desain, implementasi dan hasil dari
intervensi yang sedang berlangsung atau yang
telah selesai (Permen PPN/Bappenas No. 1/2017)
 Pertimbangan dalam Evaluasi
Untuk melakukan setiap evaluasi, kita perlu:
1. Memahami dengan seksama knowledge tentang obyek yang akan
dievaluasi.
2. Menyusun argumen-argumen kriteria pertimbangan obyektif yang akan
digunakan.
3. Menyusun argumen-argumen kriteria pertimbangan subyektif yang akan
digunakan.
4. Menyusun argumen-argumen asumsi yang akan digunakan.
5. Mengumpulkan data dan informasi yang dibutuhkan untuk membuat
keputusan.
6. Melakukan klarifikasi dan verifikasi data dan informasi, seperti standar,
aturan, harga, bandingan, dan sistem nilai supaya bisa membuat
keputusan.
7. Melakukan analisis dengan teknik yang dipilih menggunakan data dan
informasi yang sudah diklarifikasi (jelas) dan diverifikasi (verified) untuk
proses menghakimi sesuatu yang dievaluasi.
8. Membuat keputusan penghakiman sebagai hasil evaluasi.

Note: Gabungan butir 2, 3, dan 4 adalah “conditionality for reading and understanding the process
and result of the evaluation.” Yang dimaksud “sesuatu” dalam konteks ini adalah kebijakan, rencana,
program, kegiatan, proyek.
 Pemahaman Knowledge
tentang Obyek yang Akan Dievaluasi

• Mengetahui fakta, ide dan gagasan yang ada

di obyek yang akan dievaluasi.

• Mengenal dengan baik, peduli, dan mengerti

atas pengetahuan yang sudah diperoleh dari
pengalaman dan studi sendiri atau orang lain.

• Memahami secara keseluruhan apa yang

sudah diketahui dari obyek yang akan
dievaluasi.
 Kriteria Evaluasi
• Suatu kriteria evaluasi adalah suatu standar, aturan, atau
tes yang digunakan sebagai dasar dalam proses
penghakiman terhadap sesuatu.
• Kriteria evaluasi diturunkan dari teori-teori dasar
(fundamental theories) dari sesuatu yang akan dievaluasi,
dan sistem nilai (ethics and values) dari sesuatu yang akan
dievaluasi.
• Kriteria evaluasi yang diturunkan tersebut berdasarkan satu
set asumsi yang digunakan meliputi asumsi eksplisit dan
asumsi intrinsik.
• Kriteria evaluasi yang diturunkan dari fundamental theories
akan menjadi kriteria obyektif.
• Kriteria evaluasi yang diturunkan dari sistem nilai akan
menjadi kriteria subyektif.
• Kriteria yang akan digunakan untuk mengevaluasi sesuatu
mencakup kriteria obyektif, kriteria subyektif, dan asumsi-
asumsi yang digunakan.
 Efficiency, Equity, Justice
• Pada kebijakan, rencana, program, kegiatan, dan
proyek yang bersifat publik, kriteria standar yang
digunakan dalam setiap evaluasi adalah kriteria
efficiency, equity, dan justice.

• Engineering efficiency is: Output >>> Input

• Economic efficiency is: Engineering Efficiency +
preference
• Equity is equal outcome vs equal opportunity
• Absolute justice vs relative/comparative justice
 Klarifikasi dan Verifikasi
• Klarifikasi data dan informasi dibutuhkan
untuk membuat data dan informasi menjadi
jelas dan mudah dimengerti, tidak
membingungkan, serta bebas dari ketidak-
pastian, sehingga memudahkan proses
penghakiman.

• Verifikasi dibutuhkan untuk memastikan/

konfirmasi kebenaran data dan informasi,
sehingga proses penghakiman akan
menghasilkan keputusan yang dapat
dipercaya (reliable).
 Asumsi
• Asumsi adalah tindakan menerima kondisi seperti
diberikan apa adanya atau tindakan menerima
kondisi sebagai suatu kebenaran.
• Asumsi eksplisit adalah asumsi yang dituliskan
secara eksplisit dalam dokumen suatu kebijakan,
rencana, program, kegiatan, proyek.
• Asumsi intrinsik adalah asumsi yang tidak
dituliskan, namun diyakini sudah diketahui dan
dimengerti atas kesadaran pembaca/pengguna.
• Semua asumsi eksplisit dan intrinsik harus
dituliskan di awal sebelum melakukan evaluasi.
 Implementasi Evaluasi (1)
• Pelaksanaan evaluasi dapat dilakukan pada saat
penyusunan rencana, pelaksanaan rencana,
maupun setelah kebijakan/program/kegiatan
selesai dilaksanakan.
• Pada saat penyusunan rencana, evaluasi
dilakukan untuk memilih alternatif kebijakan yang
tepat dari berbagai alternatif yang ada.
• Selain itu, juga digunakan untuk menilai struktur
dan sistematika penyusunan sasaran, arah
kebijakan dan strategi pembangunan.
 Implementasi Evaluasi (2)
• Pada saat pelaksanaan, evaluasi
dilakukan untuk menilai proses
pelaksanaan rencana.
• Sedangkan, setelah berakhirnya rencana,
evaluasi dilakukan dalam rangka menilai
capaian kinerja atas pelaksanaan rencana
dan mengindentifikasi permasalahan yang
ada.
 Tujuan Evaluasi
• Hasil evaluasi dituntut agar dapat memberikan
data dan informasi mengenai berhasil tidaknya
pelaksanaan kebijakan/program/kegiatan,
serta
• Menilai efisiensi, efektivitas, relevansi, dampak
dan keberlanjutan kebijakan/program/kegiatan
terhadap masyarakat.
• Informasi tersebut dapat digunakan sebagai
dasar dalam pengambilan keputusan atas
kondisi yang ada.
 Kerangka Evaluasi Pembangunan Nasional

Sumber: Permen PPN/Bappenas No. 1/2017 tentang Pedoman Evaluasi Pembangunan

Nasional
 Evaluasi Pembangunan
• Dalam rangka menjamin pelaksanaan
evaluasi dilakukan secara tepat dan lebih
terukur, maka proses penyusunan
kebijakan/program/kegiatan harus
memenuhi kaidah-kaidah logical
framework atau Kerangka Kerja Logis
(KKL).
Contoh KKL pada level
Kebijakan Nasional
 Jenis dan Metoda Evaluasi
• Evaluasi Ex-ante
• Evaluasi Pengukuran Kinerja
• Evaluasi Proses Pelaksanaan
• Evaluasi Kebijakan Strategis/Program
Besar
 Evaluasi Ex-ante
• Evaluasi Ex-ante dilakukan sebelum
dokumen perencanaan ditetapkan.
• Tujuan Evaluasi Ex-ante:
– memilih alternatif kebijakan terbaik dari berbagai
alternatif yang ada; dan
– memastikan dokumen perencanaan disusun
secara terstruktur, koheren dan sistematis, antara
lain dengan cara menelaah konsistensi antar
dokumen perencanaan dan menelaah
penyusunan kebijakan/program/kegiatan dengan
mengkaji permasalahan, formulasi sasaran,
konsistensi arah kebijakan dan strategi
pembangunan dengan sasaran, dan ketepatan
indikator kinerja yang digunakan.
Evaluasi Pengukuran Kinerja
• Evaluasi pengukuran kinerja dilakukan untuk
melihat capaian kinerja
kebijakan/program/kegiatan dengan
membandingkan antara target dengan
capaian.
• Evaluasi pengukuran kinerja dilakukan
dengan menggunakan metode Gap Analysis.
• Evaluasi pengukuran kinerja dapat dilakukan
terhadap keseluruhan dokumen
perencanaan.
Evaluasi Proses Pelaksanaan
• Evaluasi proses pelaksanaan rencana pembangunan
dilakukan untuk mendeskripsikan proses pelaksanaan
kebijakan/program/kegiatan secara mendalam.

• Deskripsi proses pelaksanaan, meliputi deskripsi pelaksanaan

(siapa, apa, kapan, dimana, bagaimana), deskripsi latar
belakang, deskripsi organisasi, deskripsi input, output dan
aktivitas pelaksanaan dan hal lain yang diperlukan.

• Evaluasi proses pelaksanaan rencana pembangunan

dilakukan terhadap kebijakan/program/kegiatan terpilih,
antara lain untuk memahami fungsi-fungsi pelaksanaan agar
diketahui fungsi mana yang berjalan dengan baik dan mana
yang tidak, serta mengidentifikasi permasalahan dalam
pelaksanaan untuk mencegah kegagalan pelaksanaan
maupun perbaikan pelaksanaan di masa yang akan datang.
Mekanisme Evaluasi Proses Pelaksanaan
 Evaluasi Kebijakan
Strategis/Program Besar
• Evaluasi kebijakan strategis/program besar
merupakan penilaian secara menyeluruh, sistematis
dan obyektif terkait aspek relevansi, efisiensi,
efektivitas, dampak, dan keberlanjutan dari
pelaksanaan kebijakan/program dengan menunjukkan
hubungan sebab akibat akan kegagalan atau
keberhasilan pelaksanaan kebijakan/ program.
• Kriteria kebijakan strategis/program besar meliputi:
– memiliki dampak langsung dan besar kepada masyarakat;
– memiliki anggaran besar;
– mendukung secara langsung pencapaian agenda
pembangunan nasional;
– mendukung pencapaian prioritas nasional; dan
– merupakan arahan direktif presiden dan pertimbangan
lain.
KERANGKA PERENCANAAN PEMBANGUNAN NASIONAL
 UU No. 25 Tahun 2004 Tentang Sistem Perencanaan
Pembangunan Nasional

RPJP Daerah memuat visi, misi, dan arah pembangunan Daerah yang mengacu pada RPJP Nasional.
Sistem Perencanaan
Pembangunan Nasional
adalah satu kesatuan RPJM Daerah merupakan penjabaran dari visi, misi, dan program Kepala Daerah yang
tata cara perencanaan penyusunannya berpedoman pada RPJP Daerah dan memperhatikan RPJM Nasional, memuat arah
pembangunan untuk kebijakan keuangan Daerah, strategi pembangunan Daerah, kebijakan umum, dan program Satuan Kerja
menghasilkan rencana- Perangkat Daerah, lintas Satuan Kerja Perangkat Daerah, dan program kewilayahan disertai dengan
rencana pembangunan rencana-rencana kerja dalam kerangka regulasi dan kerangka pendanaan yang bersifat indikatif.
dalam jangka panjang,
jangka menengah, dan RKPD merupakan penjabaran dari RPJM Daerah dan mengacu pada RKP, memuat rancangan kerangka
tahunan yang ekonomi Daerah, prioritas pembangunan Daerah, rencana kerja, dan pendanaannya, baik yang
dilaksanakan oleh dilaksanakan langsung oleh pemerintah maupun yang ditempuh dengan mendorong partisipasi
unsur penyelenggara masyarakat.
negara dan masyarakat
di tingkat Pusat dan Renstra-SKPD memuat visi, misi, tujuan, strategi, kebijakan, program, dan kegiatan
Daerah
pembangunan yang disusun sesuai dengan tugas dan fungsi Satuan Kerja Perangkat Daerah serta
berpedoman kepada RPJM Daerah dan bersifat indikatif.
Renja-SKPD disusun dengan berpedoman kepada Renstra SKPD dan mengacu kepada RKP, memuat
kebijakan, program, dan kegiatan pembangunan baik yang dilaksanakan langsung oleh Pemerintah
Daerah maupun yang ditempuh dengan mendorong partisipasi masyarakat.
HUBUNGAN RPJMD DAN RENSTRA PERANGKAT DAERAH

Sumber: Permendagri No. 86 Tahun 2017

RANTAI HASIL RESULT-BASED MANAGEMENT

Source: UNDP, 2009; Permendagri No. 86/2017

RANTAI HASIL RESULT-BASED MANAGEMENT

Source: UNDP, 2009; Permendagri No. 86/2017

 POHON MASALAH vs POHON TUJUAN

Pohon masalah dapat dikonversi menjadi pohon tujuan, dengan mengubah pernyataan
masalah menjadi pernyataan tujuan berupa pernyataan yang bersifat positif dan konstruktif.

Visi/Misi (Impact)

Tujuan/Sasaran (Impact)

Program (Outcome)

Kegiatan/Proyek (Output)

Pernyataan tujuan harus:

• Merupakan hasil yang paling langsung terlebih dahulu (most direct result)
• Fokus pada yang harus ada terlebih dahulu untuk memperbaiki kehidupan masyarakat
• Dapat dicapai dalam waktu implementasi rencana
• Sesuai dengan kewenangan atau tupoksi penanggungjawab
 ANALISIS STRATEGI: POHON ALTERNATIF

Apabila sumber daya finansial

ataupun institusional tidak
memadai untuk menangani
seluruh permasalahan, kita
perlu membuat klaster
permasalahan.
TABEL KERANGKA LOGIS
 PERNYATAAN INDIKATOR HASIL

Impact Outcome Output Activities

Manfaat akhir Perubahan yang Produk dan Tugas/kegiatan yang

yang akan terjadi dalam jangka layanan baik harus dilaksanakan
dirasakan dalam menengah atau tangible/intangibl untuk menghasilkan
jangka panjang pendek; diperlukan e yang dihasilkan output
oleh masyarakat tercapainya lebih dari atau disediakan
satu outcome untuk
menghasilkan impact

Source: UNDP, 2009

 PERFORMANCE INDICATORS

• Indicators are signposts of change along the path to

development.
• Tanda yang berfungsi sebagai alat ukur pencapaian kinerja suatu kegiatan,
program, atau sasaran dan tujuan dalam bentuk keluaran (output), hasil
(outcome), dampak (impact)
• Critical for monitoring and evaluation.
• Indicators help to:
• Inform decision making for ongoing programme or project management
• Measure progress and achievements, as understood by the different
stakeholders
• Clarify consistency between activities, outputs, outcomes, and impacts
• Ensure legitimacy and accountability to all stakeholders by demonstrating
progress
• Assess project and staff performance Source: UNDP, 2009; Permendagri No. 86/2017
 TYPES OF INDICATORS

Quantitative Qualitative Proxy

Ukuran statistik • Compliance with Cara yang tidak langsung

(kesesuaian) dalam mengukur kemajuan
• Proporsi ketercapaian hasil
• Quality of (kualitas)
• Kecenderungan
memusat (rata-rata, • Extent of (sejauh mana) Contoh: bagaimana
median, modus) mengukur perbaikan
• Level of (tingkat) kapasitas aparat
pemerintah dalam
menyediakan layanan
persampahan?

Source: UNDP, 2009

 DIRECT VS PROXY INDICATORS

• Direct:
– Hours of down time (out-of-service time) of solid waste vehicle
fleet due to O&M and other problems;
– Percentage change in number of households serviced weekly;
– Percentage change in number of commercial properties
serviced weekly; etc.

• Proxy:
– Percentage of clients satisfied with the quality and timeliness of
services provided by the solid waste management service.

Source: UNDP, 2009

 LEVEL OF INDICATORS

• Impact indicators: kondisi yang ingin diubah

– Improved educational performance of students in region:
percentage of students completing primary schooling;
pass rates in standardized student test.
• Outcome indicators: keadaan yang ingin
dicapai/dipertahankan
– Percentage of teachers trained that were rated as more
effective in doing their jobs one year later.
• Output indicators: produk akhir berupa barang atau
jasa
– District school teachers trained: number of teachers
trained by the end of 2010.
Source: UNDP, 2009
 BASELINE AND TARGETS

• Baseline data establishes a foundation

from which to measure change.
• Target will normally depend on the
programme period and the duration of
the interventions and activities (normally 5
– 10 years).

Source: UNDP, 2009

 MEANS OF VERIFICATIONS

• Results statements and indicators should

be SMART.
• “M” here stands for measurable, which
implies that the data should be readily
available in order to ascertain the
progress made in achieving results.

Source: UNDP, 2009

 SYARAT INDIKATOR DAMPAK DAN HASIL

tidak bermakna ganda

dapat diukur

dapat dicapai dan disepakati

oleh semua stakeholder

dapat berkontribusi pada

pencapaian target pemb.

memiliki batas waktu pencapaian

SMART-C  plus C: continuously improve (kualitas target terus

berkembang dan disempurnakan)
Source: UNDP, 2009; Permendagri No. 86/2017
TERIMAKASIH

Nurrohman Wijaya
nurrohman.wijaya@sappk.itb.ac.id