Teknik Evaluasi Pembangunan (RP09-1332)

PENDEKATAN DALAM EVALUASI

Nama Kelompok :
Ismi Fadhilah 3611100013
Afidah Mushollina Firdani 3611100022
Sita Andiastuti 3611100038
Delia Noer Adzani 3611100069
Jurusan Perencanaan Wilayah dan Kota
Fakultas Teknik Sipil dan Perencanaa
Institut Teknologi Sepuluh Nopember
Surabaya
2015

Materi IV

TEKNIK ANALISA PERENCANAAN

PENDEKATAN DALAM EVALUASI
DEFINISI PENDEKATAN DALAM EVALUASI KEBIJAKAN
Menurut Dunn (1999) dalam Nugroho (2006), pendekatan evaluasi kebijakan dibagi menjadi
tiga, yaitu evaluasi semu, evaluasi formal, dan evaluasi keputusan teoritis.
1. Evaluasi Semu (Pseudo Evaluation)
Pengertian
Evaluasi semu merupakan pendekatan yang menggunakan metode-metode deskriptif
untuk menghasilkan informasi yang valid tentang hasil kebijakan, tanpa mempersoalkan lebih
jauh nilai dan manfaat dari hasil kebijakan tersebut bagi individu, kelompok sasaran, dan
masyarakat dalam skala luas. Asumsi utama dari pendekatan semu ini adalah ukuran manfaat atau
nilai suatu kebijakan terbukti dengan sendirinya atau tidak kontroversial. Bentuk-bentuk utama
dari pendekatan ini yakni eksperimentasi sosial, akuntansi sistem sosial, pemeriksaan sosial dan
sintesis riset dan praktek. Dalam evaluasi semu analisis secara khusus menerapkan bermacammacam metode yakni rancangan ekspeimental-semu, kuseioner, random sampling, teknik statistik.
Selain itu juga dapat berupa sajian grafik, tampilan tabel, angka indeks. analisis seri waktu
terinterupsi, analisis seri terkontrol, dan analisis diskontinyu Metode-metode yang digunakan
tersebut digunakan untuk menjelaskan variasi hasil kebijakan sebagai produk dari variabel
masukan dan proses. Untuk setiap hasil kebijakan yang ada misalnya jumlah pengunjung taman
yang telah disediakan di kota Surabaya diterima begitu saja sebagai tujuan yang tepat.
Pendekatan yang sering digunakan
a. Public-Relation-Inspired Studies (studi yang diinspirasi dari hubungan masyarakat/promosi)
Studi jenis ini memiliki tujuan untuk membantu menciptakan penilaian positif
terhadap institusi, program, proses, dan sejenisnya. Pelaksana pada studi jenis ini dilakukan
oleh para propagandis informasi yang dibutuhkan oleh publik. Studi ini biasanya juga untuk
mengamankan dukungan publik terhadap institusi atau kebijakan yang ada. Metode yang
biasanya digunakan dalam studi ini adalah metode survey, eksperimen, dan penggunaan jasa
konsultan ahli.
b. Politically Controlled Studi (evaluasi yang dikontrol secara politis)
Evaluasi ini merupakan evaluasi yang dilakukan secara terang-terangan maupun
sembunyi-sembunyi dari apa yang di evaluasi (klien). Evaluasi ini bertujuan untuk
mengamankan langkah klien untuk mendapatkan, menjaga, atau meningkatkan porsi
mereka dalam segi pengaruh, kekuasaan, dan kekayaan. Dua pertanyaan yang merupakan
panduan utama dalam jenis evaluasi ini adalah: Informasi apa yang menguntungkan jika suatu

saat terjadi konflik? Dan data apa yang menguntungkan jika suatu saat terjadi konfrontasi?
Metodologi yang biasanya digunakan pada evaluasi tertutup ini mencakup analisa dokumen,
observasi terhadap para partisipan, penelitian simulasi, investigasi tertutup, dan pemeliharaan
dokumen-dokumen rahasia.
c. Pandering Evaluation (Evaluasi Perantara/Calo)
Evaluasi ini bertujuan untuk membantu evaluator menempati posisi yang
menguntungkan untuk melakukan evaluasi tambahan untuk klien dimasa depan (mendapatkan
kontrak).
d. Evaluation by Pretext (Evaluasi dengan Dalih/Pembenaran)
Evaluasi oleh dalih atau pembenaran terjadi ketika evaluator bersungguh sungguh
untuk melakukan evaluasi dengan tujuan palsu. Pendekatan yang digunakan dalam evaluasi
dalih/pembenaran tidak memiliki kualitas penembusan dan dapat dilihat sebagai pengganggu
e. Empowerment Under the Guise of Evaluation (Evaluasi dibawah Pemberdayaan)
Pada prinsipnya dalam evaluasi pemberdayaan ini adalah evaluasi pemberdayaan
tidak dapat dan tidak berusaha untuk memberdayakan siapa pun. Evaluator pemberdayaan
menciptakan lingkungan bagi orang untuk memberdayakan diri mereka sendiri.
2. Evaluasi Formal (Formal Evaluation)
Pendekatan evaluasi formal merupakan pendekatan yang menggunakan metode deskriptif
untuk menghasilkan informasi yang valid dan dapat dipercaya mengenai hasil-hasil kebijakan.
Asumsi utama dari evaluasi formal adalah bahwa tujuan dan target yang dipublikasikan secara
formal adalah merupakan ukuran untuk manfaat atau nilai kebijakan program. Metode yang dapat
digunakan dalam evaluasi formal adalah :
Merunut legislasi atau dokumen penting yang berkaitan dengan pelaksanaan program atau

kebijakan
Melakukan wawancara (interview) dengan penyusun kebijakan.
Pemetaan sasaran dan hambatan dilakukan dengan mengidentifikasi tujuan dan sasaran
program
Mendefinisikan tujuan dan sasaran program dan menspesifikasi tujuan dan sasaran program.
Klarifikasi dan kritik nilai
Analisis dampak silang
Discounting
Dalam evaluasi formal tipe-tipe kriteria evaluatif yang paling sering digunakan adalah

efektifitas dan efisiensi. Ada dua tipe evaluasi formal, yaitu :

- Evaluasi sumatif, yakni evaluasi yang dilakukan untuk memantau pencapaian tujuan dan
-

target formal setelah suatu kebijakan atau program diterapkan untuk jangka waktu tertentu.
Evaluasi formatif, yakni evaluasi yang dilakukan secara terus menerus memantau pencapaian
tujuan dan target dari suatu kebijakan.
Selain itu evaluasi formal dapat juga berupa kontrol langsung dan tidak langsung terhadap

kebijakan. Dari empat macam tipe evaluasi formal tersebut dapat ditarik empat variasi dalam
evaluasi formal sebagai berikut :

Tabel 1
Variasi dalam Evaluasi Formal
Kontrol

Terhadap

Aksi

Kebijakan
Langsung
Tidak Langsung
-

Orientasi terhadap proses kebijakan

Formatif
Sumatif
Evaluasi Perkembangan
Evaluasi Proses Retrospeksi

Evaluasi Eksperimental
Evaluasi Hasil Retropektif

Evaluasi Perkembangan
Merupakan kegiatan-kegiatan/aktivitas evaluasi yang dilakukan secara tegas/jelas
diadakan untuk melayani kebutuhan sehari-hari staf program. Evaluasi ini bertujuan
untuk menghindari adanya kesalahan yang tidak diharapkan dari program. Dalam
evaluasi perkembangan ini diperbolehkan untuk secara langsung memanipulasi variabel

masukan ataupun proses selama evaluasi.

Evaluasi Proses Retrospeksi
Meliputi pemantauan dan evaluasi program setelah program tersebut diterapkan untuk
jangka waktu tertentu. Evaluasi proses retrospektif, yang cenderung dipusatkan pada
masalah-masalah dan kendala-kendala yang terjadi selama implementasi kebijakan dan
program, tidak memperkenankan dilakukannya manipulasi langsung terhadap masukan
(misalnya pengeluaran) dan proses (misalnya, sistem pelayanan alternatif). Sebaliknya
evaluasi

proses

retrospektif

lebih

menggantungkan

pada

deskripsi ex

post

facto (retrospektif) tentang kegiatan aktivitas program yang sedang berjalan yang
-

selanjutnya berhubungan dengan keluaran dan dampak.

Evaluasi Eksperimental
Meliputi pemantauan dan evaluasi hasil di bawah kondisi kontrol langsung terhadap
masukan dan proses kebijakan. Evaluasi eksperimental yang ideal secara umum
merupakan faktor eksperimen ilmiah yang terkontrol, di mana semua faktor yang dapat
mempengaruhi hasil kebijakan kecuali satu yaitu, variabel-variabel proses dan masukan
khususdikontrol, dipertahankan konstan, atau diperlakukan sebagai hipotesis tandingan

yang masuk akal.

Evaluasi Hasil Retropektif
Meliputi pemantauan dan evaluasi hasil tetapi tidak disertai dengan control langsung
terhadap masukan-masukan dan proses kebijakan yang dapat dimanipulasi. Paling jauh
adalah kontrol secara tidak langsung atau kontrol statistik yaitu, evaluator berusaha
mengisolasi pengaruh dari banyak faktor lainnya dengan menggunakan metode
kuantitatif. Pada umumnya, terdapat dua varian utama evaluasi proses retrospektif studi
lintas seksional dan studi longitudinal. Studi longitudinal adalah studi yang mengevaluasi
perubahan hasil dari satu, beberapa, atau banyak program pada dua atau lebih titik waktu.
Banyak studi longitudinal telah dilaksanakan di bidang keluarga berencana, di mana
tingkat fertilitas dan perubahan dalam penerimaan alat-alat kontrasepsi dipantau dan
dievaluasi selama kurun waktu yang cukup panjang (5 sampai 20 tahun).

Sebaliknya, Studi lintas sektoral berusaha untuk memantau dan mengevaluasi berbagai
program pada satu titik waktu tertentu. Tujuan studi lintas sektoral adalah menemukan
apakah hasil dan dampak berbagai macam program berbeda secara signifikan satu sama
lain; dan jika berbeda, tindakan apa, kondisi awal apa atau kejadian-kejadian apa yang
dapat menjelaskan perbedaan-perbedaan tersebut.
3. Evaluasi Keputusan Teoritis
Merupakan pendekatan

yang

menggunakan

metode-metode

deskriptif

untuk

menghasilkan informasi yang dapat dipertanggung-jawabkan dan valid mengenai hasil-hasil

kebijakan yang secara jelas dinilai oleh berbagai macam stakeholder/pelaku kebijakan. Asumsi
dari evaluasi keputusan teoritis adalah tujuan dan sasaran dari kebijakan yang telah dipublikasikan
secara formal maupun diam-diam adalah merupakan ukuran yang tepat dari manfaat atau nilai
kebijakan. Bentuk-bentuk dari evaluasi keputusan teoritis ini dapat berupa penilaian tentang dapat
tidaknya dievaluasi dan analisis utilitas multi-atribut. Teknik yang dapat dilakukan dalam evaluasi
ini antara lain brainstorming, analisis argumentasi, Delphi kebijakan, dan analisis survey pemakai
(serangkaian prosedur mengumpulkan informasi dari calon pemakai dan pelaku-pelaku lainnya
mengenai evaluabilitas suatu kebijakan atau program).
Evaluasi keputusan teoritis merupakan cara untuk mengatasi beberapa kekurangan dari
evaluasi semu dan evaluasi formal :
1. Kurang dan tidak dimanfaatkannya informasi kinerja. Sebagian besar informasi yang
dihasilkan melalui evaluasi kurang digunakan atau tidak pernah digunakan untuk
memperbaiki pembuatan kebijakan. Untuk sebagian, hal ini karena evaluasi tidak cukup
responsive terhadap tujuan dan target dari pihak-pihak yang mempunyai andil dalam
2.

perumusan dan implementasi kebijakan dan program.

Ambiguitas kinerja tujuan. Banyak tujuan dan program publik yang kabur. Ini berarti bahwa
tujuan umum yang sama misalnya untuknya meningkatkan kesehatan dan mendorong
konservasi energi yang lebih baik dapat menghasilkan tujuan spesifik yang saling
bertentangan satu terhadap lainnya. Ini dapat terjadi jika diingat bahwa tujuan yang sama
(misalnya, perbaikan kesehatan) dapat dioperasionalkan kedalam paling sedikit enam macam
kriteria evaluasi: efektivitas, efisiensi, kecukupan, kesamaan, responsivitas dan kelayakan.
Salah satu tujuan dan evaluasi keputusan teoritis adalah untuk mengurangi kekaburan tujuan

dan menciptakan konflik antar tujuan spesifik atau target.

3. Tujuan-tujuan yang saling bertentangan. Tujuan dan target kebijakan dan program-program
public tidak dapat secara memuaskan diciptakan dengan memusatkkan pada nilai-nilai salah
satu atau beberapa pihak (misalnya kongres, kelompok klien yang dominan atau kepala
administrator). Dalam kenyataan, berbagai pelaku kebijakan dengan tujuna dan target yang
saling berlawanan Nampak dalam hamper semua kondisi/situasi yang memerlukan evaluasi.
Evaluasi keputusan-teoritis berusaha untuk mengidentifikasi berbagi pelaku kebijakan ini dan
menampakkan tujuan-tujuan mereka.

Bentuk utama dari evaluasi teoritis kebijakan adalah penaksiran evaluabilitas dan analisis
utilitas multiatribut, keduanya berusaha menghubungkan informasi mengenai hasil kebIjakan
dengan nilai dari berbagi pelaku kebijakan.
- Penaksiran evaluabilitas (evaluability assesment) merupakan serangkaian prosedur yang
dibuat untuk menganalisis system pembuatan keputusan yang diharapkan dapat diperoleh dari
informasi kinerja dapat memperjelas tujuan sasaran, dan asumsi-asumsi dengan mana kerja
akan diukur. Pertanyaan mendasar dalam penaksiran evaluabilitas adalah apakah suatu
kebijakan atau program dapat sama sekali dievaluasi. Suatu kebijakan atau program agar
dapat dievaluasi, paling tidak tiga kondisi harus ada: satu kebijakan atau program yang
diartikulasikan secara jelas; dan serangkaian asumsi yang eksplisit yang menghubungkan aksi
atau konsekuensi. Dalam melakukan penakasiran evaluabilitas, analisis mengikuti
serangkaian langkah yang memperjelas suatu kebjkana atau program dari sudut pandang
pemakai kebijakan atau program dari sudut pandang pemakai informasi kinerja yang dituju
dan evaluator itu sendiri. Tahap-tahap dalam penaksiran evaluabilitas :
1. Spesifikasi program-kebijakan. Apakah kegiatan-kegiatan/program-program dari suatu
negara dan apakah tujuan dan sasaran yang melandasi program?
2. Koleksi informasi program kebijakan. Informasi apa yang harus dikumpulkan untuk
mengidentifikasikan tujuan-tujuan program kebijakan,kegiatan-kegiatan, dan asumsiasumsi yang mendasarinya?
3. Modeling program-kebijakan. Model apa yang paling baik menerangkan program dan
tujuan suatu kegiatan yang berhubungan, dari sudut pandang pemakai informasi kinerja
yang dituju? Asumsi asumsi kausal apa yang menghubunkan aksi dengan hasil?
4. Penkasiran evaluabilitas program-kebijakan. Apakah model program kebijakan secara
mencukupi tidak ambigu untuk membuat evaluasi bermanfaat? Tipe studi evaluasi apakah
yang paling berguna?
5. Umpan balik penkasiran evaluabilitas untuk pemakai. Setelah menanyakan kesimpulan
mengenai evaluabilitas progam-kebijakan bagi pemakai yang diinginkan, apakah yang
mungkin menjadi langkah berikutnya yang harus (atau tidak harus) diambil untuk
mengevaluasi kinerja kebijkan?
- Analisis utilitas multiatribut merupakan serangkaian prosedur yang dibuat untuk memperoleh
penilaian subyektif dari berbagai pelaku kebijakan mengenai probabilitas kemunculan dan
nilai dari hasil kebijakan. Kelebihan dari analisis utilitas multiatribut adalah bahwa analisis
tersebut secara eksplisit menampakkan penentuan nilai dari berbagai pelaku kebijakan;
analisis tersebut juga mengakui adanya beragam tujuan yang saling berlawanan dalam
evaluasi program kebijakan; dan analisis tersebut menghasilkan informasi kinerja yang lebih
berguna dari sudut pandang pemakai yang dituju. Tahap-tahap dalam pelaksanaan analisis
utilitas multiatribut adalah sebagai berikut:

1. Identifikasi pelaku. Mengidentifikasi pihak-pihak yang mempengaruhi dan dipengaruhi

oleh suatu kebijakan atau program. Masing-masing pelaku kebijakan ini akan mempunyai
tujuan dan sasaran sendiri-sendiri yang ingin mereka capai secara maksimal.
2. Spesifikasi isu keputusan yang relevan. Menentukan secara operasional berbagai
kecenderungan aksi atau non-aksi yang tidak dispekati oleh para pelaku kebijakan. Dalam
kasus yang paling sederhana terdapat dua kecenderungan tindakan: status quo dan
beberapa inisiatif baru.
3. Spesisifikasi hasil kebijakan. Menentukan cakupan konsekuensi yang dapat timbul
sebagai akibat dari adanya aksi. Hasil-hasil dapat disusun secara birarkis dimana satu aksi
mempunyai beberapa konsekuensi, dan masing-masing mempunyai konsekuensi yang
lebih jauh lagi. Suatu hirarki hasil dapat disamakan dengan pohon tujuan (decision tree),
kecuali hasil itu bukan tujuan sampai hasil tersebut dinilai secara eksplisit.
4. Identifikasi atribut hasil. Disini tugasnya adalah untuk mengidentifikasi semua atribut
yang relevan yang membuat hasil berharga dan bernilai. Sebagai contoh, masing-masing
hasil dapat mempunyai tipe keuntungan dan biaya yang berbeda terhadap kelompok
sasaran dan konsumen yang berbeda.
5. Penyusunan jenjang nilai atribut. Menyusun nilai atribut menurut kepentingannya.
Sebagai contoh, jika peningkatan penghasilan keluarga merupakan hasil dari program
kemiskinan, hasil ini dapat mempunyai beberapa atribut nilai: perasaan makmur;
mengkonsumsi gizi/nutrisi lebi banyak; punya sisa pendapatan yang lebih besar untuk
perawatan kesehatan. Atribut-atribut tersebut harus diururtkan menurtu kepentingan
relative antara skala satu tehadap lainnya.
6. Penyusunan skala atribut. Menyusun skala atribut yang telah diurutkan menurut
kepentingannya. Untuk melakukan hal itu, atribut yang paling tidak penting diberi nilai
10. Alihkan ke atribut yang penting, lalu jawab pertanyaan ini; berapa kali atribut yang
paling penting ini lebih penting disbanding atibut paling tidak penting berikutnya?
Lanjutkan prosedur penyusunan skala ini sampai atribut yang paling penting ini sudah
dibandingkan dengan semua lainnya. Catat bahwa atribut yang paling penting dapat
mempunyai nilai skala 10, 20, 30 kali atau lebih dari atribut yang paling penting.
7. Standarisasi skala. Atribut yang telah disusun skalanya akan mempunyai nilai maksimum
yang bebeda antar pelaku kebijakan. Sebagai contoh, seoang pelaku kebijakan dapat
member atribut A nilai 60; B nilai 30; dan atribut C nilai 10. Tetapi pelaku kebijakan
lainnya terhadap atribut-atribut yang sama dapat member nilai 120, 60, dan 10. Untuk
menstandarisasikan skala ini, jumlahlah semua nilai asli untuk setiap skala, bagian
masing-masing nilai asli dengan jumlahnya, dan kalikan dengan 100. Ini akan
menghasilkan skala yang terpisah yang nilai-nilai komponennya berjumlah sampel 100.
8. Pengukuran hasil. Ukurlah derajat di mana setiap hasil kebijakan merupakan hasil dari
pencapaian setiap atribut. Probabilitas maksimum harus diberi nilai 100; probabilitas

minimum harus diberi nilai 0 (yaitu tidak ada kesempatan dimana hasil/akan berakhir
dengan pencapaian atribut).
9. Kalkulasi utiltas. Hitunglah utilitas (nilai) dari setiap hasil dengan menggunakan rumus:
Ui = Wi . Uii
Dimana :
Uii : Kegunaan (nilai agregat dari hasil ke i).
Wi : Nilai skala yang distandardkan dari atribut j.
Uii : Probabilitas terjadinya hasil ke I pada atribut ke j.
10. Evaluasi presentasi. Tentukan hasil kebijakan dengan total kinerja terbesar, dan sajikan
informasi ini kepada pembuat keputusan yang relevan.
Kelebihan dari analisis utilitas multiatribut adalah bahwa analisis ini memungkinkan
analisis berurusan secara sistematis dengan tujuan yang saling bertentangan antar pelaku
kebijakan yang banyak. Tetapi ini dimungkinkan hanya jika langkah-langkah seperti yang baru
dijelaskan diatas melibatkan pelaku-pelaku kebijakan yang relevan. Oleh karena itu, persyaratan
pokok dari analisis utilitas multiatribut adalah bahwa pelaku kebijakan yang mempengaruhi dan
dipengaruhi oleh kebijakan atau program adalah partisipan aktif dalam evaluasi kinerja kebijakan.
Berikut adalah perbandingan dari tiga pendekatan dalam evaluasi :
Tabel 2.
Perbandingan Pendekatan Dalam Evaluasi Kebijakan
Pendekatan
Evaluasi Semu

Evaluasi Formal

Tujuan

Asumsi

Menggunakan
metode deskriptif
untuk
menghasilkan
informasi yang
valid
tentang
hasil kebijakan

Ukuran manfaat
atau
nilai
terbukti dengan
sendirinya atau
tidak
kontroversial

Menggunakan
metode deskriptif
untuk
menghasilkan
informasi yang
terpercaya
dan
valid mengenai
hasil
dari
kebijakan secara

Tujuan
dan
sasaran
dari
pengambil
kebijakan
dan
administrator
yang
secara
resmi
diumumkan
merupakan

Bentuk-bentuk
Utama
Eksperimentasi
sosial
Akuntasi sistem
sosial
Pemeriksaan
sosial
Sistesis riset dan
praktek

- Evaluasi
perkembangan
- Evaluasi
eksperimental
- Evaluasi proses
restrospeksi
- Evaluasi
hasil
retropektif

Teknik
-

Sajian grafik
Tampilan tabel
Angka indeks
Analisis
seri
waktu terintupsi
Analisis
seri
terkontrol
Analisis
diskontiyuregresi
Pemetaan
sasaran
Klarifikasi nilai
Kritik nilai
Pemetaan
hambatan
Analisis dampak
silang
discounting

formal
yang ukuran
yang
diumumkan
tepat
dari
sebagai
tujuan manfaat
atau
program
atau nilai
kebijakan
Evaluasi
Menggunakan
Tujuan
dan - penilaian
- Brainstorming
- Analisis
Keputusan
metode deskriptif sasaran
dari
tentang
dapat
argumentasi
Teoritis
untuk
berbagai pelaku
tidaknya
Delphi
menghasilkan
yang diumumkan
dievaluasi
kebijakan
informasi yang secara
formal - analisis utilitas
Analisis survey
multi-atribut
terpercaya
dan atau diam-diam
pemakai
valid mengenai merupakan
hasil kebijakan ukuran
yang
yang
secara tepat
dari
eksplisit
manfaat
atau
diinginkan oleh nilai
berbagai pelaku
kebijakan
Sumber : Kebijakan Publik untuk Negara-negara Berkembang, Riant Nugroho (2006)
STUDI KASUS
Daftar Pustaka.
Nugroho, Riant, 2006. Kebijakan Publik Negara Berkembang. Penerbit Gramedia, Jakarta.
https://herydotus.wordpress.com/2011/10/30/pseudoevaluations-evaluasi-semu/ (diakses 28 Februari
2015).