DESAIN STUDI EVALUASI

Materi TEP ke 3
AGUS ROCHANI, MT.
• Evaluasi bersifat deskriptif dan analitis
sekaligus.
• Di satu sektor, evaluator berusaha
menggambarkan apa yang terjadi, tetapi di sisi
yang lain ia menjelaskan mengapa itu terjadi.
• “mengapa ini terjadi?”
Contoh: proyek subsidi pupuk
• Tujuan: meningkatkan hasil pertanian
• Hasilnya: setelah dilakukan subsidi, hasil
pertanian meningkat dibanding sebelumnya.
• Pertanyaan: apakah kenaikan hasil pertanian benar-
benar pengaruh dari adanya subsidi pupuk? Tidak
adakah faktor lain yang mempengaruhinya? Berapa
andil dari tiap faktor itu terhadap kenaikan hasil
pertanian?
• Evaluasi yang hanya membandingkan kondisi
kelompok sasaran sebelum dengan sesudah
adanya subsidi.... Evaluasi lemah.
• Evaluasi yang hanya melihat hasil sesudah
adanya subsidi...Evaluasi sangat lemah.

• Disarankan evaluasi menyusun hipotesis

terlebih dahulu sebelum melakukan penilaian
(Bryant & White, 1987:1987:196).
• Finsterbusch & Motz (1980:140-141): ada 4 jenis
evaluasi berdasarkan kekuatan kesimpulan yang
diperolehnya.
 Empat jenis evaluasi
Pengukuran kondisi kelompok
kelompok sasaran kontrol/ informasi yang
No Jenis evaluasi Catatan
pembandi diperoleh
sebelum sesudah ng

sangat lemah karena: 1) evaluator tidak

mengetahui baik buruknya respon
kelompok sasaran terhadap program, 2)
Single program keadaan kelompok evaluator tidak mengetahui apakah
1 tidak ya tak ada
after-only sasaran baiknya kelompok sasaran itu memang
dulu tidak ada dan juga apakah bukan
sesuatu lain yang mencoptakan kondisi
yang baik tersebut.

Single program perubahan kelompok menutupi kelemahan model pertama,

2 ya ya tak ada
before-after sasaran tetapi tidak yang kedua.
Comparative keadaan sasaran dan menutupi kelemahan yang kedua, tetapi
3 tidak ya ada
after-only bukan sasaran tidak yang pertama.
Comparative efek program terhadap dapat mengatasi kelemahan pertama
4 ya ya ada
before-after kelompok sasaran dan kedua di atas.
• Pemilihan jenis evaluasi sangat ditentukan oleh
ketersediaan data.
• Yang paling baik adalah jika evaluator dapat
memperoleh data tentang sasaran program
dalam kurun waktu yang panjang, misal lima
tahun sebelum dan sesudah program berjalan,
ditambah data kelompok lain yang tidak dikenai
program.
 Inferensi Kausal

• Jika program/proyek dapat dikatakan sebagai sebab (X),

maka kondisi ikutan atas kelompok sasaran adalah
sebagai akibat/variabel tergantung (Y).... Model sebab
akibat.

• Syarat terjadinya kausalistik:

a) Perubahan di dalam program paralel/covery dengan
perubahan pada hasilnya. Sehingga setiap kali program
berubah, setiap kali itu pula hasilnya berubah.
b) Berubahnya program harus terjadi lebih dahulu
dibanding perubahan hasilnya.
c) Hasil program tidak mungkin diubah tanpa mengubah
program.
 Z Z

X Y X Y X Y
ASLI PALSU PENGACAU

Contoh: pemerintah mengadakan program peningkatan partisipasi

koperasi (X) dengan tujuan meningkatkan pendapatan masyarakat
(Y).
Hasilnya: warga yang berpartisipasi dalam koperasi memperoleh
peningkatan penghasilan, sementara yang tidak berpartisipasi tidak
mengalami penambahan penghasilan.
Akan tetapi, faktor motivasi (Z) belum dipertimbangkan. Ternyata
motivasi kerja warga yang bepartisipasi itu tinggi, sementara yang
tidak berpartisipasi itu rendah. Jadi, dapat disimpulkan,
TINGGINYA MOTIVASI ITULAH YANG MENDORONG
PENINGKATAN PENGHASILAN, BUKAN PARTISIPASI DALAM
KOPERASI ITU SENDIRI.
 ANALISIS
SEBAB AKIBAT
 Upaya yang dapat dilakukan untuk menghindari
kehadiran variabel palsu anatra lain:
1. melakukan studi evaluasi dengan desain
eksperimental, yang didalamnya evaluator memilih
sasaran penelitian secara acak;
2. Melakukan penelitian semi-eksperimental dengan
membandingkan kelompok sasaran dengan
kelompok lain yang tidak terkena program;
3. Melakukan penelitian non-eksperimental, dengan
konsekwensi evaluatorharus meneliti banyak
sumbyek dan menganalisis data dengan teknik
statistik.
DESAIN RISET EKSPERIMENTAL
• Riset eksperimental merupakan desain ideal
bagi riset evaluasi, dengan mengkaji dua
kelompok yaitu kelompok eksperimental dan
kelompok kontrol.
 pengukuran pengukuran
No Kelompok sebelum program sesudah program Perubahan

1 Kelompok eksperimen a b a-b

2 Kelompok kontrol c d c-d

Hasil program= (b-a)-(d-c); atau (b-a)/a - (d-c)/c

SELESAI