TUGAS PENGGANTI UAS

MATA KULIAH
MONITORING DAN EVALUASI KEBIJAKAN

REVIEW ARTIKEL
METODE EVALUASI DAMPAK

DOSEN PENGAMPU : PROF. DR. MUHADJIR M DARWIN, MPA

DISUSUN OLEH :

NAILA RUSYDIANA
NIM 2210246753

FAKULTAS ILMU SOSIAL DAN ILMU POLITIK

UNIVERSITAS RIAU
PEKANBARU
2023
 METODE EVALUASI DAMPAK

I. PENDAHULUAN
Pembangunan ekonomi adalah intervensi kebijakan yang bertujuan untuk
meningkatkan kesejahteraan ekonomi dan social masyarakat melalui program-program
yang diprakarsai oleh pemerintah bersama dengan Lembaga Swadaya Masyarakat (LSM).
Tujuannya adalah untuk membawa perubahan seperti peningkatan pendapatan,
meningkatkan kesejahteraan, meningkatkan mata pencaharian dan meningkatkan
pembelajaran. Kebermanfaatan program dapat diketahui setelah dilakukan evaluasi.
Evaluasi adalah proses penilaian yang sistematis dan obyektif terhadap suatu
program dengan menggunakan seperangkat standar yang telah ditetapkan. Evaluasi
menjawab tiga jenis pertanyaan; (a) pertanyaan deskriptif yang menjelaskan apa yang
sedang terjadi (proses dan kondisi rinci), (b) pertanyaan normatif, membuat perbandingan
antara apa yang telah terjadi dan apa yang seharusnya terjadi dan terakhir (c) pertanyaan
sebab-akibat yang menguji perbedaan hasil setelah intervensi (Imas & Rist, 2009).
Evaluasi dampak menjawab pertanyaan ketiga. Evaluasi dampak disusun dengan jenis
pertanyaan tertentu, yaitu apa dampak (efek kausal) dari program terhadap suatu hasil
(Gertler, Martinez, Premand, awlings, & Vermeersch, 2007).
Evaluasi kebijakan didasarkan pada dua teori; pendekatan struktural dan pendekatan
efek perlakuan. Pendekatan struktural dapat diterapkan di mana terdapat partisipasi yang
bersifat universal; sedangkan, pendekatan efek perlakuan dapat diterapkan dimana terdapat
dua kelompok, (a) kelompok perlakuan, yang ikut serta dalam program dan (b) kelompok
pembanding, yang tidak berpartisipasi dalam program (Heckman, James, & Vytlacil,
2005).
Dalam mengevaluasi setiap intervensi diperlukan data (kuantitatif atau kualitatif).
Data kuantitatif cocok untuk mengukur tingkat dan perubahan dampak dan dengan
membantu menarik kesimpulan. Namun, data ini kurang efektif dalam memahami proses;
yaitu mekanisme bagaimana suatu intervensi mengaktifkan serangkaian peristiwa yang
tercermin dalam dampak dari intervensi tersebut.
Di sisi lain, metode kualitatif lebih efektif dalam memahami proses terjadinya
dampak. Sebagian besar analisis ekonometrik (menggunakan data kuantitatif) gagal untuk
memeriksa proses rinci pelaksanaan proyek (tidak menggunakan data kualitatif).
Akibatnya, menjadi sulit untuk mengetahui alasan di balik kegagalan proyek. Artinya,
apakah kegagalan tersebut terletak pada desain atau implementasi. Dengan kata lain, dalam
semua kasus tersebut, pertanyaan penelitian dibentuk oleh data, bukan oleh
pertanyaan-pertanyaan tersebut. Untuk menghindari kasus-kasus ini, data kualitatif
(rekaman pertemuan desa, wawancara terbuka yang bebas, kelompok fokus) akan
digunakan (Bamberger, Rao, & Woolcock, 2010).
Karena pentingnya kedua metode tersebut, maka muncullah konsep-konsep seperti
multi-metode dan metode campuran menjadi ada. Creswell dan Clark (2007) memberikan
perbedaan yang jelas antara multi-metode (yaitu metode kualitatif atau kuantitatif) dan
metode campuran (yaitu integrasi metode kuantitatif dan kualitatif).
Greene, Caracelli, dan Gruham (1989) juga mendefinisikan metode campuran
sebagai metode yang mencakup setidaknya satu metode kuantitatif (untuk mengumpulkan
angka) dan satu metode kualitatif (untuk mengumpulkan kata-kata). Ketika dalam sebuah
penelitian, kombinasi pendekatan kuantitatif dan kualitatif digunakan sebagai metodologi
penelitian, maka penelitian tersebut disebut sebagai penelitian metode campuran
(Tashakkori & Teddlie, 1998).
Terlepas dari metode dan pendekatan, kombinasi teknik, konsep, atau bahasa
kuantitatif dan kualitatif yang digunakan dalam satu penelitian disebut penelitian metode
campuran (Johnson & Onwuegbuzie, 2004). Baik data kuantitatif maupun kualitatif
memiliki kepentingan yang relatif sama pentingnya. Oleh karena itu, peneliti tidak boleh
mengutamakan satu di atas yang lain; karena metode yang berbeda digunakan untuk
untuk mengatasi masalah yang berbeda. Kombinasi dari teknik-teknik tersebut
memberikan wawasan yang lebih besar daripada menggunakan salah satu teknik secara
terpisah (White, 2002).
Dalam konteks tersebut, Bamberger, Rao, dan Woolcock (2010) memberikan
pandangan bahwa metode campuran (menggunakan metode kuantitatif dan kualitatif)
secara signifikan memperkuat validitas dan kegunaan operasional desain. Rao dan
Woolcock (2003) berpendapat bahwa penggunaan campuran yang bijaksana antara
kuantitatif dan kualitatif metode kuantitatif dan kualitatif digunakan untuk mendapatkan
evaluasi yang komprehensif dari suatu intervensi. Mereka menambahkan bahwa Integrasi
paralel antara metode kuantitatif dan kualitatif cocok untuk proyek-proyek besar seperti
penilaian kemiskinan tingkat nasional. Oleh karena itu, kombinasi keduanya metode
kuantitatif dan kualitatif harus digunakan dalam evaluasi intervensi.
Penjelasan mengenai bagaimana dan mengapa suatu program/kebijakan seharusnya
memberikan hasil yang diinginkan dikenal sebagai teori perubahan; di mana rangkaian
input, kegiatan, dan output untuk meningkatkan hasil merupakan rantai hasil. Untuk
menentukan hubungan kausalitas antara program dan hasil antara program dan hasil,
metode evaluasi dampak digunakan.
Efek kausal atau dampak dari sebuah program 'p' terhadap hasil yang diinginkan 'y'
diberikan oleh α = (Y│p=1) - (Y│p=0); di mana 'α' mewakili dampak dari suatu program
terhadap suatu (Y│p=1) adalah hasil dengan program dan (Y│p=0) adalah hasil tanpa
program. Estimasi dampak diterapkan pada unit-unit yang menerima program yang telah
ditawarkan program, terlepas dari keikutsertaan mereka dalam program, disebut
intention-to-treat (ITT).
Namun, estimasi dampak disebut sebagai Treatment-on-Treatment (TOT), ketika
unit-unit yang telah ditawarkan program ini dan benar-benar mendaftar di dalamnya. Itu
berarti, baik ITT dan TOT menjadi sama ketika semua unit yang ditawarkan program
benar-benar memutuskan untuk mengikuti program tersebut (Gertler et al., 2007).

II. METODE EVALUASI DAMPAK.

Metode evaluasi alternatif bergantung pada beberapa kriteria seperti; (a) sifat
program (yaitu apakah program/kebijakan tersebut bersifat lokal atau nasional, skala kecil
atau global) (b) sifat pertanyaan yang harus dijawab, dan (c) sifat data yang tersedia
(Blundell & Dias, 2000). Heckman, Smith, dan Clements (1997) dan Heckman, Ichimura,
dan Todd (1998a, b) menunjukkan bahwa kualitas data juga merupakan unsur penting
dalam penentuan strategi estimasi yang tepat.

Tinjauan tentang berbagai metode evaluasi dampak adalah sebagai berikut:

2.1. Metode pengacakan
Pengacakan didefinisikan sebagai penggabungan sedikit keacakan yang terkontrol
sepenuhnya dalam proses pembuatan data. Penugasan acak sering digunakan baik dalam
evaluasi dampak skala besar maupun kecil. Karena manajer program memastikan bahwa
setiap orang atau unit yang memenuhi syarat memiliki kesempatan yang sama untuk
menerima program. Ketika observasi menjadi sangat besar, ada kemungkinan aliran
karakteristik melalui perlakuan dan kelompok pembanding; jika mereka dibuat melalui
penugasan acak.
Sebuah evaluasi dikatakan valid secara internal; jika menggunakan kelompok
pembanding yang valid. Dalam konteks pembentukan kelompok pembanding dan
kelompok perlakuan, Fisher (1935) menganjurkan penggunaan Analisis kombinatorik
(yang jarang digunakan dalam praktik) untuk menghitung probabilitas yang tepat dari
setiap hasil yang mungkin terjadi (Deaton, 2009). Ketika dampak yang diperkirakan dalam
evaluasi dapat digeneralisasi ke total populasi, evaluasi tersebut adalah evaluasi yang satu.
Penugasan acak digunakan, ketika ada kelebihan permintaan untuk suatu program
dan ketika sebuah program perlu dilakukan secara bertahap hingga mencakup seluruh
populasi. (Gertler et al., 2007). Para penulis berdasarkan penelitian acak menemukan
adanya efek positif pada pendaftaran setelah intervensi.

2.2. Desain Diskontinuitas Regresi

Dalam evaluasi dampak, metode desain diskontinuitas regresi digunakan untuk
program yang memiliki indeks kelayakan yang berkelanjutan dengan skor batas yang jelas
untuk menentukan kelayakan peserta. Estimator dampak dalam RDD adalah E (YT │M=
m-ε) - E(YC│M= m+ε); di mana, Mi menunjukkan nilai yang diterima oleh unit 'i' dalam
uji rata-rata proksi dan menunjukkan titik batas untuk kelayakan dengan ketentuan bahwa,
Ti = 1 untuk Mi ≤ m dan Ti = 0 sebaliknya.

2.3. Metode pencocokan skor kecenderungan (PSM)

Pencocokan skor kecenderungan (PSM) telah menjadi pendekatan yang populer
dalam efek perlakuan (Caliendo & Kopeninig, 2008). Setiap peserta program dengan satu
non -peserta, di mana pasangan dilakukan berdasarkan tingkat kesamaan dalam estimasi
probabilitas berpartisipasi dalam program. Metode ini bertujuan untuk memilih
pembanding sesuai dengan skor kecenderungan mereka sebagai: p (z) = pr (t =1│z) (0 <p
(z) <1), di mana z adalah vektor variabel kontrol pra-paparan.

2.4. Desain Perbedaan-Differances (DD)

Desain perbedaan-dalam-perbedaan (DD) memperhitungkan perbedaan antara
pengobatan dan kelompok perbandingan selama periode waktu yang konstan. Padahal itu
membutuhkan. Perbedaan dalam dua (mis. Pengobatan dan perbandingan), itu tidak
membantu dalam menghilangkan perbedaan antara pengobatan dan perbandingan yang
berubah seiring waktu. Jadi, saat DD metode digunakan, para peneliti harus berasumsi
bahwa dengan tidak adanya program hasilnya
Pada kelompok perlakuan bergerak secara siklus dengan hasil dari kelompok
pembanding. Penggunaan metode perbedaan ganda terlihat di Binswanger, Khanderker
dan Rosenzweg (1993), di mana mereka memperkirakan dampak infrastruktur pedesaan
terhadap pertanian
III. Kesimpulan
Dari ulasan di atas berdasarkan berbagai metode evaluasi dampak, diartikulasikan
bahwa sebagian besar studi didasarkan pada metode eksperimental (mis. metode
pengacakan). Berdasarkan metode ini dapat memberikan perkiraan yang paling kuat. Para
peneliti telah menganjurkan metode ini sebagai ideal untuk memperkirakan dampak utama
suatu program (Ravillion, 2008).
Pada saat yang sama, Studi Lalonde (1986) dan Dehejia dan Wahba (1998, 1999)
menyarankan bahwa metode non-eksperimental lebih dapat diandalkan dan juga
memberikan hasil yang sama seperti metode eksperimen. Tapi, variabel yang dihilangkan
(Glazerman et al., 2002) dan bias publikasi (Delong & Lang, 1992) adalah masalah utama
ketika metode non-eksperimental digunakan.
Dengan demikian, tidak satu pun dari alat evaluasi ini yang ideal dalam semua
keadaan. Karena itu, terdapat kebutuhan kombinasi metode untuk meningkatkan
kekokohan yang diperkirakan kontrafaktual dan mengimbangi keterbatasan metode
tunggal. Contoh kombinasi metode terbaik adalah ditemukan di Cattaneo, Galiai, Gertler,
Martinez dan Titiunik (2009), di mana mereka menggunakan keduanya.
Perbedaan-dalam-perbedaan dan metode pencocokan digunakan untuk mempelajari
dampak piscofirme pada perkembangan kognitif anak. Dengan menerapkan metode
perbedaan-perbedaan yang cocok peneliti mengimbangi akun risiko untuk karakteristik
yang tidak teramati yang dapat muncul di program, yang juga mempengaruhi hasil. Oleh
karena itu, saat peneliti menggabungkan Pencocokan skor kecenderungan dengan metode
perbedaan ganda, pertama -tama, perlu dilakukan "Pencocokan" berdasarkan karakteristik
yang dapat diamati dan kemudian metode perbedaan perbedaan digunakan untuk
memperkirakan kontrafaktual untuk perubahan hasil di setiap subkelompok yang cocok
unit. Akhirnya, rata -rata dibuat di seluruh subkelompok yang cocok dari perbedaan ganda
(Gertler et al., 2007).