Menilai Dampak Program

Desain Alternatif
Mata Kuliah Evaluasi Pembelajaran
Dosen Pengampu: Prof. Hariyanto
Oleh :
Ari Mardian 22107251050
Elfatihan Egista 22107251063
PROGRAM PASCASARJANA TEKNOLOGI PEMBELAJARAN UNY
FIPP UNY 2023UNIVERSITAS NEGERI YOGYAKARTA 2023
 Rumusan masalah

Bagaimana bias dalam estimasi dampak program, terutama yang

disebabkan oleh faktor bias seleksi, dapat memengaruhi keakuratan
penilaian dampak program?
Apa teknik-teknik yang efektif untuk mengatasi bias dalam desain tidak
acak dalam penilaian dampak program, terutama dalam konteks desain
alternatif seperti desain regresi-diskontinuitas atau studi pra-pasca
sederhana?
 BIAS DALAM ESTIMASI DAMPAK PROGRAM

Bias seleksi muncul karena kesalahan proses seleksi dalam

BIAS menentukan subjek penelitian.
Bias seleksi dapat terjadi melalui proses alamiah yang
SELEKSI menyebabkan hilangnya data hasil (atrisi).
Atrisi dapat terjadi melalui dua cara yaitu: hilangngya
target atau target tidak mau bekerjasama.
 BIAS DALAM ESTIMASI DAMPAK PROGRAM

Sumber bias lain umumnya berkaitan dengan peristiwa

Sumber Bias atau pengalaman selain menerima program yang terjadi

selama periode eksperimen.
Lainnya Pengalaman dan peristiwa yang dapat menimbulkan bias
dalam penilaian dampak umumnya terbagi dalam tiga
kategori:yaitu tren sekuler, peristiwa yang mengganggu,
dan pendewasaan.
 BIAS DALAM ESTIMASI DAMPAK PROGRAM

Sumber Bias Suatu peristiwa yang berkembang dilingkungan

masyarakat, dearah maupun dalam suatu negara yang
Lainnya memeberikan dampak terhadap suatu program.
Contoh Pada periode ketika tingkat kelahiran masyarakat
Tren Sekuler menurun, sebuah program untuk mengurangi tingkat
kesuburan dapat terlihat efektif karena adanya bias yang
berasal dari tren penurunan tersebut.
 BIAS DALAM ESTIMASI DAMPAK PROGRAM

Sumber Bias
Seperti halnya tren sekuler, kejadian-kejadian jangka
Lainnya pendek (sementara) dapat menghasilkan perubahan-
perubahan yang bisa menimbulkan bias dalam perkiraan
Peristiwa yang dampak program.
Contohnya pemadaman listrik yang mengganggu
Mengganggu
komunikasi dan menghambat pengiriman suplemen
makanan dapat mengganggu program gizi.
 BIAS DALAM ESTIMASI DAMPAK PROGRAM

Sumber Bias Evaluasi dampak sering kali harus menghadapi kenyataan

bahwa proses pendewasaan dan perkembangan alamiah
Lainnya dapat menghasilkan perubahan yang cukup besar secara
independen dari program.
Contoh, efektivitas kampanye untuk meningkatkan minat
Pendewasaan olahraga di kalangan orang dewasa muda dapat tertutupi
oleh penurunan minat secara umum yang terjadi ketika
mereka memasuki angkatan kerja.
 BIAS DALAM ESTIMASI DAMPAK PROGRAM

Pembahasan mengenai bias dalam penilaian dampak ini,

Bias dalam dimotivasi oleh fakta bahwa bias merupakan isu penting
dalam desain dan analisis semua penilaian dampak yang
Desain Tidak tidak dilakukan sebagai eksperimen lapangan acak yang
dilaksanakan dengan baik.
Acak Pemeliharaan yang cermat terhadap kondisi yang
sebanding untuk kelompok eksperimen dan kelompok
kontrol antara penugasan acak dan pengukuran hasil harus
mencegah bias dari pengaruh pengalaman atau peristiwa
yang berbeda pada kelompok.
Penilaian Dampak Kuasi-Eksperimental

Desain kuasi-eksperimental, sangat berguna apabila ketika

dalam mendeskripsikan penilaian dampak program terhadap
kelas eksperimen dan kelas kontrol
Dalam menentukan subjek, kelompok kontrol menyerupai
kelompok eksperimen dalam hal karakteristik dan
pengalaman yang relevan, atau dapat disesuaikan secara
statistik agar menyerupai kelompok eksperimen
Penilaian Dampak Kuasi-Eksperimental

Teknik-teknik eksperimen kuasi yang akan diulas di sini

termasuk membangun kelompok kontrol dengan cara
mencocokkan, menyamakan kelompok dengan prosedur
statistik, desain regresi-diskontinyuitas, dan penggunaan
kontrol refleksif (di mana target dibandingkan dengan diri
mereka sendiri).
 Penilaian Dampak Kuasi-Eksperimental

Membangun
Kelompok Desain ini mengharuskan kedua kelompok dicocokkan pada
karakteristik apa pun sebelum diberikannya program, kemudian
Kontrol dengan setelah diberikannya program maka, akan menyebabkan
Pencocokan perbedaan hasil yang diberikan.
Membangun Kelompok Kontrol dengan Pencocokan

Memilih Kesulitan pertama bagi evaluator yang mencoba menggunakan

desain yang cocok adalah mengetahui karakteristik mana yang
Variabel yang penting untuk dicocokkan. Evaluator harus membuat
Cocok keputusan ini berdasarkan pengetahuan sebelumnya dan
pemahaman teoritis tentang proses sosial yang dimaksud.
Informasi yang relevan sering kali tersedia dari literatur
penelitian di bidang substantif yang berkaitan dengan program
Membangun Kelompok Kontrol dengan Pencocokan

Kelompok kontrol yang cocok dapat dibangun melalui

pencocokan individu atau agregat.
Dalam pencocokan individu, upaya yang dilakukan adalah
Prosedur menarik "pasangan" untuk setiap target yang menerima
Pencocokan intervensi dari kumpulan target potensial yang tidak terpapar
program.
Dalam pencocokan agregat, individu tidak dipadankan kasus
per kasus, tetapi distribusi keseluruhan dalam kelompok
intervensi dan kelompok kontrol pada setiap variabel
pemadanan dibuat sebanding
 Membangun Kelompok Kontrol dengan Pencocokan

Untuk anak-anak dalam program pencegahan narkoba di sekolah,

misalnya, evaluator dapat menganggap variabel pencocokan yang
relevan adalah usia, jenis kelamin, jumlah saudara kandung, dan
pekerjaan ayah. dalam hal ini, evaluator dapat meneliti daftar anak-anak
Contoh yang tidak terpapar, misalnya, sekolah terdekat yang tidak memiliki
Pencocokan program berdasarkan variabel-variabel tersebut untuk menemukan
anak yang paling dekat untuk dipasangkan dengan masing-masing
Individu anak yang ada di kelompok eksperimen. Dalam prosedur seperti itu,
kriteria kedekatan dapat disesuaikan untuk memungkinkan
pencocokan, misalnya, pencocokan sehingga anak-anak yang terpapar
dan yang tidak terpapar berada dalam usia enam bulan.
 Membangun Kelompok Kontrol dengan Pencocokan

Proporsi anak yang sama berdasarkan jenis kelamin dan usia akan
ditemukan di setiap kelompok, tetapi hasil ini mungkin diperoleh
Contoh dengan memasukkan anak perempuan berusia 12 tahun dan anak
Pencocokan laki-laki berusia 8 tahun ke dalam kelompok kontrol untuk
menyeimbangkan distribusi agregat kelompok eksperimen, yang
Agregat mencakup anak perempuan berusia 9 tahun dan anak laki-laki
berusia 11 tahun.
Prosedur Statistik untuk Menyamakan Kelompok

Dalam penelitian dengan kelompok intervensi dan kelompok kontrol yang

berbeda, menggunakan teknik statistik untuk mengendalikan perbedaan
antara keduanya. Contohnya, dalam menguji efek program, evaluator memilih
kelompok kontrol yang mirip dengan kelompok intervensi dalam berbagai
faktor, seperti usia, pekerjaan, dan lainnya. Namun, perbedaan bisa tetap ada.
Oleh karena itu, kita menggunakan kontrol statistik, seperti variabel tambahan
dalam analisis, untuk mencoba menghilangkan bias seleksi. Meskipun demikian,
tidak ada jaminan bahwa semua perbedaan dapat dihilangkan, terutama jika
faktor seperti motivasi sulit diukur
 Prosedur Statistik untuk Menyamakan Kelompok

Evaluator membuat model statistik yang mewakili

hubungan antara variabel kontrol dan hasil. Tujuannya
adalah mengukur perbedaan awal antara kelompok
·Teknik Statistik
intervensi dan kontrol, lalu menyesuaikan perbedaan hasil
Multivariat dengan mengurangi perbedaan awal. Hasil yang tersisa
diinterpretasikan sebagai efek program
Model statistik multivariat melibatkan variabel kontrol yang
berkaitan dengan karakteristik awal anggota kelompok
yang memprediksi hasil.
 Prosedur Statistik untuk Menyamakan Kelompok

tujuannya adalah membuat model statistik yang bisa

memprediksi hasil individu dari variabel kontrol yang diukur di
·Memodelkan
awal penelitian. Jika kelompok yang mendapat intervensi
Faktor Penentu memiliki hasil yang lebih baik daripada yang diperkirakan dari
Hasil kondisi awal, ini dianggap sebagai efek dari program tersebut.
Ini berarti kita mencoba menentukan apakah program itu
sendiri secara signifikan mempengaruhi hasil, setelah
mempertimbangkan variabel kontrol.
 Prosedur Statistik untuk Menyamakan Kelompok

Ada dua metode yang umum digunakan: model satu tahap dan
model dua tahap.
Model satu tahap menghubungkan variabel kontrol dengan
·Memodelkan hasil. Ini juga bisa mencakup faktor-faktor yang terkait dengan
Faktor Penentu pemilihan kelompok.
Model dua tahap adalah pendekatan yang lebih umum. Tahap
Pemilihan pertama memprediksi pemilihan ke dalam kelompok
berdasarkan variabel kontrol yang relevan. Tahap kedua
menggunakan hasil tahap pertama untuk menggabungkan
semua variabel kontrol menjadi satu variabel seleksi. Variabel
ini digunakan untuk memperkirakan efek program.
 Desain Diskontinuitas Regresi

Desain Diskontinuitas Regresi" atau "RD", Desain RD adalah salah satu strategi
dalam penelitian yang berfokus pada perbandingan antara kelompok yang
menerima program atau pengobatan (kelompok program) dan kelompok
kontrol (kelompok pembanding).
Hal yang unik dalam desain RD adalah cara peserta penelitian ditugaskan ke
dalam kelompok program atau kelompok pembanding. Mereka dimasukkan
ke dalam kelompok berdasarkan skor batas pada ukuran pra-program. Ini
membedakan desain RD dari eksperimen acak dan strategi eksperimen kuasi
lainnya. Keuntungan utama dari desain RD adalah kemampuannya untuk
menargetkan program atau pengobatan kepada mereka yang paling
membutuhkan atau pantas mendapatkannya.
 Desain Diskontinuitas Regresi

Dari perspektif metodologi, kesimpulan yang ditarik dari desain RD yang

diterapkan dengan baik memiliki tingkat validitas internal yang setara dengan
kesimpulan dari eksperimen acak.
Dari sudut pandang etika, desain RD sesuai dengan tujuan memberikan
program kepada individu atau kelompok yang paling membutuhkan.
Dari segi administratif, desain RD seringkali dapat diterapkan dengan mudah
menggunakan data yang sudah ada, seperti data statistik yang secara rutin
dikumpulkan dalam sistem informasi manajemen. Ini membuat desain RD
menjadi pilihan yang efisien dari segi administrasi.
 Kontrol Refleksif

estimasi efek program didasarkan pada informasi tentang target pada dua
titik waktu atau lebih, salah satunya sebelum program dijalankan. Asumsi
yang digunakan adalah bahwa target tidak mengalami perubahan pada
variabel hasil selama waktu kecuali perubahan yang disebabkan oleh
intervensi. Setiap perbedaan antara status hasil sebelum dan sesudah
intervensi dianggap sebagai efek program.
 Kontrol Refleksif

merupakan salah satu pengukuran dampak dalam satu kelompok yang sama
yang dilaksanakan sebelum dan sesudah mengikuti program dalam kurun
waktu yang cukup lama untuk memperoleh efek yang diharapkan. Desain
seperti ini, terlihat sederhana tetapi cukup efektifmengingat sasaran yang
Simple Pre- dituju, yaitu dampak dari suatu program. Akan tetapi, desain ini memiliki satu
Post Studies kekurangan, yaitu kurang mampu dalam memperkirakan efek bias dari
pematangan (maturation). Misalnya, sepeti yang dicontohkan dalam Rossi,
dkk (2004) terdapat seorang evaluator yang berkeinginan untuk melakukan
penilaian terhadap efek medicare dengan membandingkan status kesehatan
seseorang sebelum memunihi persyaratan dengan keadaan mereka setelah
mengikuti program setelah beberapa tahun.
 Kontrol Refleksif

Desain Seri Waktu (Time Series Design) sebagai salah satu desain penelitian
yang kuat untuk mengontrol variabel refleksif. Dalam desain ini, sejumlah
pengamatan dilakukan selama periode waktu yang mencakup suatu
intervensi atau perubahan tertentu. Contoh yang diberikan adalah alih-alih
hanya melakukan pengukuran sebelum dan sesudah terhadap keluhan
Time-Series pensiunan mengenai pembayaran yang terlambat, penelitian ini menggunakan
data bulanan, dua tahun sebelum dan satu tahun setelah perubahan prosedur
Design
pembayaran. Dengan demikian, tingkat kepastian mengenai dampak program
meningkat karena terdapat lebih banyak informasi yang bisa digunakan untuk
membuat estimasi tentang apa yang akan terjadi jika tidak ada perubahan.
 Kontrol Refleksif

desain seri waktu dapat mencakup responden yang sama atau berbeda pada setiap
waktu pengukuran. Studi yang menggunakan desain ini seringkali mengambil data dari
basis data yang sudah ada yang mengumpulkan informasi berkala terkait dengan hasil
yang diminati, seperti kesuburan, kematian, atau kejahatan. Data yang digunakan
Time-Series biasanya berupa data agregat seperti rata-rata atau tingkat yang dihitung untuk satu
atau lebih yurisdiksi politik.
Design
Dalam desain ini, data pengamatan dilakukan sepanjang periode waktu yang mencakup
suatu intervensi. Ketika terdapat rangkaian pengamatan pra-intervensi yang panjang,
penelitian dapat membuat model tren jangka panjang pada kelompok sasaran,
memproyeksikan tren tersebut melalui dan setelah intervensi, dan mengamati apakah
periode pasca-intervensi menunjukkan penyimpangan yang signifikan dari proyeksi
tersebut.
 Ringkasan

Penilaian dampak bertujuan untuk menentukan perubahan hasil apa yang dapat dikaitkan
dengan intervensi yang sedang dinilai.
Di antara sumber-sumber bias yang mungkin menjadi masalah dalam desain kuasi-
eksperimental adalah bias seleksi, tren sekuler, peristiwa-peristiwa yang mengganggu, dan
pematangan.
dalam eksperimen kuasi, prosedur yang tepat harus diterapkan untuk menyesuaikan
perbedaan-perbedaan tersebut dalam estimasi dampak program.
Sangat tepat bagi evaluator untuk menggunakan desain kuasi-eksperimental untuk penilaian
dampak ketika desain acak tidak dapat dilakukan, tetapi hanya dengan upaya yang
dipertimbangkan untuk meminimalkan potensi bias dan pengakuan atas keterbatasannya.
 daftar pustaka

Picardi, Carrie A., & Masick, Kevin D,. 2014. Research Methods: Designing and Conducting
Research With a Real-World Focus. Thousand Oaks, California : SAGE Publication, Inc.

Rossi, Peter H., et all. 2004. Evaluation A Systematic Approach 7th Edition. Thousand
Oaks, California : SAGE Publication, Inc.

Tuckman, Bruce W,. 1972. Conducting Educational Research. New York : Harcourt Brace
Jovanovich, Inc.
Terima kasih