KULIAH MINGGU 13

EKONOMI WILAYAH
Doddy Aditya Iskandar, Atrida Hadianti, Sri Tuntung Pandanwangi

disampaikan secara online, Semester I TA 2021/2022

Program Sarjana Perencanaan Wilayah & Kota
Departemen Teknik Arsitektur dan Perencanaan
Fakultas Teknik Universitas Gadjah Mada
TOPIK MINGGU INI
• Aplikasi evaluasi ex-ante dan ex-post dalam berbagai kegiatan pembangunan
• Evaluasi ex-ante sebagai bagian integral dari perencanaan pembangunan
• Integrasi cost-benefit analysis dan cost-effectiveness analysis sebagai bagian
dari evaluasi ex-ante di perencanaan pembangunan
• Ragam pendekatan evaluasi dampak pembangunan
(randomized/experimental, instrumental variable, regression discontinuity
design, double differences/differences-in-differences, propensity score
matching & synthetic control method)
STUDI KELAYAKAN
• Kelayakan sebuah proyek menentukan apakah proyek yang direncanakan
menghasilkan dampak yang diharapkan atau tidak
• Penting bagi perencana pembangunan atau evaluator untuk memastikan
bahwa proyek pembangunan yang direncanakan:
• layak untuk diimplementasikan atau tidak
• Memiliki manfaat yang lebih besar dibandingkan dengan biaya yang dikeluarkan
STUDI KELAYAKAN
• Permasalahan yang dihadapi A: bagaimana menentukan bahwa manfaat
yang akan dihasilkan proyek tersebut (di masa mendatang) lebih besar
dibandingkan dengan biaya (yang dikeluarkan di masa sekarang)
• Permasalahan yang dihadapi B: bagaimana menentukan besaran
manfaat yang akan dihasilkan proyek tersebut, terutama apabila manfaat
tersebut sulit untuk dikuantifikasi dengan menggunakan satuan uang
(kesehatan, kualitas hidup, kebahagiaan)
• Permasalahan yang dihadapi C: bagaimana memastikan bahwa desain
proyek tersebut benar-benar akan menghasilkan manfaat yang baru akan
dirasakan manfaatnya setelah sekian waktu
SHADOW PRICE
• SHADOW PRICE adalah pendekatan untuk memperkirakan harga dari sebuah
aspek yang biasanya tidak ada/mudah ditemukan di ‘pasar’
• shadow price digunakan untuk menilai/memperkirakan aspek yang lebih
banyak bersifat intangible → karena benda/aset yang bersifat tangible lebih
mudah diperkirakan/dinilai oleh evaluator
• Contoh dari shadow price: berapa besar manfaat yang diterima oleh
masyarakat yang tinggal di permukiman yang padat di satu kota dengan
adanya ruang publik terpadu ramah anak (RPTRA)?
• Yang bisa divaluasi dengan market price: nilai proyek pembangunan RPTRA
• Yang harus divaluasi dengan menggunakan shadow price: efek dari dibangunnya
RPTRA di dekat permukiman yang padat
SHADOW PRICE
• Bagaimana cara kita memperkirakan manfaat (yang mungkin baru akan
terjadi di masa depan, dan sulit untuk dikuantifikasi)?
• Apa tujuan dari proyek yang direncanakan (fungsi sosial/kesejahteraan)
• Bagaimana kita menilai tujuan dari proyek yang direncanakan tersebut
• Contoh I: pengangguran dibandingkan dengan upah minimum regional
• Contoh II: rendahnya minat masyarakat untuk menabung
• Contoh III: tingginya minat masyarakat untuk mengkonsumsi barang-barang impor
SHADOW PRICE
• Shadow price menggambarkan nilai sosial dari input ataupun output – dimana nilai
ini tidak menggambarkan harga pasar yang sebenarnya
• Shadow price sering disebut sebagai accounting price

∆ 𝐾𝑒𝑠𝑒𝑗𝑎ℎ𝑡𝑒𝑟𝑎𝑎𝑛 𝑆𝑜𝑠𝑖𝑎𝑙
𝑆𝐺 =
∆ 𝑂𝑢𝑡𝑝𝑢𝑡 𝐵𝑎𝑟𝑎𝑛𝑔 𝑌𝐺
SHADOW PRICE
• Cara memperkirakan shadow price (terkait dengan evaluasi ex-ante ataupun ex-
post) -
• Apa tujuan utama dari masyarakat → fungsi kesejahteraan (contoh: jika kita lebih peduli
terhadap pengangguran, maka kita mungkin akan lebih bisa menerima shadow price yang
rendah untuk aspek tenaga kerja, relatif terhadap upah yang umumnya ditetapkan oleh pasar
• Kapasitas pemerintah untuk mengendalikan ekonomi – jika kita tidak dapat mendorong
masyarakat untuk menabung, maka kita kemudian akan memberikan shadow price yang rendah
untuk dana investasi dibandingkan dengan hal-hal yang terkait dengan konsumsi
• Kondisi pasar yang tidak sempurna → apabila kita merasakan bahwa pengendalian atas
barang-barang impor masih akan dipertahankan untuk waktu lama, maka kita akan memberikan
valuasi yang tinggi untuk mata uang asing
SHADOW PRICE
• Di kota kita tidak tersedia Ruang Publik Terbuka Ramah Anak (RPTRA) dan UU no.
26 tahun 2007 mengenai Penataan Ruang mensyaratkan adanya ruang terbuka
minimal 20 persen dari total luas wilayah
• Angka pengangguran mencapai 10 persen, sektor basis adalah industri pengolahan
dan terkena dampak akibat resesi ekonomi
• Pemerintah merencanakan untuk memanfaatkan lahan yang tersisa (200 Ha) untuk
dijadikan sebagai kawasan industri berbasis teknologi tepat guna
• Dengan sepersepuluh luasan lahan tersebut, pemerintah juga dapat
menggunakannya untuk dijadikan sebagai RPTRA
• Nilai investasi (proyek) untuk RPTRA hanya 0,05 nilai proyek untuk kawasan
industri berbasis teknologi
SHADOW PRICE
• RPTRA akan meningkatkan quality of life (QoL) masyarakat yang tinggal di sekitar
ruang terbuka
• Investasi dalam pengembangan kawasan industri berbasis teknologi tepat guna
akan menciptakan 150 lapangan pekerjaan baru
• Proyek mana yang sebaiknya dipilih untuk dilaksanakan oleh pemerintah daerah?
DISCOUNTED RATE
• DISCOUNTED RATE: tingkat suku bunga yang digunakan untuk
memperkirakan besaran satu aspek (komponen) atas dasar kemampuannya
untuk menghasilkan uang di masa mendatang
• Nilai sebuah barang/aset akan berubah seiring bertambahnya waktu
• Nilai emas relatif terus meningkat seiring bertambahnya waktu
• Nilai properti di kota-kota besar yang jumlah penduduknya banyak akan terus
meningkat (ditandai dengan tingginya HPI: housing price index)
NET PRESENT VALUE (NPV)
• NET PRESENT VALUE: tingkat suku bunga yang digunakan untuk
memperkirakan besaran satu aspek (komponen) atas dasar kemampuannya
untuk menghasilkan uang di masa mendatang
• Rule of thumb dalam memperkirakan kelayakan sebuah proyek:
• NPV > 1, proyek bisa diterima karena memberikan manfaat
• NPV < 1, proyek tidak layak untuk dijalankan
• NPV = 1, bisa dijalankan bisa tidak → berarti harus ada kriteria/pertimbangan lain
dalam menentukan apakah proyek tersebut layak untuk dijalankan
INTERNAL RATE OF RETURN (IRR)
• INTERNAL RATE OF RETURN (IRR): tingkat pengembalian dari satu investasi
yang ditanamkan dalam kurun waktu satu tahun tertentu
• Auditor meminta agar IRR untuk menilai kelayakan proyek dipasang pada
kisaran 12 hingga 15 persen (acuan suku bunga Bank Indonesia: delapan
persen) → mengapa?
• Studi kelayakan harus menginternalkan resiko yang muncul dari sebuah proyek,
karena itu di dalam memperkirakan kelayakan sebuah proyek, evaluator menggunakan
IRR yang dipandang setara dengan resiko yang melekat dengan proyek tersebut
• Rule of thumb: semakin besar IRR, semakin besar resiko yang melekat pada proyek
tersebut
 EVALUASI PROYEK
Type Control group Pros Cons Frequency of use
selection criteria
None None Very cheap Nothing is learned Very common
Reflexive Program participants’ Cheap Change in outcome Occasional
behavior before the may be due to other
intervention factors
Matched comparison Judgmental pairing Better than random Results may not be Occasional
when target population generalizable
is small
Random Random Statistical; inferences Can be expensive Rare
can be drawn from
result
RANDOMIZATION
• Randomization → membantu evaluator menghilangkan persoalan
terkait dengan ‘selection bias’ di dalam pemilihan partisipan
• Pendukung pendekatan randomized social experiment menekankan
bahwa pendekatan semacam ini tidak mengubah program dan/atau
proyek yang di evaluasi
• Di dalam sejumlah pelaksanaan evaluasi proyek, argumentasi bahwa
randomized social experiment akan menghilangkan persoalan terkait
selection bias bisa diterima…
• …tapi untuk permasalahan pembangunan lain ternyata faktor selection
bias tetap muncul di randomized social experiment
RANDOMIZATION
• Bias karena pendekatan random sangat dimungkinkan → ini berarti
bahwa para pendukung pendekatan randomized social experiment yang
menyatakan bahwa pendekatan mereka bebas dari permasalahan
selection bias ternyata dilebih-lebihkan
• Pendukung pendekatan random secara tidak langsung mengasumsikan
bahwa perbedaan mean (mean differences) dari outcome adalah obyek
yang disepakati bersama oleh para evaluator di dalam melaksanakan
evaluasi program/proyek
• Ada banyak parameter yang menarik untuk diamati, namun hanya
sedikit yang bisa dimanfaatkan dalam kerangka perbedaan mean
RANDOMIZATION
• Contoh: sebagai evaluator kita diminta mengevaluasi outcome dari
sebuah proyek (program beasiswa degree SPIRIT yang dikelola oleh
Kementerian Keuangan) → sebaiknya kita mengevaluasi pada bagian
mana?
• Enrollment
• Assignment to treatment
• Promotion
• Review of performance
• Placement stage
RANDOMIZATION
Program KB Taichung di Taiwan, China
• Pada tahun 1962 Dinas Kesehatan Provinsi di Taiwan melaksanakan
program KB terbesar di Taichung (jumlah penduduk 325.000 jiwa)
• Perluasan program ke seluruh kota dilakukan atas dasar serial survei di
tahun 1961 hingga 1962 yang menunjukkan adanya permintaan yang
tinggi terhadap layanan KB dan kesiapan menggunakan metode
pengendalian kelahiran baru (IUD)
• Teknik survei untuk menguji efektivitas dari layanan dan informasi KB
dengan memilih secara acak berdasarkan unit wilayah terkecil (lin)
yang berisikan 20 rumah tangga
RANDOMIZATION
Program KB Taichung di Taiwan, China
• 36.000 pasangan usia subur dipilih dan dikategorisasikan ke dalam
control group dan treatment group
• Empat treatment group dikembangkan, dari kelompok yang
mendapatkan treatment paling intensif dan mahal sampai ke yang
paling murah dan kurang intensive
RANDOMIZATION
Program KB Taichung di Taiwan, China
• Pembagian kelompok (treatment dan control group) →
• Treatment 1: everything, husband and wife → suami istri mendapatkan
informasi yang sama, baik melalui kunjungan, pos maupun pertemuan
terjadwal
• Treatment 2: everything, wife only → sama seperti no. 1, tapi hanya istri yang
mendapatkan informasi
• Treatment 3: mailings → suami istri hanya mendapatkan informasi d yang
diposkan
• No treatment
RANDOMIZATION
Program KB Taichung di Taiwan, China
• Pembagian kelompok (treatment dan control group) →
• Kota dibagi menjadi tiga wilayah berdasarkan kepadatan dan kebutuhan
diseminasi informasi
• Tiga kelompok → padat, menengah, rendah
 RANDOMIZATION
Program KB Taichung di Taiwan, China
Density
Treatment All Sectors
Heavy Medium Light
Treatment 1 20 12 14 17
Treatment 2 18 14 14 17
Treatment 3 8 7 8 8
No treatment 9 7 7 8
Total 14 9 8 11
Cummulative Acceptance Rates per 100 married women aged 20-39 for all methods of birth control in Taichung (percentage)
RANDOMIZATION
Implikasi Malnutrisi terhadap Aspek Kognitif Anak di Kolombia
• Pemerintah Kolombia menjalankan pilot program di Cali pada tahun
1971 hingga 1975 untuk mengetahui efek dari latar belakang
pendidikan, kondisi nutrisi, dan layanan kesehatan bagi anak usia pra
sekolah dan orang tua dari keluarga tidak mampu terhadap aspek
intelektualitas anak-anak
• Proposisi → praktisi medis sudah lama berpandangan bahwa
malnutrisi akan mempengaruhi perkembangan kognisi anak-anak, dan
pengaruh ini mungkin bahkan bersifat permanen
• Hingga tahun 1970 pandangan ini belum pernah diuji secara sistematis
RANDOMIZATION
Implikasi Malnutrisi terhadap Aspek Kognitif Anak di Kolombia
• Studi kasus ini memperlihatkan bagaimana layanan sebuah program
dijalankan melalui pendekatan randomized control design dapat
digunakan untuk mengevaluasi dampak program terhadap seluruh
partisipan yang memenuhi persyaratan
• Pendekatan acak hanya digunakan untuk menentukan kelompok atau
individu mana yang menerima program tersebut
• Lesson learned: randomized control design yang efisien hanya bisa
dicapai apabila kelompok sasaran telah ditentukan/diidentifikasi terlebih
dahulu
RANDOMIZATION
Implikasi Malnutrisi terhadap Aspek Kognitif Anak di Kolombia
• Langkah pertama: survei berjenjang untuk mengidentifikasi kelompok
sasaran anak-anak malnutrisi dari rumah tangga yang memiliki anak
usia empat tahun
• Data yang dikumpulkan: kondisi gizi umum, data demografi, dan malnutrisi
• Terkumpul 333 anak yang menderita malnutrisi yang kemudian
dikategorisasikan berdasarkan lokasi tempat tinggal (sector) → terbagi ke
dalam 20 sector
• Masing-masing sector berisikan 19 sampai 20 anak
RANDOMIZATION
Implikasi Malnutrisi terhadap Aspek Kognitif Anak di Kolombia
• Langkah kedua: 19 sampai 20 anak yang ada di masing-masing sector
kemudian secara acak dibagi ke dalam empat treatment group yang
berbeda hanya dalam hal durasi penanganan
• Durasi penanganan ini kemudian disusun sesuai waktu pelaksanaan
RANDOMIZATION
Implikasi Malnutrisi terhadap Aspek Kognitif Anak di Kolombia
• Langkah ketiga: dua kelompok pembanding (berisikan anak-anak
denga usia yang sama) dibentuk
• Kelompok pertama berisikan anak-anak yang berasal dari keluarga dengan
penghasilan menengah atas yang tinggal di Cali
• Kelompok kedua berisikan anak-anak yang berasal dari keluarga berpenghasilan
rendah yang tidak menunjukkan gejala malnutrisi dan tinggal di wilayah (sector)
yang sama SERTA berpartisipasi di dalam proses seleksi yang menghasilkan
anak-anak yang memiliki gejala malnutrisi
RANDOMIZATION
Implikasi Malnutrisi terhadap Aspek Kognitif Anak di Kolombia
• Desain TREATMENT: untuk 333 anak yang menunjukkan malnutrisi
akan diberikan ‘perlakuan’ sebagai berikut
• Anak-anak akan berpartisipasi selama 6 jam setiap harinya (selama lima hari
dalam seminggu)
• Anak-anak tersebut akan mendapatkan asupan dalam bentuk pemberian
protein dan kalori serta vitamin dan mineral penunjang sebesar 75% dari
persyaratan minimum (asupan yang dibutuhkan oleh seorang anak)
• Selain diberikan asupan tambahan, anak-anak juga akan berpartisipasi dalam
hal pengembangan aspek kognitif dan bahasa, interaksi sosial dan ketrampilan
psikomotorik
RANDOMIZATION
Implikasi Malnutrisi terhadap Aspek Kognitif Anak di Kolombia
• Desain TREATMENT: untuk 333 anak yang menunjukkan malnutrisi
akan diberikan ‘perlakuan’ sebagai berikut
• Fokus utama adalah untuk mengukur sebarapa lama program ini harus
dijalankan, maka evaluasi program menggunakan mekanisme time-sequencing
• Dari 333 anak yang menunjukkan gejala malnutrisi kemudian dipilih secara
anak sejumlah anak untuk kemudian diberikan perlakuan yang berbeda-beda
• Treatment 4: total 1.470 jam (6 jam/hari selama 5 hari/minggu)
• Treatment 3
• Treatment 2
• Treatment 1: total 990 jam (6 jam/hari selama 5 hari/minggu)
 RANDOMIZATION
Implikasi Malnutrisi terhadap Aspek Kognitif Anak di Kolombia
• Desain TREATMENT: untuk 333 anak yang menunjukkan malnutrisi
akan diberikan ‘perlakuan’ sebagai berikut
• Masing-masing treatment dilaksanakan secara sekuensial (treatment 1 paling
pendek → 8 bulan lebih, treatment 4 paling lama → 1 tahun lebih)
• Total 44 bulan untuk mengobservasi ada tidaknya perubahan akibat adanya
treatment terhadap 333 anak ini
Treatment 4

Treatment 3
44 bulan
Treatment 2
Treatment 1
RANDOMIZATION
Implikasi Malnutrisi terhadap Aspek Kognitif Anak di Kolombia
• Selama kurun waktu 44 bulan, perkembangan seluruh anak diamatilima
kali dalam interval waktu yang sama
• Aspek yang dinilai: penggunaan bahasa, aspek spasial, konsep
kuantitatif, cara berpikir logika, kemampuan motorik halus dan kasar
• Catatan penting:
• Tes yang berbeda-beda dijalankan di setiap titik pengukuran, yang
menyebabkan evaluator mengalami kesulitan untuk mengukur hasil tes
• Treatment 4 dan 1 menunjukkan perbedaan hasil yang signifikan, tapi tidak
dengan treatment 4 dengan 3, treatment 3 dengan 2 atau treatment 2 dengan 1
RANDOMIZATION
Efek Program ‘Acara Pendidikan untuk Anak: Sesame Street’ terhadap
Kemampuan Kognisi Anak
• Tahun 1971 program Sesame Street yang berasal dari Amerika Serikat
dikenalkan dan diadaptasi dengan memasukkan budaya Latin America
di negara Mexico
• Pengambil kebijakan di bidang komunikasi dan Pendidikan tertarik
untuk mengukur efek keseluruhan program terhadap perubahan
kemampuan kognitif anak-anak
RANDOMIZATION
Efek Program ‘Acara Pendidikan untuk Anak: Sesame Street’ terhadap
Kemampuan Kognisi Anak
• Randomized control design dipilih untuk diterapkan melalui pilot test
• Tempat dan waktu: tempat penitipan anak yang melayani anak-anak
yang berasal dari keluarga berpenghasilan rendah di Mexico City pada
tahun 1971
• Subyek: 221 anak-anak berumur tiga hingga lima tahun dari tiga TPA
yang berbeda dibagi berdasarkan jenis kelamin dan usia untuk
kemudian dikelompokkan ke dalam treatment group dan control group
RANDOMIZATION
Efek Program ‘Acara Pendidikan untuk Anak: Sesame Street’ terhadap
Kemampuan Kognisi Anak
• Desain evaluasi:
• Anak-anak yang masuk ke dalam treatment group akan melihat acara ‘Sesame
Street’ selama 50 menit setiap hari selama lima hari dalam seminggu dalam
kurun waktu enam bulan
• Anak-anak yang masuk ke dalam control group hanya melihat film kartun
• Untuk memastikan agar anak-anak di kelompok treatment group tidak melihat
acara ‘Sesame Street’ di malam hari (acara tersebut disiarkan ulang pada jam 6
sore), maka mereka baru boleh pulang setelah jam 7 malam
RANDOMIZATION
Efek Program ‘Acara Pendidikan untuk Anak: Sesame Street’ terhadap
Kemampuan Kognisi Anak
• Desain evaluasi:
• 9 tes untuk mengukur perkembangan kemampuan kognitif dilakukan dengan
mengambil secara acak anak-anak yang berasal dari control group dan
treatment group
• Tes dilakukan sebelum dan sesudah program pilot dimulai
• Perbedaan yang mencolok (secara statistik) ditemukan di empat dari sembilan
tes setelah pilot program pemutaran acara Sesame Street dilakukan
• Perbedaan yang mencolok pada pada topik yang sangat terkait dengan materi
yang ditayangkan di Sesame Street
RANDOMIZATION
Efek Program ‘Acara Pendidikan untuk Anak: Sesame Street’ terhadap
Kemampuan Kognisi Anak
• Isu dengan re-scaling → dari pilot test menjadi test dalam skala besar
• Anak-anak yang masuk ke dalam control group dan treatment group dipilih
secara acak dari anak-anak usia prasekolah di TPA yang ada di kawasan
perkotaan maupun di kawasan perdesaan
• Hasil ternyata tidak signifikan, karena:
• Metodologi yang sedikit berbeda (materi diubah, dan penilaian terhadap karakteristik
perdesaan dimasukkan)
• Banyak partisipan yang dropout dan cukup banyak anak-anak yang sudah menonton
program ‘Sesame Street’ ini sebelum program berskala nasional dijalankan
RANDOMIZATION
Efek Program ‘Acara Pendidikan untuk Anak: Sesame Street’ terhadap
Kemampuan Kognisi Anak
• Isu dengan re-scaling → dari pilot test menjadi test dalam skala besar
• Mengapa pilot test menunjukkan hasil yang lebih konklusif dibandingkan
dengan test berskala nasional?
• …the presence of a greater number of adults in the laboratory-type setting of
the pilot project crated a slightly different environment that was more
conducive to learning. Because the laboratory-type setting was not replicated
when the program was expanded, the nature of the intervention changed (Diaz-
Guerrero et al., 1976)
INSTRUMENTAL VARIABLES
• Bagaimana cara kita melakukan evaluasi jika ternyata kita tidak bisa mengendalikan
siapa saja yang bisa masuk treatment group dan control group?
• Misal: Walaupun sudah dilakukan secara acak (undian/lottery), namun ada
beberapa individu yang tidak bersedia masuk ke dalam kelompok treatment, dan
ada beberapa individu yang seharusnya tidak layak masuk ke dalam treatment
(seharusnya masuk dalam control group) ternyata justru malah mendaftar masuk
dan berpartisipasi dalam kelompok treatment
INSTRUMENTAL VARIABLES
• Metode instrumental variable (IV) merupakan alternatif metode dalam
mengevaluasi program dengan kepatuhan yang tidak sempurna (imperfect
compliance), pendaftaran sukarela (voluntary enrolment), atau cakupan
universal (universal coverage)
• IV merupakan perluasan dari metode randomized assignment ketika tidak semua
unit mematuhi penugasan kelompok mereka (“always” dan “never”)
• Metode IV bergantung kepada beberapa sumber variasi eksternal untuk
menentukan siapa saja yang masuk ke dalam kelompok treatment
• Secara intuitif, kita dapat menganggap IV sebagai sesuatu di luar kendali individu
yang mempengaruhi kemungkinan untuk berpartisipasi dalam suatu program,
tetapi berada di luar dari kontrol peserta dan tidak terkait dengan karakteristik
peserta
INSTRUMENTAL VARIABLES
Dua syarat penting dalam penggunaan IV
• IV tidak boleh berkorelasi dengan karakteristik kelompok treatment dan comparison
→
• hal ini bisa dicapai dengan menetapkan treatment secara acak diantara unit-unit dalam sampel
evaluasi (aspek exogeneity)
• penting untuk memastikan bahwa IV secara langsung mempengaruhi hasil yang diinginkan
• Dampak yang ditimbulkan harus melalui program yang akan dievaluasi
• IV harus mempengaruhi tingkat partisipasi dalam kelompok treatment dan
comparison secara berbeda → evaluator biasanya berpikir/melakukan upaya untuk
meningkatkan partisipasi dalam kelompok treatment
• Verifikasi: dengan memeriksa bahwa partisipasi lebih tinggi dibandingkan dengan
kelompok comparison → aspek relevance
INSTRUMENTAL VARIABLES
Evaluasi Program Sesame Street
yang dikembangkan untuk mempersiapkan
anak usia prasekolah agar siap bersekolah
di sekolah dasar
pada awalnya, program Sesame Street ini hanya bisa diakses
oleh keluarga (rumah tangga) yang memiliki akses ke Ultra High
Frequency (UHF) channel → tidak semua rumah berlokasi di
dekat antenna relay UHF
dependent variable (Y): kesiapan anak untuk bersekolah
independent variable (X): akses acara Sesame Street di rumah
Instrumental Variable (IV): jarak rumah terhadap antenna relay
UHF
ada hasil positif (impact) antara kesiapan anak untuk
bersekolah dengan frekuensi mereka menikmati/menonton
acara Sesame Street di rumah
 INSTRUMENTAL VARIABLES
JENIS ESTIMASI DAMPAK
Asumsi: tidak adanya kepatuhan
penuh pada kelompok
Asumsi: adanya kepatuhan treatment. Mengetahui dampak suatu

INTENTION TO TREAT (ITT)

TREATMENT-ON-THE-
AVERAGE TREATMENT EFFECT

penuh terhadap kriteria ITT : rata-rata tertimbang dari program bagi kelompok
treatment hasil peserta dan non-peserta individu yang ditawarkan

TREATED
Deskripsi: memperkirakan dalam kelompok treatment program dan benar-benar
dampak suatu program dibandingkan dengan hasil rata- berpartisipasi
dengan membandingkan rata dari kelompok comparison. Perkiraan dampak ini
(ATE)

hasil ITT penting untuk kasus-kasus disebut treatment-on-the-

untuk kelompok treatment untuk mengetahui dampak rata- treated (TOT)
dengan perkiraan rata dari program (evaluasi)
contrafactual yang yang ditawarkan, dan
diperoleh dari kelompok pendaftaran dalam kelompok
comparison treatment bersifat sukarela
INSTRUMENTAL VARIABLES
JENIS ESTIMASI DAMPAK
Asumsi: tidak adanya kepatuhan
penuh pada kelompok
treatment.
INTENTION TO TREAT (ITT)

Mengetahui dampak suatu

ITT : rata-rata tertimbang dari
hasil peserta dan non-peserta
TREATMENT-ON-THE-
ITT dan TOT akan program bagi kelompok
individu yang ditawarkan
bernilai sama jika

TREATED
dalam kelompok treatment
program dan benar-benar
dibandingkan dengan hasil rata- muncul kepatuhan berpartisipasi
rata dari kelompok comparison.
ITT penting untuk kasus-kasus penuh Perkiraan dampak ini
untuk mengetahui dampak rata- full compliance disebut treatment-on-the-
treated (TOT)
rata dari program (evaluasi)
yang ditawarkan, dan
pendaftaran dalam kelompok
treatment bersifat sukarela
 INSTRUMENTAL VARIABLES
JENIS ESTIMASI DAMPAK
Asumsi: tidak adanya kepatuhan
TREATMENT EFFECT
penuh pada kelompok treatment
LOCAL AVERAGE
dan kelompok comparison
LATE perlu ditafsirkan dengan
(LATE)
hati-hati, karena mewakili efek
program hanya untuk sub-
kelompok populasi tertentu
LATE adalah dampak pada sub-
kelompok compliers
Prinsip estimasi LATE
berlaku ketika ada ketidak-
patuhan pada kelompok
treatment, kelompok
comparison, atau keduanya
secara bersamaan
TOT hanyalah LATE dalam
kasus yang lebih spesifik
Ketika ada ketidak-patuhan
hanya dalam kelompok
treatment
INSTRUMENTAL VARIABLES
INSTRUMENTAL VARIABLES
INSTRUMENTAL VARIABLES
• Randomized Promotion adalah metode Instrumental Variable yang dapat
dipergunakan untuk memperkirakan dampak tanpa memunculkan adanya efek bias
• Mekanisme: program ini merangsang orang (promosi) untuk berpartisipasi dalam
suatu program, tapi promosinya sendiri dilakukan secara acak (random)
INSTRUMENTAL VARIABLES
• Mengatasi masalah etika dalam eksperimen yang seringkali menjadi pertanyaan
dan kritikan di dalam kajian di ranah disiplin ilmu-ilmu sosial
• Estimasi atas besaran dampak program sudah mempertimbangkan variasi
eksternal yang berada di luar kendali dari evaluator, seperti keberadaan “always”
dan “never”
• Karena keberadaan “always” dan “never” sudah dipertimbangkan, maka dampak
yang dihasilkan bersifat unbiased
• Apabila tingkat ketidakpatuhan (“always” dan “never”) tidak terlalu besar, maka
tetap disarankan menggunakan randomized assignment (RA)
 REGRESSION DISCONTINUITY
PENGERTIAN SYARAT UTAMA YANG HARUS
Metode evaluasi dampak program yang
digunakan apabila program tersebut memiliki DIPENUHI
indeks kelayakan berkelanjutan (kontinu) indeks harus memberi skor unit secara
berkelanjutan (kontinu) atau “smooth”
1
dengan ambang batas kelayakan yang
ditentukan dengan jelas (ditandai dengan cutoff indeks harus memiliki cutoff score yang
score) untuk menentukan siapa yang memenuhi jelas 2
syarat dan siapa yang tidak
cutoff harus unik dan karakteristik sekitar
cutoff harus mirip 3

skor individu atau unit tetentu tidak dapat

dimanipulasi 4
 REGRESSION DISCONTINUITY
FOKUS PADA SEKITAR CUTOFF INDEKS KELAYAKAN
Estimasi tidak bisa digeneralisir ke Evaluator harus memastikan
semua unit → pastikan jumlah bahwa tidak terjadi manipulasi
pengamatan cukup

HARUS OLEH
APA YANG DIPERHATI EVALUATO
KAN R

RDD FUZZY PEMODELAN

• Unit tidak memenuhi syarat Perlu kehati-hatian dalam
tapi bisa mengakses program pemodelan hubungan antara skor
• Unit memenuhi syarat tapi kelayakan dan hasil yang
memilih untuk tidak diinginkan → fungsi bisa tidak
mengakses program linear (misal: kuadratik, kubik, dll)
REGRESSION DISCONTINUITY
LANGKAH-LANGKAH DLM. MENJALANKAN REGRESSION DISCONTINUITY DESIGN
1. Pastikan bahwa tidak ada persoalan terkait dengan manipulasi data untuk indeks kelayakan
REGRESSION DISCONTINUITY
LANGKAH-LANGKAH DLM. MENJALANKAN REGRESSION DISCONTINUITY DESIGN
2. Periksa apakah unit analisis sesuai dengan penugasannya (kelompok treatment atau pembanding
berdasarkan skor kelayakan)

dapat diatasi melalui

instrumental variable
REGRESSION DISCONTINUITY
LANGKAH-LANGKAH DLM. MENJALANKAN REGRESSION DISCONTINUITY DESIGN
3. Menerapkan metode RDD untuk menghitung dampak program
REGRESSION DISCONTINUITY
CHECK LIST SEBELUM MELAKUKAN REGRESSION DISCONTINUITY DESIGN:

1. Apakah indeks berlanjut (kontinu) di sekitar skor cutoff pada saat

penyusunan baseline?
2. Apakah ada bukti ketidakpatuhan dengan aturan yang menentukan
kelayakan untuk treatment?
3. Apakah ada bukti manipulasi skor indeks untuk mempengaruhi siapa
yang memenuhi syarat untuk suatu program?
4. Apakah cutoff unik untuk program yang sedang dievalasui, atau apakah
cutoff digunakan oleh program lain juga?
 REGRESSION DISCONTINUITY
KELEBIHAN RDD:
1. Menghasilkan estimasi
dampak program yang tidak
bias di sekitar batas kelayakan
2. Dapat digunakan untuk
evaluasi dampak secara
berulang
3. Semua unit amatan yang layak
tidak ada yang terlewat
KELEMAHAN RDD:
1. Hasil evaluasi tidak selalu
dapat digeneralisasi (sangat
tergantung kepada tujuan
evaluasi)
2. Jumlah amatan lebih sedikit
dibandingkan dengan
pendekatan randomized
assignment
3. Harus mencoba-coba
berbagai persamaan antara
indeks kelayakan dan hasilnya
DOUBLE DIFFERENCES
DEFINISI
• Metode evaluasi dengan membandingkan perubahan outcome antar waktu
(sebelum dan sesudah treatment) antara populasi yang mendapat treatment
(treatment group) dengan populasi yang tidak mendapatkan treatment (comparison
group)
APA YANG MEMBEDAKAN DiD DENGAN METODE RA, IV DAN RDD?
• Metode-metode sebelumnya membandingkan outcome antara kelompok perlakuan
dan kelompok pembanding setelah intervensi, sedangkan metode difference-in-
differences membandingkan tren antara treatment group dan comparison group
DOUBLE DIFFERENCES
LANGKAH-LANGKAH MELAKUKAN DiD
• Menentukan treatment group dan comparison group dan kemudian menentukan
waktu sebelum dan sesudah diberikan treatment
• Menghitung differences:
• Menghitung perbedaan outcome (Y) antara situasi sebelum dan sesudah untuk
treatment group (B – A)
• Menghitung perbedaan outcome (Y) antara situasi sebelum dan sesudah untuk
comparison group (D – C)
• Menghitung selisih antara perbedaan hasil untuk kelompok perlakuan/treatment
group (B – A) dan perbedaan untuk kelompok pembanding/comparison group (D –
C), atau difference-in-differences (DiD) = (B – A) – (D – C)  PERKIRAAN DAMPAK
DOUBLE DIFFERENCES
LANGKAH-LANGKAH MELAKUKAN DiD
DOUBLE DIFFERENCES
LANGKAH-LANGKAH MELAKUKAN DiD
DOUBLE DIFFERENCES
HAL-HAL YANG PERLU DIPERHATIKAN
ASUMSI: bahwa ada equal trends antara
treatment group dan comparison group – ASUMSI: karakteristik kedua kelompok
diasumsikan tanpa program, outcome dari tidak berubah sepanjang waktu
treatment group bergerak bersamaan atau
searah dengan comparison group (no time-
varying differences)

uji asumsi equal trends →

1. Dengan melihat data outcome kedua kelompok sebelum baseline
2. Menggunakan placebo test (dengan menggunakan fake treatment dan fake
comparison)
3. Menggunakan kelompok pembanding yang berbeda
DOUBLE DIFFERENCES
 DOUBLE DIFFERENCES
KELEBIHAN DiD:
1. Metode Double Differences (DiD)
dapat digunakan Ketika rule of
assignment kurang jelas atau ketika
randomized assignment tidak
memungkinkan untuk digunakan
KELEMAHAN DiD:
1. Walaupun tren sama sebelum dimulainya
intervensi, bias dalam estimasi DiD mungkin masih
muncul dan tidak terdeteksi → terdapat faktor lain
yang mungkin mempengaruhi outcome
2. Tidak dapat memisahkan antara dampak terhadap
outcome apabila ada dua program yang berjalan di
waktu yang bersamaan terhadap outcome
3. Harus memiliki alasan yang kuat dalam memilih
comparison group untuk menghindari bias seleksi
4. Evaluator harus memiliki data sebelum dan sesudah
treatment
MATCHING
• Juga biasa disebut sebagai Propensity Score Matching
• Matching menggunakan sekelompok data dalam jumlah yang besar dan teknik
statistik untuk menyusun kemungkinan kelompok pembanding terbaik berdasarkan
karakteristik yang diobservasi
• Dalam setiap unit yang mendapatkan treatment, kemudian dicari unit lainnya yang
tidak mendapatkan treatment namun memiliki kemungkinan karakteristik yang
sama/sejenis
• Contoh:
• Evaluator ingin mengevaluasi pendapatan dan pajak dari sekelompok karyawan
dimana terdapat karyawan yang mendaftar suatu program pelatihan dan yang tidak.
• Dari sekelompok karyawan tersebut, kemudian dipilih 2 kelompok, dimana kelompok
yang mendaftar sementara lainnya tidak.
MATCHING
constructing artificial
comparison group →
• Semakin banyak karakteristik
yang harus dibandingkan,
semakin sulit menemukan
pembanding yang memiliki
karakteristik sejenis (the curse
of dimensionality)
• Tapi jika terlalu sedikit
karakteristik yang harus
dibandingkan, maka akan
muncul kemungkinan evaluator
melewatkan hal-hal yang justru
relevan dengan program
MATCHING
LANGKAH-LANGKAH MELAKUKAN
MATCHING:
1. Data survei yang representatif dan dapat
diperbandingkan untuk menghasilkan siapa
saja yang nanti masuk ke dalam kategori
enrolled dan non-enrolled
2. Melakukan sampel atas kedua kelompok dan
memperkirakan peluang (probabilitas)
masing-masing individu yang masuk dalam
kedua kategori diatas → Langkah ini
menghasilkan propensity score
3. Melakukan pembatasan sampel dengan
mengacu kepada ada atau tidaknya common
support muncul dalam kisaran propensity
score
MATCHING
LANGKAH-LANGKAH MELAKUKAN
MATCHING:
4. Dari langkah ketiga, untuk setiap unit yang
masuk dalam kategori enrolled, kita cari
subgroup non-enrolled yang memiliki
karakteristik yang sama dengan unit enrolled
(yang memiliki propensity score yang sama)
5. Dari langkah keempat ini kemudian
dibandingkan antara outcome unit yang
masuk dalam kategori enrolled dengan
outcome unit non-enrolled → hasilnya adalah
dampak dari program yang dievaluasi
6. Mean dari masing-masing individu/unit →
LATE (local average treatment effect)
MATCHING
• Beberapa permasalahan terkait dengan PROPENSITY SCORE MATCHING
• metode MATCHING hanya dapat digunakan untuk karakteristik yang terukur
sebagai dasar untuk mendapatkan kelompok pembanding (comparison group)
• jika ada karakteristik yang tidak diukur juga mempengaruhi program, akan
menimbulkan hasil yang bias → hal ini berarti MATCHING membutuhkan asumsi
yang kuat
• metode MATCHING hanya dapat dilakukan untuk karakteristik dari unit yang
diamati yang tidak mempengaruhi program
• hasil estimasi metode MATCHING tergantung pada karakteristik yang digunakan
pada matching
MATCHING
• Peluang kombinasi dan tantangan dalam pemanfaatan PROPENSITY SCORE
MATCHING
• jika data hasil treatment tersedia, maka MATCHING dapat dikombinasikan dengan
Difference-in-Differences (DiD) untuk mengurangi bias estimasi
• simple propensity score matching tidak dapat menghitung karakteristik yang
tidak dapat diobservasi (unobserved) yang mungkin dapat menjelaskan mengapa unit
amatan memilih untuk mendaftar program dan hal tersebut dapat mempengaruhi hasil
• Metode ini sering disebut sebagai MATCHED DIFFERENCE-IN-DIFFERENCES
MATCHING
• Peluang kombinasi dan tantangan dalam pemanfaatan PROPENSITY SCORE
MATCHING
• Tahap pertama MATCHED DIFFERENCE-IN-DIFFERENCES adalah dengan menyusun
kelompok matching
• Tahap berikutnya: kaji perubahan outcome sebelum dan sesudah adanya program di
kelompok yang masuk dalam kategori enrolled (first difference)
• Tahap ketiga: kaji perubahan outcome sebelum dan sesudah adanya program di
kelompok yang masuk dalam kelompok matching (second difference)
• Tahap keempat: pisahkan second difference dari first difference
• Tahap kelima: hitung rerata double difference
MATCHING
• Peluang kombinasi dan tantangan dalam pemanfaatan PROPENSITY SCORE
MATCHING
• Selain MATCHED DIFFERENCE-IN-DIFFERENCES, evaluator juga bisa mengembangkan
SYNTHETIC CONTROL METHOD
• Digunakan apabila unit yang diamati bersifat tunggal (misal: negara, perusahaan,
rumah sakit) mendapatkan treatment (atau: terekspose terhadap satu kondisi)
• Evaluator tidak mengembangkan treatment group dan comparison group, namun
membandingkan karakteristik dari treatment group dan karakteristik dari kelompok
yang tidak mendapatkan treatment (atau: terekpose terhadap satu kondisi)
• Kondisi kelompok kedua ini disebut sebagai kelompok pembanding synthetic atau
artifisial (buatan)
MATCHING
• Peluang kombinasi dan tantangan dalam pemanfaatan PROPENSITY SCORE
MATCHING
• Agar kelompok kedua (synthetic/artificial comparison group) ‘setara’ dengan
treatment group maka perlu dilakukan pembobotan
yang dibandingkan dalam kasus 8.3 →
• Perubahan PDRB wilayah Basque sebelum
dan sesudah adanya konflik bersenjata
dibandingkan dengan perubahan PD(R)B di
wilayah Spanyol yang lain (excluding
wilayah Basque) dalam periode yang sama
memunculkan bias (efek konflik bersenjata
+ dinamika perekonomian)
• Kelompok pembanding artifisial kemudian
disusun untuk menghasilkan kelompok
pembanding
 MATCHING
KELEBIHAN PSM: KELEMAHAN PSM:
1. Apabila data dasar tersedia, maka 1. Butuh dataset yang sangat besar, dan hal ini juga
metode MATCHING bisa dikombinasikan harus muncul baik untuk kategori enrolled dan non-
dengan metode lain seperti DiD untuk enrolled (hal yang mungkin sulit untuk dipenuhi)
mengkoreksi perbedaan antar kelompok 2. Hanya dapat dilakukan untuk karakteristik yang
dari waktu ke waktu diamati → kita tidak dapat mengamati karakteristik
2. Metode MATCHING bisa digunakan yang tidak diamati dalam PSM
manakala aturan program dan variabel 3. Metode PSM adalah metode yang paling lemah
yang mendasarinya sudah diketahui dibandingkan dengan metode-metode lainnya
Doddy Aditya Iskandar, Ph.D, MeRSA
Departemen Teknik Arsitektur & Perencanaan
Fakultas Teknik
Universitas Gadjah Mada
doddy@ugm.ac.id