Introduction to Policy Impact Evaluation:

of OLS
Konten
1. Bagaimana regresi (OLS) dilakukan?
2. Asumsi Gauss Markov: BLUE
1. Linearity in Parameter
2. Random Sampling
3. No Perfect-Multicollinearity
4. Exogeneity (Zero Conditional Mean)
5. Homoskedasticity
3. Jenis-jenis data
4. Post-tutorial Assignment
Bagaimana regresi (OLS) dilakukan?
• Mengetahui hubungan antara 2 buah variabel memberikan manfaat
di berbagai aspek kehidupan dalam proses decision-making
• Aspek Bisnis: Mengetahui hubungan iklan dengan jumlah sales
• Aspek Kepemerintahan: Mengetahui hubungan jumlah pajak barang
konsumsi dengan perilaku konsumsi masyarakat
• Aspek Lainnya: Mengetahui hubungan pengalaman kerja dengan
gaji yang diterima
• Lalu, bagaimana regresi dilakukan sehingga bisa bermanfaat?
Bagaimana regresi (OLS) dilakukan?
webuse nlswork
regress ln_wage ttl_ex
Bagaimana intepretasinya?
Bagaimana regresi (OLS) dilakukan?
sort ln_wage ttl_exp
twoway (scatter ln_wage ttl_exp,
mcolor(%50)) (lfit ln_wage
ttl_exp) if (age==30)

Regresi (OLS) dilakukan dengan

membuat garis yang
meminimalkan kuadrat residual
Bagaimana regresi (OLS) dilakukan?
• Karena prosedurnya yang cukup sederhana, regresi (OLS) bisa
dilakukan dengan membandingkan 2 variabel apapun.
• Maka diperlukan kehati-hatian dalam intepretasinya
regress age tenure
Bagaimana regresi (OLS) dilakukan?
regress age tenure

Bagaimana intepretasinya?

Hubungan/Asosiasi tidak selalu

menunjukkan Kausalitas
(begitupun sebaliknya)

Bagaimana membedakan
asosiasi dan kausalitas?
Melalui teori dan pembuktian
empiris
Asumsi OLS: Unbiased Parameter
• Pemerintah Indonesia melaksanakan Program Keluarga Harapan
(PKH), program bantuan tunai bersyarat, untuk 10% masyarakat
termiskin
• PKH bertujuan untuk melonggarkan kendala anggaran rumah
tangga miskin sehingga mereka dapat membelanjakan lebih banyak
untuk anak-anak mereka
• Tujuan PKH adalah untuk meningkatkan kesehatan dan hasil
pendidikan anak-anak dari rumah tangga miskin
Asumsi OLS: Unbiased Parameter
• Pemerintah ingin mengestimasi pengaruh PKH terhadap tinggi
badan anak menggunakan metrik tinggi badan menurut usia (HAZ)
WHO.
• Dengan menggunakan data administratif dan survei, seorang
peneliti menulis spesifikasi ekonometrika sebagai berikut:

height i = 𝛽0 + 𝛽1 𝑃𝐾𝐻𝑖 + 𝑢𝑖
Yang mana
• 𝑃𝐾𝐻𝑖 =1 jika rumah tangga i menerima PKH, 0 jika tidak

• Bagaimana mengestimasi 𝛽1 ?
Asumsi Gauss Markov
Linearity in Parameter

Dalam regresi OLS, hubungan

variabel dependen dengan
variabel independennya selalu
linear. Apa artinya?

sort ln_wage ttl_exp

twoway (scatter ln_wage
ttl_exp, mcolor(%5)) (lfit
ln_wage ttl_exp) if (age==30)
Asumsi Gauss Markov
Random Sampling

Pengambilan sampel acak adalah bagian dari teknik pengambilan

sampel di mana setiap sampel memiliki probabilitas yang sama untuk
dipilih.

Sampel yang dipilih secara acak dimaksudkan untuk menjadi

representasi yang tidak bias dari total populasi.
Asumsi Gauss Markov
No-Perfect Multicollinearity
Dalam regresi OLS, variabel independen dengan variabel independen lainnya
harus memiliki hubungan yang tidak sempurna. Apa artinya?

gen ev_mar = cond(nev_mar==.,., cond(nev_mar==1, 0, 1))

corr nev_mar ev_mar

Korelasi ini kita sebut sebagai perfect correlation. Mari kita coba untuk
menggunakan kedua variabel yang berkorelasi sempurna dalam regresi

regress ln_wage age age_sq ttl_exp tenure hours grade nev_mar ev_mar
Asumsi Gauss Markov
Exogeneity (Zero Conditional Mean)
Eksogenitas atau zero conditional mean merupakan kondisi dimana
error term tidak berkorelasi dengan variabel independent dalam model
regresi

Hal-hal yang menyebabkan asumsi tidak terpenuhi: omitted variables,

measurement errors, non-linearities atau other unpredicted effects.

Umumnya, uji-uji statistika tidak favorable.

Asumsi Gauss Markov
Exogeneity (Zero Conditional Mean)

height i = 𝛽0 + 𝛽1 𝑃𝐾𝐻𝑖 + 𝑢𝑖

• Apakah asumsi itu masuk akal?

• Bisakah Anda memikirkan contoh di mana asumsi itu gagal?
• Misalkan ada satu variabel yang tidak dapat diamati dalam u
• Apa yang dimaksud dengan zero conditional mean dalam kasus ini?
• Apakah zero conditional mean berlaku dalam kasus ini? TIDAK
• Artinya, persamaan tersebut endogen
Asumsi Gauss Markov
• Sumber endogenitas: Omitted Variable Bias
• Sumber endogenitas lain:
• Measurement Error of X
• Simultaneity
Asumsi (inference) Gauss Markov
Homoskedasticity (dan no serial correlation)
Dalam regresi OLS, tidak diharapkan adanya heteroskedasticity atau adanya
error (variansi) yang bervariasi atau berkorelasi dengan sebuah variabel
Asumsi Gauss Markov
Homoskedasticity
Visualisasi Heteroskedasticity
set obs 10000
gen X = rnormal()
gen Z = runiform()*5
gen U = ((18+16*Z))*rnormal()

gen Y = 4*X + U

sample 10
regress Y X
predict uhat, resid
scatter uhat z
Asumsi Gauss Markov
Homoskedasticity
Visualisasi Heteroskedasticity
regress ln_wage age age_sq ttl_exp tenure hours grade nev_mar
estat hettest
estat imtest, white

Solusi untuk heteroskedasticity:

regress ln_wage age age_sq ttl_exp tenure hours grade nev_mar, r
regress ln_wage age age_sq ttl_exp tenure hours grade nev_mar, vce(cluster south)
Jenis-jenis Data
Kita akan mengutilisasi berbagai jenis data beserta perlakuannya yang
sering kita temui, seperti:
1. Data cross-section: banyak subjek, satu periode
2. Data pooled-cross section: banyak subjek, banyak periode
3. Data panel: banyak subjek (subjek sama di tiap periode), banyak
periode
• IFLS (Indonesian Family Life Survey)
• Data mikro BPS
4. Data time-series: satu subjek, banyak periode
• Inflasi
• PDB/PDRB
Kesimpulan
• Regresi hanyalah alat yang tentu saja bisa jadi sangat berguna tergantung
bagaimana kita memanfaatkan/mengintepretasikannya
• Penting untuk memahami regresi sebelum mengeksekusinya
Basic Issues of Impact Evaluation
Definisi: Urgensi Evaluasi Dampak
• Keputusan berbasis bukti dibentuk dengan mempertimbangkan:
1. Benefit yang diharapkan
2. Cost yang dikeluarkan
• Evaluasi dampak adalah bagian dari pembuatan kebijakan berbasis
bukti (Gertler et al,2012).
• Sederhananya, evaluasi dampak menilai perubahan kesejahteraan
individu yang dapat terikat dengan proyek, program, atau kebijakan
tertentu (Gertler et al,2012)
Ulasan: Masalah Dasar Evaluasi; Bias Seleksi
1) Masalah Bias Seleksi
• Misalkan kita ingin menyelidiki efek dari suatu program pada capaian
prestasi olahraga (e.g: program training olahraga – TO – terhadap
jumlah gol sepakbola)
• Spesifikasi:
𝑔𝑜𝑎𝑙𝑠𝑐𝑜𝑟𝑒 = 𝛼 + 𝛽. 𝑇𝑂𝑖 + 𝑋𝑖 + 𝑒𝑖
• dimana TO = 1 jika individu tergabung ke dalam program; dan TO = 0
jika sebaliknya
• Apa masalahnya? Bias seleksi
Skenario 1 (biru) & 2 (hitam)
Jumlah
goal

Impact?

Impact?

Training
program
sebelum sesudah
Ulasan: Masalah Dasar Evaluasi; Kerangka Kerja
Potensi Hasil (Potential Outcome Framework)
2) Masalah Kerangka Kerja Potensi Hasil
• Hasil potensial dapat ditulis sebagai:

• di mana Y1i adalah hasil jika seseorang (i) menerima program, dan Y0i
adalah hasilnya jika dia (i) tidak menerima program
• Kausalitas dari program/kebijakan tersebut adalah: (Y1i -Y0i)
• Tidak dapat dicapai. Mengapa?
Ulasan: Masalah Dasar Evaluasi; Kerangka Kerja Potensi Hasil
(Potential Outcome Framework)

• Perlu dicatat bahwa kita tidak pernah dapat melihat kedua hasil untuk
satu individu (tidak ada dunia paralel & tidak ada kontrafaktual).
Mengapa? Missing data problem

Saat i dapat program

Ulasan: Masalah Dasar Evaluasi; Kerangka Kerja Potensi Hasil
(Potential Outcome Framework)

idealnya
Ulasan: Masalah Dasar Evaluasi; Kerangka Kerja Potensi Hasil
(Potential Outcome Framework)

Nyatanya
*dalam dimensi waktu yang sama
Skenario 1 (biru; tidak mendapat treatment) & 2
(hitam; treatment)
Jumlah
goal

Impact?

Training
program
Solusi: Estimasi Konterfaktual/Kontrafaktual
Idealnya:
Skenario 1 (biru; mendapat treatment) & 2 (hitam; tidak
treatment)
Jumlah
goal

Impact

Training
program
sebelum sesudah
Ulasan: Solusi; Estimasi Konterfaktual/Kontrafaktual
1. Tantangannya adalah mengidentifikasi kelompok perlakuan dan
pembanding yang adalah: identik secara statistik tanpa adanya program
2. Bagaimana menentukan kelompok pembanding yang valid?
• Karakteristik rata-rata perlakuan dan kelompok pembanding harus
identik jika tidak ada program
• Kelompok perlakuan tidak boleh mempengaruhi kelompok
pembanding
• Kelompok pembanding akan bereaksi terhadap program dengan
cara yang sama seperti kelompok perlakuan
Ulasan: Masalah Dasar Evaluasi; Kerangka Kerja
Potensi Hasil (Potential Outcome Framework)
• Secara spesifik:
E [Yi | Di = 1] − E [Yi | Di = 0] = ATE + Bias
• Istilah pertama di atas adalah efek kausal rata-rata dari perlakuan
(Average Treatment Effects, ATE).
• E [Y1i | Di = 1] adalah hasil rata-rata dari mereka yang menerima
perlakuan
• E [Y0i | Di = 1] hasil kontrafaktual rata-rata seandainya mereka tidak
menerima perlakuan
• E [Y0i | Di = 1] ini bias. Mengapa?
Ulasan: Solusi; Dua Konterfaktual/Kontrafaktual Buatan
• With-and-without comparisons
Jumlah
goal

Impact

Hitam; non-treatment
Biru; treatment
Kontrafaktual: Hitam,
sesudah

Training
sebelum program
sesudah
Ulasan: Solusi; Dua Konterfaktual/Kontrafaktual Buatan
• Before-and-after(pre-and-post)comparisons
Jumlah
goal

Impact
Biru; treatment
Kontrafaktual: Biru,
sebelum

Training
sebelum program
sesudah
Post-Tutorial Assignment
• Melakukan estimasi regresi OLS dengan data yang sudah disediakan
(wage1.dta)
• Regresi gaji (dalam satuan log) dengan lama pengalaman, lama pengalaman
kuadrat, lama tenure, lama tenure kuadrat, pendidikan, warna kulit, interaksi
antara variabel kategorikal gender dan status pernikahan
• Secara lisan, apakah model di atas memenuhi semua asumsi Gauss
Markov? Jika iya/tidak, jelaskan!
Post-Tutorial Assignment
• Document dikumpulkan dalam bentuk do.file dengan format nama
file:
Full Name/S1/S2/S3
• Kumpulkan: anggita.utomo@mail.ugm.ac.id, cc: lab-ie.feb@ugm.ac.id
dengan subject: “Tugas Stata_number session_Name”
• Email: anggita.utomo@mail.ugm.ac.id

Deadline: Sabtu, Maret 4, 23.59 WIB

Thank You and See you on the next
tutorial!