MODEL REGRESI

LPM, LOGIT DAN PROBIT

Dr. Taosige Wau
Pendahuluan
• Model regresi dummy → regresi dengan satu atau
beberapa variabel bebas bersifat kualitatif (dikotomis).
• Model regresi dengan variabel terikat bersifat kualitatif
(dikotomis), pendekatan estimasi model:
1. Model Probabilitas Linear (Linear Probability Model,
LPM)
2. Model Logit
3. Model Probit
Model Probabilitas Linear (LPM)
• Model LPM mengasumsikan bahwa nilai probabilitas variabel
terikat bersifat linear terhadap variabel bebas.
• Misal, menganalisis keputusan sebuah rumah tangga untuk
membeli rumah. Apabila faktor yang menentukan keputusan
(membeli atau tidak membeli) rumah tangga adalah tingkat
pendapatan, maka modelnya:
𝑌𝑖 = 𝑏0 + 𝑏1 𝑋𝑖 + 𝑒𝑖 (1)
Dimana:
𝑌𝑖 = 1 jika membeli rumah, 𝑌𝑖 = 0 jika tidak membeli rumah, 𝑒𝑖
= residual, 𝑋𝑖 = pendapatan rumah tangga
Model Probabilitas Linear (LPM)
• Nilai harapan (expected value) Y:
𝐸 𝑌𝑖 𝑋𝑖 = 𝑏0 + 𝑏1 𝑋𝑖 (2)
• Jika 𝑃𝑖 adalah probabilitas dari 𝑌𝑖 = 1 dan 1 − 𝑃𝑖 adalah
probabilitas dari 𝑌𝑖 = 0, maka:
𝐸 𝑌𝑖 𝑋𝑖 = 1 𝑃𝑖 + 0 1 − 𝑃𝑖 = 𝑃𝑖 (3)
• Disebut sebagai probabilitas bersyarat dari Y, dimana nilai 𝑃𝑖 → 0 ≤
𝐸 𝑌𝑖 𝑋𝑖 ≤ 1
• Karena karakteristik LPM sama dengan model regresi linear, maka
metode OLS dapat digunakan untuk mengestimasi model LPM.
Kelemahan Model LPM
1. Variabel residual 𝑒𝑖 tidak berdistribusi normal
→ Karena nilai variabel terikat bersifat dikotomi maka residual
model LPM tidak terdistribusi normal, melainkan mengikuti
distribusi binomial.
2. Varian residual 𝑒𝑖 mengandung unsur heteroskedastisitas
→ Variabel residual dari LPM mengandung unsur
heteroskedastisitas karena 𝑒𝑖 mengikuti distribusi binomial.
3. 𝐸 𝑌𝑖 𝑋𝑖 tidak selalu bernilai 0 ≤ 𝐸 𝑌𝑖 𝑋𝑖 ≤ 1
4. Nilai koefisien determinan 𝑅2 bersifat bias
Cumulative Distribution Function (CDF)
• Model LPM diasumsikan P𝑟 𝑌𝑖 = 1 𝑋𝑖 menaik secara linear
terhadap 𝑋𝑖 → peningkatan nilai variabel bebas secara proporsional
menaikkan nilai variabel terikat (nilai probabilitas). Sehingga nilai
P𝑟 𝑌𝑖 = 1 𝑋𝑖 memungkinkan lebih dari 1.
• Nilai 0 ≤ 𝐸 𝑌𝑖 𝑋𝑖 ≤ 1 dapat dipertahankan dengan model
Cumulative Distribution Function (CDF)
• Sifat CDF:
1. Jika 𝑋𝑖 naik maka P𝑟 𝑌𝑖 = 1 𝑋𝑖 akan naik pada interval 0-1.
2. Hubungan antara 𝑃𝑖 dan 𝑋𝑖 adalah non linear, sehingga
perubahannya tidak sama.
Kurva CDF Pr

𝐶𝐷𝐹

−∞ ∞
0 𝑋𝑖
Cumulative Distribution Function (CDF)
Ada 2 model yang memenuhi kriteria CDF:
1. Model Logit → berkaitan dengan fungsi probabilitas
distribusi logistik (logistic distribution function)
2. Model Probit → berkaitan dengan fungsi
probabilitas disitribusi normal (normal distribution
function)
Model Logit
• Misal, menganalisis keputusan membeli rumah yang
dipengaruhi oleh tingkat pendapatan.
• Fungsi probabilitas logistik kumulatifnya:
1 1
𝑃𝑖 = F 𝑍𝑖 = 𝑏0 + 𝑏1 𝑋𝑖 = = (4)
1+𝑒 −𝑍𝑖 1+𝑒 − 𝑏0+𝑏1 𝑋𝑖
Dimana 𝑒 adalah basis dari logaritma natural dengan nilai
2,71828, 𝑃𝑖 adalah probabilitas seseorang membeli rumah
pada tingkat pendapatan 𝑋𝑖 tertentu. Nilai Z terletak antara
− ∞ dan ∞, nilai 𝑃𝑖 antara 0 dan 1.
Model Logit
• Probabilitas membeli rumah 𝑌𝑖 = 1
1
𝑃𝑖 = (5)
1+𝑒 −𝑍𝑖
Kalikan 𝑒 𝑍𝑖 pada persamaan (5), akan menghasilkan
𝑒 𝑍𝑖
𝑃𝑖 = (6)
1+𝑒 𝑍𝑖
• Probabilitas tidak membeli rumah 𝑌𝑖 = 0
1 1
1 − 𝑃𝑖 = 1 − = (7)
1+𝑒 −𝑍𝑖 1+𝑒 𝑍𝑖
Model Logit
• Rasio probabilitas 𝑌𝑖 = 1 dan 𝑌𝑖 = 0 adalah
𝑒𝑍𝑖
𝑃𝑖 1+𝑒𝑍𝑖 𝑒 𝑍𝑖 1+𝑒 𝑍𝑖
= 1 = = 𝑒 𝑍𝑖 (8)
1−𝑃𝑖 1+𝑒 𝑍𝑖 1
1+𝑒𝑍𝑖
• Persamaan (8) disebut rasio perbedaan (odds ratio).
• Persamaan (8) dengan logaritma natural (ln):
𝑃𝑖 𝑍𝑖 𝑃𝑖
ln = ln 𝑒 → ln = 𝑍𝑖 ln 𝑒
1−𝑃𝑖 1−𝑃𝑖
𝑃𝑖
ln = 𝑏0 + 𝑏1 𝑋𝑖 (9)
1−𝑃𝑖
Model Logit
• Model Logit dengan 2 variabel bebas
𝑃𝑖
ln = 𝑏0 + 𝑏1 𝑋1𝑖 + 𝑏2 𝑋2𝑖 (10)
1−𝑃𝑖
• Model Logit dengan k variabel bebas
𝑃𝑖
ln = 𝑏0 + 𝑏1 𝑋1𝑖 + 𝑏2 𝑋2𝑖 + ⋯ + 𝑏𝑘 𝑋𝑘𝑖 (11)
1−𝑃𝑖
• Karena model logit adalah fungsi non linear, maka metode OLS tidak
bisa digunakan.
• Metode estimasi model logit → metode Maximum Likelihhod (ML).
Metode ML
• Metode ML digunakan untuk mencari koefisien regresi sehingga
probabilitas kerjadian dari variabel terikat bisa setinggi mungkin
atau maksimum.
• Probabilitas memaksimumkan kejadian disebut dengan Log of the
Likelihood (LL).
• Nilai LL dalam metode ML sama dengan RSS pada OLS.
• Metode ML digunakan untuk sampel besar, sehingga sampel
errornya mengikuti distribusi normal.
• Uji signifikansi variabel menggunakan nilai z statistik.
Metode ML
• Mengukur goodness of fit dari model digunakan uji statistik
Likelihood Ratio (LR):
𝐿𝑅 = 2 𝐿𝐿𝑈𝑅 − 𝐿𝐿𝑅 (12)
Dimana 𝐿𝐿𝑈𝑅 = log likelihood unrestricted dan 𝐿𝐿𝑅 =
𝑙𝑜𝑔 𝑙𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 𝑟𝑒𝑠𝑡𝑟𝑖𝑐𝑡𝑒𝑑.
Unrestricted adalah model regresi dengan konstanta dan semua
variabel bebas, sedangkan restrected adalah model regresi hanya
konstanta.
• Nilai 𝐿𝑅~𝜒 2 pada 𝑑𝑓 = 𝑘 − 1
• Ukuran kebaikan garis regresi digunakan koefisien determinasi Mc-
2
Fadden 𝑅𝑀𝑐𝐹
Model Logit: Contoh Kasus
• Faktor yang mempengaruhi kepemilikan rumah 𝑌𝑖 adalah
pendapatan 𝑋1𝑖 , status pernikahan 𝑋2𝑖 , jumlah anggota
keluarga 𝑋3𝑖 , tingkat pendidikan kepala keluarga 𝑋4𝑖 , dan umur
kepala keluarga 𝑋5𝑖 .
• Jumlah sampel 1000 KK.
• Modeling:
𝑃𝑖
ln = 𝑏0 + 𝑏1 𝑋1𝑖 + 𝑏2 𝑋2𝑖 + 𝑏3 𝑋3𝑖 + 𝑏4 𝑋4𝑖 + 𝑏5 𝑋5𝑖 (13)
1−𝑃𝑖
Model Logit: Hasil Estimasi
Dependent Variable: Y
Method: ML - Binary Logit (Quadratic hill climbing)
Date: 18/10/20 Time: 23:49
Sample: 1 1000 • Untuk interprestasi hasil estimasi,
Included observations: 1000
Convergence achieved after 5 iterations
terlebih dahulu dihitung antiln koefiens
Covariance matrix computed using second derivatives masing-masing variabel.
Variable Coefficient Std. Error z-Statistic Prob. • Untuk prediksi, hitung nilai 𝑍෡𝑖 dengan
C -4.888317 0.558783 -8.748150 0.0000 memisalkan nilai variabel bebasnya
X1 0.008442 0.001706 4.949738 0.0000
X2 1.078795 0.193381 5.578586 0.0000 𝑍෡𝑖 = 𝑏0 + 𝑏1 𝑋1𝑖 + 𝑏2 𝑋2𝑖 + 𝑏3 𝑋3𝑖 +
X3
X4
0.046024
0.130895
0.070706
0.028768
0.650922
4.550048
0.5151
0.0000
𝑏4 𝑋4𝑖 + 𝑏5 𝑋5𝑖 (14)
X5 0.055479 0.005613 9.884864 0.0000
Nilai 𝑍෡𝑖 kemudian masukkan kedalam
1
McFadden R-squared 0.234507 Mean dependent var 0.645000
𝑃𝑖 = untuk menghitung
S.D. dependent var 0.478753 S.E. of regression 0.401963 1+𝑒 −𝑍𝑖
Akaike info criterion
Schwarz criterion
1.007887
1.037333
Sum squared resid
Log likelihood
160.6051
-497.9434
probabilitas 𝑌𝑖 = 1 dan ke 1 − 𝑃𝑖 =
1
Hannan-Quinn criter. 1.019079 Deviance 995.8869 untuk menghitung probabilitas
Restr. deviance 1300.974 Restr. log likelihood -650.4870 1+𝑒 𝑍𝑖
LR statistic 305.0872 Avg. log likelihood -0.497943 𝑌𝑖 = 0
Prob(LR statistic) 0.000000

Obs with Dep=0 355 Total obs 1000

Obs with Dep=1 645
Model Regresi Probit
• Model regresi probit adalah model regresi dengan variabel terikat
yang bersifat kualitatif yang didasarkan pada fungsi probabilitas
distribusi normal.
• Perbedaan Logit dan Probit:

• Model probit memiliki nilai probabilitas

Nilai probabilitas yang mendekati 0 dan 1.

• Penurunan kurva CDF model probit lebit

Tingkat penurunan cepat dari model logit.
Kurva CDF Pr

1
𝑃𝑟𝑜𝑏𝑖𝑡

𝐿𝑜𝑔𝑖𝑡

−∞ ∞
0 𝑋𝑖
Model Probit
• Misal, menganalisis kepemilikan rumah yang dipengaruhi
oleh tingkat pendapatan.
• Fungsi probabilitas normal kumulatifnya:
𝑃𝑖 𝑌𝑖 = 1 𝑋𝑖 = Φ 𝑍 = Φ 𝑏0 + 𝑏1 𝑋𝑖 (15)
Dimana 𝑌𝑖 adalah probabilitas memiliki rumah, 𝑋𝑖 adalah
pendapatan, Φ(∙) fungsi model probit. Nilai Z terletak
antara −∞ dan ∞, nilai 𝑃𝑖 antara 0 dan 1.
Model Probit
• Fungsi Φ Z didasarkan pada distribusi normal Z, sehingga model
probit dapat ditulis menjadi:
1 𝑍𝑖 −1𝑧 2
𝑃𝑖 = Φ Z = ‫׬‬ 𝑒 2 dz (16)
2𝜋 −∞
1
1 𝑏0 +𝑏1 𝑋𝑖 − 𝑧2
𝑃𝑖 = Φ Z = ‫׬‬ 𝑒 2 dz (17)
2𝜋 −∞
• Persamaan (17) diturunkan terhadap z, menghasilkan
Φ−1 𝑃𝑖 𝑌𝑖 = 1 𝑋𝑖 = Φ−1 Φ 𝑏0 + 𝑏1 𝑋𝑖 (18)
Φ−1 𝑃𝑖 𝑌𝑖 = 1 𝑋𝑖 = Z = 𝑏0 + 𝑏1 𝑋𝑖 (19)
Model Probit
• Karena model probit merupakan fungsi non-linear, maka
model probit diestimasi dengan metode Maksimum
Likelihood.
• Nilai koefisien model probit tidak dapat diinterprestasikan
langsung karena nilai probabilitasnya berdasarkan nilai
probabilitas normal.
• Yang bisa diinterprestasikan hanya tanda koefisien model
variabelnya.
Model Probit
• Interprestasi koefisien model probit dilakukan dengan
menghitung perubahan nilai probabilitas atau marginal
effect.
• Marginal effect dihitung dengan cara:
1. Nilai prediksi probabilitas pada nilai variabel bebas
tertentu digunakan sebagai nilai awal;
2. Nilai prediksi probabilitas pada nilai variabel bebas yang
lain sebagai nilai baru;
3. Hitung perbedaan probabilitas keduanya.
Model Probit: Contoh Kasus
• Faktor yang mempengaruhi kepemilikan rumah 𝑌𝑖 adalah
pendapatan 𝑋1𝑖 , status pernikahan 𝑋2𝑖 , jumlah anggota
keluarga 𝑋3𝑖 , tingkat pendidikan kepala keluarga 𝑋4𝑖 ,
dan umur kepala keluarga 𝑋5𝑖 .
• Jumlah sampel 1000 KK.
• Modeling:
Z = 𝑏0 + 𝑏1 𝑋1𝑖 + 𝑏2 𝑋2𝑖 + 𝑏3 𝑋3𝑖 + 𝑏4 𝑋4𝑖 + 𝑏5 𝑋5𝑖 (20)
 Dependent Variable: Y
Method: ML - Binary Probit (Quadratic hill climbing)
Model Probit: Hasil Date: 25/10/20 Time: 23:23
Sample: 1 1000
Included observations: 1000
Estimasi Convergence achieved after 4 iterations
Covariance matrix computed using second derivatives

Variable Coefficient Std. Error z-Statistic Prob.

C -2.806179 0.311566 -9.006690 0.0000

X1 0.003995 0.000767 5.207375 0.0000
X2 0.661370 0.113371 5.833688 0.0000
X3 0.037637 0.041087 0.916035 0.3596
X4 0.076354 0.016440 4.644523 0.0000
X5 0.031372 0.003045 10.30231 0.0000

McFadden R-squared 0.228377 Mean dependent var 0.645000

S.D. dependent var 0.478753 S.E. of regression 0.403817
Akaike info criterion 1.015862 Sum squared resid 162.0897
Schwarz criterion 1.045308 Log likelihood -501.9310
Hannan-Quinn criter. 1.027054 Deviance 1003.862
Restr. deviance 1300.974 Restr. log likelihood -650.4870
LR statistic 297.1121 Avg. log likelihood -0.501931
Prob(LR statistic) 0.000000

Obs with Dep=0 355 Total obs 1000

Obs with Dep=1 645
Model Probit: Hasil Estimasi
• Uji Likelihood Ratio (LR)
𝐻0 : variabel bebas secara simultan tidak signifikan.
𝐻1 : variabel bebas secara simultan signifikan
Dari hasil estimasi, diperoleh nilai statistik LR sebesar 297,11. Sedangkan
nilai 𝜒 2 pada 𝑑𝑓 = 𝑘 − 1 = 6 − 1 = 5 dan 𝛼 = 5% adalah 11,07. Karena
nilai statistik LR lebih besar dari 𝜒 2 tabel, maka keputusannya tolak 𝐻0
dan terima 𝐻1 . Artinya semua variabel bebas yang digunakan secara
simultan signifikan terhadap variabel terikat.
• Uji Mc-Fadden 𝑹𝟐 𝑴𝒄𝑭
Nilai nilai koefisien Mc-Fadden 𝑅2 𝑀𝑐𝐹 sebesar 0,2283 artinya 22,83%
variabel bebas mampu menggambarkan variasi nilai variabel terikat.
Model Probit: Hasil Estimasi
• Uji Parsial (uji-z)
𝐻0 : variabel bebas secara parsial tidak signifikan.
𝐻1 : variabel bebas secara parsial signifikan
Nilai z tabel pada 𝛼 = 5%

Terima 𝐻0 Tolak 𝐻0
Tolak 𝐻0

0,5 − 0,025
= 0,475
0,025 0,025

𝑧 = −1,96 0 𝑧 = 1,96
Model Probit: Hasil Estimasi
• Konstanta 𝑏0
Nilai 𝑧𝑠𝑡𝑎𝑡𝑖𝑠𝑡𝑖𝑘 = −9,00 < 𝑧𝑡𝑎𝑏𝑒𝑙 = −1,96 → tolak 𝐻0 → signifikan
• Koefisien 𝑏1
Nilai 𝑧𝑠𝑡𝑎𝑡𝑖𝑠𝑡𝑖𝑘 = 5,21 > 𝑧𝑡𝑎𝑏𝑒𝑙 = 1,96 → tolak 𝐻0 → signifikan
• Koefisien 𝑏2
Nilai 𝑧𝑠𝑡𝑎𝑡𝑖𝑠𝑡𝑖𝑘 = 5,83 > 𝑧𝑡𝑎𝑏𝑒𝑙 = 1,96 → tolak 𝐻0 → signifikan
• Koefisien 𝑏3
Nilai 𝑧𝑠𝑡𝑎𝑡𝑖𝑠𝑡𝑖𝑘 = 0,92 < 𝑧𝑡𝑎𝑏𝑒𝑙 = 1,96 → terima 𝐻0 → tidak signifikan
• Koefisien 𝑏4
Nilai 𝑧𝑠𝑡𝑎𝑡𝑖𝑠𝑡𝑖𝑘 = 4,64 > 𝑧𝑡𝑎𝑏𝑒𝑙 = 1,96 → tolak 𝐻0 → signifikan
• Koefisien 𝑏5
Nilai 𝑧𝑠𝑡𝑎𝑡𝑖𝑠𝑡𝑖𝑘 = 10,30 > 𝑧𝑡𝑎𝑏𝑒𝑙 = 1,96 → tolak 𝐻0 → signifikan
Model Probit: Hasil Estimasi
Marginal Effect
• Menghitung kenaikan probabilitas memiliki rumah apabila pendapatan naik
dari 50 menjadi 100 dengan responden yang sudah menikah, jumlah anggota
keluarga 3 orang, tingkat pendidikan kepala keluarga 12 tahun dan umur kepala
keluarga 50 tahun.
• Nilai awal: Φ−1 𝑃𝑖 𝑌𝑖 = 1 𝑋𝑖 = −2,806 + 0,004 50 + 0,661 1 +
0,038 3 + 0,076 12 + 0,031 50 = 0,6527
• Nilai akhir: Φ−1 𝑃𝑖 𝑌𝑖 = 1 𝑋𝑖 = −2,806 + 0,004 100 + 0,661 1 +
0,038 3 + 0,076 12 + 0,031 50 = 0,8524
• Selisih nilai akhir dan nilai awal: 0,8524 − 0,6527 = 0,1997.
• Artinya, probabilitas memiliki rumah naik 19,97% apabila pendapatan naik dari
50 ke 100.
Paper Terkait
• Sutarini (2018)
http://download.garuda.ristekdikti.go.id/article.php?article=550595&val=7575
&title=Model%20Probability%20Unit%20Probit%20Pinjaman%20Mikro%20Ter
hadap%20Kemiskinan%20Rumah%20Tangga%20di%20Indonesia
• Lendy Dinda Ayu Safitri dkk (2020):
http://download.garuda.ristekdikti.go.id/article.php?article=1400888&val=216
4&title=PEMODELAN%20INDEKS%20PEMBANGUNAN%20MANUSIA%20DAN%2
0INDEKS%20PEMBANGUNAN%20GENDER%20DI%20INDONESIA%20DENGAN%
20PENDEKATAN%20REGRESI%20PROBIT%20BINER%20BIVARIAT
• Budiyanto dkk (2015):
http://download.garuda.ristekdikti.go.id/article.php?article=1353544&val=953
&title=Pentingnya%20Kondisi%20Ekonomi%20Rumah%20Tangga%20Dalam%2
0Perawatan%20Ibu%20Hamil%20Dan%20Imunisasi%20Anak%20Di%20Indones
ia%20Tahun%202002-2003%20Model%20Probit
TERIMA KASIH