Regresi Binary Logistic

Agung Priyo Utomo - STIS
MODEL REGRESI
LOGISTIK
Oleh:
Agung Priyo Utomo
agung@stis.ac.id
agungpu@gmail.com
VARIABEL
KUALITATIF/KATEGORIK
Variabel Kualitatif/Kategorik sebagai variabel bebas
Jenjang Pendidikan: SD, SLTP, SLTA, SLTA+
Jenis kelamin: Laki-laki, Perempuan
Status daerah: Kota, Desa
Status bekerja: Bekerja, Tidak Bekerja

Variabel Kualitatif sebagai variabel tak bebas
Pilihan Investasi: Saham, Valas, Obligasi, Deposito,
Emas
Pilihan Moda Transportasi ke tempat kerja: Kereta,
Bus, Motor, Mobil Pribadi, Jalan kaki
Lapangan kerja yg dimasuki: Pertanian, Non pertanian
REGRESI DG VARIABEL TAK
BEBAS KUALITATIF
1. Apa yang mempengaruhi pilihan transportasi kerja?
Variabel Tak bebas: Pilihan moda transportasi
(kategorik): Kereta, bus, motor, mobil pribadi
Variabel bebas: Jarak ke tempat kerja, Pendapatan
(rupiah), Harga BBM, Kondisi Jalan, Kenyamanan

2. Apakah punya rumah atau tidak
Variabel tak bebas: Kepemilikan rumah
Variabel bebas: Pendapatan Keluarga, Banyaknya
Anggota Keluarga, Jenis rumah, Usia Kepala
Keluarga.
REGRESI DG VARIABEL TAK
BEBAS KUALITATIF
3. Apa yang mempengaruhi kemiskinan?
Variabel Tak bebas: Status Kemiskinan (Miskin/Tidak
Miskin)
Variabel bebas: Tingkat Pendidikan, Lapangan Kerja
yg dimasuki, Pendapatan, Pengeluaran, Jumlah ART

4. Apakah yang mempengaruhi lapangan kerja yg dimasuki?
Variabel tak bebas: Lapangan Kerja
Variabel bebas: Usia, Jenis Kelamin, Pendidikan,
Status Perkawinan
PEMODELAN MATEMATIS
Y
i
= |
1
+ |
2
X
i
+ c
i

X = pendapatan keluarga
Y = 1 ; bila suatu keluarga punya rumah
0 ; bila suatu keluarga tidak punya rumah
Secara matematis, dengan mengasumsikan E(c
i
) = 0,
E(Y
i
| X
i
) = |
1
+ |
2
X
i

Secara statistik, ekspektasi kondisional dari Y
i
jika
diberikan X
i

E(Y
i
| X
i
) = (Y
i
=1) P(Y
i
=1|X
i
) + (Y
i
=0) P(Y
i
=0|X
i
)
= P(Y
i
= 1| X
i
)
PEMODELAN MATEMATIS
Misal
p
i
: probabilita bahwa keluarga i memiliki rumah,
yaitu bila Y
i
= 1;
(1 p
i
) : probabilita bahwa keluarga i tidak memiliki
rumah, yaitu bila Y
i
= 0,
maka,
E(Y
i
| X) = (Y
i
=0) P(Y
i
=0|X
i
) + (Y
i
=1) P(Y
i
=1|X
i
)
= P(Y
i
=1|X
i
)
= p
i

Akibatnya:
E(Y
i
| X
i
) = |
1
+ |
2
X
i
= p
i

Karena 0 s p
i
s 1, akibatnya: 0 s |
1
+ |
2
X
i
s 1
CONTOH
Akan dilihat hubungan antara pernah-tidaknya melakukan
perjalanan ke luar negeri, dan penghasilan per bulan.
Model: Y
i
= |
1
+ |
2
X
i
+ c
i

Y
i
= 1; Pernah melakukan perjalanan ke luar negeri
= 0; Tidak pernah melakukan perjalanan ke luar
negeri
X
i
= Pendapatan
Apakah estimator hasil OLS dapat menjamin bahwa
besaran |
1
+ |
2
X
i
terletak antara 0 dan 1?
Kel.
Pernah ke
Luar Negeri
Pendapatan
(Juta Rp.)
Kel.
Pernah ke
Luar Negeri
Pendapatan
(Juta Rp.)
01 0 2,8 21 1 4,3
02 1 3,4 22 1 5,6
03 1 5,3 23 0 1,4
04 0 2,1 24 0 0,9
05 0 1,9 25 1 7,3
06 1 3,6 26 0 1,3
07 1 3,7 27 1 6,3
08 0 1,7 28 1 3,7
09 0 1,2 29 0 1,9
10 0 1,5 30 0 2,0
11 1 1,9 31 1 4,2
12 1 2,0 32 0 3,2
13 0 2,1 33 1 4,0
14 1 2,9 34 1 3,0
15 0 1,1 35 0 1,0
16 1 1,8 36 0 0,9
17 1 7,0 37 1 2,4
18 0 2,2 38 1 2,3
19 0 2,0 39 0 1,7
20 1 6,0 40 1 5,0
DATA
ANALISIS
Taksiran model yang ditaksir dengan OLS sbb:
Y
i
= -0,0637 + 0,1986 X
i

R
2
= 0,4665

Interpretasi Model
Intercept = -0,0637;
Bila pendapatan Rp. 0, maka probabilitas bahwa
orang tersebut pernah melakukan perjalanan ke
luar negeri adalah negatif.
Bila pendapatan lebih kecil dari Rp 321.000,
probabilitas orang tersebut pernah melakukan
perjalanan ke luar negeri masih negatif.
Bila pendapatan lebih besar Rp. 321.000
probabilitas orang tersebut pernah melakukan
perjalanan ke luar negeri positif.
Tetapi, bila pendapatan lebih besar dari Rp. 5,4
juta, probabilitas pernah melakukan perjalanan
ke luar negeri lebih dari satu.

Slope = 0,1986, artinya bila pendapatan naik 1 unit
(Rp.1 juta) probabilitas seseorang untuk
melakukan perjalanan keluar negeri naik 20%.
ANALISIS
Masalah:
Persyaratan 0 s E(Y
i
| X
i
) s 1 sulit untuk
dipenuhi, bagaimana mengatasinya?
Ada dua cara untuk mengatasi hal tersebut :
Estimate modelnya dengan OLS.
Bila E(Y
i
| X
i
) terletak antara 0 dan 1 berarti tidak
ada masalah
Bila E(Y
i
| X
i
) > 1, kita anggap E(Y
i
| X
i
) = 1
Bila E(Y
i
| X
i
) < 0, kita anggap E(Y
i
| X
i
) = 0
E(Y
i
| X
i
) akhirnya akan terletak antara 0 dan 1.
Metode ini tidak populer karena kurang realistis.
Masalah:
Persyaratan 0 s E(Y
i
| X
i
) s 1 sulit untuk
dipenuhi, bagaimana mengatasinya?
Kita estimate model Y
i
= |
1
+ |
2
X
i
+
i
dengan
suatu metode yang akan menjamin bahwa E(Y
i
| X
i
)
terletak antara 0 dan 1.

Ada dua macam teknik yang dapat digunakan,
yaitu :
(i). Logit Logistic Regression
(ii). Probit Probit Regression
LOGIT (FUNGSI LOGISTIK)
Didefinisikan:
) X (
i i i
i 2 1
e 1
1
) X 1 Y ( E p
| + |
+
= = =

atau
i
Z
i
e 1
1
p
+
=
; dimana : Z
i
= |
1
+ |
2
X
i

Pengamatan :
p
i
terletak antara 0 dan 1, karena Z
i
terletak antara -
dan .
Bila Z , maka p
i
1
Bila Z - , maka p
i
0
p
i
mempunyai hubungan non linier dengan Z
i

LOGIT (FUNGSI LOGISTIK)

Secara keseluruhan, Model Logit adalah Model Non-
Linier, baik dalam parameter maupun dalam variabel
Oleh karena itu, metode OLS tidak dapat digunakan
untuk mengestimasi model logit.
Definisi Logit:
i
z
i
e 1
1
p
+
=
i
i
i
z
z
z
i
e 1
e
e 1
1
p 1
+
=
+
=
Sekarang, perhatikan rasio antara p
i
dan 1 p
i
:
i 2 1 i
i
i
i
i
x z
z
z
z
z
i
i
e e
e
1
e 1
e
e 1
1
p 1
p
| + |
= = =
|
|
.
|
\
|
+
|
.
|
\
|
+
=

Perbandingan itu disebut Odds atau sering juga
disebut resiko.
Untuk contoh perjalanan ke luar negeri, maka odd
ratio merupakan perbandingan antara probabilitas
seseorang pernah pergi ke luar negeri dengan
probabilitas seseorang tidak pernah pergi ke luar
negeri.
Misalkan saja bahwa probabilitas seseorang
pernah ke luar negeri adalah 80%. Dengan
demikian, probabilitas bahwa seseorang tidak
pernah pergi ke luar negeri adalah 20%. Sehingga
nilai odds adalah 4 banding 1.
Makin besar odds ini, makin besar kecenderungan
seseorang pernah pergi ke luar negeri.
Ekstrimnya, bila p kecil sekali, maka 1 p dekat
dengan 1. Akibatnya odds mendekati nol.
Sebaliknya, bila p dekat dengan 1, maka 1 p
mendekati nol. Sehingga odds sangat besar.
Dengan perkataan lain, odds adalah suatu
indikator kecenderungan seseorang pernah pergi
ke luar negeri
Ringkasnya, bila odds mendekati nol berarti
kecenderungan seseorang pernah pergi ke luar
negeri sangat kecil sekali.
Bila odds ini kita log-kan, akan kita dapatkan log odds
sebagai berikut:
i 2 1 i
i
i
i
x z
p 1
p
ln L | + | = =
|
|
.
|
\
|
=
Sehingga model yang akan kita perhatikan atau kita
analisis menjadi :
i 2 1
i
i
i
x
p 1
p
ln L | + | =
|
|
.
|
\
|
=
L disebut log odds
Catatan :
L linier dalam X, juga linier dalam |
1
dan |
2
L disebut model Logit
Karena 0 s p s 1, L terletak antara - dan
L tidak linier dalam p

|
2
menyatakan perubahan dalam L bila x berubah
1 unit
|
1
menyatakan log odds pada saat pendapatan sama
dengan nol.
Bila kita mengetahui tingkat pendapatan keluarga,
katakanlah x
i
, kita dapat menghitung probabilitas
bahwa seseorang pernah ke luar negeri dengan cara
menghitung :

Masalahnya sekarang bagaimana menaksir |
1
dan
|
2
? MLE

) x (
i
i 2 1
e 1
1
p
| + |
+
=
PENGUJIAN SIGNIFIKANSI
MODEL & PARAMETER
Uji seluruh parameter (Uji G)
H
0
: |
1
= |
2
= .. = |
P
= 0
H
1
: sekurang-kurangnya terdapat satu |
j
= 0

Statistik uji yang digunakan :
(
=
A) (Model likelihood
B) (Model likelihood
ln 2 G
Model B: model yang hanya terdiri dari konstanta saja
Model A: model yang terdiri dari seluruh variabel
PENGUJIAN SIGNIFIKANSI
MODEL & PARAMETER
P
2
,
o
_
G berdistribusi Khi Kuadrat dengan derajat bebas p
atau G ~ _
p
2
.

H
0
ditolak jika G >

; o : tingkat signifikansi.
Bila H
0
ditolak, artinya model A signifikan pada
tingkat signifikansi o.
UJI SIGNIFIKANSI TIAP-TIAP
PARAMETER: UJI WALD
2
1
2
j
j
j
~
)
( .e. s
W _
(
(
|
|
=
H
0
:
j
= 0, untuk suatu j = 0, 1, , p
H
1
:
j
0

Statistik Uji yang digunakan:
Pada tingkat signifikansi o, H
0
akan ditolak bila

Artinya parameter yang diuji signifikan pada tingkat
signifikansi o
2
1 , j
W
o
_ >
INTERPRETASI MODEL /
PARAMETER
Interpretasi koefisien-koefisien dalam model
regresi logistik dilakukan melalui odds ratio
(perbandingan resiko) atau adjusted probability
(probabilitas terjadi).
Odds didefinisikan dg p/(1-p), dimana p
menyatakan probabilitas sukses (terjadinya
peristiwa y = 1) dan 1-p menyatakan probabilitas
gagal (terjadinya peristiwa y = 0).
Odds Ratio (perbandingan resiko), adalah
perbandingan nilai Odds (resiko) pada dua
individu ; misalkan individu A dan individu B.
INTERPRETASI MODEL /
PARAMETER
Odds Ratio dituliskan sebagai.

;
) X ( p 1
) X ( p
) X ( p 1
) X ( p
B
B
A
A
(
(
(
= +
X
A
: karakteristik individu A
X
B
: karakteristik individu B
Adjusted probabilitas merupakan probabilitas
terjadinya suatu peristiwa y = 1 dengan karakteristik
yang telah diketahui.
Dituliskan dg:

dimana z = |
0
+ |
1
x
1
+ . + |
p
x
p

(z) exp 1
(z) . exp
) x | 1 y ( P
+
= =
ADJUSTED PROBABILITY
Variabel bebas: kategorik
Membandingkan nilai odds dari salah satu nilai pada
variabel tersebut dengan nilai odds dari nilai lainnya
(Referensi).
Misalkan kedua kategori tersebut adalah 1 dan 0
dengan 0 yang digunakan sebagai kategori referensi,
maka interprestasi koefisien pada variabel ini adalah
rasio dari nilai odds untuk kategori 1 terhadap nilai
odds untuk kategori 0; dituliskan sebagai:
) .( exp
) 0 x ( p 1
0) x ( p
) 1 p(x - 1
1) p(x

j
j
j
j
j
| =
|
|
.
|
\
|
=
=
=
=
= +
INTERPRETASI PARAMETER
Artinya
resiko terjadinya peristiwa y=1 pada kategori x
j
= 1
sebesar exp. ( |
j
) kali resiko terjadinya peristiwa y=1
pada kategori x
j
= 0.
Variabel Bebas: Kontinyu (tidak kategorik)
Setiap kenaikan C unit satuan pada variabel bebas
akan mengakibatkan resiko terjadinya y = 1 sebesar
exp ( C.|
j
) kali lebih besar
Siapa pilih ParPol ITU?

Analisis hubungan antara karakteristik pemilih
dengan pilihan parpol
Variabel yg diduga berpengaruh terhadap pilihan:
1. Pendidikan
Pendidikan dapat mencerminkan tingkat
pengetahuan dan kecocokannya dengan program
partai
2. Lapangan pekerjaan
Pekerjaan sebagai proksi tingkat strata ekonomi
pemilih
ILUSTRASI
Variabel Tak Bebas: Apakah memilih partai ITU
pada PEMILU lalu? Misal Ya = 1 dan Tidak = 0
Variabel bebas: Pendidikan tertinggi yg ditamatkan:
Tidak Sekolah, Tidak tamat SD & Tamat SD = 1
SLTP dan SLTA = 2
Diploma I/II/III/Akademi, S-1, dan S-2/S-3 = 3

Definisi operasional:
Pendidik1 = 1; Tdk sekolah, Tidak tamat SD, & Tamat SD
= 0; Lainnya
Pendidik2 = 1; SLTP dan SLTA
= 0; Lainnya
Pembanding: kelompok yg lulus pendidikan tinggi
Lapangan Pekerjaan Utama:
Pertanian = 1
Industri = 2
Perdagangan = 3
Definisi operasional:
Pekerja1 = 1; Pertanian
= 0; Lainnya
Pekerja2 = 1; Industri
= 0; Lainnya
Pembanding: lapangan usaha Perdagangan.
Identifikasi Model:
Ln (p/1-p) = o + |
1
Pendidik1 + |
2
Pendidik2 + o
1

Pekerja1 + o
2
Pekerja2 + c
Model terestimasi:
Ln (p/1-p) = 2,383 2,280 Pendidik1 1,831 Pendidik2
1,130 Pekerja1 0,299 Pekerja2
Uji G: Nilai 2 log likelihood = 189,331, berarti model
signifikan secara statistik
Uji Wald: semua koefisien signifikan secara statistik
pada o = 5%, kecuali koefisien pada variabel
pekerja(2)
Perlukah variabel tersebut dikeluarkan dari model?
Interpretasi
Bila pendidikan = 0, dan lapangan usaha = 0, atau
disaat pendidikan seseorang tinggi, dan bekerja di
sektor perdagangan, maka probabilitas mereka
mendukung Partai ITU adalah sebesar:
Ln (p/1-p) = 2,383
(p/1-p) = e
2,383
p = e
2,383
/ (1 + e
2,383
) = 91,55%.
Slop untuk variabel Pendidik1 adalah 2,280, artinya
peluang penduduk berpendidikan rendah untuk
mendukung Partai ITU lebih rendah.
Terbukti dari nilai Exp(B= -2,280) = 0,102, berarti
bahwa peluang penduduk berpendidikan rendah
hanya 0,102 kali peluang penduduk berpendidikan
tinggi untuk memilih partai ITU
Slop Pendidik2 adalah 1,831, artinya peluang
penduduk berpendidikan SLTP/SLTA untuk
mendukung Partai ITU lebih rendah.
Terbukti dari nilai Exp (B= -1,831) = 0,16, artinya
bahwa peluang penduduk berpendidikan menengah
hanya 0,16 kali peluang penduduk berpendidikan
tinggi.
Secara analog, peluang penduduk yang bekerja di
sektor pertanian atau industri untuk mendukung
partai lebih rendah dibanding penduduk yang
bekerja di sektor perdagangan
Peluang penduduk yang bekerja di sektor pertanian
untuk mendukung partai hanya 0,323 kali
penduduk yang bekerja di sektor perdagangan
Penduduk yang bekerja di sektor industri hanya
0,742 kali penduduk yang bekerja di sektor
perdagangan

MODEL MULTINOMIAL LOGIT
Kasus: Pilihan Investasi (Deposito, Saham, Obligasi,
SBI)
Kasus: Pilihan alat transportasi (Kereta api, Bus atau
kendaraan umum bukan KA, Mobil pribadi, Motor)
Model logistik dg 4 kategori mempunyai 3 fungsi
logit:
Fungsi logit untuk Y = 1 relatif terhadap fungsi logit
untuk Y = 0
untuk Y = 0
untuk Y = 0
Kategori Y = 0 kita sebut sebagi kategori rujukan
(reference group).

Regresi Binary Logistic

Diunggah oleh

Informasi Dokumen

Hak Cipta

Format Tersedia

Bagikan dokumen Ini

Bagikan atau Tanam Dokumen

Opsi Berbagi

Apakah menurut Anda dokumen ini bermanfaat?

Apakah konten ini tidak pantas?

Hak Cipta:

Format Tersedia

Regresi Binary Logistic

Diunggah oleh

Hak Cipta:

Format Tersedia

Agung Priyo Utomo - STIS

Anda mungkin juga menyukai