REGRESI LOGISTIK MULTI PREDIKTOR

Dr. Irfan Wahyudi, M.Sc

irfanwahyudiuncen@gmail.com

Universitas Cenderawasih
November 14, 2019
Dr. Irfan Wahyudi, M.Sc -Universitas Cenderawasih Analisis Regresi (Estimasi Parameter/LL) 1/42
REGRESI LOGISTIK
Regresi logistik adalah metode statistika yang mempelajari tentang
pola hubungan secara matematis antara satu variabel respon
(dependen) yang bersifat nominal atau ordinal dengan satu atau
lebih variabel prediktor (independen). Analisis regresi logistik biner
(Hosmer dan Lameslow,1989) adalah suatu regresi logistik antara
variabel respon (y) dan variabel prediktor (x) dimana variabel y
˜
mempunyai dua kategori yaitu 0 dan 1. Seh ingga variabel y
mengikuti distribusi Bernoulli dengan fungsi probabilitasnya sebagai
berikut:
P (Y = y) = π(x)y(1 − π(x))1−y
dimana y = 0, adalah probabilitas kejadian yang diakibatkan
oleh variabel prediktor (x).
Pada regresi logistik ini dapat disusun model yang terdiri dari
banyak variabel prediktor dikenal sebagai model multivariabel.
Rata-rata bersyarat dari y jika diberikan nilai x adalah digunakan
nilai π(x) = E(y|x). Model regresi logistik multivariabel dengan p
variabel prediktor adalah:
β³x
eβ0+β1x1+β2x2+···+βpxp e˜ ˜
π(x) = x (1)
= 1 + eβ³ ˜
1 + eβ0+β1x1+β2x2+···+βpxp ˜
˜
Transformasi dari Persamaan (1) dikenal dengan tranformasi logit.
Tranformasi tersebut digunakan untuk memperoleh fungsi g(x)
yang linier dalam parameternya sehingga mempermudah untuk
menaksir parameternya. Dari Persamaan (1) diperoleh:
 x
eβ³ ³ ³
˜ ˜ βx β
π(x) = ⇒ π(x)(1 + ex ) =e
˜ 1+ ˜ ˜ ˜ ˜
x ˜ ˜ ˜
eβ³
x x
⇒ π(x) + π(x)eβ³ ˜ = eβ³ ˜
˜ ˜x ˜ ˜ x
⇒ π (˜ ) = eβ ³ − π(x)eβ³
˜⇒ π ) = (1˜ −˜ π(x ˜³ ˜
x eβ x
(x
˜
π(x) )) ˜ ˜
˜³x
β
⇒ ˜ =
(1 − π(x)) e ˜ ˜
dengan ˜
 π (x) L
g(x) = ln Σ Σ= β x = β + + +·· ·+
˜ 0
β1 x 1 β2 x 2 β px p.
˜ (1 − π(x)) ˜ ˜
˜
Selanjutnya g(x) dis ebut dengan model logit.
˜
Penaksiran Parameter
Pada suatu model dengan respon biner atau dikotom (bernilai 0
atau 1) diasumsikan respon berdistribusi Binomial dan antar
pengamatan saling bebas. Pendugaan parameter β dapat diperoleh
dengan metode Maximum Likelihood Estimation ˜(MLE) dimana
dengan metode ini parameter ditaksir dengan memaksimumkan
fungsi turunan pertama. Penaksiran varian dan kovarian diperoleh
dari turunan kedua fungsi log likelihood. Pada pasangan
pengamatan (xi ,yi) fungsi likelihood yang dimaksimumkan
˜
(Hosmer dan L emeshow,1989).
Fungsi kepadatan peluang gabungan dari Yi∼ B(1, π(xi)) adalah:
˜
n n
f (y1, y2, . . . , yn|β) Y Y
= f (yi) (π(xi))yi (1 − π(xi))1−yi
=
˜ i=1 i=1 ˜ ˜
. Σyi
Yn π(xi)
= ˜ (1− π(xi))
(1 π(xi)) ˜
i=1
− ˜
i=1
(1
−
Membuat fungsi likelihood:
. Σyi
Y
n
π(xi)
L(β| yi) i=1 ˜ (1− π(xi))
= π(xi)) ˜
˜ (1 ˜
−
i=1
(1
−
Fungsi ln likelihoodnya menjadi:
Yn . Σyi
π(xi)
ln L(β| yi) = ln i=1 ˜ (1 π(xi))
˜ π(x i)) ˜
(1 ˜
−
−
Σ. Σyi Σ
Σ
n
π(xi)
= ln ˜ (1− π(xi))
i=1
(1 π(xi)) ˜
− ˜
 Σ . Σyi + Σ
Σ
n
π(xi)
= ln ˜ ln (1 π(xi))
i=1
(1 π(xi)) ˜
− ˜
−

n Σ . i Σ Σ
Σ π(x )
= yi ˜ + ln (1 − π(xi))
i=1 ln
(1 π(xi)) ˜
− ˜
i=1
(1
−
Fungsi ln likelihoodnya menjadi:
n Σ . i Σ Σ
Σ π(x )
ln L(β| yi) = yi ˜ + ln (1 − π(xi))
˜ i=1 ln
(1 π(x i )) ˜
− ˜
i=1Σyi ln ln
. ΣΣ
Σn Σ β³ x
e˜ ˜
βx ³
.1 −
= e˜˜ + x
i=1 1 + e β ³˜
. ˜ ΣΣ
Σn Σ . Σ β x
1+e ³ − e ³β x
L
= yi β +
i=1
x ln ˜ ˜
n ˜ ˜
 ˜ ˜ ˜ ˜
i
1+
Σi=1 ˜ ˜
β x
. Σ− .1 + e eΣΣ
³
= L β³ x
β x ln
Σyi
˜ ˜
i=1 ˜ ˜
Menurunkan ln fungsi likelihood terhadap parameter-parameternya:
∂ ln L(β|yi) β³x
Σ
˜ Σn e˜ ˜ Σn
∂β0 = Σyi − = [yi − π(xi)]
x
i=1 1 + eβ ³ ˜ i=1 ˜
˜
∂ Σ=
Σln L(β|yi) = n Σy x − β³x
Σ
e˜ ˜ [y − π(x )] x
1 x
i i1 i1
˜ ˜ y 1+
∂β ∂β i=1
i=1 x eβ
³
x
Secara Umum:
n
Σ
∂ ln L(β|yi) Σ
=
 n
i i
Σ i=1
Σ ˜ ˜ ni1
β³x [˜
e ˜ i ˜
ij − y =
i=1
1+ x ˜ ˜
β x ˜ i i − π(x )]
e ³ ∂β j
j x i i
˜ j
dimana j = 0, 1, 2, . . . , p.
Turunan kedua terhadap parameter-parameternya diperoleh:
∂2 ln L(β|yi) Σ Σ
n x x x x
eβ˜³ ˜(1 + eβ˜³ ˜) − eβ³˜ e˜β³ ˜ ˜
=
Σ (1 + e˜ ˜
2

)
∂β0∂β0
i=
1 ˜ β³x 2
i=
Σ1 Σ
n0 β³x β ³x
= − ˜˜
Σ= − ˜˜
− Σ
e n
x x x
(1 + e˜³ )2
β
(1 + eβ³ ) (1 + eβ³ )
i=1
˜ i=1 ˜ ˜ ˜ ˜

Σ . ΣΣ
x x
Σn
eβ x ³
1+e ³ − e ³
β β
˜˜
=−
 Σ
Σ
(1 + ˜˜ 1
i=1 x ˜˜
eβ³ ) (1 ˜+˜ e ˜˜ ΣΣ
Σn Σ β x
³
β x
³ . e ³ ) e
eβ x x
1 + eβ³ ˜˜

=− ˜˜ ˜˜ − ˜˜
˜˜ (1 + ˜˜ x
i=
(1 + (1 + eβ³ )
x
1
x eβ³ )
n eβ³ )
Σ
=− π(xi) (1 − π(xi))
i=
˜ ˜
1
Jadi Σ Σ
∂ 2 ln L(β|yi) π(xi) (1 − π(xi))
Σ n
˜
− =
E ∂β0∂β0 i=1
˜ ˜
Turunan kedua terhadap parameter-parameternya diperoleh:
∂ 2 ln L(β|yi) Σ Σ
n βx βx βx βx
e ˜³˜xi1(1 + e ˜³ ˜) − e ˜³ ˜xi1e ³˜ ˜
˜ = 0
Σ − (1 + e˜ ˜
2

)
∂β0∂β1
i=
1
β³x 2
i=
Σ1 Σ
n n β³x
Σ= −
³
= − eβ xxi1 ˜ ˜
1
Σ x
Σ
˜˜ x x x i1
(1 + e˜β³ )2 (1 + eβ³ ) (1 + eβ³ )
i=1
˜ i=1 ˜ ˜ ˜ ˜

Σ . ΣΣ
x x
n
Σ eβ x ³
1 + eβ³ − eβ³
˜˜
=−
 Σ
˜˜ ˜˜
˜˜
xi1
(1 + ˜˜
i=1 x
eβ³ ) (1 + e ΣΣ
Σn Σ β x
³
β x
³ . e ³ ) e
eβ x x
1 + eβ³ ˜˜

=− ˜˜ ˜˜ − ˜˜
˜˜ xi1
(1 + ˜˜ (1 +
i=
(1 + x x
1
x eβ³ ) eβ³ )
n eβ³ )
Σ
=− π(xi) (1 − π(xi)) xi1
i=
˜ ˜
1
Jadi Σ Σ
∂2 ln L(β|yi) π(xi) (1 − π(xi)) xi1
Σ n
˜
− =
E ∂β0∂β1 i=1
˜ ˜
Turunan kedua terhadap parameter-parameternya diperoleh:
∂2 ln L(β|yi) Σ Σ
n βx βx βx βx
e ˜³˜xi2(1 + e ˜³ ˜) − e ˜³ ˜xi2e ³˜ ˜
˜ = 0−
Σ x
∂β1∂β2
i=
1 i β³x 2
1 (1 + e˜ ˜
i= βx
Σ1 Σ e ³ xi1xi2 Σ ) n Σ
n β
˜x
³
˜
= − =
Σ − 1 x x

β 2 x e x Σ
(1˜ +
˜ e ³ ) (1 + eβ³ ) (1 +
x
i1 i2
˜
eβ³ )
i=1
˜ i=1 ˜ ˜ ˜ ˜

Σ . ΣΣ
x x
n
Σ eβ x ³
1 + eβ³ − eβ³
=− ˜˜
 ˜˜ ˜˜
˜˜
xi1xi2
(1 + ˜˜
i=1 x
eβ³ ) (1 + ΣΣ
Σn Σ β x
³
β x
³ . e ³ ) e
eβ x x
1 + e β³ ˜˜

=− ˜˜ ˜˜ − ˜˜
˜˜ xi xi2
(1 + ˜˜ (1 +
i= 1
(1 + x x
1
x eβ³ ) eβ³ )
n eβ³ )
Σ
=− π(xi) (1 − π(xi)) xi1xi2
i=
˜ ˜
1
Jadi Σ Σ
∂ 2 ln L(β|yi) π(xi) (1 − π(xi)) xi1xi2
Σ n
˜
− =
E ∂β1∂β2 i=1
˜ ˜
Secara Umum:
Σ Σ
∂2 ln L(β|yi) n β x β x β x β x
= 0− e ³ xik(1 + e ³ ) − e ³ xike ³
Σ ˜
x
∂βj∂βk
i=
1 i ˜˜ ˜˜ β³x ˜ ˜ 2 ˜˜
j
=
i βx
(1 + e˜ ˜
Σ1 Σ e ³ xij xik Σ ) n Σ
n β
˜x
³
˜
= − Σ−
= 1 x x
e
 β 2 x x Σ
(1˜ +
˜ e ³ ) (1 + eβ³ ) (1 +
x
ij ik
˜
eβ³ )
i=1
˜ i=1 ˜ ˜ ˜ ˜

Σ . ΣΣ
x x
n
Σ eβ x ³
1 + eβ³ − eβ³
˜˜
=− ˜˜ ˜˜
˜˜
xij x
ik
(1 + ˜˜
i=1 x
eβ³ ) (1 + ³ ΣΣ
Σn Σ
x
eβ³ ) e
β x
= ˜ ˜
xi x i
− ³
.
eβ˜ x˜ β x (1 + ˜ ˜ k
i=
1 + e ˜³ β x
j
1 n (1 + ˜
− e ³ )
Σ ˜˜
= −π(x e
i
β x
³ ) ) (1 −(1π(x
+
x
i
˜x ˜ x, dimana : j, k = 0, 1, . . . , p.k
iij))ik
˜ β ˜ ˜
i=
1
˜ ˜ ˜e ³ ) ˜ ˜
i=1
Jadi Σ Σ
∂ 2 ln L(β|yi) π(xi) (1 − π(xi)) xijxik
Σ n
˜
− =
E ∂βj∂βk i=1
˜ ˜

dimana j, k = 1, 2, . . . , p.
Persamaan likelihood tidak menghasilkan nilai parameter yang eksplisit maka
memperoleh nilai parameter tersebut menggunakan metode iterasi Newton
Raphson sebagai berikut:

β (4+1) = β (4) − H −1 (β (4) )g(β (4) )

˜ ˜ ˜ ˜
Dimana:
 β = [β0, β1, β2, . . . , βp]³
˜
adalah parameter regresi
  
∂ ln L(β|yi)
˜
∂β0
 ∂ lnL( |yi ) 
β
 1˜ 
∂β
g(β(4)) =
 ∂ ln L(β|yi) 
˜ 2 ˜
p˜ ∂β
∂β

 .
 ∂ ln L(β|yi) 
β=β(A)
˜˜
g(β(4)) adalah matrik turunan pertama terhadap parameter-parameternya.
˜
  
∂2 ln L(β|yi) ∂2 ln L(β|yi) ∂2 ln L(β|yi)
∂β 2 ∂ 0 ·· ˜
 β˜ · ∂ 0 ∂βp
˜ β
∂β1

0 ∂ ∂
 ∂ ln L(β| ∂ lnβL(β|yi)
2
∂ lnβL(β|yi) 
2
˜
H(β (4) ) ∂ 1 ∂β0 ∂β 2 ∂ 1
˜ β
= y i) β
(4)
 . 1
y . 2
ln L(β|yi)
˜ . . ˜
 i
∂ ∂βp∂β1
 ∂ ln L(β| )
˜
∂βp∂β0
 ·· ˜ 
∂βp 
.. . ·∂ 2 
. . L(β|yi ) 
ln
·· ∂β2
· ˜ p β=β(A
˜) ˜
p
β=β(A
)
(4)
H(β ) adalah matrik turunan kedua terhadap parameter-parameternya.
˜
Proses iterasi dimulai dengan penentuan nilai awal
dari (β(A)) dan iterasi berhenti jika:
˜
"β(A+1) − )β(A " ≤ ε
˜
˜
atau .
. Σ2
β (A+1) −β (A) ≤ε
˜ ˜
ε bilangan yang sangat
kecil.
Pengujian Parameter
 Model yang telah diperoleh diuji
signifikansinya, dengan pengujian statistik
untuk menentukan apakah variabel yang
terdapat dalam model memiliki kontribusi
yang nyata dengan variabel responnya.
Pengujiannya dilakukan sebagai berikut:
 Uji Serentak
Uji serentak dilakukan untuk mengetahui
signifikansi parameter β secara
keseluruhan atau seren˜tak.
Pengujiannya sebagai berikut:
Hipotesis:

H 0 : β1 = β2 = . . . = βp = 0
H1 : Paling sedikit ada satu βj ƒ= 0, untuk j = 1, 2, . . . ,
p.
.
StatistikΣuji (Hosmer dan Lameslow,1989):
i=1 Σn1 ln(n1) + n0 ln(n0) − n ln(n)ΣΣ
n
G= Σyi ln(πˆ i ) + (1 − yi ) ln(1 −
2 πˆ i )Σ −

n
Σ Σ Dimana: n0 = (1 −
n yi); n1 =
 y i ; n = n0 + n1
i=1 i=1
2
Daerah penolakan: tolak H0 apabila nilai G > χ dimana p merupakan banyak variabel
(α,p)
prediktor yang ada di dalam model atau p − value < α.
 Uji Individu
Uji individu dilakukan untuk mengetahui
signifikansi parameter β secara individu.
Pengujiannya sebagai b˜erikut:
Hipotesis:

H0 : βj = 0
H1 : βj ƒ= 0 untuk j = 1, 2, . . . , p.
Statistik uji:
βˆj
Wj =
SE(βjˆ
)

der as ν = 1.
Daerah penolakan:
ajat
tolak H0 apabila W 2 beb
j
 > (α,ν)
χ
2
atau p − value < α dengan
Model regresi logistik: β +β x +β x +···+β x β³x
e e˜
˜
˜˜ 1

p
π(x) =
= 1β+
0+β1x1
1+
˜ e
+β2x2+·· eβ³
x
·+βpxp
Matriks Varian
˜ ³
Kovarian dari βˆ:
Σ^ β̂ ˆ = Var(β) =ˆ −1 −1
ˆ I(β) ˆ= (X V X)
˜ ˜  ˜ 
x12 · · ·x 1p 
1 x
 1d 1
g

Dr. Irfan Wahyudi, M.Sc -Universitas Cenderawasih Analisis Regresi (Estimasi Parameter/LL) 29/42
 . . 
1
X 
p
X³ = · · xn1 x1p x2p x3p · · ·
 x 
x = x12 x22 xnp
. . 1
2  x32 ···· · πˆ 1 (1
= 
0 1 − πˆ2)
πˆ2(1 0
1
V1 . 0 · xn2
. .. . − πˆ 1 )
. .
x x
2
· · · . 0πˆn(1 n
3
1
0 ···
2
1
. 
2 x
3
2
· 3
· . ··
1
· ·
· · .
x 
· 
1 xn1 xn2 · · · xnp 
x 3 . . .
p .
2 ·
Dr. Irfan Wahyudi, M.Sc -Universitas Cenderawasih

Analisis Regresi (Estimasi Parameter/LL) 29/42
 
1 1 1 ··· 1  
  πˆ 1 (1−πˆ 1 ) 0 ··· 0
x11 x21 x31 · · · xn1
X ³ V = x12 x22 x32 · · · xn2   0 πˆ 2 (1−πˆ 2 ) · · · 0
   . . . . 
.
. .
x1p x2p x3p · · · 
xnp
 . ··· . . 0 .
0 ··· 0 πˆ n (1−πˆ n )
x1p x2p x3p · · ·
xnp

 
 πˆ 1 (1−πˆ 1 )
πˆ 3 (1−πˆ 3 ) · · · πˆ n (1−πˆ n )
 πˆ 2 (1−πˆ 2 ) x12 
πˆ 1 (1−πˆ 1 ) x11 =
πˆ 1 (1−πˆ 1 )
Dr. Irfan Wahyudi, M.Sc -Universitas Cenderawasih Analisis Regresi (Estimasi Parameter/LL) 30/42
 . πˆ 2 (1−πˆ 2 ) πˆ 3 (1−πˆ 3 )x31 · · πˆ n (1−πˆ n )xn1
πˆ 1 (1−πˆ 1 ) x21 · πˆ n (1−πˆ n )xn2
x1p πˆ 2 (1−πˆ 2 ) πˆ 3 (1−πˆ 3 )x32 · · 

x22 ·
πˆ n (1−πˆ n )x
. . np

πˆ 2 (1−πˆ 2 ) πˆ 3 (1−πˆ 3 )x3p · ·

x2p · ..
. .
πˆ 1 (1−πˆ 1 ) πˆ 2 (1−πˆ 2 ) πˆ 3 (1−πˆ 3 )x3p · · πˆ n (1−πˆ n )x
x1p x2p · np
πˆ 1 (1−πˆ 1 ) πˆ 2 (1−πˆ 2 )
x1p x2p
πˆ 3 (1−πˆ 3 )x3p · · πˆ n (1−πˆ n )x
· np

Dr. Irfan Wahyudi, M.Sc -Universitas Cenderawasih Analisis Regresi (Estimasi Parameter/LL) 30/42
 Misalkan:
 πˆ i (1−πˆ i ) = aˆ i  
aˆ1 aˆ n  1 x11 x12 · · ·
 aˆ2 aˆ 3 · · x1p
 
· 
aˆ1 x11 aˆ2 x2 aˆ3 x31 · · aˆ n xn1 1 x21 x22 · · · x2p
³
XVX= aˆ 1 x12 1 · aˆ n xn2 1 x31 x32 · · · x3p
 aˆ2 x2 aˆ3 x32 · ·  
.
aˆ x 2 · aˆn xn 1 xn1 xn2 · · · xnp
1
p . p
Σ Σ
aˆ 2 x aˆ 3 x3p · ·
p ·
 . ·· .  . . . ··· . 
· a aˆ n xn
a
ˆ1 x1 ˆ2 x2 p

p p
aˆ 3 x3p · ·
 Σ · Σ
n aˆ i
∴ Iˆ(β) i=1
 n
 i1
Σn aˆ i xip 
i=1 n n
Σn a aˆ i xi2 ·· 
ˆi i i=
= · 1
x 1 Σn
···
aˆi x aˆi xi1 x aˆ i xi1 x aˆi xi1 xip
i=1 i1
Σ
i= i1
Σ
i= i2
Σ
i=
Σ 
ˆ ˆ  n 1n 1n 1n

i= i= i= i=
1 1 1 1

aˆixi2 aˆ i xi2 xi1 aˆ i xi2 xi2 · · · aˆ i xi2 xip

...
 . . . ··· .
 Σn aˆixip Σn aˆ i xip xi1 Σn aˆ i xip xi2 n
aˆ i xip xip
i=1 i=1 i=1 i
Dr. Irfan Wahyudi, M.Sc -Universitas Cenderawasih
 ³
Σ^ β̂ ˆ = Var(β)
ˆ =ˆ I(β) ˆ= (X V X)
−1 −1

Dr. Irfan Wahyudi, M.Sc -Universitas Cenderawasih Analisis Regresi (Estimasi Parameter/LL) 2
  
Cˆov(βˆ0 , Cˆov(βˆ0 , βˆ2 ) Cˆov(βˆ0 , βˆp )
 βˆ1 ) ··
β̂
Vˆar(βˆ0 ) · Σ C 2 Vˆ Cˆo
ˆ ,β̂ ar( v(βˆ
^
o ) 0 βˆ 1 ,
v 1) βˆ2 )
Cˆ
β
(
ˆ
β ov( Vˆ
ˆ
βˆ ar
, (β
2,
β ˆ2
ˆ βˆ
1) )
)
 = ·
Cˆ
ov(
Dr. Irfan Wahyudi, M.Sc -Universitas Cenderawasih Analisis Regresi (Estimasi Parameter/LL) 2
 ˆp ) (β ˆ2 
C ov( 1 , , 2 V ( p 
ˆ βˆ β C ˆ βˆ p ) · aˆ i= i i i . = I −1 (β)
ov ˆ β 1= = Σ
n
 aˆi xi2.xip
Σ · i xi n
..
n

aˆ1i xi2
1xi2 ··
a ˆ  
. .
i=
p · a
i=
1ˆ
.  
C C 11) Cˆ r p) i2 Σ
ˆ nΣ ov( aˆ i xip x i aˆi xip xi2 · · ˆ aˆ i xip x
Σ = = =
·
a i1 1 1· 1 ip i=
o βˆp 1
i=
ˆi Σ a n n· nΣ
i= 1
i=
v , a a a 
x 1 1
i=
. ˆ .i i · ˆ 1
n ( Σ β 2 Σ n Σ
n
i1

a aˆ x 1 1 i
β )i ·i i= Σ
ˆ p i i i=
ˆ ·· 1 i=1 n i=
i 1x 1
p, n Σ Σ Σ
a i
β n
ˆi 1 Σ
ˆ x i=
xi 1
i
Dr. Irfan Wahyudi, M.Sc -Universitas Cenderawasih Analisis Regresi (Estimasi Parameter/LL) 34/4
 Σ Σ1/2
^ SE(β
ˆ j ) = Var(βˆˆ) j , j = 0, 1, 2, . . . , p.
Pemrograman
Dr. Irfan Wahyudi, M.Sc -Universitas Cenderawasih Analisis Regresi (Estimasi Parameter/LL) 42/42
Dr. Irfan Wahyudi, M.Sc -Universitas Cenderawasih Analisis Regresi (Estimasi Parameter/LL) 42/42