Regresi Logistik

(Logistic Regression)
Sutikno
Departemen Statistika
Fakultas Sains dan Analiitika Data
Institut Teknologi Sepuluh Nopember Surabaya (ITS)
Surabaya
085230203017

slide 1
Referensi
David W. Hosmer, Jr., Stanley Lemeshow, Rodney X.
Sturdivan. 2013. Applied Logistic Regression. 3rd ed. John
Wiley & Sons, Inc. Canada

slide 2
Bahasan
 Apa beda model regresi klasik dan regresi logistic
 Definisi berbagai regresi logistic
 Pendugaan parameter regresi logistic
 Pengujian parameter regresi logistic
 Interpretasi model
 Contoh regresi logistic dengan Minitab

slide 3
Pendahuluan: Model Regresi
Model regresi linear sederhana:
y =  0 + 1 x + 
Dimana y (variabel respon/dependent/prediktan) kontinu
dan x (variabel independent/prediktor/penjelas) kontinu.

Multiple linear regression model:

y = 0 + 1x1 + 2x2 + … + + pxp + 

y variabel respon kontinu dan beberapa variabel prediktor:

x1 , x2 , … , x p .

slide 4
Model Regresi Logistik
Jika variabel y binary.
Misal: “Sukses” (1) atau “Gagal” (0)

Jika dibuat model yang menghubungkan antara y (kategorik:

binary) dan x (kategorik, kontinu), maka disebut regresi logistik
binary.

Jika Y kategorik nominal lebih dari 2 >> regresi logistik

multinomial

Jika Y kategorik ordinal >> regresi logistik ordinal

slide 5
Contoh 1

slide 6
Contoh 2

Misalkan ingin modelkan hubungan antara umur dan

terkena penyakit jantung koroner.

Dimana y bernilai 1 (Sukses/terkena) atau 0 (Gagal/tidak

terkena), sedangkan x adalah umur.

slide 7
Contoh:

slide 8
Contoh:

slide 9
Contoh:

slide 10
Contoh:
E(Y|x):
Rataan bersyarat
atau Nilai ekspektasi
Y yang diberikan x

slide 11
Contoh:

slide 12
 Model Regresi Logistik

Misal  menunjukkan P[y = 1] = P[Sukses].

 dinamakan odds
Ratio:
1  Perbandingan antara sukses
dan gagal
  
ln  log odds >> logit ( )
1   log dengan base bilangan e

slide 13
Regresi logisitik
Asumsi log odds mempunyai hubungan
linear terhadap x.
  
ln    0  1 x Transformasi
1   logit
(Model logit)

  0  1 x
e
1 

slide 14
Model Regresi logistik
Penyelesaian π dalam x:
  0  1 x
e
1 

 e  0  1 x
1   
 0  1 x
e (Model
atau   0  1 x
Peluang)

1 e slide 15
Interpretasi parameter 0
(Menentukan intercept)

0.8
π 0.6

0.4 0
e
0.2 1  e 0
0
0 2 4 6 8 10
x
slide 16
Interpretasi parameter 1
(menentukan jika π adalah 0.50 (termasuk 0))

0.8 0  1 x
 e 1 1
0.6
p  0  1 x
 
1 e 11 2
0.4 jika
0
0.2  0  1 x  0 or x  
1
0
0 2 4 6 8 10
x
slide 17
  0  1 x
dp d e

dx dx 1  e 0  1x


 
e 0  1 x 1 1  e 0  1x  e 0  1x 1e 0  1x

1  e 
 0  1 x 2

 0  1 x
e 1 1 0
  jika x
1  e 
2
 0  1 x 4 1

1 adalah rataan peningkatan  terhadap

4 x jika  = 0.50
slide 18
Interpretasi parameter 1
(menentukan slope jika π : 0.50 )

0.8

 0.6 1
slope 
0.4 4
0.2

0
0 2 4 6 8 10
x
slide 19
Multiple regresi logistik
  
ln    0  1 X 1  ...   p X p
1  

 0  1 X 1 ...  p X p
e
  0  1 X 1 ...  p X p
1 e

slide 20
Pendugaan Parameter (1)
 Metode pendugaan parameter yang digunakan:
kemungkinan maksimum (Maximum Likelihood
Estimation atau MLE) dengan menetapkan
asumsi distribusi Binomial dan obyek
pengamatan saling bebas.
 Setiap pengamatan xl1, xl 2 ,..., xlk , yl  mempunyai
fungsi distribusi:

slide 21
Pendugaan Parameter (2)

slide 22
Pengujian Parameter
 Untuk memeriksa kemaknaan koefisien  secara individu, hipotesa :
Ho : i = 0, H1 : i  0
dengan statistik uji : ^
i
Wald =
^
S . E ( i )

Daerah Penolakan : Tolak H0 jika nilai Wald > nilai Ztabel dari distribusi normal.

 Untuk memeriksa kemaknaan koefisien  secara serentak digunakan

hipotesa: Ho : 1 = 2 = ...= k = 0, H1 :Paling tidak ada satu i  0, i =
1,2,..,k
dengan statistik uji: :

slide 23
Interpretasi Model (1)
 Tahapan penyusunan model regresi logistik: (1) menyusun model
hubungan antara variabel prediktor dan variabel respon; dan (2)
definisi dari koefisien model (perubahan variabel bebas).
 Pada step 1, menentukan link function antara var. prediktor dan var.
respon >> logit:

 Koefisien β1 merupakan slope, yang menyatakan perubahan logit

yang berhubungan dengan adanya perubahan satu satuan
var.independent
( ). Perbedaan dua logit
 Pada var independent dikotomus dengan kategori x=1 dan x=0,
maka:

 Sehingga perubahan logit >> β1

slide 24
Interpretasi Model (2)
 Interpretasi koefisien model regresi logistik terkait dengan odds
ratio.

 OR adalah:

slide 25
Interpretasi Model (3)
 Sehingga diperoleh hubungan OR dan Koefisien β1 :

 OR merupakan ukuran asosiasi/hubungan, yaitu menyatakan seberapa

besar mungkin (tidak mungkin) lebih banyak pada var. respon diantara
x=1 daripada x=0.
 Misal Y adalah terkena atau tidak penyakit kanker, X adalah sesorang
perokok atau tidak. Jika OR = 2, maka diartikan penderita kanker 2 kali
akan mungkin terjadi diantara seorang perokok daripada tidak perokok

slide 26
Interpretasi Model (4)
 Ukuran asosiasi kuantitatif lain adalah relatif risk (RR) :

 Nilai OR dan RR mendekati sama jika:

 Dengan kata lain π(x) kecil antara x=1 dan x=0.

 Bagaimana jika var. independent kontinyu???

 Dengan asumsi logit adalah linear, model regresi logistik dg x
kontinyu:

 Koefisien β1 menyatakan perubahan log odd karena peningkatan 1

satuan x.

 Pendefinisian satu satuan hrs hati. Harus sesuai dengan

permasalahan yang dihadapi.

slide 27
Interpretasi Model (5)
 Contoh: peningkatan usia 1 th akan menaikkan 1 mm Hg, (secara
kesehatan tidak realitif: terlalu kecil). Jika digunakan 10 th dan 10 mm
Hg akan lebih berarti. Dengan kata lain perubahan x yang kecil akan
merubah Y yang besar itu lebih bermakna.

 Sehingga diperlukan pendefinisian suatu nilai x yang sesuai misal c.

 Log OR utk perubahan c unit pada X ditentukan dari perbedaan logit

 Shg:

 Misal pada contoh diatas hubungan usia (AGE) dan kanker hati (CHD):

 Jika ingin diduga OR pada AGE=10, maka:

slide 28
Interpretasi Model (6)
 Artinya setiap peningkatan usia 10 th, maka resiko CHD meningkat
3,03 kali.

 Selang kepercayaan 100 (1- α)% utk OR(c):

 Dari CI 95% utk OR(10) adalah:

slide 29