STA517 – Statistika untuk Ilmu

ilmu Sosial dan Perilaku

Semester Genap 2020/2021

Evaluasi Regresi Logistik

Dosen: Prodi Statistika dan Sains Data

Dr. Agus M Soleh Fakultas Matematika dan Ilmu Pengetahuan Alam
agusms@apps.ipb.ac.id Institut Pertanian Bogor

2021
Regresi Logistik
Variabel Respon Jenis Regresi
Logistik
B i n ar y
Two
Categories Binary
Yes No
Three No m i n al
or
More
Categories Or d i n al
Macam Regresi Logistik
1. Regresi logistik sederhana
Untuk mempelajari hubungan antara satu variabel prediktor dengan
satu variabel dependen dikotomus.
2. Regresi logistik ganda (Multiple Regression Logistic)
Untuk mempelajari hubungan antara beberapa variabel prediktor
dengan satu varibel dependen dikotomus.
Regresi Logistik Ganda

Ln (p/(1-p) = logit. Logaritme natural dari odds.

Odds : rasio probabilitas suatu peristiwa untuk terjadi
dan probabilitas suatu peristiwa untuk tidak terjadi
a = Konstanta ( intersep)
b1 , b2 , .... bk = penduga koefisien regresi peubah prediktor (slope)
X1, X 2 ....Xk = peubah prediktor yg pengaruhnya akan diteliti.
p = peluang untuk terjadinya “peristiwa” dari peubah
dependen yg dikotomus.
Pengujian Hipotesis X
• Untuk memeriksa peranan variabel-variabel penjelas (X) dalam
model, dilakukan pengujian terhadap parameter model ().
Pengujian secara simultan dilakukan menggunakan uji-G, sedangkan
secara parsial menggunakan uji-Wald.
Uji Secara Simultan (Simultaneous Test)
Statistik uji-G adalah uji rasio kemungkinan (likelihood ratio test) yang
digunakan untuk menguji peranan variabel penjelas di dalam model
secara bersama-sama (Hosmer & Lemeshow, 1989). Rumus umum
uji-G untuk menguji hipotesis :
H0 : 1 = 2 = … = k = 0
H1 : minimal ada satu  yang tidak sama dengan 0
 likelihood tan pa peubah bebas 
adalah G = 2 ln  
 likelihood dengan peubah bebas 
Statistik G ini, secara teoritis mengikuti sebaran 2 dengan derajat
bebas k.
Uji Parsial (Partial Test)
Sementara itu, uji Wald digunakan untuk menguji parameter i secara
parsial. Hipotesis yang diuji adalah:
H0 : i = 0
H1 : i  0
ˆi
Formula statistik Wald adalah: W =
SE ( ˆi )

Secara teori, statistik W ~ sebaran normal baku jika H0 benar, atau W2 ~

Khi-kuadrat dengan db=k
Strategi Membangun Model
1.Lakukan analisis data eksplorasi
2.Lakukan analisis data univariat
Gunakan tabel kontingensi untuk variabel bebas
nominal/ordinal/diskret
Gunakan regresi logistik sederhana untuk variabel bebas
kontinu
3.Pilih variabel-variabel untuk analisis regresi logistik berganda
Petunjuk: gunakan variabel-variabel dengan p < 0.25
Strategi Membangun Model
4.Verifikasi masing-masing variabel pada model
Coba gunakan metode pemilihan (stepwise, backward, forward).
Gunakan lebih dari satu untuk melihat kestabilannya
Uji statistik wald , bandingkan tiap koefisien dengan hasil dari
analisis univariat (tanda dan besaran)
Uji keberadaan interaksi
5. Evaluasi Model
Gunakan beberapa teknik untuk menduga kecocokan model
(DEVIANCE, PEARSON RESIDUAL, Hosmer-Lemeshow Test,
Generalized RSQ, Classification Table, ROC, Diagnostic plot)
Metode Seleksi Peubah
• Forward: periksa satu persatu variabel independen, jika signifikan
pengaruhnya maka dimasukkan ke dalam model. Yang sudah masuk,
tidak dicek ulang.
• Backward: masukkan dulu semua, yang tidak signifikan dikeluarkan.
• Stepwise: periksa satu persatu variabel independen, jika signifikan
pengaruhnya maka dimasukkan ke dalam model. Ketika ada variabel
lain masuk, dilakukan pengecekan ulang, jika tidak signifikan
dikeluarkan
Evaluasi Regresi Logistik
Evaluasi Regresi Logistik
Evaluasi Regresi Logistik
ACTUAL CLASS PREDICTED CLASS
Cutoff
Case x response P cutoff=.5 cutoff=.25
1 75.8 0 .32 0 1
2 68.3 1 .40 0 1
3 14.1 1 .92 1 1
4 99.2 0 .06 0 0
5 65.4 1 .52 1 1
6 68.7 1 .39 0 1
7 76.7 1 .22 0 0
8 81.5 0 .17 0 0
9 82.4 0 .13 0 0
.. .. .. .. .. ..
. . . . . .
n 45.5 1 .75 1 1
Evaluasi Regresi Logistik
Evaluasi Regresi Logistik
Evaluasi Regresi Logistik
Tabel Klasifikasi
Predicted Class
1 0

True False Actual

Actual Class

1 Positive Negative Positive

False True Actual

0 Positive Negative Negative

Predicted Predicted
Positive Negative Proporsinya
harus tinggi
Tabel Klasifikasi
Sensitivitas
Predicted Class
1 0

Actual Class True Actual

1 Positive Positive

Predicted
Positive
Specificity
Predicted Class
1 0
Actual Class
1

True Actual
0 Negative Negative

Predicted
Negative
Evaluasi Regresi Logistik
Membandingkan Model

MODEL 1 MODEL 2

Predicted Class Predicted Class

0 1 0 1
Actual Class

Actual Class
20 10 30 15 15 30
0 0

10 20 30 5 25 30
1 1

Predicted Predicted Predicted Predicted

Negative Positive Negative Positive
ROC (receiver operating characterintic)
Curve
1.0

Sensitivity
0.5

0.0
0.0 0.5 1.0
1 — Specificity
AUC
Terima Kasih
Preface Slide