ANALISIS

DATA KATEGORIK
REGRESI LOGISTIK BINER PERTEMUAN 6

Prodi Statistika UNTAD

 REGRESI LOGISTIK BINER

Model regresi logistik sederhana

yaitu model regresi logistik
dengan variabel responnya
bersifat dikotomi.
Variabel Y = 1 menyatakan adanya suatu karakteristik
Y=0 menyatakan tidak adanya suatu karakteristik
 REGRESI LOGISTIK
Model regresi logistik yang dipengaruhi oleh p
variabel prediktor dapat dinyatakan sebagai
nilai harapan Y dengan diberikan nilai X
𝒑
𝒆(𝜷𝟎 + 𝒌=𝟏 𝜷𝒌 𝒙𝒌
𝑬 𝒀𝒙 = 𝒑
𝟏 + 𝒆(𝜷𝟎 + 𝒌=𝟏 𝜷𝒌 𝒙𝒌
Dengan 0 ≤ 𝐸(𝑌|𝑥) ≤ 1 dan Y mempunyai nilai 0 dan 1,
Nilai 𝐸(𝑌|𝑥) merupakan peluang sukses, sehingga dapat dinyatakan
dengan p(x), sehingga persamaan diatas menjadi
 Regresi Logistik
𝒑
𝒆(𝜷𝟎 + 𝒌=𝟏 𝜷𝒌 𝒙𝒌
𝒑(𝒙) = 𝒑
𝟏+ 𝒆(𝜷𝟎 + 𝒌=𝟏 𝜷𝒌𝒙𝒌

Dengan 𝛽𝑘 menyatakan parameter-parameter regresi

𝑥𝑘 ∶pengamatan variabel prediktor ke-k dari sejumlah p variabel
prediktor.
 𝒑(𝒙)
𝒍𝒐𝒈𝒊𝒕 𝒑 𝒙 = 𝒈 𝒙 = 𝒍𝒏
𝟏 − 𝒑(𝒙)
𝑝
= 𝛽0 + 𝛽𝑘 𝑥𝑘
𝑘=1

Transformasi Logit bertujuan untuk membuat

fungsi linier parameter-parameternya

Fungsi 𝑔(𝑥) linier terhadap parameter dan memiliki range

(−∞, ∞), tergantung dari range variabel prediktor X
PENAKSIRAN PARAMETER MODEL

Metode Maksimum Likelihood

Setiap observasi untuk model regresi logistik
adalah variabel random dari distribusi
bernouli

Fungsi likelihood distribusi Bernouli untuk n

sampel independen:
𝒏
𝒚𝒊 𝟏−𝒚𝒊
𝒍 𝜷 = 𝑷 𝒙𝒊 (𝟏 − 𝒑 𝒙𝒊 )
𝒊=𝟏
Log-likelihood fungsi probabilitas bersamanya :

𝒏
𝒚𝒊 𝟏−𝒚𝒊
𝒍 𝜷 = 𝒍𝒏 𝒍 𝜷 = 𝒍𝒏 𝑷 𝒙𝒊 (𝟏 − 𝒑 𝒙𝒊 )
𝒊=𝟏
𝒏 𝒏

= 𝒀𝒊 𝜷𝟎 + 𝜷𝟏 𝒙𝒊 − 𝒍𝒏 𝟏 + 𝒆𝒙𝒑(𝜷𝟎 + 𝜷𝒊 )
𝒊=𝟏 𝒊=𝟏
 UJI SIGNIFIKANSI PARAMETER
Uji signifikansi secara bersama (uji simultan) :

Statistik uji rasio likelihood G adalah fungsi dari 𝐿0 𝑑𝑎𝑛 𝐿1 yang berdistribusi (Chi-Square)
dengan derajat bebas p.
𝑳𝟎
𝑮 = −𝟐 𝒍𝒏
𝑳𝟏
Dengan :
𝐿0 : likelihood dari model tanpa variabel prediktor
𝐿1 : likelihood dari modell dengan p variabel prediktor
Hipotesis :
𝐻0 : 𝛽1 = 𝛽2 = ⋯ = 𝛽𝑘 = 0 (tidak ada pengaruh variabel prediktor secara simultan terhadap
variabel tak bebas)
𝐻1 : minimal ada satu 𝛽𝑘 ≠ 0, dimana k=1,2,..,p (ada pengaruh variabel prediktor secara
simultan terhdapa variabel tak bebasnya)
Kriteria uji : tolak 𝐻0 jika 𝐺 > 𝜆2 (𝛼,𝑝)
 UJI SIGNIFIKANSI PARAMETER

Uji signifikasin secara parsial : Uji Wald

𝛽𝑘
𝟐
𝑾= 𝑺𝑬𝛽𝑘
dengan k= 1,2,...,p

Hipotesis :
𝐻0 : 𝛽𝑘 = 0 (tidak ada pengaruh variabel prediktor ke-k terhadap
variabel tak bebas)
𝐻1 : minimal ada satu 𝛽𝑘 ≠ 0, dimana k=1,2,..,p (ada pengaruh variabel
prediktor ke k terhadap variabel tak bebasnya)

Kriteria uji : tolak 𝐻0 jika W > 𝜆2 (𝛼,1)

 UJI KECOCOKAN MODEL
Setelah penaksiran model dilakukan, maka langkah
berikutnya adalah menentukan seberapa baik
model tersebut cocok terhadap data atau
seberapa dekat nilai-nilai dari model dugaan
dengan nilai observasinya.
Statistik ini menghitung selisih antara nilai
observasi dengan nilai dugaan.
Statistik ini akan mengikuti distribusi chi-kuadrat
pendekatan ketika {𝑛𝑖 } berukuran besar.
UJI KECOCOKAN MODEL
UJI KECOCOKAN MODEL
 UJI KECOCOKAN MODEL
Dalam kasus tertentu dimana respons biner tidak
dikelompokkan, artinya 𝑛𝑖 = 1 untuk semua i, maka devians
tidak dapat didistribusikan sebagai chikuadrat karena :
1. Banyaknya parameter dalam model taksiran akan
meningkat sebagaimana ukuran sampelnya sehingga
akan melanggar syarat dari teori asimtotik.
2. Frekuensi taksiran untuk setiap observasi adalah kecil
(antara 0 dan1).
 UJI KECOCOKAN MODEL
Statistik lain :
Chi Kuadrat Pearson, yang dirumuskan sbb. :
N
r
2   i i i
 n ˆ  2

i 1 niˆ i 1  ˆ i 

Untuk data dikelompokkan, baik devians maupun statistik chi-kuadrat Pearson mempunyai
distribusi asimsotik chi-kuadrat. Nilai numerik dari kedua statistik ini pada umumnya akan
berbeda, tetapi perbedaan ini kadang-kadang digunakan untuk kepentingan praktis.
Untuk data yang tidak dikelompokkan, sebagaimana dengan devians, statistik chi-kuadrat
Pearson tidak berdistribusi chi-kuadrat.
Hipotesis :
𝐻0 : Model Fit Kriteria uji : tolak 𝐻0 jika 𝜆2 > 𝜆2 (𝑔−2,𝛼)
𝐻0 : Model tidak fit
 UJI KECOCOKAN MODEL
Dalam kasus tertentu dimana respons biner tidak
dikelompokkan, artinya 𝑛𝑖 = 1 untuk semua i, maka devians
tidak dapat didistribusikan sebagai chikuadrat karena :
1. Banyaknya parameter dalam model taksiran akan
meningkat sebagaimana ukuran sampelnya sehingga
akan melanggar syarat dari teori asimtotik.
2. Frekuensi taksiran untuk setiap observasi adalah kecil
(antara 0 dan1).
 INTERPRETASI REGRESI LOGISTIK
ODDS RATIO :

𝑷(𝟏)
𝟏 − 𝑷(𝟏)
𝝋=
𝑷(𝟎)
𝟏 − 𝑷(𝟎)
Contoh
Pada ukuran lebar cangkang minimum 21cm , estimasi peluangnya adalah
𝑒 −12,351+0,497(21)
= 0,129
1+𝑒 −12,351+0,497(21)
Pada ukuran lebar cangkang maksimal 33,5cm, estimasi peluangnya adalah :
𝑒 −12,351+0,497(33,5)
= 0,987
1+𝑒 −12,351+0.497(33,5)
 SPSS
1. Input data
2. Variabel view (cek untuk tipe data)
3. Klik analyze kemudian regresion kemudian klik binary logistic
4. Pilih var dependen ke kolom dependen
5. Pilih var independen ke kolom covariates
6. Apabila ada variabel yg berbentuk kategori maka klik kolom
categorical , klik variabelnya, dan klik first kemudian change
7. Pada kolom option pilih hosmer-lemeshowgoodness-of fit,lalu
continue, lalu OK
 OUTPUT

1. Untu uji simultan lihat tabel omnimbus

2. Untuk uji parsial lihat tabel variables in the equation
3. Untuk uji kecocokan model lihat tabel Hosmer
4. Untuk odds ratio lihat nilai exp(𝛽) tabel variables in the equation
TERIMA KASIH