Analisis Regresi dalam statistika adalah salah satu metode untuk menentukan
variabel X (karena seringkali digambarkan dalam grafik sebagai absis, atau sumbu
X). Variabel “terkena akibat” dikenal sebagai variabel yang dipengaruhi, variabel
dependen, variabel terikat, atau variabel Y. Kedua variabel ini dapat merupakan
variabel acak (random), namun variabel yang dipengaruhi harus selalu variabel
acak. Analisis Regresi adalah salah satu analisis yang paling populer dan luas
Adapun Regresi Logistik (kadang disebut model logistik atau model logit)
merupakan salah satu bagian dari Analisis Regresi, yang digunakan untuk
fungsi logit kurva logistik. Metode ini merupakan model linear umum yang
digunakan untuk regresi binomial. Seperti analisis regresi pada umumnya, metode
Misalnya, probabilitas bahwa orang yang menderita serangan jantung pada waktu
tertentu dapat diprediksi dari informasi usia, jenis kelamin, dan indeks massa
5
6
tubuh. Regresi Logistik juga digunakan secara luas pada bidang kedokteran, ilmu
dan autokorelasi, dikarenakan variabel respon yang terdapat pada Regresi Logistik
pengujian. Untuk pengujian multikolinearitas ini dapat digunakan uji kebaikan suai
(goodness of fit test), yang kemudian dilanjutkan dengan pengujian paremeter, guna
melihat variabel-variabel prediktor mana saja yang signifikan, sehingga dapat tetap
signifikan, dapat dibentuk suatu matriks korelasi, dan apabila tidak terdapat
variabel-variabel prediktor yang saling memiliki korelasi yang tinggi, maka dapat
Dalam analisis data dimana variabel respon adalah nominal, digunakan suatu
metode yang merupakan pengembangan dari regresi logistik dan dikenal sebagai
regresi logistik nominal atau nominal logistic regression, sedangkan untuk variabel
respon ordinal digunakan regresi logistik ordinal atau atau ordinal logistic
(polytomous). Model regresi logistik nominal digunakan ketika tidak ada urutan di
antara kategori respon. Satu kategori diantaranya dipilih sebagai kategori acuan.
antara variabel respon yang biasa terdiri dari data kualitatif dan variabel-variabel
exp[𝑔𝑗 (𝑥)]
𝑃(𝑌 = 𝑗|𝑥) = 𝜋𝑗 (𝑥) =
∑𝑟−1
𝑘=0 exp[𝑔𝑘 (𝑥)]
Keterangan:
𝑃(𝑌 = 𝑗|𝑥) = perluang bersyarat dari variabel respon Y untuk kategori ke j pada
vektor x, j = 0,1,..,r-1
ke j
(𝛽̃0 = 0), maka probabilitas bersyarat dengan variabel penjelas sebanyak p akan
1
=
1 + exp(𝛽10 + 𝛽11 𝑥1 + ⋯ + 𝛽1𝑝 𝑥𝑝 ) + ⋯ + exp(𝛽𝑟0 + 𝛽𝑟1 𝑥1 + ⋯ + 𝛽𝑟𝑝 𝑥𝑝 )
….
logit, dimana masing-masing persamaan ini membentuk regresi logistik biner yang
:
9
...
tidak tepat jika dimasukkan ke dalam model karena angka tersebut hanya sebagai
identifikasi saja dan tidak mempunyai nilai numerik. Agar variabel prediktor
ℎ𝑚 −1
Dimana 𝐷𝑗𝑚𝑣 = variabel dummy dari variabel ke-m fungsi logit ke-j
Estimasi Parameter
Dalam model regresi logistik, nilai harapan antar variabel respon tidak linier
serta memiliki varian yang tidak sama sehingga penduga parameter 𝛽̃ diperoleh
(𝑌𝑖 ) diasumsikan saling bebas, maka diperoleh fungsi likelihood bersyarat untuk
𝑙(𝐵) = ∏[ 𝜋0 (𝑥𝑖 )𝑦0𝑖 𝜋1 (𝑥𝑖 )𝑦1𝑖 𝜋2 (𝑥𝑖 )𝑦2𝑖 … 𝜋𝑟−1 (𝑥𝑖 )𝑦(𝑟−1)𝑖 ]
𝑖=1
Secara matematis, akan lebih mudah untuk mendapatkan nilai 𝛽̃ yang akan
memaksimalkan fungsi likelihood melalui log dari fungsi tersebut yaitu log
𝐿(𝛽) = ln[𝑙(𝐵)]
𝑛
𝐿(𝛽) = ln [∏[ 𝜋0 (𝑥𝑖 )𝑦0𝑖 𝜋1 (𝑥𝑖 )𝑦1𝑖 𝜋2 (𝑥𝑖 )𝑦2𝑖 … 𝜋𝑟−1 (𝑥𝑖 )𝑦(𝑟−1)𝑖 ]]
𝑖=1
11
= ∑[𝑦0𝑖 ln{𝜋0 (𝑥𝑖 )} + 𝑦1𝑖 ln{𝜋1 (𝑥𝑖 )} + ⋯ + 𝑦(𝑟−1)𝑖 ln{𝜋𝑟−1 (𝑥𝑖 )}]
𝑖=1
= ∑𝑛𝑖=1(𝑦1𝑖 𝑔1 (𝑥𝑖 ) + 𝑦2𝑖 𝑔2 (𝑥𝑖 ) + ⋯ + 𝑦(𝑟−1)𝑖 𝑔𝑟−1 (𝑥𝑖 ) − ln[1 + exp(𝑔1 (𝑥𝑖 )) +
mengambil turunan pertama terhadap 𝐿(𝛽). Bentuk umum untuk persamaan ini
adalah
𝑛
𝜕𝐿(𝛽) 𝑥𝑝𝑖 𝑒 𝑔𝑟−1 (𝑥𝑖)
= ∑ [𝑦𝑗𝑖 𝑥𝑚𝑖 − ]
𝜕𝛽𝑟𝑝 1 + 𝑒 𝑔1 (𝑥𝑖) + 𝑒 𝑔2 (𝑥𝑖) + ⋯ + 𝑒 𝑔𝑟−1 (𝑥𝑖 )
𝑖=1
subjek.
sama dengan nol dan menyelesaikan solusi persamaan untuk 𝛽̃ . Solusi ini
respon kategorik.
Persamaan umum dari elemen dalam matriks turunan persial kedua sebagai berikut.
𝑛
𝜕 2 𝐿(𝛽)
= − ∑ 𝑥𝑚′ 𝑖 𝑥𝑚𝑖 𝜋𝑗 (𝑥𝑖 )[1 − 𝜋𝑗 (𝑥𝑖 )] (4)
𝜕𝛽𝑗𝑚 𝜕𝛽𝑗𝑚′
𝑖=1
Dan
𝑛
𝜕 2 𝐿(𝛽)
= ∑ 𝑥𝑚′ 𝑖 𝑥𝑚𝑖 𝜋𝑗 (𝑥𝑖 )𝜋𝑗′ (𝑥𝑖 ) (5)
𝜕𝛽𝑗𝑚 𝜕𝛽𝑗′ 𝑚′
𝑖=1
Matriks informasi yang diamati, 𝐼(𝛽̂ ), adalah matriks ukuran 2(p+ 1) x 2(p+ 1) yang
elemen-elemennya adalah nilai negatif dari persamaan 2.3 dan 2.4 dievaluasi pada 𝛽̃ .
Estimator dari matriks kovarian maksimum likelihood estimator adalah invers dari
Matriks X berukuran n x p+1 berisi nilai kovariat untuk masing-masing objek, matriks Vj
berukuran n x n adalah matriks diagonal dengan elemen umum 𝜋𝑗 (𝑥𝑖 )[1 − 𝜋𝑗 (𝑥𝑖 )] dengan
dengan elemen umum 𝜋1 (𝑥𝑖 )𝜋2 (𝑥𝑖 ). Estimator dari matriks informasi dapat ditunjukkan sebagai
berikut
Dimana
Dan
2. Dihitung M(Y – 𝝅(x)) dan 𝐼̂(𝛽̂ ), selanjutnya dihitung invers dari 𝐼̂(𝛽̂ )
𝑰𝟐×𝟐 ⊗ 𝑿′
Pengujian Parameter
peranan variabel prediktor terhadap model. Uji yang dilakukan ada dua, yaitu:
yaitu uji yang dilakukan untuk menguji peranan variabel prediktor dalam model
H1: minimal ada satu 𝛽𝑗𝑚 ≠ 0, artinya minimal ada satu variabel prediktor yang
𝑙0
𝐺 = −2𝑙𝑛 [ ](7)
𝑙𝑘
berikut :
𝑗 = 0,1,2, … , 𝑟 − 1; 𝑚 = 1,2, … , 𝑝
atau p-value < α. Jika H0 ditolak maka dapat disimpulkan bahwa βjm
Ketepatan Klasifikasi
disebut apperent error rate. Bisa juga menggunakan sebaliknya, yaitu apperent
prosedur klasifikasi pada data set yang sama yang digunakan untuk menghitung
jumlah klasifikasi yang benar dan jumlah klasifikasi yang salah. Hasilnya dapat
ditampilkan dalam bentuk tabel klasifikasi. Misalkan variabel respon Y terdiri dari
Aktual Pengamatan 1 2 3
klasifikasi yang tepat untuk kategori aktual sama dengan 1, dan n12 serta n13 adalah
kesalahan klasifikasi untuk kategori aktual sama dengan 2 dan kategori aktual sama
aktual sama dengan 2, n21 dan n23 adalah kesalahan klasifikasi untuk kategori aktual
sama dengan 1 dan kategori aktual sama dengan 3. n22 adalah ketepatan klasifikasi
untuk kategori aktual sama dengan 2, dimana 𝑛2 = 𝑛21 + 𝑛22 + 𝑛23 . Untuk n3
pengamatan di kategori aktual sama dengan 3, n31 dan n32 adalah kesalahan
klasifikasi untuk kategori aktual sama dengan 1 dan kategori aktual sama dengan 2.
n33 adalah ketepatan klasifikasi untuk kategori aktual sama dengan 3, dimana 𝑛3 =
Atau
𝐴𝑝𝑝𝑎𝑟𝑒𝑛𝑡𝑒𝑟𝑟𝑜𝑟𝑟𝑎𝑡𝑒 = 1 − 𝐴𝑝𝑝𝑎𝑟𝑒𝑛𝑡𝑐𝑜𝑟𝑟𝑒𝑐𝑡𝑐𝑙𝑎𝑠𝑠𝑖𝑓𝑖𝑐𝑎𝑡𝑖𝑜𝑛𝑟𝑎𝑡𝑒