Logistic Regression

Logistik Regression adalah metode statistik yang digunakan untuk memodelkan hubungan
antara satu atau lebih varibel independent (pembuat prediksi) dan variabel dependen biner
(variabel respon tang memiliki dua kategori seperti 0dan 1). Regresi logistic cocok untuk
mengatasi kasus dimana variabel dependen bersifat biner atau ordinal. Hasil regresi logistic
sering diinterpretasikan dalam hal odds ration yang menunjukkan dalam odds variabel
dependen untuk setiap perubahan satu uit dalam variabel independen.

1. Goodness of Fit
Model Fit Measures

Overall Model Test

Model R²McF χ² df p

1 0.427 22679 22 < .001

McFadden’s R-aquared adalah sebuah ukuran evaluasi kinerja model dalam regresi logistik.
McFadden’s R-aquared dirancang khusus untuk regresi logistic dan memberikan indikasi
sejauh mana model logistic cocok dengan data dibandingkan dengan model yang hanya
memprediksi probabilitas berdasarkan mean variabel dependen. Interpretatisi dari
McFadden's R-squared:

 0.2 to 0.4: Excellent fit

 0.1 to 0.2: Good fit
 0.0 to 0.1: Moderate fit
 Less than 0.0: Poor fit

Dalam kasus ini, hasil McFadden's R-squared adalah 0.427 yang mengindikasi bahwa model
tersebut baik, yang artinya bahwa model tersebut menjelaskan sebesar 42.7% besar variasi
dalam variabel terikat.

Chi square statistic menghasilkan nilai p (probabilitas) yang dapat dibandingkan dengan
tingkat signifikansi tertentu untuk menentukan apakah ada hubungan yang signifikan antara
variabel – variabel tersebut. Jika nilai p lebih kecil dari tingkat signifikansi yang ditetapkan,
kita dapat menolak hipotesis nol dan menyimpulkan bahwa terdapat hubugan antara variabel
– variabel tersebut. Dalam kasus ini nilai chi square adalah 22679 dengan df 22, dengan ini
berarti bahwa statistic chi square signifikansi secara statistic pada tingkat P<0.01, yang
artinya terdapat peningkatan yang signifikan dibandingkan dengan dengan H0

2. Assumption Check

VIF atau variance Inflation Factor adalah metrik yang digunakan dalam analisis regresi untuk
mengevaluasi sejauh mana multicolinarity (multikolinearitas) mempengaruhi model regresi.
Mulcolinearity terjadi ketika dua atau lebih variabel independent dalam model regresi
memiliki korelasi tinggi satu sama lain yang dapat menyebabkan masalah dalam
menginterpretasikan koefisien regresi. Intrepretasi VIF adalah
  Jika VIF = 1 menunjukkan bahwa tidak ada atau hanya sedikit multikolinearitas
 Jika VIF antara 1 dan 5, itu menunjukkan bahwa mulkolinearitas yang moderat dan
mungkin diterima
 Jika VIF >5 menunjukkan adanya multikolinearitas yang signifikan dan dapat
menyulitkan interpretasi koefisien regresi

Dalam statistic kolinaritas dibawah ini menunjukkan bahwa nilai VIF <4 yang menunjukkan
bahwa antara variabel independent tidak terdapat multikolinearitas

 Collinearity Statistics

Toleranc
VIF
e

1.1
Age 0.906
0
1.0
Flight Distance 0.918
9
1.5
Seat comfort 0.660
2
Departure/Arrival time 1.3
0.767
convenient 0
1.6
Food and drink 0.608
4
1.2
Gate location 0.802
5
1.4
Inflight wifi service 0.690
5
1.2
Inflight entertainment 0.810
3
1.4
Online support 0.710
1
1.8
Ease of Online booking 0.556
0
1.2
On-board service 0.796
6
1.1
Leg room service 0.901
1
1.3
Baggage handling 0.745
4
1.0
Checkin service 0.923
8
1.3
Cleanliness 0.723
8
  Collinearity Statistics

Toleranc
VIF
e
1.5
Online boarding 0.635
8
3.8
Departure Delay in Minutes 0.261
3
3.8
Arrival Delay in Minutes 0.261
3
1.2
Customer Type 0.818
2
1.1
Class 0.881
4
1.4
Type of Travel 0.705
2

3. Model Coefficients

Hasil menunjukkan bahwa hampir seluruh variabel memiliki P<0.001 sehingga

menunjukkan adanya signifikansi antara variable bebas dan terikat. Namun, perlu
diketahui bahwa signifikansi statistic tidak selalu menunjukkan signifikansi secara
praktikal. Jadi untuk mengukur signifikansi secara praktikal maka perlu menghitung
Effect Size yang menunjukkan pengaruh perubahan variabel bebas terhadap variabel
terikat.

Odds Ratio menunjukkan hubungan antara paparan dan hasil dalam regresi logistik
dengan menghitung probabilitas hasil yang ditunjukkan oleh sebuah kelompok penelitian
dibagi dengan probabilitas hasil yang ditunjukkan oleh kelompok penelitian lainnya.

 OR = 1 indikasi tidak ada hubungan

 OR > 1 indikasi hubungan yang positif
 An OR < 1 indikasi hubungan negative

Dibawah ini beberapa insight yang didapatkan dari Effect Size (OR) :
 Disloyal customer memiliki nilai estimation negative terhadap customer satisfaction
dengan OR = 0.08. yang artinya bahwa customer yang loyal 12x merasa puas
dibandingkan dengan disloyal customer
 Variabel yang memiliki hubungan positive terbaik terhadap kepuasan pelanggan
adalah entertainment dengan nilai OR = 2.5. Yang artinya jika kita menambahkan 1
fasilitas entertainmen maka the odds terhadap kepuasan pelanggan akan meningkat
sebesar 150%
 Departure / time convenient memiliki hubungan negative terhadap kepuasan
pelanggan dan hal tersebut sedikit tricky karena jika melkaukan improvement maka
akan menurunkan tingkat kepuasan pelanggan sebesar 40%
 4. Model Accuracy

Dalam regresi logistic akurasi model adalah proporsi prediksi yang benar dari model. Hal ini
dihitung dengan membandingkan antara jumlah prediksi yang benar dengan total prediksi.
Untuk memberikan gambaran yang lebih lengkap maka digunakan confusion matrix. Hasil
menunjukkan bahwa akurasi model tinggi dengan angka 87.9% pada hasil positif dan 84%
pada hasil negative dengan rerata akurasi 86.1%

Tingginya nilai akurasi tidak selalu cukup terutama apabila data tidak seimbang atau terdapat
banyak false positive sehingga diperlukan pengukuran lain seperti AUC ROC untuk
mendapatkan kesimpulan yang lebih komprehensif. Skor AUC sebesar 0.938 menunjukkan
model dapat membedakan dengan baik antara pelanggan yang puas dan tidak puas

5. Managerial Implications
 1. Assumption Check

VIF atau variance Inflation Factor adalah metrik yang digunakan dalam analisis regresi untuk
mengevaluasi sejauh mana multicolinarity (multikolinearitas) mempengaruhi model regresi.
Mulcolinearity terjadi ketika dua atau lebih variabel independent dalam model regresi
memiliki korelasi tinggi satu sama lain yang dapat menyebabkan masalah dalam
menginterpretasikan koefisien regresi. Variabel dependent untuk Analisa data histori promosi
jabatan adalah departemen dan untuk variabel yang lain sebagai variabel independent. Dalam
hasil statistic untuk data Histori promosi jabatan menunjukkan bahwa nilai VIF <5 yang
menunjukkan bahwa antara variabel independent tidak terdapat multikolinearitas

Collinearity Statistics

Toleranc
VIF
e

1.0
Jumlah Pelatihan 0.992
1
Nilai Rerata 1.5
0.640
Pelatihan 6
1.3
Usia 0.766
1
1.0
Penilaian Kinerja 0.980
2
1.2
Masa Bakti 0.800
5
1.0
Penghargaan 0.992
1
1.6
Departemen 0.626
0
Collinearity Statistics

Toleranc
VIF
e
1.0
Pendidikan 0.968
3
1.0
Jenis Kelamin 0.960
4
1.0
Jalur Rekrutmen 0.997
0

2. Goodness of Fit

Dalam kasus ini, hasil McFadden's R-squared adalah 0.260 yang mengindikasi bahwa model
tersebut baik, yang artinya bahwa model tersebut menjelaskan sebesar 26% besar variasi
dalam variabel terikat.

Chi square statistic menghasilkan nilai p (probabilitas) yang dapat dibandingkan dengan
tingkat signifikansi tertentu untuk menentukan apakah ada hubungan yang signifikan antara
variabel – variabel tersebut. Jika nilai p lebih kecil dari tingkat signifikansi yang ditetapkan,
kita dapat menolak hipotesis nol dan menyimpulkan bahwa terdapat hubugan antara variabel
– variabel tersebut. Dalam kasus ini nilai chi square adalah 1537 dengan df 12, dengan ini
berarti bahwa statistic chi square signifikansi secara statistic pada tingkat P<0.01, yang
artinya terdapat peningkatan yang signifikan dibandingkan dengan dengan H0

Model Fit Measures

Overall Model Test

Model R²McF χ² df p

1 0.260 1537 12 < .001

3. Model Coefficients

Hasil menunjukkan bahwa 70% variabel memiliki P<0.001 dan sebesar 30% variabel
memiliki nilai p>0.05 sehingga menunjukkan adanya signifikansi antara variable bebas dan
terikat namun tidak secara keseluruhan. Perlu diketahui bahwa signifikansi statistik tidak
selalu menunjukkan signifikansi secara praktikal. Jadi untuk mengukur signifikansi secara
praktikal maka perlu menghitung Effect Size yang menunjukkan pengaruh perubahan
variabel bebas terhadap variabel terikat. Dibawah ini beberapa insight yang berpengaruh
signifikan yang didapatkan dari nilai estimate OR:
a. Penilaian kinerja memiliki asosiasi yang positif. Menjadi salah satu penilaian penting
dalam sejarah promosi jabatan
 b. Penghargaan memiliki pengaruh asosiasi yang postif terhadap penilaian untuk
promosi jabatan dengan nilai OR 5.160. Sehingga jika kita meningkatkan jumlah
penghargaan kita maka peluang untuk promosi jabatan adalah 80%
c. Nilai rerata pelatihan yang tinggi memiliki pengaruh asosiasi positif terhadap peluang
untuk promosi jabatan dengan nilai OR 0.934. Jika nilai rerata pelatihan ditingkatkan
maka peluang untuk dapat promosi jabatan digabungkan dengan presentase
penghargaan adalah sekitar 87%
d. Departemen rantai pasok memiliki pengaruh asosiasi negative untuk peluang promosi
jabatan yang artinya bahwa departemen rantai pasok jarang mendapatkan
penghargaan dan nilai rerata pelatihan masih kalah dengan department pemasaran
sehingga departemen rantai pasok perlu meningkatkan 6x penghargaan
e. Jenis kelamin mempunyai pengaruh yang besar untuk sejarah promosi jabatan. Nilai
estimate menunjukkan asosiasi negative yang mana peluang laki – laki untuk naik
jabatan adalah 1.2x lebih tinggi dibandingkan dengan jenis kelamin perempuan
f. Jalur Rekrutkmen menjadi salah satu penilaian di sejarah promosi jabatan yang
berasosiasi negative terutama jika jalur rekrutmen yang dilalui adalah rekomendasi
karena dalam suatu perusahaan biasanya melarang untuk bertindak nepotisme
sehingga tidak ada azaz kekeluargaan dalam satu perusahaan
g. Pendidikan SMA/ SMK memiliki asosiasi negative terhadap penilaian untuk promosi
jabatan. Sehingga dalam hal ini jika Pendidikan pekerja hanya lulusan SMA / SMK
maka kecil kemungkinan untuk mendapatkan promosi jabatan
h. Sedangkan usia, jumlah pelatihan memiliki pengaruh yang kecil dalam sejarah
promosi jabatan
Model Coefficients - Promosi

Odds
Predictor Estimate SE Z p
ratio

- -
0.5440 < .00
Intercept 11.1494 20.49 1.44e-5
5 1
8 3
0.0737 0.35
Jumlah Pelatihan -0.06850 -0.929 0.934
4 3
0.0090 21.91 < .00
Nilai Rerata Pelatihan 0.19720 1.218
0 5 1
0.0067 0.00
Usia -0.02136 -3.150 0.979
8 2
0.0319 15.01 < .00
Penilaian Kinerja 0.48007 1.616
6 9 1
0.0111 0.77
Masa Bakti 0.00326 0.291 1.003
8 1
0.2148 < .00
Penghargaan 1.64102 7.639 5.160
1 1
Departemen:
-
Rantai Pasok – 0.1177 < .00
-1.81174 15.38 0.163
Pemasaran 9 1
1
Pendidikan:
0.6320 0.05
SMA/SMK – Magister -1.23942 -1.961 0.290
0 0
0.0841 0.00
Sarjana – Magister -0.25748 -3.059 0.773
7 2
Model Coefficients - Promosi

Odds
Predictor Estimate SE Z p
ratio
Jenis Kelamin:
0.0836 0.02
Perempuan – Lelaki -0.19095 -2.284 0.826
1 2
Jalur Rekrutmen:
Rekomendasi – 0.2473 0.54
-0.14933 -0.604 0.861
Lainnya 3 6
0.0750 0.74
Seleksi – Lainnya 0.02434 0.324 1.025
5 6

Note. Estimates represent the log odds of "Promosi = 1" vs. "Promosi = 0"

4. Model Accuracy

Dalam regresi logistic akurasi model adalah proporsi prediksi yang benar dari model. Hal ini
dihitung dengan membandingkan antara jumlah prediksi yang benar dengan total prediksi.
Untuk memberikan gambaran yang lebih lengkap maka digunakan confusion matrix. Hasil
menunjukkan bahwa akurasi model baik dengan angka 82.8% pada hasil positif dan 61.9%
pada hasil negative dengan rerata akurasi 72.8%

Tingginya nilai akurasi tidak selalu cukup terutama apabila data tidak seimbang atau terdapat
banyak false positive sehingga diperlukan pengukuran lain seperti AUC ROC untuk
mendapatkan kesimpulan yang lebih komprehensif. Skor AUC sebesar 0.797 menunjukkan
model dapat membedakan dengan baik antara pegawai yang mendapatkan promosi dan tidak
promosi

5. Managerial Implications