Analisis Multivariat

Materi ke - 5

Dr. Eko Pujiyanto, S.Si., M.T.

Program Pascasarjana Teknik Industri - UNS

 Isi
• Pendahuluan
• Model Regresi Linier Berganda
• Uji Statistik
• Diagnosis Asumsi Klasik (Analisis Sisa)
• Topik lain yang berkaitan
• Analisis Regresi Logistik

Program Pascasarjana Teknik Industri - UNS

 Pendahuluan
• Regresi linier  Mengetahui pengaruh antara
satu atau beberapa variabel bebas terhadap
satu buah variabel tidak bebas
• Regresi linier  hanya dapat digunakan
pada skala interval dan ratio
• Regresi linier
– Regresi linier sederhana : satu variabel bebas
dan satu variabel tidak bebas
– Regresi linier berganda : dua atau lebih
variabel bebas dan satu variabel tidak bebas
Program Pascasarjana Teknik Industri - UNS
 Model regresi linier berganda
• Model populasi secara umum

= + + +⋯+ + ∈

Program Pascasarjana Teknik Industri - UNS

 Model regresi linier berganda
• Model sampel secara umum

= + + + ⋯+ + ̂

penaksir ( biasanya cukup ditulis )

penaksir dan seterusnya
̂ penaksir ∈

Program Pascasarjana Teknik Industri - UNS

 Asumsi
1. Hub y dan xi adalah linier dan telah dinyatakan
dengan tepat.
2. Tidak ada hub linier antar variabel independen
(prediktor) – tdk ada multikolenieritas
3. E(e) = 0 dan Var(e) = konstan
(homokedastisitas)
4. Tidak ada korelasi antar nilai residual (tdk ada
otokorelasi)
5. e berdistribusi normal

Program Pascasarjana Teknik Industri - UNS

 Model regresi linier berganda
• Model dalam bentuk matrik

atau
Dengan asumsi

Program Pascasarjana Teknik Industri - UNS

 Model regresi linier berganda
Mencari , , … sebagi penaksir , , …,
dengan metode Least Squares Estimation

Program Pascasarjana Teknik Industri - UNS

 Model regresi linier berganda
Least Squares Estimation

Optimal jika =
Sehingga diperoleh
= . .

Program Pascasarjana Teknik Industri - UNS

 Model regresi linier berganda
Contoh :
Menguji pull strength wire bond
1 variabel tidak bebas
• Pull strength (y)
2 variabel bebas
• Wire Length (x1)
• Die heigth (x2)

Program Pascasarjana Teknik Industri - UNS

 Model regresi linier berganda
Contoh :

Program Pascasarjana Teknik Industri - UNS

 Model regresi linier berganda
Contoh : Plot data dalam 2 dimensi (minitab)

( )

( )

( )

Program Pascasarjana Teknik Industri - UNS

 Model regresi linier berganda
x1 x2
Contoh :

Program Pascasarjana Teknik Industri - UNS

 Model regresi linier berganda
Contoh :

Program Pascasarjana Teknik Industri - UNS

 Model regresi linier berganda
Contoh :

Program Pascasarjana Teknik Industri - UNS

 Model regresi linier berganda
Contoh 2 (Gudono, 2014):
Diketahui data Plot data 3 Dimensi
Y X1 X2
5 4 2
7 6 5
6 5 5
20 12 18
15 10 13
12 9 10
10 8 9
10.714 7.714 8.857 Mean
5.407 2.870 5.460 Stdev

Program Pascasarjana Teknik Industri - UNS

 Model regresi linier berganda
Contoh 2 (Gudono, 2014):

Program Pascasarjana Teknik Industri - UNS

 Model regresi linier berganda
Contoh 2 (Gudono, 2014): Minitab
Data distandarisasi Plot data
Ys X1s X2s
-1.06 -1.29 -1.26
-0.69 -0.60 -0.71
-0.87 -0.95 -0.71
1.72 1.49 1.67
0.79 0.80 0.76
0.24 0.45 0.21
-0.13 0.10 0.03
0.00 0.00 0.00 Mean
1.00 1.00 1.00 Stdev

Program Pascasarjana Teknik Industri - UNS

 Model regresi linier berganda
Contoh 2 (Gudono, 2014):

Program Pascasarjana Teknik Industri - UNS

 Uji statistik
• Signifikansi koefisien ( uji t )
Rumus
=
Dimana
koefisien regresi
elemen diagonal matriks
.
s adalah
N jumlah data dan k jumlah variabel bebas
Program Pascasarjana Teknik Industri - UNS
 Uji statistik
• Signifikansi koefisien ( uji t )

Program Pascasarjana Teknik Industri - UNS

 Uji statistik
• Korelasi parsial Y dan X1 dengan mengontrol X2
, − , .
, =
1− . 1−
Dimana
, korelasi biasa antara Y dan X1

Program Pascasarjana Teknik Industri - UNS

 Uji statistik

Program Pascasarjana Teknik Industri - UNS

 Uji statistik
• Coefficient of determination
∑∈
= =1−
∑ −

= koefisien multiple correlation

=1− 1− adjusted

Untuk mengujia digunakan uji F

, =( )
( )

Program Pascasarjana Teknik Industri - UNS

 Uji statistik
• Coefficient of determination

Program Pascasarjana Teknik Industri - UNS

 Uji statistik
• Goddness of fit (Partial F test)

( )
=
(

Program Pascasarjana Teknik Industri - UNS

 Uji statistik
• Goddness of fit (Partial F test)

( )
=
(

Program Pascasarjana Teknik Industri - UNS

 Diagnosis Asumsi Klasik (Analisis Sisa)
• Pengujian asumsi klasik dengan cara
menganalisis pola sisa
• Sisa ∈ mewakili varian Y
• Jika ada pelanggaran asumsi , dapat dilihat dari
pola sisa

Program Pascasarjana Teknik Industri - UNS

 Diagnosis Asumsi Klasik (Analisis Sisa)
Contoh 1 : Menghitung sisa
Persamaan regresi digunakan untuk menaksir nilai
pull strength , untuk semua nilai x1 dan x2
Misalkan untuk x1 = 2 , x2 = 50
Maka

Dari data sebelumnya

Maka sisanya adalah

Program Pascasarjana Teknik Industri - UNS

 Diagnosis Asumsi Klasik (Analisis Sisa)
1. Uji linieritas
a. Melihat pola scatter plot sisa (RES_1) dan
nilai prediksi Y (PRE_1)

Program Pascasarjana Teknik Industri - UNS

 Diagnosis Asumsi Klasik (Analisis Sisa)
1. Uji linieritas
a. Melihat pola scatter plot sisa (RES_1) dan
nilai prediksi Y (PRE_1)

Rata-rata
prediksi Y
= (0 , 10.71)

Program Pascasarjana Teknik Industri - UNS

 Diagnosis Asumsi Klasik (Analisis Sisa)
1. Uji linieritas
a. Melihat pola scatter plot nilai prediksi Y dan
sisa

Program Pascasarjana Teknik Industri - UNS

 Diagnosis Asumsi Klasik (Analisis Sisa)
2. Uji Heterokedastisitas (Uji Goldfeld-Quandt Test)
– Urutkan data sisa sesuai ukuran Y dan bagilah
menjadi 3 kelompok
– Hilangkan kelompok tengah (midle)
– Buat model regresi dan hitung SSE-nya untuk
kelompok bawah dan atas
– Uji dengan F=(SSE1)/(SSE2)
– Jika nilai F hitung > F tabel maka terdapat
Heterokedastisitas

Program Pascasarjana Teknik Industri - UNS

 Diagnosis Asumsi Klasik (Analisis Sisa)
2. Uji Heterokedastisitas (Uji Goldfeld-Quandt Test)

Terdapat
Heterokedastisitas

Tidak ada
Heterokedastisitas

Program Pascasarjana Teknik Industri - UNS

 Diagnosis Asumsi Klasik (Analisis Sisa)
3. Uji Normalitas
– Scatter plot nilai prediksi Y dan sisa  Acak

https://tobeneo.files.wordpress.com/2013/12/plot.jpg
Program Pascasarjana Teknik Industri - UNS
 Diagnosis Asumsi Klasik (Analisis Sisa)
3. Uji Normalitas
– Normal probability plot  berada disekitar garis

http://facweb.cs.depaul.edu/sjost/csc423/doc
uments/nplots.gif

Program Pascasarjana Teknik Industri - UNS

 Topik lainnya
1. Uji Multikolinieritas
– Jika jumlah variabel bebas lebih dari 1 maka
bisa terjadi korelasi antar variabel bebas
– Cara menguji dengan variance inflation factor
(VIF)
– Rumus VIF variabel ke-j
1
=
1−

– Jika VIF > 10 maka terdapat multikolinieritas

Program Pascasarjana Teknik Industri - UNS

 Topik Lainnya
2. Uji Autokorelasi
– Korelasi dengan dirinya sendiri
– Tidak berakibat pada koefisien regresi tetapi
menghasilkan standar error yang lebih kecil
dari yang sesungguhnya
– Durbin-Watson test
∑ −
=
∑

– Jika mendekati 2 tidak ada korelasi

Program Pascasarjana Teknik Industri - UNS

 Topik Lainnya
3. Outlier
– Berakibat pada koefisien regresi  menguat
atau melemah

http://www.fao.org/wairdocs/ilri/x5469e/x5469e0e.htm
Program Pascasarjana Teknik Industri - UNS
 Topik Lainnya
4. Variable promoderasi
– Ada varibel bebas yang tidak langsung
berpengaruh terhadap variabel tidak bebas
– Varibel bebas tersebut berpengaruh pada
variabel bebas lain yang berpengaruh
terhadap variabel tidak bebas
– Model untuk 2 variabel bebas
= + + + ̂

Program Pascasarjana Teknik Industri - UNS

 Topik Lainnya
5. Control variable
– Ada varibel bebas yang dikontrol atau
nilainya tetap dalam eksperimen
– Supaya hubungan variabel bebas lain dan
variabel tidak bebas dapat diamati dengan
lebih cermat
– Contoh
= 0.5 + 1 Tua

= 0.5 − 0.5
= 0.5 − 1.5 Muda

Program Pascasarjana Teknik Industri - UNS

 Analisis Regresi Logistik
• Digunakan untuk menjelaskan hubungan antara
variabel tidak bebas (Y) yang berupa data
dikotomik/biner dengan variabel bebas (X) yang
berupa data berskala interval dan atau kategorik.
• Variabel yang dikotomik/biner adalah variabel yang
hanya mempunyai dua kategori saja, yaitu kategori
yang menyatakan kejadian sukses (Y=1) dan
kategori yang menyatakan kejadian gagal (Y=0).
• Variabel tidak bebas (Y) diasumsikan mengikuti
distribusi Bernoulli.

Program Pascasarjana Teknik Industri - UNS

 Analisis Regresi Logistik
Contoh
• Pengaruh Tingkat Pendidikan, Lapangan Kerja yg
dimasuki, Pendapatan, Pengeluaran, Jumlah
ART ( X ) terhadap status kemiskinan (Y)
(Miskin/TIdak Miskin).
• Pengaruh Pendapatan Keluarga, Banyaknya
Anggota Keluarga, Jenis rumah, Usia Kepala
Keluarga (X) terhadap Kepemilikan rumah (Y)
(Punya rumah/tidak)

Program Pascasarjana Teknik Industri - UNS

 Analisis Regresi Logistik
Asumsi
• Tidak mengasumsikan hubungan linier antar
variabel tidak bebas dan bebas
• Variabel tidak bebas harus bersifat dikotomi (2
variabel)
• Variabel bebas tidak harus memiliki keragaman
yang sama antar kelompok variabel
• Kategori dalam variabel bebas harus terpisah satu
sama lain atau bersifat eksklusif
• Sampel yang diperlukan dalam jumlah relatif besar,
minimum dibutuhkan hingga 50 sampel data untuk
sebuah variabel bebas.
Program Pascasarjana Teknik Industri - UNS
 Analisis Regresi Logistik
Model

Atau

Untuk 1 variabel bebas (x) dan 1 variabel tak

bebas (y)
= +

Program Pascasarjana Teknik Industri - UNS

 Analisis Regresi Logistik
Contoh 1
Pengaruh lingkungan (variabel bebas) terhadap
kebangkrutan (variabel tak bebas)
Status
No Status Perubahan No Status Perubahan 1 : Bangkrut
1 1 1 12 0 1
0 : Sehat
2 1 1 13 0 0
3 1 1 14 0 0
Perubahan
4 1 1 15 0 0
1 : Cepat
5 1 1 16 0 0
0 : Lambat
6 1 1 17 0 0
7 1 1 18 0 0
8 1 1 19 0 0
9 1 1 20 0 0
10 1 0 21 0 0
11 1 0 22 0 0
Program Pascasarjana Teknik Industri - UNS
 Analisis Regresi Logistik
Contoh 1
Menaksir dan pada = +

Program Pascasarjana Teknik Industri - UNS

 Analisis Regresi Logistik
Contoh 1

3.806 = 2.197+1.609

Y' = -1.609 + 0.0 Perubahan_0 + 3.81 Perubahan_1

Program Pascasarjana Teknik Industri - UNS

 Analisis Regresi Logistik
Logistik v.s. linier
• Logistik  Status = -1.609 + 0.0 Perubahan_0 + 3.81 Perubahan_1
• Linier  Status = 0.167 + 0.0 Perubahan_0 + 0.733 Perubahan_1

Program Pascasarjana Teknik Industri - UNS

 Analisis Regresi Logistik
Metode untuk mengestimasi parameter-
parameter :
1. Metode kemungkinan maksimum (Maximum
Likelihood Method)
2. Metode kuadrat terkecil tertimbang
noniterasi (Noniterative Weight Least Square
Method)
3. Analisis fungsi diskriminan (Discriminant
Fuction Analysis)

Program Pascasarjana Teknik Industri - UNS

 Analisis Regresi Logistik
Metode kemungkinan maksimum (Maximum
Likelihood Method)
• Fungsi likelihood distribusi Bernoulli

• Log-likelihood

Program Pascasarjana Teknik Industri - UNS

 Analisis Regresi Logistik
Metode kemungkinan maksimum (Maximum
Likelihood Method)
• Taksiran parameter βk , diperoleh dengan
mendiferensialkan fungsi log-likelihood
terhadap βk dengan k = 0, 1.
• Nilai maksimum diperoleh bila hasil diferensial
fungsi log-likelihood bernilai nol.
• Diperlukan metode iterasi untuk mendapatkan
taksiran pada metode maksimum likelihood
karena tidak bisa diperoleh taksiran parameter
dari pendeferensialan fungsi log-likelihood.

Program Pascasarjana Teknik Industri - UNS

 Analisis Regresi Logistik
Uji Signifikansi Parameter
• Mengetahui apakah taksiran parameter yang
diperoleh berpengaruh secara signifikan
terhadap model atau tidak, dan seberapa besar
pengaruh masing-masing parameter tersebut
terhadap model.
• Uji signifikansi terdiri dari dua tahap
– Uji signifikansi parameter model secara
bersama
– Uji signifikansi parameter model secara
terpisah.

Program Pascasarjana Teknik Industri - UNS

 Analisis Regresi Logistik
Uji Signifikansi Parameter secara bersama
• Uji rasio likelihood

– Lo adalah log-likelihood dari model tanpa

variabel bebas
– L1 adalah log-likelihood dari model dengan p
variabel bebas
– H0 : βk = 0 , k = 1, 2, ..., p
– H0 ditolak jika

Program Pascasarjana Teknik Industri - UNS

 Analisis Regresi Logistik
Uji Signifikansi Parameter secara terpisah
• Uji Wald Chi-square

– H0 : βk = 0 , k = 1, 2, ..., p
– H0 ditolak jika

Program Pascasarjana Teknik Industri - UNS

 Analisis Regresi Logistik
Uji Kecocokan Model
• 2 Log Likelihood
• Cox and Snel Pseduo
• Nagelkerke
• Uji Hosmer dan Lemeshow

Program Pascasarjana Teknik Industri - UNS

 Analisis Regresi Logistik
Penggunaan SPSS ( Contoh 1 )

Program Pascasarjana Teknik Industri - UNS

 Analisis Regresi Logistik Multivariabel
• 1 variabel tidak bebas dengan 2 katagori
• 2 atau lebih variabel bebas
• Contoh
– Seorang peneliti ingin mengetahui bagaimana
pengaruh kualitas pelayanan publik terhadap
kepuasan pengguna (masyarakat).
– Kualitas pelayanan publik diteliti melalui
variabel Daya Tanggap (X1) dan Empati (X2).
– Kepuasan penggunana layanan (Y) sebagai
variabel dependen  puas (1) dan tidak puas
(0).

Program Pascasarjana Teknik Industri - UNS

 Analisis Regresi Logistik Multinomial
• 1 variabel tidak bebas
dengan 3 atau
lebih katagori
• 2 atau lebih
variabel bebas
• Contoh

Program Pascasarjana Teknik Industri - UNS