LAPORAN REGRESI LANJUTAN

“Mendiagnosis Pelanggaran Asumsi Dalam Pemodelan Regresi Linear & Kolinearitas”

Disusun oleh: (Kelompok 7)

Andriarmi 21337063
Putri Rahmatun Khairani 21337086
Roufsaldiaz Nawfal 21337053
Wita Resfi Ananta 21337023

Dosen Pengampu :

Dodi Vionanda, S.Si

DEPARTEMEN STATISTIKA

FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM

UNIVERSITAS NEGERI PADANG

2023
 PELANGGARAN ASUMSI DALAM PEMODELAN REGRESI

A. Galat Yang Berdistribusi Tidak Normal

Asumsi kesalahan terdistribusi normal hampir selalu sewenang-wenang. Namun demikian,
teorema limit sentral memastikan bahwa, dalam kondisi yang sangat luas, inferensi
berdasarkan estimator kuadrat-terkecil kira-kira valid di semua sampel kecuali yang kecil.
Lalu, mengapa kita harus khawatir tentang kesalahan yang tidak normal?
Meskipun validitas estimasi kuadrat terkecil kuat, tingkat pengujian dan cakupan interval
kepercayaan kira-kira benar dalam sampel besar bahkan ketika asumsi normalitas
dilanggar, efisiensi kuadrat terkecil tidak kuat: Teori statistik meyakinkan kita bahwa yang
terkecil Penaksir -kuadrat adalah penaksir tak bias yang paling efisien hanya jika galatnya
normal. Untuk beberapa jenis distribusi kesalahan, bagaimanapun, terutama yang memiliki
ekor berat, efisiensi estimasi kuadrat-terkecil menurun secara nyata. Dalam kasus ini,
estimator kuadrat-terkecil menjadi jauh lebih tidak efisien daripada estimator yang kuat
(atau kuadrat-terkecil yang ditambah dengan diagnostik). Untuk sebagian besar, distribusi
kesalahan berekor berat bermasalah karena memunculkan outlier, masalah yang saya
bahas di bab sebelumnya.

Pembenaran estimasi kuadrat-terkecil yang sering dikutip teorema Gauss-Markov

menyatakan bahwa koefisien kuadrat-terkecil adalah estimator tak bias paling efisien yang
merupakan fungsi linear dari pengamatan Y. Hasil ini bergantung pada asumsi linearitas,
varian kesalahan konstan , dan independensi tetapi tidak memerlukan asumsi normalitas.
Meskipun pembatasan untuk estimator linier menghasilkan formula sederhana untuk
kesalahan standar koefisien, itu tidak menarik mengingat kerentanan kuadrat terkecil
terhadap distribusi kesalahan berekor berat.
Distribusi kesalahan yang sangat miring, selain dari kecenderungannya untuk
menghasilkan outlier diarah kemiringan, berkompromi dengan interpretasi kesesuaian
kuadrat terkecil. Kesesuaian ini adalah rata-rata bersyarat (dari Y diberi Xs), dan rata-rata
tersebut bukan ukuran yang baik dari pusat distribusi yang sangat miring. Konsekuensinya,
kita mungkin lebih suka mengubah respons untuk menghasilkan distribusi kesalahan yang
simetris.

B. Ragam Galat Tidak Konstan

Salah satu asumsi model regresi adalah bahwa ragam dari variabel respon disekitar
permukaan regresi (Ragam error) dimana-mana sama:
𝑉(𝜀) = 𝑉(𝑌|𝑥1 , … , 𝑥𝑘 ) = 𝜎𝜀2
Varians galat bersifat konstan biasanya disebut Homoskedastisitas, sedangkan untuk
varians galat bersifat tidak konstan biasanya disebut Heteroskedastisitas. Jika setelah
dilakukan uji diketahui terjadi heteroskedastisitas, maka akan menyebakan efisiensi model
dan kekakuratan model akan terganggu dan tidak terpenuhinya uji asumsi klasik. Untuk
itu agar tidak terjadi hal tersebut diperlukannya pendeteksian heteroskedastisitas atau
 perlunya dipenuhi uji asumsi homoskedastisitas, berikut cara yang dapat dilakukan untuk
mendeteksi ragam galat tidak konstan.
• Residual Plots (membuat grafik plot sebaran error terhadap fitted values)
• Estimasi Kuadrat Terkecil Tertimbang (Weighted-Least-Squares Estimation)
• Memperbaiki Kesalahan Standar OLS untuk Ragam Tidak Konstan

C. Ketidaklinearan
Nonlinearity dalam analisis regresi merujuk pada situasi di mana hubungan antara
variabel independen (X) dan variabel dependen (Y) tidak dapat dijelaskan dengan
model regresi linear. Artinya, model regresi linear tidak mampu menggambarkan
hubungan antara X dan Y dengan baik.
Nonlinearity dapat terjadi dalam beberapa bentuk. Salah satu bentuk yang umum
adalah hubungan kuadratik antara X dan Y, di mana hubungan antara X dan Y
membentuk sebuah kurva U atau terbalik U. Dalam hal ini, penggunaan model regresi
linear sederhana dengan persamaan Y = a + bX mungkin tidak mampu menggambarkan
hubungan yang sebenarnya antara X dan Y, dan dapat menghasilkan estimasi yang tidak
akurat.
Selain itu, nonlinearity juga dapat terjadi ketika ada interaksi antara dua variabel
independen atau lebih dalam model. Interaksi dapat terjadi ketika efek variabel
independen pada variabel dependen berubah bergantung pada nilai variabel independen
lainnya. Dalam hal ini, model regresi linear juga tidak dapat menggambarkan hubungan
yang sebenarnya antara variabel independen dan variabel dependen.
Pada kasus nonlinearity, model regresi linear sederhana tidak dapat digunakan.
Sebagai alternatif, metode yang lebih kompleks seperti regresi nonlinear dapat
digunakan untuk memodelkan hubungan antara X dan Y yang tidak linear. Regresi
nonlinear melibatkan menggunakan persamaan matematis yang lebih kompleks untuk
menggambarkan hubungan antara variabel independen dan variabel dependen.
Namun, perlu diingat bahwa regresi nonlinear juga membutuhkan lebih banyak
data dan memiliki parameter yang lebih banyak dibandingkan dengan model regresi
linear. Oleh karena itu, sebelum menggunakan regresi nonlinear, perlu dilakukan
evaluasi terlebih dahulu untuk memastikan bahwa hubungan antara variabel
independen dan variabel dependen memang nonlinier.
• Plot Komponen-Plus-Sisa
Meskipun berguna dalam regresi berganda untuk memplot Y terhadap setiap X,
plot ini sering tidak menampilkan keseluruhan isinya dan bias mendapatkan asumsi
yang tidak benar. Karena fokusnya lebih berpusat pada hubungan parsial antara Y dan
setiap X (''mengendalikan''
untuk X lainnya), bukan pada hubungan marjinal antara Y dan X individu
(''mengabaikan''X lainnya). Sehingga, plot berbasis residu lebih dapat untuk mendeteksi
nonlinier dalam regresi berganda.
D. Kolinearitas
Korelasi antara variabel prediktor direpresentasikan dalam model regresi sebagai
hubungan linier. Ketika variabel prediktor dalam model regresi berkorelasi, mereka tidak
dapat secara independen memprediksi nilai variabel dependen. Dengan kata lain,
beberapa variasi dalam variabel dependen mengurangi signifikansi statistiknya.
Kolinearitas menjadi perhatian dalam analisis regresi ketika ada korelasi atau
hubungan tingkat tinggi antara dua prediktor potensial, ketika nilai-p dari satu prediktor
meningkat (yaitu, tingkat signifikansi menurun) sementara yang lain meningkat. Dalam
model regresi, atau saat menentukan faktor inflasi varian tinggi. Faktor varians yang
dinaikkan memberikan ukuran tingkat kolinearitas, sehingga faktor inflasi varians 1 atau
2 pada dasarnya menunjukkan tidak ada kolinearitas, dan ukuran 20 atau lebih tinggi
menunjukkan kolinearitas ekstrim.
Multikolinearitas memiliki sejumlah efek yang berpotensi serius pada estimasi
kuadrat terkecil dari koefisien regresi. Beberapa dari efek ini dapat dengan mudah
didemonstrasikan. Misalkan ada dua variabel regresi 𝑥1 𝑑𝑎𝑛 𝑥2 . Model dengan asumsi
bahwa 𝑥1, 𝑥2 𝑑𝑎𝑛 𝑦 diskalakan ke satuan panjang adalah

𝑦 = 𝛽1 𝑋1 + 𝛽2 𝑋2 + 𝜀
Dan persamaan normal kuadrat terkecil adalah
(𝑋 ′ 𝑋)𝛽 = 𝑋′𝑦
1 𝑟12 𝛽1 𝑟1𝑦
[ ] [ ] = [𝑟 ]
𝑟12 1 𝛽2 2𝑦

Dimana r adalah kolerasi sederhana antara 𝑋1 dan 𝑋2 dan 𝑟𝑗𝑦 adalah kolerasi
sedehana antara 𝑋𝑗 dan 𝑦, 𝑗 = 1, 2. Sekarang invers dari (X’X) adalah

1 −𝑟12
2 2
1 − 𝑟12 1 − 𝑟12
𝐶 = (𝑋 ′ 𝑋)−1 =
−𝑟 1
2
[1 − 𝑟12 1 − 𝑟12 ]

Dan estimasi koefisien regresi adalah

Jika terdapat multikolinearitas yang kuat antara 𝑋1 dan 𝑋2, maka koefisien korelasi
Penyebab Mulitikolinearitas
 Sebagaimana yang sudah disebutkan, penyebab terjadinya multikolinearitas adalah
adanya korelasi atau hubungan yang kuat antara dua variabel independen atau lebih.
Namun penyebab lain yang secara tidak langsung dapat menyebabkan hal tersebut antara
lain:
1. Penggunaan variabel dummy yang tidak akurat dalam model regresi. Ada risiko
multikolinearitas yang lebih besar jika terdapat lebih dari 1 variabel dummy dalam
model.
2. Ada perhitungan variabel independen berdasarkan variabel independen lainnya
dalam model. Ini dapat dicontohkan sebagai berikut: Dalam model regresi Anda,
Anda memiliki variabel X1, X2 dan produk antara X1 dan X2 (X1*X2). Dalam hal
ini dapat ditentukan bahwa terdapat kolinearitas antara X1 dan X1*X2, dan terdapat
kolinearitas antara X2 dan X1*X2.
3. Ada duplikasi variabel independen dalam model, misalnya: Y = Alpha + Beta1 X1
+ Beta2 X1*5 + Beta3 X3 + e.

Efek Multikolinearitas:
1. Koefisien regresi parsial tidak diukur secara tepat. Oleh karena itu, nilai standard
errornya besar.
2. Perubahan kecil pada data antar sampel akan mengakibatkan perubahan drastis pada
nilai koefisien regresi parsial.
3. Perubahan satu variabel menyebabkan perubahan besar pada nilai koefisien regresi
parsial variabel lainnya.
4. Nilai Confidence Interval besar, sehingga sulit untuk menolak hipotesis nol