Pengenalan terhadap Analisis Regresi

Analisis regresi dalam statistika adalah salah satu metode untuk menentukan hubungan
sebab-akibat antara satu variabel dengan variabel yang lain. Variabel "penyebab" disebut
dengan bermacam-macam istilah: variabel penjelas, variabel eksplanatorik, variabel
independen, atau secara bebas, variabel X. Analisis regresi (regression analysis) merupakan
teknik statistik yang dapat menghasilkan garis yang paling baik yang cocok dengan data
yang sesuai dengan kriteria statistika yang objektif, sehingga semua peneliti yang melihat
data yang sama akan mempunyai hasil yang sama (menghasilkan garis yang sama). Secara
spesifik, garis regresi (regression line) merupakan garis yang dihasilkan dengan
menimbulkan jumlah dari simpangan kuadrat pada sumbu vertikal dari setiap titik dari garis
regresi tersebut. Metode ini kemudian disebut sebagai metode kuadrat terkecil biasa
(ordinary least-aquares~OLS method).

Masalah dalam Analisis Regresi dan Cara Mengatasinya

1. Multikolinearitas
Multikolinearitas adalah kondisi terdapatnya hubungan linier atau korelasi yang tinggi
antara masing-masing variabel independen dalam model regresi. multikolinearitas biasanya
terjadi ketika sebagian besar variabel yang digunakan saling terkait dalam suatu model
regresi. Oleh karena itu masalah multikolinearitas tidak terjadi pada regresi linier sederhana
yang hanya melibatkan satu variabel independen.
Indikasi terdapat masalah multikolinearitas dapat kita lihat dari kasus-kasus sebagai berikut:
1) nilai r2 yang tinggi (signifikan), namun nilai standar error dan tingkat signifikansi
masing-masing variabel sangat rendah.
2) perubahan kecil sekalipun pada data akan menyebabkan perubahan signifikan pada
variabel yang diamati.
3) nilai koefisien variabel tidak sesuai dengan hipotesis, misalnya variabel yang
seharusnya memiliki pengaruh positif (nilai koefisien positif), ditunjukkan dengan nilai
negatif.
Memang belum ada kriteria yang jelas dalam mendeteksi masalah multikolinearitas dalam
model regresi linier. selain itu hubungan korelasi yang tinggi belum tentu berimplikasi
terhadap masalah multikolinearitas. Tetapi kita dapat melihat indikasi multikolinearitas
dengan tolerance value (tol), eigenvalue, dan yang paling umum digunakan adalah varians
inflation factor (vif). hingga saat ini tidak ada kriteria formal untuk menentukan batas
terendah dari nilai toleransi atau vif. Beberapa ahli berpendapat bahwa nilai toleransi kurang
dari 1 atau vif lebih besar dari 10 menunjukkan multikolinearitas signifikan, sementara itu
para ahli lainnya menegaskan bahwa besarnya r2 model dianggap mengindikasikan adanya
multikolinearitas. Klein (1962) menunjukkan bahwa, jika vif lebih besar dari 1/(1 – r2) atau
nilai toleransi kurang dari (1 – r2), maka multikolinearitas dapat dianggap signifikan secara
statistik. Dalam regresi linear salah satu yang harus dipenuhi agar taksiran parameter dalam
model tersebut bersifat blue (best, linear, unbiased, and estimator) adalah var (ui) = σ2
 mempunyai variasi yang sama. pada kasus-kasus tertentu terjadi variasi ui tidak konstan atau
variabel berubah-ubah. untuk mendeteksi heteroskedastisitas dapat dilakukan pengujian
dengan metode grafik. Dengan pengujian ini dapat dideteksi apakah kesalahan pengganggu
dari model yang diamati tidak memiliki varians yang konstan dari satu observasi ke
observasi lainnya. dengan metode grafik, hasilnya dapat menunjukkan ada tidaknya pola-
pola tertentu yang terbentuk seperti bergelombang, melebar kemudian menyempit serta titik-
titik menyebar di atas dan di bawah angka 0 (nol) pada sumbu y.

Multikolinearitas muncul jika terdapat hubungan yang sempurna atau pasti di antara
beberapa variabel atau semua variabel independen dalam model. Pada kasus
multikolinearitas yang serius, koefisien regresi tidak lagi menunjukkan pengaruh murni dari
variabel independen dalam model. Terdapat beberapa metode untuk mendeteksi keberadaan
multikolinearitas (gujarati,1995;ramanathan,1995).

Untuk mendeteksi multikolinearitas digunakan pengukuran terhadap nilai vif (variable

inflation factor) dan nilai tolerance.
berikut ini langkah-langkahnya:
a) regres model lengkap untuk mendapatkan nilai r2 y = f (x1 ....... x7)
b) regres masing-masing variabel independen terhadap seluruh variabel independen
lainnya, dapatkan nilai r2. Regres ini disebut auxiliary regression. xi = f (xj)
c) jika terdapat ri2>r2 berarti terdapat masalah multikolinearitas yang serius.
2. Heteroskedastisitas
Masalah dalam estimasi selanjutnya adalah heterokedastisitas. Asumsi regresi klasik
memiliki ketentuan bahwa dalam regresi atau estimasi diharuskan terjadi kondisi
Homokedastisitas. Heterokedastisitas merupakan masalah dimana data sampel yang
diestimasi tak sama dengan nilai dari rata-rata kondisional atau conditional mean. Secara
geometris atau kurva, heterokedastisitas ditunjukkan melalui jarak antara data sampel
dengan conditional mean, data sampel diinterpretasikan melalui plot atau titik hitam dan
conditional mean ditunjukkan pada titik pada sepanjang fungsi regresi.
 Jarak antara data sampel atau data populasi dengan nilai estimasi diinterpretasikan melalui
nilai varians sampel atau varians populasi atau varians atas noise dinotasikan sebagai ui.
Makin tinggi nilai varians, makin jauh jaraknya. Implikasi dari heterokedastisitas adalah
terletak pada tidak dapat memvalidasi hipotesis atau model yang dibentuk untuk menjadi
sebuah teori.

3. Autokorelasi
Autokorelasi adalah korelasi antara anggota serangkaian observasi yang diurutkan
menurut waktu seperti data deret waktu atau ruang seperti data cross-section. Untuk
mengetahui autokorelasi digunakan uji durbin-watson (dw-test). adanya autokorelasi dalam
regresi dapat diketahui dengan menggunakan beberapa cara antara lain metode grafik dan uji
durbin-watson.
Langkah-langkah uji durbin-watson adalah sebagai berikut (gujarati, 1999):
1) regres model lengkap untuk mendapatkan nilai residual.
2) hitung d (durbin-watson statistik) dengan rumus: (hasan, 1999)
3) hasil rumus tersebut yaitu nilai d kemudian dibandingkan dengan nilai d tabel
durbin- watson.
4. Variabelitas
Asumsi variabilitas adalah nilai dari X atau data dari sampel yang akan diestimasi atau di-
regres harus tidak boleh sama. Masalah variabilitas muncul jika saja hampir semua data
sampel yang di-regres identik dan sama dengan nilai rata-ratanya. Misalkan, nilai data ke-91
X 91 sama dengan nilai reratanya, X atau X 91= X , maka jelas nilai variansi dari data ke-91
sama dengan nol. Selanjutnya, misalkan nilai data dari sampel semuanya identik dan bahkan
sama dengan nilai rata-ratanya, implikasinya adalah estimasi atau regresi atas nilai koefisien
parameter. Tinjau kembali pemilihan variabel dan pertimbangkan untuk menambahkan
variabel yang mungkin relevan. Gunakan pengetahuan domain untuk memastikan model
mencerminkan hubungan yang sebenarnya.