ANALISIS REGRESI SEDERHANA

Disusun oleh :
Cut Anly Tritama

1305102010057

Fajriani

1305102010040

Friska Utari

1305102010024

Rahmatun Fauza

1305102010051

Risha Muliana

1305102010036

BAB I
PENDAHULUAN
Regresi merupakan suatu alat ukur yang juga dapat digunakan untuk
mengukur ada atau tidaknya korelasi antarvariabel. Jika kita memiliki dua buah
variabel atau lebih maka sudah selayaknya apabila kita ingin mempelajari
bagaimana variabel-variabel itu berhubungan atau dapat diramalkan.
Analisis regersi berguna untuk mendapatkan hubungan fungsional antara dua
variabel atau lebih. Selain itu analisis regersi berguna untuk mendapatkan pengaruh
antar variabel prediktor terhadap variabel kriteriumnya atau meramalkan pengaruh
variabel prediktor terhadap variabel kriteriumnya.
Analisis regresi mempelajari hubungan yang diperoleh dinyatakan dalam
persamaan matematika yang menyatakan hubungan fungsional antara variabelvariabel. Hubungan fungsional antara satu variabel prediktor dengan satu variabel
kriterium disebut analisis regresi sederhana (tunggal), sedangkan hubungan
fungsional yang lebih dari satu variabel disebut analisis regresi ganda.
Istilah regresi (ramalan/taksiran) pertama kali diperkenalkan oleh Sir Francis
Galton pada tahun 1877 sehubungan dengan penelitiannya terhadap tinggi manusia,
yaitu antara tinggi anak dan tinggi orang tuanya. Pada penelitiannya Galton
mendapatkan bahwa tinggi anak dari orang tua yang tinggi cenderung meningkat

atau menurun dari berat rata-rata populasi. Garis yang menunjukkan hubungan
tersebut disebut garis regresi.
Analisis regresi linier sederhana adalah hubungan secara linear antara satu
variabel independen (X) dengan variabel dependen (Y). Analisis ini untuk
mengetahui arah hubungan antara variabel independen dengan variabel dependen
apakah positif atau negatif dan untuk memprediksi nilai dari variabel dependen
apabila nilai variabel independen mengalami kenaikan atau penurunan.. Data yang
digunakan biasanya berskala interval atau rasio.
Rumus regresi linear sederhana sebagi berikut:
Y = a + bX
Keterangan:
Y = Variabel dependen (nilai yang diprediksikan)
X = Variabel independen
a = Konstanta (nilai Y apabila X = 0)
b = Koefisien regresi (nilai peningkatan ataupun penurunan)
BAB II
PEMBAHASAN
Dalam bab ini akan dibahas suatu model regresi linier yang sederhana, yaitu
hubungan antara dua buah variabel yang dinyatakan dalam suatu bentuk fungsi
linier. Terlebih dahulu akan dibahas dua bentuk hubungan yang penting; Stokastik
dan Nir-skokastik, yang akan digunakan dalam metode-metode ekonometri.
2.1. Hubungan Stokastik dan Nir-stokastik
Hubungan antara X dan Y yang berbentuk Y = f(x) dikatakan deterministik
pasti atau nir-stokastik, jika setiap nilai variabel bebas (X) terdapat satu nilai
variabel terikat (Y). Suatu hubungan antara X dan Y dikatakan stokastik, jika suatu
nilai X tertentu terdapat distribusi probabilitas menyeluruh dari nilai Y. Dengan
demikian, dalam kasus stokastik ini, setiap nilai X tertentu, variabel terikat (Y) dapat
memiliki beberapa nilai dengan probabilitas yang tertentu.
Contoh : Permintaan akan suatu barang tertentu, diasumsikan, tergantung pada
harga barang itu saja, dan bentuk fungsinya adalah linier.

q = f(p) = +

Dengan data p dan q tertentu misalnya diperoleh

= 25 dan

= -2,

sehingga persamaan permintaan menjadi :

q = 25 2p
Hubungan antara p dan q diatas menunjukkan setiap nilai p tertentu, misalnya
2 satuan; hanya ada satu nilai q, yaitu = 21 satuan. Jika harga p adalah 5 satuan,
maka jumlah barang yang diminta menjadi 15 satuan, dan seterusnya.
Hubungan diatas disebut hubungan deterministik (nor-stokastik),
karena setiap harga barang hanya ada satu jumlah barang yang diminta atau dijual.
Hubungan pasti (exact) atau hubungan deterministik antara p dan q ini tidak pernah
sesuai dengan dunia nyata.Oleh karena itu, persamaan permintaan ini perlu diubah
menjadi :

q = 25 - 2p + U
Hubungan q = 25 - 2p + U adalah hubungan stokastik karena terdapat variabel

gangguan (U). Dalam hubungan stokastik, nilai variabel bebas (p) yang berbedabeda menimbulkan distribusi probabilitas variabel terikat (q) yang berbeda-beda
pula. Dalam teori ekonomi, semua hubungan dinyatakan dalam bentuk nir-stokastik,
tetapi hal ini tidak sesuai dengan kenyataannya, karena hubungan-hubungan
ekonomi yang nir-stokastik memang tidak pernah ada.
2.2. Model Regresi Linier Sederhana
Bentuk paling sederhana dari hubungan stokastik antara dua variabel X dan Y
disebut model regresi linier.
Yi = + Xi + Ui
( i = 1, ....., n)
Adapun dan adalah parameter-parameter regresi. Subskrip i menunjukkan
pengamatan yang ke-i. Parameter dan ditaksir atas dasar data yang tersedia
untuk variabel X dan Y. Sifat stokastik dari model regresi mengandung arti bahwa
setiap niai X terdapat suatu distribusi probabilitas seluruh nilai Y. Dengan kata lain,
nilai Y tidak dapat diprediksikan secara pasti. Ketidakpastian mengenai nilai Y ini
timbul, karena faktor stokastik U yang memberi sifat random pada Y.
Dengan mengabaikan (untuk sementara) bahwa teori tersebut mungkin tidak
benar, alasan penyisipan faktor U tersebut adalah :
a) Karena kesalahan dalam persamaan.
b) Karena kesalahan dalam pengukuran (Kesalahan dalam variabel).
c) Karena ketidaksempurnaan spesifikasi bentuk matematis model.
d) Karena agregasi.
Jadi, dalam pembuatan model semaksimal mngkin memasukkan variabelvariabel penjelas ke dalam model, sebagai variable-variabel yang terpisah, sedangkan

sisanya diperhitungkan sebagai variabel gangguan random. Penyisipan U ke dalam

model merupakan cara untuk memasukkan variabel yang berpengaruh namun sukar
dipisahkan.
Untuk sebuah model regresi linier sederhana, spesifikasi dikelompokkan
menjadi 5 asumsi dasar atau dikenal dengan Asumsi-asumsi Model Regresi
Linier.
Asumsi 1.

Ui adalah sebuah variabel random riil dan memiliki distribusi normal.

Asumsi 2. Nilai rerata dari Ui setiap periode tertentu adalah nol.

E[Ui] = 0

(i = 1,...., n).

Asumsi 3. Varian dari Ui adalah konstan setiap periode.

E[Ui2] =
Asumsi

ini

dikenal

adalah konstan).

sebagai

asumsi

homoskedastisitas

(homoscedasticity).
Asumsi 4. Faktor gangguan dari pengamatan yang berbeda-beda (Ui, Uj) tidak
tergantung (independent).
E[Ui, Uj] = 0
Asumsi

ini

dikenal

(i j)
sebagai

asumsi

nir-otokorelasi

(nonautocorrelation).
Asumsi 5. Variabel-variabel penjelas/bebas adalah variabel nir-stokastik dan
diukur

tanpa

kesalahan;

Ui

tidak

tergantung

pada

variabel

penjelas/bebas.
E[XiUi] = Xi E[Uj] = 0,

untuk seluruh i, j = 1, ...., n

Kelima asumsi tersebut memainkan peranan penting dalam distribusi sampel

parameter-parameter: dan . Oleh karena itu, asumsi-asumsi tersebut harus
dipahami.
2.3. Penaksiran Parameter-parameter Regresi
Adapun maksud dari penaksiran dan salah satunya adalah metode kuadrat
terkecil (Ordinary Least Squares = OLS) atau sering pula disebut dengan metode
kuadrat terkecil klasik (Classical Least Squares = CLS). Metode ini dikemukakan
oleh Carl Friedrich Gauss, seorang ahli matematik Jerman.
Dari garis regresi sampel Y = + Xi + ei; diperoleh:
ei = Yi ( + Xi)

dan

ei2 = ( Yi ( + Xi)2

Adapun nilai-nilai pada dan yang meminimumkan jumlah kuadrat, didapat

dengan menurunkan secara parsial fungsi kuadrat residual ei2 dan menyamakan
turunan ini dengan nol.
e 2/ = -2(Yi - X )
i
i

= 0

ei2/ = -2Xi(Yi - Xi)

= 0

atau
Yi = n + Xi
XiYi = Xi + Xi
Penaksiran suatu fungsi yang intercept-nya nol
Jika ingin diestimasi garis Y = + X + U dengan syarat = 0. Metode
Lagrange

dapat dipakai untuk menyelesaikan masalah ini dengan tujuan

meminimumkan:
Yi
( X i) 2
n

n
2

e i =
i=1

i=1

dengan syarat : = 0
dimana fungsi gabungannya menjadi : Z = (Yi - + Xi)2 , dimana adalah
pengganda Lagrange (Lagrange multiplier).
2.4. Sifat-sifat Penaksir Kuadrat Terkecil
(a). Linier (Linearity)
Contoh :
= (Xi - X) (Yi- Y)
(Xi - X)2
= Yi(Xi - X) - Y (Xi- X)
(Xi - X)2
sehingga :
= Yi Xi
Xi2

(b). Unbiasedness
Contoh :
= kiYi
= ki ( + Xi + Ui )
= ki + kiXi + kiUi
maka:
kiXi = ki (Xi + X) = Xi2 = 1
Xi2
(c). Varian Minimum dari dan
Harus dibuktikan dan memiliki carian sampel terkecil dibandingkan
dengan penaksir-penaksir linier tidak bias lainnya. Untuk itu, pertama-tama akan
dicari varian dan kemudian dibuktikan bahwa varianya minimum.
Adapun untuk membuktikan bahwa memiliki varian minimum, perlu
dibandingkan dengan varian dengan varian beberapa penaksir (katakanlah *)
yang tidak bias.
Misalkan: * = wiYi ; dimana konstanta wi ki, tetapi wi = ki + ci
sehingga :
* = wi ( + Xi + Ui )
= wi ( + wi Xi + wi Ui )
dan
= wi + wi Xi

{karena E[Ui] = 0}

Adapun penaksir-penaksir yang memnuhi syarat BLU (Best, Linear, Unbiased)

sangatlah penting baagi penaksir-penaksir OLS (ordinary Least Square). Berikut ini
adalah penejelasannya.
Pentingnya Sifat BLU
(a). Linier

Sifat

perhitungan
(b). Unbiasedness

ini

dibutuhkan

untuk

memudahkan

dalam penaksiran.

Bila jumlah sampel sangat besar, penaksir

parameter

diperoleh dari sampel besar kira-kira lebih

mendekati nilai parameter sebenarnya.

(c). Best

Pentingnya sifat ini kelihatan bila diterapkan

dalam uji signifikansi baku (standard) terhadap dan ,

serta membuat interval keyakinan taksiran-taksiran.
2.5. Penaksir Maximum Likehood ( Maximum Likehood Estimator)
Ada dua hal penting yang diamati dari hasil penurunan (derivasi) subbab 3 dan
4, yaitu:
a.) Untuk membuktikan sifat BLU penaksir kuadrat terkecil, tidak semua asumsi
klasik dipergunakan. Misalnya, untuk membuktikan sifat linieritas diperlukan
asumsi kovarian antara faktor gangguan dan variabel bebas E[X iUj] = 0.
Devirasi dari parameter dan sifat varian minimum tergantung pada asumsiasumsi yang berkaitan dengan sifat homoskedastisitas dan nir-otoregresif dari
faktor-faktor gangguan {E[Ui2] =

dan E[XiUj] = 0}.

b.) Untuk membuktikan sifat-sifat BLU tidak perlu dibuat asumsi bentuk spesifik
dari distribusi faktor-faktor gangguan. Kenyataannya asumsi normalitas dari
U tidak diperlukan untuk membuktikan dan sebagai BLUE (Best Linier
Unbiased Estimator).
2.6. Distribusi Sampel Penaksir Kuadrat Terkecil
Karena penaksir-penaksir kuadrat terkecil merupakan kombinasi linier
variabel-variabel normal Y1, Y2, Y3, ...... Yn tidak saling tergantung, maka dan juga
berdistribusi normal, dengan sifat-sifat sebagai berikut :
(i)

dan adalah penaksir-penaksir yang tidak bias, yaitu rerata masing-masing

sama dengan nilai dan yang sebenarnya,

(ii)

Varian dari setiap penaksir, diketahui.

2.7. Interval Keyakinan dan Uji Hipotesis

Penyusunan interval keyakinan penting untuk memperoleh ketepatan dan .
Untuk itu, semua informasi yang berhubungan dengan distribusi dan sudah
dibahas. Dalam hal ini,
Z =

dan

Z =

1
xi

xi
n xi
2

dimana Z ~ N(0,1)
adalah varian dari faktor gangguan yang tak teramati dan yang tiak diketahui.
Jika penaksir yang tidak bias dari

didistribusikan ke dalam variabel normal

standar Z, maka variabel yang dihasilkan adalah :

Z

n2

) ~ t dengan derajat bebas (n-2).

V

Dalam kasus , maka :

n xi

Z=

ei
2

( n2 ) 2
2

sehingga

n xi

t =

n xi

t =

. n2

n n2

Jadi, dengan mengubah bentuk variabel Z menjadi variabel t, varian faktor

gangguan yang tidak diketahui (

) tidak muucul dalam rumus. Sehingga

diperoleh formula untuk pengujian yang hanya tergantung pada pengamatanpengamatan sampel dan nilai hipotesis dari .
Dengan menyusun kembali persamaan diatas, diperoleh :

 xi

=t .

n x i

Oleh karena itu, 95% interval keyakinan untuk adalah ;

t0,025 .

xi

n x i

Dengan cara yang sama, pengujian diatas dilakukan sebagai berikut :

( )

Z=

t=

t=

( ) n xi

Jadi: (

xi

i2

( ) n xi

dan

n2 . 2

n n2

. n2

=t

xi

yang memberikan 95% interval keyakinan untuk

Variabel t yang diperoleh dari (5.23) dan (5.24) penting artinya dalam uji
hipotesis yang berkaitan dengan parameter regresi. Salah satu hipotesis yang
menarik adalah hipotesis tentang tidak adanya hubungan antara variabel bebas X
dan variabel terikat Y dalam model regresi: Y = + X. Dengan kata lain, garis
regresi populasi berupa garis horizontal. Dengan demikian, hipotesis nol mengenai
tidak adanya hubungan antara X dan Y adalah:
H0 : = 0
dan hipotesis alternatifnya,

Ha : 0

Untuk menguji H0 terhadap Ha, statistik-t sudah ditentukan pada (5.23) dan
(5.24) dapat dipergunakan, disertai penentuan daerah penerimaan dan daerah
kritisnya.
Untuk pengujian dua sisi dengan tingkat signifikasi 5% dan derajat bebas (n-2),
daerah penerimaannya ditentukan dengan:

t
0,025.SE

( ^)

^
+

t
0,025.SE

( ^)

2.8. Goodness of Fit (R2)

Koefisien determinasi (r2) merupakan suatu ukuran yang menyatakan seberapa
baik garis regresi sampel mencocokkan data.
Untuk menghitung r2 dalam bentuk simpangan: yi = i = ei
Jika dikuadratkan pada kedua sisis dan menjumlahkan untuk semua sampel,
diperoleh:
yi2 = i2 + ei2 + 2 iei
= i2 + ei2
= 12 xi2 + ei2
Total variansi Y sebenarnya di sekitar rata-rata sampelnya disebut jumlah
kuadrat total (total sum of squares / TSS) yaitu: yi2 = (Yi i2).
Hubungan ini menunjukkan bahwa total variasi dalam nilai Y yang diobservasi
di sekitar nilai rata-ratanya dapat dipisahkan ke dalam dua bagian. Sebagian yang
diakibatkan oleh garis regresi dan bagian lain diakibatkan oleh kekuatan random
karena tidak semua pengamatan Y yang sebenarnya terletak pada garis yang
dicocokkan.
(Yi i) 2 menunjukkan jumlah kuadrat total perbedaan (deviasi) Y i dari Y,
yaitu ukuran dari total perubahan (variasi) Y. Total variasi dibagi menjadi dua
bagian, yaitu :
a). 2 xi2

: variasi Y yang dapat diterangkan oleh variasi X (Explained Sum of

Squares).

b). ei2

:mewakili variasi Y yang tidak bisa dijelaskan oleh variasi X

(Unexplained Sum of Squares).

Rincian total variasi Y ini menunjukkan suatu derajat ketepatan Koefisien

Determinasi (Goodness of Fit) dengan simbol R2. Berikut ini adalah rumusnya :

R2 =

Variasi yang bisa dijelaskan

Variasi yang bisa ingin djelaskan

2.9. Pelaporan Hasil-hasil Analisi Regresi

Dalam praktek, koefisien- koefisien regresi bersama dengan kesalahan standar
(standard errors) dan nilai R2 harus dilaporkan. Sudah menjadi kebiasaan
menyajikan persamaan hasil taksiran dengan menempatkan kesalahan standar,
dalam kurung dibawah masing-masing nilai taksiran parameter. Kemudian
melengkapinya dengan pencantuman nilai R2 di sebelah kanan persamaan regresi
tersebut.
Berikut ini adalah contoh pelaporannya :
i = 92,95 + 5,54 Xi

R2 = 0,934

(4,39) (0,347)
2.10. Aplikasi (Penerapan)
Contoh 1:
Tentukan hasil-hasil regresi dari data 20 pasang pengamatan atas X (variabel
bebas) dan Y (variabel terikat) berikut ini :
Xi = 228, Xi = 3121, XiYi = 38927, Xi2 = 3204,
xiyi = 3347,60, xi2 = 604,80, dan yi = 19837.
Jawaban:
(i)

Penaksiran ^

dan

X = 11,4
Xi = 3121; n = 20; seningga Y = 156,05
^ 347,6
Dari (5.5) diperoleh = 604,8 = 5,54
Xi = 228; n = 20; sehingga

Dengan (5.3), ^ = 156,05 - (5,54)(11,40) = 92,95

Maka hasil taksiran garis regresi adalah:
Y^

= 92,95 + 5,54 Xi

(ii)

Panaksiran varian
Dari (5.12) dan (5.13), diperoleh:
X 2i
^

^
2 (
Var (
) = X 2 ) dan Var ( )
i

2
X 2i

Oleh karena itu 2 tidak diketahui, maka dapat disubstitusikan

penaksir yang tidak bias bagi varian faktor gangguan ke dalam persamaan
diatas, sehingga:
Var ( ^ ) =

Dimana,

e2i
n2

yi ^ X i
n2
2

2 X 2i
n X 2i

1274,72
18

^
dan Var (

2
X 2i

19837(5,54)2(604,8)
202

= 70,82

Sehingga:
3204
[
]

^
Var (
) = 70,82 ( 20 ) (604,8) = 19,25

SE( ^ ) = 4,38

dan
70,82

^
Var ( ) = 604,8 = 0,117

(iii)

^
SE ( ) = 0,34

Penetapan Interval Keyakinan

Misalnya, kita ingin ditetapkan suatu interval keyakinan (confidence) interval

dan pada tingkat probabilitas p = 0,95. Dengan kata lain, ingin diperoleh nilai t
yang membatasi 0,025 area dikedua sisi distribusi. Derajat bebas = 18, lihat baris ke18 dan kolom dengan tanda *0.025* pada tabel-t. Nilai pada koordinat adalah 2,101.
Oleh karena itu, 95% interval keyakinan untuk dan adalah:
92,95 (2,101)(4,38) 92,95 + (2,101)(4,38)
83,75 102,15

dan:

5,54 (2,101)(0,34) 5,54 + (2,101)(0,34)

4,38 6,25

(iv)

Pengujian Hipotesis
Diketahui

H0 : = 0

dan

Ha : 0

Di atas telah ditentukan daerah penerimaan pada tingkat signifikasi 5% sebagai:

t
0,025[SE

( ^) ]

^ +

t
0,025[SE

( ^) ]

Atau:

^
SE( ^ )

t
0,025

^
SE( ^ ) + t0,025

5,54
0,34

16,29;

t
0,025(n-18)

= 2,101

Oleh karena nilai 16,29 terletak di luar daerah permintaan, maka hipotesis yang
menyatakan tidak ada hubungan anatara X dan Y, yakni H0, ditolak.