Model Regresi Linear

Model regresi merupakan suatu metode yang digunakan untuk

menganalisis hubungan antar variabel. Hubungan tersebut dapat
diekspresikan dalam bentuk persamaan yang menghubungkan veriabel
terikat X dan variabel bebas Y. Analisis regresi merupakan analisis
statistika yang digunakan untuk mengetahui hubungan antara variabel
dependen dengan variabel independen. Apabila hanya terdapat satu
variabel dependen dan satu variabel independen disebut analisis regresi
sederhana, sedangkan apabila terdapat beberapa variabel independen
disebut analisis regresi ganda.

A) Model Regresi Linear Sederhana

Dalam perkembangannya ada dua jenis regresi yang sangat
terkenal, yaitu regresi linear sederhana dan regresi linera berganda.
Regresi linear sederhana dapat digunakan untuk menggambarkan
hubungan antara satu peubah bebas (X) dan peubah tak bebas (Y) dalam
bentuk persamaan linear sederhana yang dapat dituliskan dalam bentuk
sebagai berikut :
Y=

0+ 1 X 1 +

Denagn

(1)

= error

B) Model Regresi Linear Berganda

Model regresi linear sederhana merupakan perluasan dari model
regresi linear sederhana. Dengan memperluas model regresi linear dua
atau tiga variabel, maka model regresi dengan variabel terikat Y dan k
variabel bebas

X1 , X2 , X3, X k

dapat dituliskan sebagai berikut :

Y i= 0 + B1 X 1i + B2 X 2 i+ + Bk X xi+ u

Dimana i = 1, 2, ... , n dan u

(2)
N(0,

Dengan :
0=
1

berpotongan

= koefisien kemiringan parsial ke-1

k = koefien kemiringan parsiak ke-k

Model taksiran untuk persamaan (2) adalah sebagai berikut :
Y^i= ^ 0 + ^ 1 X 1i + ^ 2 X 2 i + ^k X ki+

(3)

Dengan :
^ 0=
taksiran dari

^ 1=
taksiran dari

^ k =
taksiran dari

= taksiran dari u

n = jumlah observasi
Persamaan (3) diatas adalah bentuk ringkas dari sekumpulan n persamaan
simultan sebagai berikut :
Y 1= 0 +B 1 X 11 +B 2 X 21++ B k X k1 + 1
Y 2= 0 + B1 X 12+ B2 X 22+ +B k X k 2+ 2
................

..............................................................

Y n= 0 + B1 X 21+ B2 X 2 n ++ Bk X kn + n

(4)

Persamaan-persamaan 3 diatas dapat disusun matriks sebagai berikut :

Dengan Y adalah vektor pengamatan berukuran

n 1

X adalah matriks variabel bebas berukuran n k

adalah vektor parameter yang akan ditaksir berukuran

n 1

adalah vektor random error berukuran n 1

i= 1,2,3 .... , n menunjukkan banyaknya pengamatan.

C) Estimasi Parameter Dengan OLS

Untuk membuat penaksiran parameter regresi yang sebenarnya
digunakan metode kuadrat terkecil biasa atau yang biasa disebut dengan
ordinary leats square (OLS).
Y i= ^ 0 + ^ 1 X 1i + ^ 2 X 2 i+ + ^ k X ki + i

(5)

Yang dapat ditulis dalam notasi matriks secara ringkas sebagai berikut :

Y = X ^

(6)
Untuk menaksir parameter model regresi berganda, digunakan
metode kuadrat terkecil biasa. Prosedur kuadrat terkecil biasa dilakukan
dengan memilih nilai parameter yang tidak diketahui sehingga jumlah
kuadrat kesalahan didapat

2i

sekecil mungkin, sehingga dapat

dinyatakan dengan :

2i = (Y i ^ 0 ^ 1 X 1 i ^ 2 X 2i ^ k X ki )2
Dimana

adalah jumlah kuadrat residual (SRR). Dalam notasi matriks, ini

sama dengan meminimumkan '

karena :

Dari persamaan (7) diperoleh :

=Y X ^
(8)
Dan dari persamaan (6) dan (7) diperoleh persamaan:
Y X ^
'
=

(7)

^
)( Y X

 Y ' Y 2 ^ ' X ' Y + ^ ' X ' X ^

Dengan
'

( X ^ ) = ^ ' X '

(9)

menggunskan
dan

sifat-sifat

^ ' X ' Y

transpons

suatu

matriks,

yaitu

adalah suatu skalar atau angka real, sehingga

^
bentuk itu sama dengan transponsnya. Y ' X

Persamaan (8) adalah penyajian secara matriks dari persamaan (6). dalam
notasi metode kuadrat terkecil biasa ercapai dalam menaksir
sehingga

2i

0 , 1 , 2 , , k

sekecil mungkin. Ini tercapai dengan menurunkan persamaan

2.12 secara parsial terhadap

^ 0 , ^ 1 , ^ 2 , , ^ k
dan menyamakan hasil yang

diperoleh dengan nol. Proses ini menghasilkan k persamaan normal teori kuadrat
terkecil, persamaan-persamaan tersebut adalah sebagai berikut :

(10)
Dengan menjumlahkan persamaan

Y i= ^ 0 + ^ 1 X 1i + ^ 2 X 2 i+ + ^ k X ki

untuk seluruh pengamatan n memberikan persamaan pertama pada persamaan (9),

kemudian mengalikannya dengan

X1

pada kedua sisinya dan menjumlahkan

untuk sluruh n, maka menghasilkan persamaan kedua. Begitu juga persamaan

ketiga dalam persamaan (9) mengalihkan kedua sisinya

X2

dan mengalikannya

denga seluruh n dan begitu seterusnya.

Persamaan (9) bsa dibuat dalam bentuk matriks sebagai berikut :

Dalam hal ini

adalah vektor kolom k unsur dari penaksir-penaksir kuadrat

terkecil parameter regresi, atau secara ringkas dapat dinyataka dengan :

( X ' X ) ^=X ' Y

(11)

Persamaan (10) diperoleh dengan menurunkan persamaan (9) terhadap

^
,

maka diperoleh :
( ' )
=2 X ' Y +2 X ' X ^
^
(12)
Kemudian samakan hasi dari persamaan (12) dengan nol sehingga diperoleh :
2 X ' Y +2 X ' X ^
X X ^=X = X Y
'

'

'

=0
(13)

Kaliak persamaan matriks (13) dengan

diperoleh :
X'X

1 X

X'X

X' X

I ^=
X'X

^=
Dimana :

Referensi :

X'X

pada kedua sisinya, maka

Tugas Individu

PEMODELAN STATISTIK
Estimasi Parameter Regresi Linear Dengan OLS
Melalui Bentuk Vektor Dan Matriks

Oleh :
Nama

: Ulnawia

Nim

: H12112002

Prodi Statistik Jurusan Matematika

Fakultas Matematika dan Ilmu Pengetahuan Alam

Universitas Hasanuddin
2015