REGRESI LINIER SEDERHANA

( RLS )
Tujuan Instruksonal Khusus (TIK) :
para mahasiswa diharapkan dapat:
1. Menjelaskan sumber galat (error)
2. Menjelaskan kembali seluruh asumsi dalam
analisis regresi linear sederhana.
3. Melakukan penaksiran parameter
4. Menjelaskan RSS, SSReg dan SYY
5. Membaca tabel ANOVA
6. Menguji ada tidaknya hubungan antara
respons Y dan prediktor X
7. Menjelaskan dan menghitung R2
8. Menggunakan prosedur-prosedur dalam SAS
untuk analisis RLS.
9. Menguji lack of fit
10. Melakukan transformasi
Analisis regresi linear adalah suatu
metode analisis statistik yang
menggunakan model matematika tertentu
yang terdiri atas beberapa buah asumsi.
Secara teori, jelas bahwa hasil analisis
regresi linear akan mempunyai nilai (valid)
hanya jika seluruh asumsi yang digunakan
dapat diterima. Oleh karena itu seluruh
asumsi yang digunakan harus diuji (atau
dites) keabsahannya untuk menguji
validitas model.
Pola kerja dalam analisis regresi linear
sederhana adalah sebagai berikut.

Prosedur
Penaksiran

Data, Interferensi
Perumusan Masalah Statistik dan
dan Model Kesimpulan Sementara

Diagnosa & terapi

Terhadap Model
1. Sumber Galat (error)
Misalkan nilai suatu variabel X diduga
mempengaruhi nilai variabel Y dan
perubahan nilai X digunakan menduga
perubahan nilai Y. Dalam hal ini X
dinamakan prediktor dan Y disebut
respons. Terkadang, untuk mudahnya,
orang menyebut X dan Y berturut-turut
dengan variabel bebas dan variabel tak
bebas.
Apabila benar X mempengaruhi Y,
maka sangat wajar sekali bila kita
bertanya: “Bagaimanakah hubungan
antara X dan Y ?”. Secara teori,
hubungan antara X dan Y tidak akan
pernah dapat kita ketahui secara
eksak. Jadi, hubungan itu hanya
dapat dituliskan sebagai berikut :

Y  f (X)
Bentuk fungsi f tidak diketahui, dalam
regresi linear sederhana, bentuk fungsi
f adalah persamaan garis lurus (jika
setelah dianalisis ternyata pendekatan
ini kurang cocok, maka perlu dilakukan
modifikasi atau digunakan pendekatan
oleh bentuk persamaan yang lain).

f ( x )  0   1 X i   i
dengan i menyatakan galat (error) pada
observasi ke-i, yang disebabkan karena
kekurang cocok-kan (lack of fit) apabila
observasi/pengamatan kecil sebaliknya
apabila observasi/pengamatan yang
besar maka nilai i = 0, sehingga
penggunaan model bentuk hubungan
menjadi :
f ( x )  0  1 X i
Dimana fungsi f(x) = Y
Dari uraian di atas, maka dalam regresi linear
sederhana bentuk hubungan antara X dan Y
dirumuskan :
f ( x )  0  1 X i   i atau
Y   0  1 X i   i
Setelah dilakukan analisa dengan dengan
data sampel, maka rumus regresi linier
sederhana adalah :

Ŷ  b0  b1 X i  ei atau Ŷ  b0  b1 X i
2. Asumsi-asumsi dalam Regresi Linear
Sederhana (RLS)
Model yang digunakan dalam analisis
regresi linear sederhana terdiri atas 6
(enam) asumsi sebagai berikut.
Asumsi 1. X berpengaruh terhadap Y.
Asumsi 2. Y  0  1 X i   i untuk setiap i = 1, 2, .
. . , n.
Asumsi 3. Nilai harapan dari i adalah 0, atau
E(i) = 0 untuk setiap i = 1, 2, . . . , n.
Asumsi 4. Variansi (Ragam) dari i berharga
sama, artinya konstan, atau Var(i) =
2 untuk setiap i = 1, 2, . . . , n.
 Asumsi 5. Distribusi dari i adalah normal untuk
setiap i = 1, 2, .
. . , n.
Asumsi 6. 1, 2 , . . . , n independen atau saling
bebas.
Catatan: Asumsi 3 sampai dengan 6
diperlukan untuk melakukan penaksiran
parameter 0 , 1 dan 2 serta
pengujian hipotesis.
Analisis dan validitas model regresi linear sederhana
terdiri atas 5 (lima) tahap berikut.
1. Dengan asumsi tak ada lack of fit, laksanakanlah :
a. Penaksiran parameter 0, 1 dan 2.
b. Pengujian Asumsi 1.
2. Menguji tak ada lack of fit, artinya menguji asumsi 2.
3. Melakukan diagnosa (dalam kuliah ini yang akan
didiagnosa hanyalah ada/tidaknya outlier).
4. Menguji Asumsi 4, Asumsi 5, dan Asumsi 6 (dalam
kuliah ini tidak akan dibahas).
5. Memodifikasi model, jika diperlukan (dalam kuliah ini
hanya akan dibahas cara melakukan transformasi).
Catatan: Cara penaksiran dengan metode kuadrat
terkecil (least square) akan menjamin kesahihan
Asumsi 3
3. Penaksiran Parameter
Dengan asumsi tak ada lack of fit, pada bagian
ini akan dilaksanakan Tahap 1 yang meliputi:
a. Penaksiran parameter 0 , 1 dan 2.
b. Pengujian Asumsi 1.
a. Penaksiran parameter
Dalam Regresi Linier Sederhana (RLS) ini ada
tiga parameter yang akan dibahas cara
penaksirannya. Ketiga parameter itu adalah 0, 1
dan 2. Pembahasan tentang penaksiran
parameter kita bagi dua:
1. Penaksiran parameter 0 dan 1 .
2. Penaksiran parameter 2.
1. Penaksiran parameter 0 dan 1
Kriteria yang akan digunakan untuk menaksir
0 dan 1 adalah kriteria metode kuadrat
terkecil atau least square methode agar
terbebas dari asumsi-asumsi tentang galat
acak i, yakni Asumsi 3 hingga 6. Berdasarkan
kriteria ini, 0 dan 1 ditaksir dengan cara
meminimumkan jumlah kuadrat galat, atau
n
minimumkan ε
i1
2
i
Asumsi 2 ketahui bahwa Yi  β 0  β1X i  ε i atau
ε i  Yi  β 0  β1X i
,untuk setiap i = 1, 2, . . . , n. Karena Yi dan
Xi diketahui harganya dari data, maka merupakan
fungsi dari dua variabel 20 dan 1. Dengan
g(β 0 ,β1 )  (Yi  β 0  β1X i )
mendefinisikan fungsi
maka 0 dan 1 ditaksir
dengan cara, Minimumkan g(β0, β1)2
karena fungsi g(β0, β1) adalah fungsi kuadrat, maka
diperoleh dengan cara melakukan turunan parsial
pertama g(β0, β1) terhadap 0 dan terhadap 1
disamakan dengan nol. Jika β̂ 0
dan β̂1
menyatakan
β̂ 0
taksiran untuk 0 dan 1, maka dan adalah
β̂1
pemecahan dari sistem persamaan berikut

g(βˆ 0 ,βˆ 1 ) g(βˆ 0 ,βˆ 1 )

0 dan 0
β 0 β1
Kedua persamaan ini memberikan sistem
persamaan normal sebagai berikut
n n
n.βˆ 0  βˆ 1  X i   Yi
i=1 i=1
n n n
βˆ 0  X i  βˆ 1  X i2   Yi Xi
i=1 i=1 i=1
Sistem persamaan diatas biasa disebut Persamaan
Normal. Nah, persamaan normal ini memberikan
harga β̂1 dan β̂ 0 sebagai berikut

ˆβ  Y  βˆ X
0 1

dan
n

 (X i  X)  (Yi  Y)
β̂1  i=1
n

 (X
i=1
i  X)
Setelah harga β̂1 diperoleh, maka harga β̂ 0 mudah
dihitung. Sedangkan perhitungan harga β̂1 dapat
disederhanakan dengan menuliskan (coba selidiki
sendiri !)
n n

 (X
i=1
i  X)  (Yi  Y)   Yi Xi  nXY
i=1
n n

 (X
i=1
i  X)   X  n(X)
i=1
2
i
2

YX 1 1  n.Y.X
Sehingga β̂1  i=1
n

X
i=1
2
i  n.(X) 2
2. Penaksiran parameter 2
Dalam pembahasan selanjutnya, untuk
menyederhanakan penulisan, kita gunakan
lambang berikut
n n
SXY    Xi  X  Yi  Y    Yi Xi  n.XY
i 1 i 1
n n
2 2
SXX    Xi  X    Xi  n.X 2
i 1 i 1
n 2 n
SYY   Yi  Y     Yi 2
 n.Y
2

i 1 i 1
 n 2
ˆ
RSS   Yi  Y 
i 
i 1

Dimana :
SYX = Jumlah Perkalian Y dan X
SXX = Jumlah Kuadrat X
SYY = Jumlah Kuadrat Y
RSS = Residual Sum of Square (Jumlah kuadrat
sisa/galat
Dalam mata kuliah/kuliah selanjutnya tentang
analisis regresi akan dipelajari bahwa taksiran
bagi variansi 2 adalah

2 RSS
ˆ
 
(n  2)
b. Pengujian Asumsi 1 bahwa X
berpengaruh terhadap Y
Dalam setiap pengujian secara statistik,
diperlukan dua hal :
1. Hipotesis nol H0 dan alternatif H1 .
2. Statistik penguji beserta distribusinya
Di bawah ini akan dikembangkan cara
membentuk H0 dan H1 serta cara membangun
statistik penguji beserta distribusinya
a. Bentuk H0 dan H1
Perhatikan lagi bentuk hubungan antara X dan
Y berikut ini :

Yi  0  1Xi  i
Berdasarkan bentuk hubungan ini, ada/tidaknya
pengaruh X terhadap Y tergantung dari besar/
kecilnya harga 1. Jika 1 = 0, maka jelas X
tidak berpengaruh terhadap Y. Dalam hal ini,
bentuk hubungan antara X dan Y adalah

Yi  0  i
Oleh karena itu untuk menguji Asumsi 1,
digunakan H0 dan H1 sebgai berikut :

H 0 : Yi  0  i
H1 : Yi  0  1Xi  i
b. Statistik penguji beserta distribusinya
Apakah statistik pengujinya ? perhatikan dengan
seksama apa yang akan terjadi jika H0 benar.
Selanjutnya, jika H1 yang benar
Jika H0 benar, maka harga RSS yang
selanjutnya ditulis RSS(H0) akan sama dengan
SYY. Jadi,

RSS(H 0 )  SYY
Sedangkan jika H1 yang benar yang berarti
Asumsi 1 dapat diterima, maka harga RSS yang
selanjutnya ditulis RSS(H1) akan sama dengan
2
(SXY )
RSS(H1)  SYY 
SXX
Terlihat bahwa RSS(H1)  RSS(H0). Bila
pengaruh X terhadap Y sangat besar, maka ruas
kiri akan jauh lebih kecil ketimbang ruas kanan.
Sebaliknya, jika X tidak berpengaruh atau
pengaruhnya kecil terhadap Y, maka ruas kiri dan
ruas kanan hampir tidak berbeda.
Selisih antara ruas kanan dan ruas kiri disebut
Sum of Square of Regression dan disingkat
SSReg. Jadi besar/kecilnya harga
2
(SXY )
SSRe g  RSS(H 0 )  RSS(H1 ) 
SXX
menyatakan besar/kecilnya pengaruh X
terhadap Y. SSReg memiliki derajat kebebasan
(dk) sebesar,
dk dari SSReg = dk dari RSS(H0) - dk dari RSS(H1)
= (n-1) - (n-2)
= 1
 Berdasarkan uraian di atas, maka cara pengujian
yang sangat komprehensif adalah dengan
menggunakan tabel Analisis ragam atau disingkat
Tabel ANOVA berikut.
Tabel ANOVA
Sumber dk SS MS F
Regresi pada X 1 SSReg MSReg = SSReg/dk MSReg/MSE
Residu (H1) n-2 RSS(H1) MSE = RSS(H1 )/dk
Total n-1 RSS(H0 )
Catatan.
1. Kolom 1 menyatakan sumber-sumber terjadinya
keragaman harga Y
2. Kolom 2 adalah derajat kebebasan pada setiap
sumber keragaman
3. Kolom 3, SS singkatan dari Sum of Square
4. Kolom 4, MS adalah Mean Square yakni kolom 3
dibagi kolom 2
5. Kolom 5, F adalah statistik pengujinya yang sama
dengan baris 1 kolom 4 dibagi baris 2 pada
kolom yang sama.
Sedangkan statistik penguji yang digunakan
adalah sebagai berikut :

MSRe g
Fhitung 
MSE
Rumus diatas dikenal dengan uji F atau uji
distribusi Fisher dengan V1 = (n1 – 1) dan V2 =
(n2 - 2) atau disingkat Fα;(v1,v2) .
Cara pengambilan keputusan

a. Jika harga SSReg besar, berarti harga

(SXY)2/SXX besar, maka harga SXY/SXX̂juga
1
besar. tetapi SXY/SXX sama dengan  . Jadi
H0 ditolak bila harga SSReg atau MSReg besar.
b. Harga SSReg atau MSReg yang besar
mengakibatkan harga RSS(H1) dan MSE
yang kecil. Akibatnya, harga statistik penguji
F akan besar. Jadi H0 ditolak pada tingkat
keberartian atau level of significance , bila F
> Fα;(v1,v2).
Atau cara pengambilan keputusan
Jika Fhitung > Ftabel ; maka tolak H0
Jika Fhitung ≤ Ftabel ; maka terima H0

Akhirnya dapat disimpulkan:

X dikatakan berpengaruh terhadap Y

dengan tingkat keberartian , bila F > Fα;
(v1,v2)
c. Kualitas Hubungan Regresi Linier Sederhana

Dengan persamaan regresi Ŷ  ˆ 0  ˆ 1X dan

telah diuji bahwa X berpengaruh terhadap Y
dengan tingkat keberartian , masalah
berikutnya adalah seberapa baguskah model
yang dinyatakan oleh persamaan regresi itu ?.
Banyak ukuran yang dapat digunakan untuk
mengetahui kualitas model persamaan regresi.
Namun ukuran yang akan dibahas dalam
Regresi Linier Sederhana (RLS) ini adalah
koefisien determinasi R2 (biasa dibaca R-
square). Koefisien determinasi ini didefinisikan
sebagai
 Persentase selisih antara Residual Sum of
Square yang diperoleh tanpa dan dengan
masuknya X dalam model

2 RSS(H 0 )  RSS(H1 )
R  100% atau
RSS(H 0 )

2 RSS(H1 ) SSRe g
R  1  100% atau
SSY SSY
2
R  r  r x r 100%
Besaran R2 ini menyatakan proporsi variabilitas Y
yang diterangkan oleh model H1. Sedangkan
RSS(H1)/SYY adalah proporsi variabilitas Y yang tidak
dapat diterangkan oleh persamaan regresi itu. Jadi
besar/kecilnya harga R2 menyatakan
tinggi/rendahnya kualitas model persamaan regresi.
Harga R2 terletak antara 0 dan 1.
Ada tiga hal menarik yang perlu diperhatikan :
1. Jika r menyatakan koefisien korelasi
antara X dan Y, maka r2 = R2
2. R dapat umum pada model regresi linear
berganda (multiple). Hal ini dibahas pada
Regresi Linier Berganda (RLB) lanjut.
3. Model polinom berderajat (n-1)
memberikan R = 1. Hal ini dibahas dalam
mata kuliah Analisis Numerik.
Mengingat butir ke-3 itu, maka dalam melakukan
analisis regresi dianut satu prinsip yang disebut
Prinsip Parsimoni, yakni: model hubungan antara
X dan Y yang sesederhana mungkin dengan
kualitas yang setinggi mungkin. Dalam bahasa
manajemen, prinsip parsimoni tidak lain adalah
prinsip membuat model yang manageable and high
quality. Dalam praktek, manageable lebih
didahulukan dan diikuti oleh usaha peningkatan
kualitas

Makin besar harga R2 (mendekati 1), maka

kualitas model makin tinggi atau makin
baik/bagus