LECTURE NOTES #2

Model Regresi Sederhana

I. Pengantar
Analisa regresi merupakan salah satu topik utama ekonometrika. Dengan
regresi, kita berupaya mengungkapkan hubungan antar variabel dengan
memasukkan unsur kausalitas. Dengan kata lain kita ingin mengetahui jika
suatu variabel berubah (misalnya x=tingkat pendidikan) maka apa yang
terjadi dengan variabel lainnya (misalnya y=tingkat gaji/upah).

Analisa regresi dalam pengembangannya dapat bersifat sangat kompleks

disebabkan karakteristik data, pelanggaran asumsi statistik, non
stationarity, dsb. Untuk memperoleh pemahaman yang baik maka pelajaran
mengenai analisa regresi akan dimulai dengan model yang paling
sederhana. Model ini hanya melibatkan 2 variabel, yakni 1 variabel bebas
dan 1 variabel tergantung.

II. Representasi Regresi Sederhana

Dalam analisa regresi sederhana, kita ingin mengetahui perubahan variabel
tergantung (disebut y) yang disebabkan oleh berubahnya variabel bebas
(disebut x). Dalam representasi model regresi tersebut terdapat tiga aspek
yang perlu diperhatikan, yakni

a. Non deterministic relation. Analisa regresi tidak pernah bersifat

deterministic. Dengan demikian kita memerlukan suatu perlakuan
terhadap variabel-variabel yang tidak dimasukkan kedalam model.
b. Functional form. Bagaimana bentuk fungsional antara variabel y dan x,
apakah selalu linier?
c. Ceteris Paribus. Bagaimana kita dapat memasukkan asumsi ceteris
paribus (lihat lecture notes 1) kedalam model?

Suatu model regresi sederhana dapat direpresentasikan sbb:

y = β 0 + β1 x + u ………………………1)

Dimana y adalah variabel tergantung dan x variabel bebas. Sebelum

melanjutkan ada baiknya mengetahui terminology lain yang sering
digunakan untuk x dan y .

y x
Dependent Variable Independent Variable
Explained Variable Explanatory Variable
Response Variable Control Variable
Predicted Variable Predictor Variable
Regressand Regressor

1
Variabel u disebut sebagai error term atau disturbances yang berfungsi
untuk menampung seluruh factor yang mempengaruhi y selain x (tidak
terbatas pada variabel lain namun mungkin juga kesalahan bentuk
fungsional, kesalahan pengukuran, dsb). Variabel u juga sering disebut
sebagai variabel tak terobservasi (unobserved).

Parameter β1 disebut slope, dalam analisa ekonometri parameter ini adalah

focus utama. Sedangkan parameter β0 disebut dengan intersep, dalam
kebanyakan analisa ekonometris tidak terlalu menjadi perhatian.

Parameter β1 menunjukkan kuantitas hubungan antara variabel bebas

dengan variabel tergantung dengan mengasumsikan seluruh factor lain
(yang tercakup dalam u) adalah konstan. Dalam persamaan 1, β1 adalah
linear dengan demikian perubahan x sebesar ∆x akan berimplikasi pada
perubahan y sebesar ∆y.

Sebagai suatu ilustrasi kita dapat menggunakan persamaan 1 untuk

mengestimasi hubungan antara gaji dengan pendidikan. Hal ini dirumuskan
dalam model sbb:

Gaji = β 0 + β1 Didik + u ………………………2)

Katakanlah kita mengukur gaji dalam satuan ribuan rupiah dan didik
sebagai jumlah bulan sekolah (termasuk training). Dengan demikian
perubahan 1 bulan sekolah akan berimplikasi pada perubahan gaji sebesar
β1 ribuan rupiah.

Analisa regresi seperti yang ditunjukkan persamaan 1 dan 2 adalah sangat

sederhana. Beberapa permasalahan yang timbul dari pemodelan seperti ini
adalah:
1. Beberapa hubungan ekonomi tidak dapat dideskripsikan secara linier.
Sebagai contoh hubungan antara pendidikan dan gaji memiliki sifat
increasing return, dengan demikian tambahan 1 unit pendidikan akan
bernilai berbeda dengan 1 unit sebelumnya.
2. Permasalahan dalam implementasi ceteris paribus. Bagaimana kita akan
menerapkan ceteris paribus (dampak perubahan variabel tergantung
akibat berubahnya satu variabel bebas dengan asumsi variabel lain
adalah konstan) sementara tidak ada satupun variabel lain ada dalam
model.
3. Persamaan 1 dan 2 diestimasi dari data, dengan demikian perlu
diperhatikan asumsi statistik yang mendasari prosedur pengambilan
kesimpulan induktif semacam ini. Tiga asumsi yang terpenting
diantaranya

2
 E (u ) = 0 ………………………3)

E (u x) = E (u ) = 0 ………………………4)

E ( y x) = β 0 + β1 x ………………………5)

Persamaan 3 menyatakan bahwa, rata-rata dari residual adalah nol. Asumsi

ini tercapai khususnya jika kita mengasumsikan bahwa parameter intersep
adalah bukan nol.

Persamaan 4 menyatakan bahwa tidak ada dampak (korelasi) dari variabel

bebas terhadap residual. Sebagai suatu ilustrasi, pada persamaan 2 jika kita
mengasumsikan bahwa u mencakup variabel yang disebut skill, maka
persamaan 4 berimplikasi bahwa skill tidak berubah dengan bertambahnya
pendidikan. Persamaan 4 sering disebut sebagai zero conditional mean
assumption.

Terpenuhinya persamaan 3 dan 4 memungkinkan kita untuk

menggunakanpersamaan 5 didalam mengintrepretasikan persamaan 1.
Dengan kata lain rata-rata y pada x yang tertentu dapat diberikan sebagai
E(y| x). Persamaan 5 ini disebut sebagai population regression function
(PRF). Secara grafik hal ini digambarkan pada grafik 1.

Grafik 1. Population Regression Function

Sumber: Wooldridge (2005) hal 26.

3
III. Penurunan Estimator Ordinary Least Squares
Seperti yang telah diuraikan didepan kita mengestimasi population
regression function/PRF (persamaan 5) dari suatu sampel. Hasil dari
estimasi ini disebut dengan sample regression function/SRF yang
berbentuk persamaan 1. Error term diperlukan mengingat hasil yang
diperoleh dari sampel ini hanya merupakan suatu dugaan yang diharapkan
berlaku atas dasar asumsi/prinsip statistik tertentu. Dengan kata lain selalu
terdapat kemungkinan kesalahan atas dugaan populasi karena
menggunakan data dari sample. Prinsip ini adalah umum digunakan dalam
statistik induktif.

Terdapat beberapa metoda untuk mengestimasi parameter β0 dan β1

misalnya ordinary least squares, maximum likelihood dan methods of
moments. Dalam diktat ini akan diilustrasikan suatu metoda yang paling
sederhana dan paling banyak digunakan yakni ordinary least squares
(OLS).

Intuisi penggunaan metoda OLS dapat diberikan dengan mempelajari grafik

2. Penggunaan OLS dalam mengestimasi parameter SRF adalah berupaya
meminimumkan kuadrat residual. Jika kita memiliki data variabel y dan x
sebanyak n, maka parameter β0 dan β1 , dapat diperoleh dengan
menyelesaikan masalah berikut:
n
⎛ n ⎞
Min ∑ ui ⎜ = ∑ ( y − β 0 − β1 x) 2 ⎟
2
………………………6)
β 0 ; β1
i =1 ⎝ i =1 ⎠

Grafik 2. Prinsip OLS

Sumber: Wooldridge (2005), hal 31

Secara intuitif, penyelesaian persamaan 6 adalah mencari berbagai garis

linier yang melewati titik-titik data pada grafik 2 sedemikian rupa sehingga

4
jumlah kuadrat residualnya adalah yang paling kecil. Dengan menggunakan
teknik kalkulus dan penerapan aturan penjumlahan dapat ditunjukkan
bahwa parameter β0 dan β1 adalah (lihat appendiks 1 untuk derivasi):

n _ _

^ ∑ ( x − x)( y − y) i i
Cov( x, y )
β1 = i =1
n _
= ………………………7)

∑ ( x − x) 2 Var ( x)
i
i =1
^ _ _
β 0 = y − β1 x ………………………8)

Parameter yang diperoleh dari persamaan 7 dan 8 disebut dengan estimator

OLS. Dari estimator ini kita dapat memperoleh fitted value dari y ketika x =
xi, yang diberikan sebagai
^ ^ ^
y i = β 0 + β 1 xi ………………………9)

Ini adalah nilai prediksi dari y jika kita mengetahui nilai x adalah tertentu.
Selanjutnya residual dari observasi ke i dapat dihitung dengan cara
^ ^ ^ ^
u i = yi − y i = yi − β 0 − β 1 xi ……………………10)

Contoh 1.
Sebagai suatu ilustrasi cara kerja prinsip OLS berikut disajikan suatu contoh
yang diberikan oleh Wooldridge (2005). File CEOSAL1.RAW berisi data gaji
CEO dan berbagai variabel lainnya (misalnya ROE, Sales, dummy kategori
perusahaan, dsb) dengan jumlah observasi sebanyak 209. Disini kita akan
mencoba melihat regresi antara gaji CEO (diukur dalam satuan ribu USD)
terhadap Return On Equity (diukur dalam poin persentase). Dengan
menggunakan software EVIEWS ver. 5.10 dan menjalankan perintah: ls
salary c roe pada command window maka diperoleh output sbb:

5
Dependent Variable: SALARY
Method: Least Squares
Date: 05/06/08 Time: 07:54
Sample: 1 209
Included observations: 209

Variable Coefficient Std. Error t-Statistic Prob.

C 963.1913 213.2403 4.516930 0.0000

ROE 18.50119 11.12325 1.663290 0.0978

R-squared 0.013189 Mean dependent var 1281.120

Adjusted R-squared 0.008421 S.D. dependent var 1372.345
S.E. of regression 1366.555 Akaike info criterion 17.28750
Sum squared resid 3.87E+08 Schwarz criterion 17.31948
Log likelihood -1804.543 F-statistic 2.766532
Durbin-Watson stat 2.104990 Prob(F-statistic) 0.097768

Tabel1. Output Regresi Salary Terhadap ROE

Dari kolom dengan header: coefficient, kita dapat menuliskan SRF bagi
regresi ini sebagai (dengan pembulatan)
^
Salary = 963,191 + 18,501ROE ……………………11)

Beberapa intrepretasi yang dapat dilakukan terkait dengan persamaan 11

adalah:

a. Jika ROE=0, maka prediksi dari gaji CEO adalah 963,191 ribu USD.
b. Jika ROE naik 1 persen maka gaji CEO akan naik sebesar 18,501 ribu
USD (dan sebaliknya jika turun). Karena kita mengestimasi bentuk linier
maka perubahan ini tidak dipengaruhi oleh posisi awal gaji CEO.
c. Jika ROE=30% maka gaji CEO adalah 963,191 + 18,501(30) = 1518,221
(ribu USD).

Secara grafis regresi yang diperoleh dapat digambarkan sbb:

6
 Grafik 3. SRF dan PRF regresi Gaji CEO terhadap ROE
Sumber: Wooldridge (2005), hal 33.

Perlu diperhatikan bahwa regresi yang diperoleh diatas (persamaan 11)

adalah estimasi dari PRF. Kita tidak akan pernah tahu PRF yang sebenarnya
(kecuali kita bekerja pada data populasi, yang hampir tidak pernah ditemui
pada kenyataan). Data sampel yang lain akan memberikan SRF yang
berbeda, yang mungkin lebih dekat (atau mungkin juga tidak) dengan PRF.

IV. Karakteristik OLS

Terdapat beberapa karakter yang berguna dari estimator OLS, diantaranya:
1. Jumlah (dan dengan demikian rata-rata) dari residual adalah nol, atau
n ^
∑ ui = 0
i =1
……………………12)

Karakteristik ini adalah implikasi otomatis dari OLS.

2. Kovariansi dari regresor dan residual adalah nol.

n ^
∑ xi u i = 0
i =1
……………………13)

− −
3. Titik rata-rata ( x, y) selalu berada pada garis regresi, dengan kata lain

_ ^ ^ _
yi = β 0 + β 1 x ……………………14)

7
Selanjutnya kita dapat memandang OLS sebagai mendekomposisi yi
kedalam 2 bagian, yakni fitted value dan suatu residual. Fitted value dan
residual tidak memiliki korelasi pada sampel. Untuk melihat hal ini dapat
merujuk pada terminology sebagai berikut:

n _
Sum Square Total (SST) = ∑ ( yi − y )2 ……………………15)
i =1
n ^ _
Sum Square Explained (SSE) = ∑ ( y i − y ) 2 ……………………16)
i =1
n
⎛ n 2⎞ ^
Sum Square Residual (SSR) = ∑ ( yi − y i ) ⎜ = ∑ ui ⎟ ………17) 2

i =1 ⎝ i =1 ⎠

SST adalah ukuran variasi sample yi (menunjukkan seberapa besar

^
dispersi
sample yi disekitar rata-ratanya). SSE menunjukkan variasi sample
yi pada
dan SSR mengukur variasi dari i .
ˆ
u

Dapat ditunjukkan disini bahwa total variasi pada y adalah sama dengan
jumlah SSE dan SSR, atau

SST = SSE + SSR ……………………19)

Pembuktian terhadap pernyataan ini dapat dilihat pada appendiks.

Selanjutnya dengan membagi persamaan 19 dengan SST kita dapat

memperoleh
SSE SSR
1= + ……………………20)
SST SST
Kita dapat mendefinisikan R2, koefisien determinasi (R2) sebagai

SSE SSR
R2 = = 1− ……………………21)
SST SST
Seperti yang dapat dilihat pada persamaan 21, koefisien determinasi
menunjukkan proporsi variasi variabel tergantung (y) yang dapat dijelaskan
oleh variasi variabel bebas (x). Nilai R2 selalu terletak antara 0 dan 1 karena
SSE dan SSR tidak mungkin melebihi nilai SST. R2 adalah suatu ukuran
kesuaian model (model fit).

8
Kembali pada contoh regresi gaji CEO dan ROE diatas (tabel 1), dapat
dilihat disini bahwa nilai R2 adalah 0.0131. Dengan kata lain variasi pada
variabel ROE menjelaskan 1.31% variasi pada gaji CEO.

Perlu dicatat disini bahwa meskipun R2 adalah suatu ukuran kesuaian

model, ia bukan satu-satunya ukuran. Penekanan yang berlebih pada
koefisien ini dapat memberikan hasil yang misleading. Pada contoh diatas
nilai R2 adalah sangat rendah namun tidak menutup kemungkinan bahwa
model yang diperoleh adalah mencerminkan populasi. Pada penelitian ilmu
sosial, nilai R2 yang rendah pada suatu model adalah bukan fenonema yang
jarang (Wooldridge, 2005, hal 40).