Linear

regression
Econometrics - 21D11143002
01
Linear regression

02
Simple linear
regression
 Course Learning Objective
1. Students are able to explain concepts and types of
linear regression
2. Students are able to perform simple linear regression
analysis
 01.
LineAr
regression
Explain concepts and types of linear
regression
 LINEAR REGRESSION
Regresi merupakan studi mengenai ketergantungan variabel tak bebas
kepada variabel bebas dalam hal menduga dan atau meramalkan nilai
rata-rata hitung (mean) atau rata-rata populasi dari variabel tak bebas,
berdasarkan nilai-nilai variabel bebas yang diketahui.
 The Origin of Regression
Orang tua bertubuh tinggi

Tinggi rata-rata masyarakat

Istilah regresi digunakan untuk melihat kecendrungan

Orang tua bertubuh pendek kestabilan kontribusi suatu variabel kepada variabel lain
Linear regression
Linear regression
Hubungan Ketergantungan antar Variabel

Ketergantungan Statistik

Ketergantungan Deterministik
 Ketergantungan Statistik
Hubungan diantara variabel yang bersifat suhu

statistik, pada dasarnya menghadapi variabel

Curah
hujan
acak/random/stokastik, yaitu variabel yang

mempunyai distribusi probabilitas. Dalam

Hasil
Panen
ekonometrika, ketergantungan antar variabel
Sinar
matahari
adalah ketergantungan statistik.

Pupuk
 Ketergantungan Deterministik
Hubungan diantara variabel yang bersifat deterministik, hubungan yang disusun bersifat pasti.
Contoh:

𝐹 = 𝑚. 𝑎
F = Gaya
m = Massa
a = Percepatan
Regresi
Meskipun analisis regresi

& berkaitan dengan

ketergantungan suatu variabel
terhadap variabel lainnya, hal ini
tidak selalu berarti hubungan
Hubungan sebab-akibat.
TEXT HERE
Sebab akibat
 Regresi dan Korelasi
Korelasi Regresi

• Bertujuan mengukur • Bertujuan mengukur

derajat hubungan derajat pengaruh linear
linear antarvariabel antar variabel
• Tidak ada perbedaan • Variabel bebas bersifat
variabel bebas dan tak tetap dan variabel tak
bebas bebas bersifat random
 Jenis Analisis Regresi
Berdasarkan variabel dalam model

Banyaknya persamaan dalam model

Sifat-sifat Linearitas
 Jenis Analisis Regresi berdasarkan Banyak Variabel

Analisis Regresi Analisis Regresi

Sederhana Berganda

• Menganalisis satu • Menganalisis satu

variabel tak bebas dan variabel tak bebas
satu variabel bebas serta dua atau lebih
variabel bebas.
 Jenis Analisis Regresi berdasarkan Banyak Persamaan dalam Model

Analisis Regresi Persamaan Analisis Regresi Persamaan

Tunggal Simultan

• Hanya ada satu persamaan dalam • Terdapat lebih dari satu

model persamaan yang digunakan dalam
model
 Jenis Analisis Regresi berdasarkan Sifat Linearitas

Analisis Regresi Linear Analisis Regresi Nonlinear

• Semua koefisien regresi • Semua koefisien regresi

dan variabel yang dan variabel yang
digunakan dalam digunakan dalam
persamaan bersifat linear persamaan bersifat
nonlinear, namun kofisien
parameternya tetap linear
 02.
Simple Linear
regression
Regression with two variable
A hypothetical Example
A hypothetical Example
A hypothetical Example
Sthocastic erorr term
 Sthocastic erorr term

1. Teori yang mempengaruhi Y tidak seluruhnya diketahui

2. Data yang digunakan tidak lengkap

3. Pengaruh variabel sangat kecil sehingga tidak layak dimasukkan ke

dalam model

4. Peneliti ingin model yang digunakan sesederhana mungkin

 Population Regression Function vs Sample Regression Function

Note: hasil estimasi pada SRF merupakan dugaan yang diharapkan berlaku atas dasar asumsi/prinsip
statistik tertentu
 Population Regression Function vs Sample Regression Function

Population Regression Function (PRF)

𝑦 = 𝛽0 + 𝛽1 𝑥 + 𝑢

Sample Regression Function (SRF)

෢0 + 𝛽
𝑦ෝ𝑖 = 𝛽 ෢1 𝑥𝑖

Note: hasil estimasi pada SRF merupakan dugaan yang diharapkan berlaku atas dasar asumsi/prinsip
statistik tertentu
Population Regression Function vs Sample Regression Function
 Estimasi Model: Ordinary Least Square (OLS)

y ෢0 + 𝛽
෢1 𝑥𝑖
𝑢𝑖 𝑦ෝ𝑖 = 𝛽

𝑦𝑖

𝑥𝑖 x
Ordinary least square merupakan metode pencarian garis lurus yang melewati sekumpulan titik
pasangan observasi (x,y) yaeng memenuhi suatu kriteria tertentu
 Estimasi Model: Ordinary Least Square (OLS)

Berikut rumus perhitungan parameter-parameter regresi dengan menggunakan OLS

𝒏 σ 𝑿𝒊 𝒀𝒊 − σ 𝑿𝒊 𝒀𝒊
𝜷𝟏 =
𝒏 σ 𝑿𝟐𝒊 − (Σ𝑿𝒊 )𝟐

σ 𝑿𝟐𝒊 σ 𝒀𝒊 − σ 𝑿𝒊 σ 𝑿𝒊 𝒀𝒊
𝜷𝟎 =
𝒏 σ 𝑿𝟐𝒊 − (Σ𝑿𝒊 )𝟐
 The Goodness of Fit

Measure how “well” the sample regression line fits the data

σ 𝟐
𝟐
( 𝒙 𝒚
𝒊 𝒊 )
𝒓 =
σ 𝒙𝟐𝒊 σ 𝒚𝟐𝒊