Two-Variable

Regression Model: The

Problem of Estimation
Kelompok 2

Riski Riadi S 141190072

Salsabila Anjeli P 141190092
Dionysius Brilian Arditira 141190093
Muhammad Ibnu T 141190099
Atanasius Teguh Pamungkas 141190106
Metode Ordinary Least Square

Metode kuadrat terkecil biasa dikaitkan dengan Carl Friedrich

Gauss, seorang matematikawan Jerman. Di bawah asumsi tertentu
yang akan kita bahas nanti, metode kuadrat terkecil memiliki
beberapa statistik yang sangat menarik
properti yang menjadikannya salah satu metode paling kuat dan
popular analisis regresi.
Metode Ordinary Least Square
●   PRF dua variabel::
Ingat

Namun, seperti yang kami catat di unit

terakhir, PRF tidak dapat diamati secara
langsung. Kami memperkirakan dari SRF

di mana adalah estimasi rata-rata kondisional

dari
 Metode Ordinary Least
Square
Untuk menentukan  
SRF, dengan Langkah
berikut:

merupakan suatu (residu) hanyalah perbedaan

antara nilai Y yang sebenarnya dan yang
diperkirakan.
Model Regresi Linier Klasik:
Asumsi yang Mendasari
Metode Kuadrat Terkecil
Asumsi The Gaussian, standard, or classical linear regression
model (CLRM)
Asumsi 1
Model regresi linier. Model regresi linier dalam
parameter
Yi = 1 + 2Xi + ui
Asumsi 2
Nilai X tetap dalam pengambilan sampel
berulang. Nilai yang diambil oleh regressor X
dianggap tetap dalam sampel berulang. Secara
lebih teknis, X diasumsikan nonstochastic
Asumsi 3
Rata-rata nilai gangguan nol ui. Mengingat nilai
X, nilai rata-rata, atau yang diharapkan, dari
istilah gangguan acak ui adalah nol. Secara teknis,
nilai rata-rata bersyarat dari ui adalah nol. Secara
simbolis, kami memiliki
E (ui |Xi) = 0
Asumsi 4
Homoskedastisitas atau Varians Konstan ui:
Varians galat, atau gangguan, istilah adalah sama
terlepas dari nilai X.
Homoscedasticity dan Heteroscedasticity
 Asumsi The Gaussian, standard, or classical linear regression
model (CLRM)
Asumsi 5
Tidak ada Autokorelasi antara
Gangguan: Diberikan dua nilai
X, Xi dan Xj (i j), korelasi antara
dua ui dan uj (i tidak sama
dengan j) adalah nol.
Singkatnya, pengamatan diambil
sampelnya secara mandiri.
Asumsi 6
Menyatakan bahwa gangguan u
dan variabel penjelas X tidak
berkorelasi.
Asumsi 7
Jumlah observasi n harus lebih
besar dari jumlah parameter
yang akan diestimasi. Atau,
jumlah pengamatan n harus
lebih besar dari jumlah variabel
penjelas.
Pola Korelasi Antara Gangguan.
 Standard Errors of Least Suare Estimates
Standard Errors of Least Suare Estimates merupakan pengukuran “reliability” atau seberapa akurat
estimator β1 dan β2

Sedangkan varian regresi (α2) dapat diestimasi dengan menggunakan

rumus :

Residual sum of square

Degree of freedom
Estimator OLS untuk unknown α2
1.  
Standard error of estimate (Standard error of regression) merupakan deviasi nilai Y terhadap garis
regresi dan seringkali digunakan sebagai ringkasan pengukuran “goodness of fit” dari garis regresi yang
diestimasi. Diperoleh dengan rumus :

1. Varian β2 secara langsung proporsional terhadap α2(regresi) namun secara terbalik proporsional terhadap
2. Varian β1 secara langsung proporsional terhadap α2 dan namun secara terbalik proporsional terhadap dan jumlah
sampel.
3. Karena β1 dan β2 adalah estimator, mereka tidak hanya bervariasi dari percobaan repeated sampling, namun pada
salah satu sampel yang digunakan, mereka juga saling dependen satu sama lain.
 Properties of Least-Squares Estimators: The
Gauss–Markov Theorem

OLS Estimator β2, dikatakan sebagai The Best Linear Unbiased and Efficient Estimator (BLUE) jika memenuhi kondisi sebagai
berikut:
1. Linear
2. Unbiased
3. Efficient estimator
Properties of Least-Squares Estimators: The
Gauss–Markov Theorem
The Coefficient of Determination r2: A Measure
of
“Goodness of Fit”
Total Sum of Square Explained Sum of Residual Sum of
(TSS) Square (ESS) Square (RSS)
The Coefficient of Determination r2: A Measure
of “Goodness of Fit”
A Numerical
Example
Perkiraan garis regresi untuk data pendidikan-upah
A Note on Monte Carlo Experiments
Untuk memperkenalkan ide-ide dasar, pertimbangkan PRF dua variabel ini:
 Derivation of Least-Squares Estimates
1.   1 dan kami memperoleh
dengan
 Linearity and Unbiasedness Properties
of Least-Squares Estimators

Dimana
 Variances and Standard Errors
of Least-Squares Estimators

Sekarang dengan definisi varians, kita dapat menulis

  Kovarian antara dan

𝑐𝑜𝑣൫𝛽መ1,𝛽መ2൯= 𝐸൛ൣ𝛽መ1 −𝐸(𝛽መ1)൧ൣ𝛽መ2 −𝐸(𝛽መ2)൧ൟ

𝑐𝑜𝑣൫𝛽መ1,𝛽መ2൯= 𝐸൫𝛽መ1 −𝛽1൯൫𝛽መ2 −𝛽2൯

  The Least-Square Estimator dari

2
σ2 𝑢ො𝑖
𝜎ො=
𝑛−2
 Nilai Variasi Minimum
dari Least-Squares Estimators
2
𝑥𝑖 2 1
𝑣𝑎𝑟ሺ𝛽2∗ሻ=𝜎2 ෍ ቆ𝑤𝑖 − 2ቇ +𝜎 ቆ 2ቇ
σ 𝑥𝑖 σ 𝑥𝑖

●  
Persamaan tersebut dapat disederhanakan dengan , menjadi :

2
𝜎
𝑣𝑎𝑟ሺ𝛽2∗ሻ= 2
σ 𝑥𝑖
Tingkat Konsisten dari Least-Squares
Estimators
𝜎2/𝑛
𝑣𝑎𝑟൫𝛽መ2൯= 2
σ 𝑥𝑖 /𝑛

𝜎2/𝑛
lim⁡ መ2൯=𝑙𝑖𝑚 = 0
𝑣𝑎𝑟൫𝛽ᇧᇧᇥ
ᇣᇧᇧᇧᇤᇧ σ 𝑥𝑖2/𝑛
ᇣᇧᇧᇤᇧᇧᇥ
𝑛→∞
𝑛→∞

●   nilai terbatas dan nilai , maka nilai akan cenderung menjadi 0.

Karena