● Dalam perkiraan tunggal (point estimation) asumsi mengenai distribusi probabilitas gangguan tidak
begitu penting. Namun dalam perkiraan interval (interval estimation) dan pengujian hipotesis, asumsi
distribusi kesalahan pengganggu ui sangat diperlukan.
● Regresi linear klasik mengasumsikan bahwa setiap kesalahan pengganggu ui didistribusikan secara
normal dengan rata-rata kesalahan pengganggu nol, varians konstan, dan kovarians nol atau secara
matematis dapat ditulis:
Rata-rata : E ( ui ) =0
: E ( u i ) =σ
2 2
Varians
Covarians : E ( ui u j ) =0
Asumsi ini secara singkat dapat dinyatakan:
ui N ( 0 , σ ),
2
berarti “didistribusikan sebagai” dan N berarti “distribusi normal”,
sedangkan unsur yang ada dalam tanda kurung menyatakan dua parameter distribusi normal yaitu rata-
rata dan varians. Sehingga dapat dibaca: ui didistribusikan secara normal dimana rata-ratanya nol dan
variansnya konstan σ 2. Dua parameter yang mengikuti distribusi normal ini, kovariansnya nol atau
korelasi ui dan u j nol, hal ini dapat dimaknai bahwa selain tidak berkorelasi juga didistribusikan secara
independen.
● Ada 4 alasan yang melatarbelakangi mengapa asumsi Klasik memerlukan asumsi
kenormalan ui, antara lain :
1. Faktor gangguan ui adalah pengganti dari semua variabel yang dihilangkan dari model atau
tidak dimasukkan dalam model, tetapi secara bersama-sama mempengaruhi Y. Dengan
kata lain ui menyatakan pengaruh gabungan dari semua variabel bebas yang tidak
dimunculkan seacar eksplisit dalam model regresi linear. Oleh karena itu kita berharap
bahwa pengaruh dari variabel-variabel yang diabaikan atau dihilangkan akan mempunyai
pengaruh yang kecil dan dalam keadaan acak yang lebih baik. (best random). Dengan
central limit theorem (CLT) dari statistik dapat ditunjukkan bahwa jika sebagian besar
variabel random didistribusikan secara indepnden (bebas) dan identik maka dengan
beberapa pengecualian, distribusi dari jumlahnya cenderung berdistribusi normal bila
jumlah variabel random tersebut meningkat secara tak terbatas. CLT ini yang memberikan
pembenaran (justifikasi) teoritis untuk asumsi kenormalan dari ui .
2. Dalil CLT menyatakan bahwa apabila jumlah variabel tidak terlalu besar dan juga tidak
secara penuh bebas satu sama lain atau tidak bebas secara penuh, jumlahnya masih bisa
didistribusikan secara normal, dengan kata lain jumlahnya masih mengikuti fungsi normal.
3. Dengan asumsi kenormalan, probability distribution dari OLS estimators akan mudah
diperoleh karena merupakan sifat distribusi normal bahwa setiap fungsi linear dari
variabel-variabel yang mempunyai distribusi normal dengan sendirinya juga mengikuti
distribusi normal. Ini berarti karena β i merupakan fungsi dari ui , dan oleh karena ui
mengikuti distribusi normal maka β i juga mengikuti distribusi normal.
4. Distribusi normal adalah suatu distribusi yang relatif sederhana yang hanya melibatkan dua
parameter yaitu rata-rata dan varian, dengan demikian bila rata-ratanya nol dan variansnya
konstan maka syarat normalitas sudah terpenuhi. Distribusi ini sangat dikenal dan sifar-
sifat teoritisnya telah dipakai dalam statistik matematika.
● Sifat-sifat penaksir OLS menurut asumsi kenormalan:
1. Penaksir tak bias (unbiased estimators):
E ( β 0 )= ^β0 ; E ( β 1 )= β^ 1; E ( S2e ) =σ 2
2. Penaksir bervarians minimum (terkecil). Penaksir yang tidak bias dan bervarians minimum
merupakan penaksir yang efisien (efficient estimators).
3. Konsisten yaitu dengan meningkatnya ukuran sampel secara tak terbatas, penaksir converge
atau mengarah ke nilai populasi yang sebenarnya. Atau dapat dinyatakan : Apabila n → ∞,
maka: ^β 0 → β 0; ^β 1 → β 1; Se →σ atau σ^ 2 → σ 2
2 2
Rata-rata : E ( β^ 0 ) =β 0
Var ( β^ 0 ) : σ β =
2 ∑ X 2i σ 2
0
N ∑ x 2i
^β N ( β , σ 2 )
0 0 β 0
2
σ
Var ( β^ 1 ) : σ β =
2
1
∑ x 2i
Atau secara ringkas dapat dinyatakan
^β N ( β , σ 2 )
1 1 β 1
( N −2 ) σ^ 2
6. 2
memiliki distribusi kai kuadrat ( χ 2 ) dengan derajat kebebasan (df) N-2.
σ
7. ^β 0 dan ^β 1 didistribusikan secara bebas dari σ^ 2
8. ^β 0 dan ^β 1 memiliki varians minimum diantara seluruh kelas penaksir tak bias, baik linear maupun
bukan linear. Hasil ini ditemukan olh Rao, sangat kuat (powerful) karena tidak seperti teorema
Gauss-Markov, sifat ini tidak terbatas hanya untuk kelas penaksir yang linear.
−1m
( )
m
1 −1 m
( a−b )m 1
n
− n (a−b )m ( a−b ) n m ∑
= ( cX )
n
cX adalah cX dengan demikian - 2 σ^
2
i=1
2 n
(Xi- μ )2 =
( ) ∑ ( X −μ)
−1
2 σ^ 2 i=1
i
2
n
(−1 )2
22
∑ ( X i−μ )2
= ( 2 σ^ ) i=1
n
1
4 ∑( i
X −μ ) 2
= 2 ^
σ i=1
n
1
∑
(Xi- μ )2 = −2 σ ( ∑ X i −nμ )
2 ^ −2 2
Atau - 2 σ^ i=1
= −2 σ^
−2
{(∑ X ) − ( nμ ) }i
2 2
2
(−2 σ^ −2 ) (∑ X i ) −( nμ ) (−2 σ^ −2 )
2
=
2
( ^ −2 )
= −2 σ ∑ ( X i−μ )2
= 2 σ ∑ ( X i−μ )
−4 2
1
∑ ( X i−μ ) 2
= 2 σ^
4
{ }
u
1
σ^ 2 2 ∑ ( X i− μ^ )=0
σ^ i=1
n
∑ ( X i− μ^ )=0
i =1
n
∑ X i−n μ^ =0
i =1
n
∑ X i=n μ^
i=1
n
1
μ^ = ∑X
n i=1 i
n
1
∑ Xi
μ^ adalah penaksir kemungkinan maksimum (ML) μ . Tetapi n i=1 adalah nilai
rata-rata sampel, sehingga ML nilai rata-rata sebuah populasi normal adalah nilai
( )
n
n 1 1
σ^ 2
∑ ( X i− μ^ )2 =0
+ 2 σ^
4
-2 i =1
( 2nσ^ ) = 21σ^
2 4
∑ ( X i− μ^ )2
{( ) }
n
n 1
2 σ^ 4
= 4 ∑ ( X i− μ^ ) 2
2 σ^ 2
2 σ^ i=1
sebuah populasi normal adalah varian sampel-nya sendiri atau sering ditulis:
n
1
∑ ( X i− X̄ )2
S =n
2 i=1
Λ
2 2
Perlu dicatat disini bahwa σ adalah penaksir bias σ (lihat ; 2.2.1.1.)
2
Dengan diketahui fungsi kemungkinannya dapat pula dicari, kecuali μ dan σ ,
2
juga batas bawah Carmer–Rao bagi varian-varian penaksir tidak bias μ dan σ .
Batas bawah ini diperoleh malalui matrix informasi berikut :
[ ][ ][ ]
−1
∂2 ln LF ∂2 ln LF n
−1
−E − E
0 σ2
∂μ
2
∂ μ ∂(σ )
2 0
σ2 n
∂2 ln LF ∂2 ln LF n 2σ4
−E − E 0 0
∂ μ ∂(σ 2 ) ∂( σ 2 )2 2σ4 n
= =
Jadi batas bawah Cramer-Rao bagi varian penaksir tidak bias nilai rata-rata
2
σ
populasi normal adalah n
Tugas:
[ ] [ ]
−1
n σ2
0 0
σ2 n
n 2σ4
0 0
Buktikan bahwa 2σ4 = n
( )
2
1 Y i− A −BX i
−
1 2 σ
f (Y i )= e
adalah: √ 2 πσ 2
apabila f (Y i ) di subtitusi ke f(Y1,Y2,....,Yn|A+ BXi, σ2), maka akan diperoleh suatu
fungsi kemungkinan (Likelihood function) yang dapat digunakan untuk menaksir
A,B,dan σ2 apabila Y1,Y2,.......,Yn diketahui:
( ) ( )
Y i− A −BX i 2 Y i− A −BX i 2
−1/2 −1/2
1 σ 1 σ
e e
f(Y1,Y2,...,Yn|A+BXi,σ2)= √2 πσ + √2 πσ
2 2
+...
( )
2
Y i− A −BX i
−1/2
1 σ
e
√2 πσ 2
, atau secara singkat dapat ditulis:
{ ( )
}
Y i −A −BX i 2
N −1/2
1
∑ e
σ
f(Y1,Y2,...,Yn|A+BXi,σ2) = i=1 √2 πσ 2
Jadi fungsi kemungkinan (Likelihood Function) untuk menaksir A, B, dan O2
adalah:
{√ ( )
}
Y i −A −BX i 2
N −1/2
1
∑ 2
e
σ
{√ ( )
}
Y i −A −BX i 2
N −1/2
1
∑ 2
e
σ
LF= i=1 2 πσ
{ ( )}
Y i− A− BXi 2
N −1/2
∑ ( 2 πσ 2 )
−1/2 σ
e
= i=1
{ Y i −A−BX i 2
( ) }
N
1 ( 1
∑ − ln 2 πσ ) .−
2
2
2 σ
. ln e
ln LF= i=1
∑{ ( )}
N 2
1 1 Y i −A−BX i
− ln ( 2 πσ 2 ) .−
= i=1 2 2 σ
( )
N 2
N N 2 1 Y −A−BX i
− ln ( 2 π ) − ln σ − ∑ i
= 2 2 2 i=1 σ
( )
N 2
N N 1 Y − A−BX i
− ln ( 2 π ) − ln σ − 2 ∑ i
2
2 2 2 σ i=1 σ
N
1
=− . ∑ (Y −A−BX i )=O
σ^ 2 i=1 i
N
∂ln LF 1
=− 2 . 2 ∑ (Y i− A−BXi )2−1 (− X i )=O
(2). ∂ B 2 σ^ i=1
N
1
= 2 . ∑ (Y i −A−Bx i ) X i =O
σ^ i=1
( ) ( )∑
N
∂ln LF N 1 1 1
=− . 2 − 2 (Y i− A−BX i )2 =O
2 σ^
(3). ∂ σ^
2
2 σ^ − σ^ 2 i=1
N
N 1
=− 2
. 4 ∑ (Y i− A−BX i )2 =O
2 σ^ 2 σ^ i=1
dari persamaan diferensial di atas dapat di ketahui bahwa untuk penentuan nilai
koefisien A dan B dapat digunakan persamaan 1 dan 2, sebagai bersikut:
N
1
= 2 . ∑ (Y i −A−BX i )=O
(1). σ^ i=1
N
1
= 2 . ∑ (Y i −A−BX i ) X i =O
(2). σ^ i=1
Untuk menentukan nilai taksiran A dan B, kedua persamaan tersebut perlu dikali
dengan σ2 pada kedua sisinya, sebagai berikut:
{ }
N
1
σ^ 2 2 ∑ ( Y i −A−BX i ) =0
(1) σ^ i=1
n
∑ (Y i− A−BX i )=O
i =1
∑ Y i −NA−B ∑ X i =O
NA−B ∑ X i =∑ Y i ......................(1*)
{ }
N
1
σ^ 2 2 ∑ ( Y i −A−BX i ) X i =0
(2). σ^ i=1
N
∑ (Y i− A−BX i ) X i=O
i=1
N N N
∑ Y i − A ∑ X i −B ∑ X 2i =O
i=1 i=1 i=1
N N N
A ∑ Xi B∑ X 2 ∑ X iY i
i=1 + i=1 i
= i=1 ...............(2*)
penyeleyaian secara simultan persamaan (1*) dan (2*) akan menghasilkan nilai
taksiran A dan B.
(1*) NA + B ∑Xi = ∑Yi
∑ X 2i
(2*) A∑Xi + B = ∑XiYi
Penyelesaian simultan dengan cara eliminasi:
Penyelesaian simultan dengan cara eliminasi, mula-mula dicari salah satu
nilai parameter, dengan cara mengeliminasi parameter yag lain. Andaikan mula-
mula akan dihitung taksiran parameter “A”, maka kedua persamaan tersebut harus
dimanipulasi/disederhanakan sedemikian rupa sehingga parameter “B” keluar dari
hasil perhitungan. Hal ini hanya bisa dilaksanakan apabila persamaan (1*) dikali
∑ X 2i
dengan dan persamaan (2*) dikali dengan ∑Xi, sebagai berikut:
∑ X 2i
Persamaan (1 ) dikali dengan
*
adalah:
{NA + B∑Xi = ∑Yi}∑Xi2, sehingga diperoleh:
∑ X 2i ∑ X 2i ∑ X 2i
NA + B∑Xi = ∑Yi ...............(1.1)
Persamaan (2*) dikali dengan ∑Xi adalah:
∑ X 2i
{A∑Xi + B = ∑XiYi } ∑Xi sehingga diperoleh:
∑ X 2i
A(∑Xi) + B∑Xi
2
= ∑Xi∑XiYi .................(2.1)
Dengan menggabungkan persamaan (1.1) dan persamaan (2.1) akan diperoleh
persamaan yang akan menghasilkan taksiran parameter A. Gabungan kedua
persamaan tersebut atau Persamaan (1.1) = persamaan (2.1) adalah :
∑ X 2i ∑ X 2i ∑ X 2i ∑ X 2i
NA +B∑Xi - ∑Yi=A(∑Xi) +B∑Xi
2
-∑Xi∑XiYi
∑ X 2i ∑ X 2i
NA - ∑Yi =A(∑Xi)2 –∑Xi∑XiYi
∑ X 2i ∑ X 2i
NA -A(∑Xi) = 2
∑Yi–∑Xi∑XiYi
∑ X 2i ∑ X 2i
N -(∑Xi) }A =
2
∑Yi–∑Xi (∑XiYi)
( ∑ X 2i ) (∑ Y i )−(∑ X i )(∑ X i Y i )
2
N ∑ X 2i −( ∑ X i )
A=
Sedangkan untuk mendapatkan taksiran parameter B, maka kedua
persamaan tersebut harus dimanipulasi/disederhanakan sedemikian rupa sehingga
parameter “B” keluar dari hasil perhitungan. Hal ini hanya bisa dilaksanakan
apabila persamaan (1*) dikali dengan ∑Xi dan persamaan (2*) dikali dengan N.
Persamaan (1*) dikali dengan ∑Xi adalah:
{NA + B∑Xi = ∑Yi}∑Xi , sehingga diperoleh:
2
NA ∑ X i + B (∑ X i ) =(∑ X i )( ∑ Y i )
...........(1.2)
Persamaan (2*) dikali dengan N adalah:
∑ X 2i
{A∑Xi + B = ∑XiYi }N sehingga diperoleh:
NA ∑ X i +NB ∑ X i =N ∑ X i Y i
2
...............(2.2)
Gabungan persamaan (1.2) dan (2.2) atau persamaan(1.2) = persamaan (2.2) akan
menghasilkan taksiran parameter B, sebagai berikut:
2
NA ∑ X i + B (∑ X i ) −( ∑ X i )( ∑ Y i )=NA ∑ X i + NB ∑ X 2i −N ∑ X i Y i
2
B ( ∑ X i ) −NB ∑ X i2 =(∑ X i )( ∑ Y i ) −N ∑ X i Y i
(∑ X i )(∑ Y i )−N ∑ X i Y i
B=
(∑ X i ) −N ∑ X 2i
2
N
N 1
2
+ 4 ∑ ( Y i −A−BX i )2 =O
Dari persamaan (3) yaitu = 2 σ^ 2 σ^ i=1 dapat dihitung taksiran
2
varians σ^ , sebagai berikut:
{ }
N
N 1
2 σ^ 4 = 4 ∑ ( Y i −A−BX i )2
2 σ^ 2
2 σ^ i=1
N
N . 2 σ^ 4 2 σ^ 4
2
= 4 ∑ (Y i − A−BX i )2
2 σ^ 2 σ^ i =1
N
N σ^ =∑ ( Y i − A−BX i )2
2
i=1
N
1
σ^ = ∑ (Y i− A−BX i )2
2
N i =1
∑ X 2i
(2*) A∑Xi + B = ∑XiYi
Ditulis dalam bentukmatriks, maka akan diperoleh persamaan matriks sebagai
berikut:
[∑ N
Xi
∑ Xi
∑ X i2 ][] [ ]
A ∑Yi
B = ∑ Xi Y i
Persamaan matriks tersebut dapat diselesaikan dengan dua metode yaitu:
a. Metode Invers:
[ ] [∑ ] [ ]
−1
A N ∑ Xi ∑Yi
B = Xi ∑ X i2 ∑ Xi Y i
b. Metode Cramer:
A=
[ ∑ Y i ∑ Xi
∑ Xi Y i ∑ Xi2 ]
[ N ∑ Xi
∑ X i ∑ X i2 ]
B=
[∑ N
Xi
∑Yi
∑ X i Y i2 ]
[∑ N
Xi
∑ Xi
∑ X i2 ]
N
N 1
=− 2 . 4 ∑ (Y i− A−BX i )2 =O
dari persamaan (3) yaitu 2 σ^ 2 σ^ i=1 dapat dihitung taksiran
2
varians σ^ , sebagai berikut:
{ }
N
N 1
2 σ^ 4
2 σ^ 2
= ∑
2 σ^ i=1
4
( Y i −A−BX i )2
N
N . 2 σ^ 4 2σ 4
2
= 4 ∑ (Y i − A−BX i )2
2σ 2σ i=1
N
N σ^ 2 =∑ (Y i − A−BX i )2
i=1
N
1
σ^ 2 = ∑ (Y i− A−BX i )2
N i =1
Tugas Pertama:
Jika kita memliki data hipotetis mengenai pupuk (X) dalam satuan kwintal dan produksi padi
sawah (Y) dalam satuan ton, sebagai berikut:
Tahun Xi Yi
2001 5 8
2002 6 12
2003 8 16
2004 9 19
2005 11 21
2006 12 23
2007 13 26
2008 14 29
2009 16 30
2010 17 33
2011 19 35
2012 22 38
2013 23 43
2014 25 47
2015 27 49
2016 29 51
Jumlah 256 480
Maka hitunglah:
1. Persamaan regresinya
2. Varians regresinya
3. Simpangan baku koefisien ^β 1
4. Penaksiran interval koefisien ^β 1 pada tingkat keyakinan 95 persen