BAB 13.

Regresi linier dalam Notasi Matriks

Steel & Torrie, 1994
𝑌𝑖 = 𝛽0 + 𝛽1 𝑋𝑖 + 𝜀𝑖 𝑖 = 1, … , 𝑛
SPL:
𝑌1 = 𝛽0 + 𝛽1 𝑋1 + 𝜀1
𝑌2 = 𝛽0 + 𝛽1 𝑋2 + 𝜀2
⋯⋯⋯⋯⋯⋯⋯⋯
𝑌𝑛 = 𝛽0 + 𝛽1 𝑋𝑛 + 𝜀𝑛

Apakah persamaan linier tersebut konsisten?

Muhamad Fariq Hidayat

 Ordinary Least Square (OLS)
• Merubah SPL yang belum tentu konsisten
menjadi sistem persamaan normal yang pasti
konsisten
• Mendapatkan suatu garis yang paling akurat
(error terkecil)
• Dari uji koefisien secara serempak untuk
mendapatkan suatu model dari data sampel
yang berlaku untuk populasi.

Muhamad Fariq Hidayat

Dalam analisis regresi vektor jawab selalu
konsisten, mengapa?

Muhamad Fariq Hidayat

 Q = e2 = (y – b0 – b1x)2
𝜕𝑄
𝜕b0
 -2(y – b0 – b1x) = 0
 nb0 + b1x = y (1)
𝜕𝑄
𝜕b1
 -2(y – b0 – b1x)x = 0
 b0x + b1x2 = xy (2)

Muhamad Fariq Hidayat

Persamaan Normal
𝑛 σ𝑥 𝛽0 σ𝑥
=
σ𝑥 σ 𝑥2 𝛽1 σ 𝑥𝑦

𝑿𝑇 𝑿 ෡ = 𝑿𝑇 𝒀
𝜷

Muhamad Fariq Hidayat

 Table of Analysis Variance
Sumber
db Jumlah kuadrat Kuadrat tengah 𝐂𝐫𝐢𝐭.
keragaman
Regresi𝑡𝑒𝑟𝑘𝑜𝑟𝑒𝑘𝑠𝑖 1 σ 2 𝐽𝐾𝑅𝑒𝑔𝑟𝑒𝑠𝑖 Τ𝑑𝑏𝑅𝑒𝑔𝑟𝑒𝑠𝑖
( 𝑌) 𝐽𝐾𝑅𝑒𝑔𝑟𝑒𝑠𝑖
෡ 𝑇 𝑿𝑇 𝒀 −
𝜷
𝑛 𝑑𝑏𝑅𝑒𝑔𝑟𝑒𝑠𝑖 𝐽𝐾𝐺𝑎𝑙𝑎𝑡 Τ𝑑𝑏𝐺𝑎𝑙𝑎𝑡

𝐺𝑎𝑙𝑎𝑡 𝑛−2 ෡ 𝑇 𝑿𝑇 𝒀
𝒀𝑇 𝒀 − 𝜷 𝐽𝐾𝐺𝑎𝑙𝑎𝑡
𝑑𝑏𝐺𝑎𝑙𝑎𝑡

𝑇𝑜𝑡𝑎𝑙 𝑛−1
𝑇
(σ 𝑌)2
𝒀 𝒀−
𝑛

Muhamad Fariq Hidayat

 Hypothesis
Hipotesis statistik:
𝐻0 ⋮ 𝛽 = 0 𝑣𝑠 𝐻1 ⋮ 𝛽 ≠ 0

5%
𝐻 𝑑𝑖𝑡𝑒𝑟𝑖𝑚𝑎 , jika 𝑠𝑡𝑎𝑡𝑖𝑠𝑡𝑖𝑘 𝑢𝑗𝑖 𝐹 ≤ 𝐹𝑑𝑏 𝑟𝑒𝑔𝑟𝑒𝑠𝑖,𝑑𝑏 𝑔𝑎𝑙𝑎𝑡 ,
Keputusan ∶ ൝ 0
𝐻0 𝑑𝑖𝑡𝑜𝑙𝑎𝑘, 𝑆𝑒𝑙𝑎𝑖𝑛𝑛𝑦𝑎

Decision:
𝐽𝐾𝑅𝑒𝑔𝑟𝑒𝑠𝑖 Τ𝑑𝑏𝑅𝑒𝑔𝑟𝑒𝑠𝑖 90.908
𝐹= = = 16.3 ∗∗
𝐽𝐾𝐺𝑎𝑙𝑎𝑡 Τ𝑑𝑏𝐺𝑎𝑙𝑎𝑡 5.587

Please give interpretation below!

Muhamad Fariq Hidayat

 Hypothesis of t-test
Hipotesis Statistik:
𝐻0 ⋮ 𝛽1 = 0 𝑣𝑠 𝐻1 ⋮ 𝛽1 ≠ 0

5%
𝐻 𝑑𝑖𝑡𝑒𝑟𝑖𝑚𝑎, jika 𝑠𝑡𝑎𝑡𝑖𝑠𝑡𝑖𝑘 𝑢𝑗𝑖 𝑡 ≤ 𝑡𝑛−2
Keputusan ∶ ൝ 0
𝐻0 𝑑𝑖𝑡𝑜𝑙𝑎𝑘, 𝑆𝑒𝑙𝑎𝑖𝑛𝑛𝑦𝑎

𝛽መ1 − 𝛽1
𝑠𝑡𝑎𝑡𝑖𝑠𝑡𝑖𝑘 𝑢𝑗𝑖 𝑡 =
𝑉(𝛽መ1 )

𝑆𝐾 = 𝛽መ1 ± 𝑡𝑛−2
5%
𝑉 𝛽መ1

Bagaimana cara mendapatkan 𝑉 𝛽መ1 ?

lihat matriks 𝑿𝑇 𝑿 −1 𝝈𝟐

Please interpretation if we rejector accept hypothesis null!

Muhamad Fariq Hidayat

Analisis Regresi Peubah Indikator atau Biner

Peubah pada analisis regresi selalu bersifat kuantitatif meskipun

begitu dapat juga digunakan peubah boneka (dummy) yang bernilai 0
atau 1 untuk memudahkan dan mengkonsistenkan notasi.
Berikut model matematis dengan dua kelompok amatan yang saling
bebas
𝑌𝑖𝑗 = 𝜇 + 𝜏𝑖 + 𝜀𝑖𝑗 𝑖 = 1,2 𝑗 = 1, … , 𝑛𝑖
dengan
1 , 𝑖 = 1, … , 𝑛𝑖
• 𝑋1𝑖 = ቊ
0 , 𝑠𝑒𝑙𝑎𝑖𝑛𝑛𝑦𝑎

0 , 𝑠𝑒𝑙𝑎𝑖𝑛𝑛𝑦𝑎
• 𝑋2𝑖 = ቊ
1 , 𝑖 = 1, … , 𝑛𝑖

Muhamad Fariq Hidayat

Matriks model matematis dengan dua
peubah prediktor
𝐘 = 𝐗 𝛃 + 𝜺
𝑌1 1 1 0 𝜀1
⋮ ⋮ ⋮ ⋮ ⋮
𝛽0
𝑌𝑛1 1 1 0 𝜀𝑛1
= 𝛽1 + 𝜀
𝑌𝑛+1 1 0 1 𝑛+1
𝛽2 ⋮
⋮ ⋮ ⋮ ⋮
𝑌𝑛1+𝑛2 1 0 1 𝜀𝑛1+𝑛2

Persamaan normal: 𝑿𝑇 𝑿 𝜷 ෡ = 𝑿𝑇 𝒀
Pada matriks desain X dapat dilihat bahwa baris kedua merupakan kombinasi
linier dari baris pertama sehingga matriks tersebut singular atau tidak
memiliki matriks kebalikan. Begitu juga jika baris 2 dan 3 ditambahkan dalam
matriks 𝑋 𝑇 𝑌 akan menghasilkan baris pertama. Dapat dinyatakan bahwa
ketiga persamaan tersebut tidak memberikan keterangan yang berbeda dan
akan menimbulkan permasalahan (multikolinieritas).
Membuang salah satu peubah X yang disebut dengan refference cell

Muhamad Fariq Hidayat

 Lanjutan
Setelah membuang peubah 𝑋2
𝑌𝑖 = 𝛽0 𝑋0𝑖 + 𝛽1 𝑋1𝑖 + 𝜀𝑖
𝑌1 1 1 𝜀1
⋮ ⋮ ⋮ ⋮
𝑌𝑛1 1 1 𝛽0 𝜀𝑛1
= + + 𝜀
𝑌𝑛+1 1 0 𝛽1 𝑛+1
⋮ ⋮ ⋮ ⋮
𝑌𝑛1+𝑛2 1 0 𝜀𝑛1+𝑛2
Sekarang matriks desain X bukan lagi memiliki
kombinasi linier dari baris kedua. Maka dapat
dilakukan OLS.

Muhamad Fariq Hidayat

 ෡
𝜷 = 𝑿𝑇 𝑿 −1
𝑿𝑇 𝒀
𝑛1+𝑛2
𝑛1+𝑛2
1 1 ෍ 𝑌𝑖 𝑌𝑖
− ෍
෡= 𝑛2 𝑛2 1 𝑛2
𝜷 𝑛1 = 𝑛1+1
1 𝑛1 + 𝑛2 𝑛1+𝑛2
−
෍ 𝑌𝑖 σ𝑛1 𝑌
1 𝑖ൗ σ 𝑛1+1 𝑌𝑖ൗ
𝑛2 𝑛1 𝑛2 𝑛1 𝑛2
1
𝑌ത2∙
=
𝑌ത1∙ − 𝑌ത2∙
Maka dapat dikatakan nilai duga 𝛽0 = 𝑌ത2∙ dan 𝛽1 = 𝑌ത1∙ − 𝑌ത2∙

Muhamad Fariq Hidayat

Okay then, stay awake with
STATISTICS

TERIMA KASIH