Pertemuan Ketiga:
1. 3X1 + 2X2 = 5
2X1 + X2 = 3
2. 3X1 + 2X2 = 5
6X1 + 4X2 = 10
3. 3X1 + 2X2 = 5
6X1 + 4X2 = 5
AX = Y
-1
2. X̂ = A Y
A-1 adalah matriks kebalikan khusus -> bilamana matriks berbentuk nonsingular, det(A) 0)
1|Page
Mengapa analisis regresi selalu bisa dicari vektor jawabnya?
Alasan 1
P(A) = P(Ay)
P(A) = pangkat dari matriks transformasi -> pangkat adalah ordo matriks yang det 0
Catatan: pangkat : banyaknya baris/kolom dari suatu matriks yang saling ortogonal/bebas
Dari persamaan 1 :
1. 3X1 + 2X2 = 5
2X1 + X2 = 3
3 2
Matriks Transformasi = maka P(A) = 2 (det 0)
2 1
3 2 5
Matriks Augmen = maka P(Ay) = 2 (det 0)
2 1 3
Karena P(A) = P(Ay), maka matriks SPL tersebut punya vektor jawab
Dari persamaan 3 :
3. 3X1 + 2X2 = 5
6X1 + 4X2 = 5
3 2
Matriks Transformasi = maka P(A) = 1 (det untuk matriks 2x2 = 0)
6 4
3 2 5
Matriks Augmen = maka P(Ay) = 2 (det 0)
6 4 5
Karena P(A) P(Ay), maka matriks SPL tersebut tidak punya vektor jawab
2|Page
Alasan 2
Bila hubungan linier antara baris matriks transformasi juga berlaku bagi hubungan antar
baris vektor Y
Misal persamaan 2
3X1 + 2X2 = 5
6X1 + 4X2 = 10
Jika dapat dicari vektor jawabnya disebut Sistem Persamaan yang konsisten
3|Page
Definisi: AX = Y yang bersifat konsisten memiliki vektor jawab X̂ = G Y
Akan tetapi, matriks G memiliki bentuk khusus yaitu A-1, dengan syarat
AA-1A = A
IA=A
A=A
1. Pendekatan Penyapuan
Step by step
2 4 7
8
Contoh matriks singular A = 3 6
5 10 10
Det(A) = 0
Ambil matriks M yaitu baris 2 dan 3 dan kolom 2 dan 3 dari matriks A
6 8
M= , dimana M nonsingular, Det(M) = ??
10 10
1 / 2 2/5
Maka invers M atau M-1 =
1/ 2 3 / 10
c. Ganti unsur M dengan M-1 pada matriks A, dan diluar unsur M diganti dengan 0
0 0 0
1/ 2 2 / 5
A* = 0
0 1/ 2 3 / 10
4|Page
d. MKU diperoleh dari transpose matriks A* di atas
0 0 0
- 1/ 2 1 / 2
MKU = A = 0
0 2/5 3 / 10
5|Page
Pertemuan ke 6
METODE KUADRAT TERKECIL
Tujuannya:
1. Merubah SPL yang belum tentu konsisten menjadi sistem persamaan normal yang
pasti konsisten
2. Mendapatkan suatu garis yang paling akurat (error terkecil)
3. Dari uji koefisien secara serempak untuk mendapatkan suatu model dari data sampel
yang berlaku untuk populasi
Q
0 -2(y – b0 – b1x)x = 0 b0x + b1x2 = xy (2)
b 1
Persamaan (1) dan (2) adalah sistem persamaan normal, dengan penyelesaian sebagai berikut:
n x b 0 y
x b =
x 2 1
xy
X’X ̂ = X’Y
Permasalahan: SPL akan ada vektor jawabnya jika konsisten. Kalau suatu SPL belum tentu
konsisten, maka melalui MKT dapat dirubah menjadi SPL yang konsisten, sehingga selalu
dapat dicari b0 dan b1 nya (vektor jawabnya)
6|Page
Mengapa?
Persamaan normal:
X’X ̂ = X’Y,
memenuhi syarat matriks yang dapat dicari vektor jawabnnya, sehingga sistem persamaan
regresi konsisten. Dalam hal ini, X’X ̂ = X’Y dianggap X’ sebagai faktor pengali (ingat
alasan 2 halaman 4), sehingga MKT berguna untuk merubah sistem persamaan yang belum
tentu konsisten menjadi sistem persamaan normal yang pasti dijamin konsisten, makanya ̂
7|Page
Apakah Y dapat dinyatakan sebagai kombinasi linier dari X?
Ŷ =X ̂
Jika ya, maka Ŷ =X artinya X ̂ =Y, sehingga dapat diduga oleh ̂
Definisi
Jika V adalah sebuah ruang vektor dan V adalah ruang vektor yang ortogonal terhadap V,
maka setiap X dapat dipecah menjadi 2 vektor u dan v yang masing-masing bersifat khas
dimana u V dan v V.
x=u+v
x = u 1 + v1 x-x = 0
x = u 2 + v2 (u1 + v1) – (u2 + v2) = 0
akan mencapai 0 jika u1=u2 dan v1 = v2, artinya hanya ada 1 u dan 1 v
(khas)
Sehingga u dan v adalah 2 vektor yang ortogonal
Catatan: ortogonal-> hasil perkalian=0, sedangkan ortonormal-> hasil perkalian=0 dan
panjang vektor=1
Oleh karena itu, jika kita mempunyai Y=X ̂ +, maka Y harus dipecah dalam Y dan X ̂
dalam ruang vektor C(X’) dan berada dalam ruang vektor yang ortogonal terhadap C(X’),
sehingga apabila suatu vektor berada dalam V, dia akan ortogonal terhadap ruang vektor V.
8|Page
Implikasinya:
Bahwa setiap data hasil pengamatan (yi) pada prinsipnya dapat dipecah menjadi 2 vektor yang
terletak pada ruang vektor C(X’) dan ruang vektor lainnya yang ortogonal terhadap C(X’)
Sehingga:
Data = Dugaan + Sisaan
Y = X ̂ +
Y = Ŷ +
Y = Ŷ + (Y - Ŷ ), dimana Ŷ = X ̂ dengan ̂ = (X’X)-1X’Y
Y = X(X’X)-1X’Y + (Y – X(X’X)-1X’Y)
Y = [X(X’X)-1X’]Y + [I - X(X’X)-1X’] Y
Y = Px.Y + Px Y
Dimana
Px = X(X’X)-1X’ disebut matriks proyeksi
Px = I – X(X’X)-1X’ disebut matriks proyeksi ortogonal
Dugaan = PxY
Sisaan = Px Y
9|Page
Dekomposisi Jumlah Kuadrat
Y = Px.Y + Px Y
Y’Y = Y’ Px.Y + Y’ Px Y
JK total = JK model + JK sisaan
Pengujian keberartian koefisien regresi:
bi N(, 2 )
thitung = t(v) menjamin berlakunya sebaran t
Se(b i ) 2 ( v)
21 / v1
F= F(v1,v2) menjamin berlakunya sebaran F
22 / v2
10 | P a g e
Hipotesis Fungsi Linier Parameter
Y = 0 + 1X1 + 2X2 + 3X3 +
Hipotesis secara parsial H0 : i = 0 vs
H 1 : i 0
Hipotesis secara simultan H0 : 1 = 2 = 3 = 4 = 0 vs
H1 : paling tidak ada satu yang tidak sama dengan 0
Hipotesis fungsi linier parameter:
H0 : 1 + 2 = 1.0
H0 : 1 + 2 – 3 = 0.5
Diuji pake apa?
Untuk hipotesis H0 : 1 = 0 diuji pakai
’ = m
Dengan ’ adalah ortogonal ()
’ dimanakan fungsi linier parameter
Dimana ’ = (0 1 0 0)
m=0
Untuk H0 : 1 + 2 = 1.0
’ = (0 1 1 0) dan m = 1
Untuk H0 : 1 + 2 – 3 = 0.5
’ = (1 1 -1) dan m = 0.5
Pertanyaan:
1. Bagaimana menguji hipotesis fungsi linier parameter dalam bentuk umum?
2. Jika benar, berarti apakah nya harus memenuhi sifat penduga parameter?
E(’ ̂ ) = ’?
E(’ (X’X)-1X’Y) = ’ (buktikan bahwa tidak bias)
Jika H0 benar, syarat yang harus dipenuhi:
Meminimumkan error yaitu (Y – X ̂ )’ (Y – X ̂ ) dengan kendala ’ – m = 0
11 | P a g e
̂ adalah penduga parameter tanpa kendala
~ ~
adalah penduga parameter dengan disertai kendala ’ –m=0
Definisi
Minimumkan f(x) dengan g(x) = 0 min h(x, k) = f(x) + kg(x)
~ ~ ~
Minimumkan (Y – X )’ (Y – X ) dengan kendala ’ –m=0
~ ~ ~
Min h(x, k) = (Y – X )’ (Y – X ) + k(’ – m)
Agar minimum, maka h(x, k) diturunkan parsial
h ( x , k )
0
k
~ ~ ~
h(x,k) = Y’Y – 2X’ Y + X’X 2 + k’ - km
~
-2X’Y + 2X’X + k ’ = 0
~
-2X’(Y - X ) + k ’ = 0
~
(X’Y – X’X ) – 0.5k’ = 0
~
X’X = X’Y – 0.5 k’
~
= (X’X)-1X’Y – 0.5(X’X)-1 k’
~
= ̂ – 0.5(X’X)-1 k’
Sehingga
~
’ –m=0
’( ̂ – 0.5(X’X)-1 k’) = m
0.5k = [’ ̂ - m] [’(X’X)-1]-1
K = 2[’(X’X)-1]-1[’ ̂ - m]
Jadi
~
= ̂ – (X’X)-1[’(X’X)-1]-1[’ ̂ - m]
Matriks [’(X’X)-1]-1[’ ̂ - m] akan selalu berpangkat penuh karena saling ortogonal
12 | P a g e
Jumlah kuadrat sisa tanpa kendala:
JKs = Y’IY – Y’PxY
= Y’ (I – Px) Y
= Y’ Px Y
= (Y - X ̂ )’(Y - X ̂ )
Jumlah kuadrat sisa dengan kendala:
~ ~
JKsk = (Y - X )’(Y - X )
= {Y – X( ̂ – [’(X’X)-1]-1[’ ̂ - m])}’{Y – X( ̂ – [’(X’X)-1]-1[’ ̂ - m])}
= {Y - X ̂ + X(X’X)-1’(’(X’X)-1)-1(’ ̂ - m)}’
{Y - X ̂ + X(X’X)-1’(’(X’X)-1)-1(’ ̂ - m)}
= (Y - X ̂ )’(Y - X ̂ ) + (’ ̂ - m)’(’(X’X)-1)-1(’ ̂ -m)
= JKs + Q
Dimana Q = (’ ̂ - m)’(’(X’X)-1)-1(’ ̂ -m)
Q menunjukkan bahwa dengan adanya kendala maka variansi sisaan akan meningkat. Atau
dengan kata lain JKsk > JKs
Yang diuji dengan kendala:
~ ~
’ – m = 0 atau ’ =m
Dengan
~
[’ – m] N(’, (’(X’X)-1)2)
Q 2[p(’), 0,5(’-m)’(’(X’X)-1)-1(’-m]
Agar distribusi Q tersentra, H0 harus dianggap benar, sehingga Q 2(banyaknya baris k’)
Q
F[p(’), n-p]
s2
Dimana s2 = Y’PxY (JK sisaan tanpa kendala)
13 | P a g e
Pertemuan ke 7
MODEL TIDAK PENUH
Model sebelumnya menggunakan analisis asosiasi (analisis regresi) disebut model penuh
(full model), karena X’X nonsingular (asumsi multikolinieritas)
Sedangkan model tidak penuh yaitu model yang menggunakan analisis komparatif (karena
X’X singular), seperti:
1. Pengujian 1 populasi (Z test -> ragam diketahui)
2. Pengujian 1 populasi (t test -> ragam tidak diketahui)
3. Pengujian 2 populasi (Z test -> ragam diketahui)
4. Pengujian 2 populasi (t test -> ragam tidak diketahui)
5. Pengujian lebih dari 2 populasi (F test -> dengan proses komputasi melalui ANOVA)
Ragam populasi diketahui dari: (1) ragam yang diperoleh dari penelitian sebelumnya, (2)
ragam yang telah dispesifikasi/ditetapkan oleh pihak tertentu, (3) pendapat dari pakar
Contoh: dalam penelitian, obyek karyawan (1 s/d 5) dengan variabel produktivitas (kg/menit),
menggunakan 3 jenis training A, B, dan C.
No A B C
1 0.91 0.90 0.80
2 0.81 0.75 0.81
3 0.90 0.81 0.78
4 0.95 0.78 0.91
5 1.00 0.89 0.82
14 | P a g e
Klasifikasi Satu Arah
Hipotesis H0 : A = b = A atau H0 : A = B = c = 0
H1 : minimal ada sepasang kondisi yang berbeda
Tabel ANOVA
SK db JK KT F
Kondisi/Perlakuan p-1 JKp KTp KTm/KTs
Error Sisa JKs KTs
Total np-1 JKt
2 ( Yij ) 2
JKt = Yij
np
2 ( Yij ) 2
JKp = Yi / n
np
Y = X +
X adalah matriks rancangan (design matrix) dan pasti berpangkat tak penuh (karena ada
keterkaitan antar kolom, yaitu kolom 1 adalah penjumlahan dari kolom lainnya = saling
kombinasi linier, oleh karena itu Det X’X pasti = 0)
6 2 2 2
Yij Y..
2 Y
2 0 0 Y
X’Y =
1j
X’X = 1.
2 0 2 0 Y2 j Y2;
2 0 0 2
Y3 j Y3.
Persamaan normal
15 | P a g e
(X’X) ̂ = X’Y, sehingga ̂ = (X’X)-X’Y
̂ bersifat tidak khas sehingga kurang bermanfaat jika dilakukan pendugaan parameter
Penyelesaiannya yaitu dengan paramterisasi yaitu distandarisasi ke rata-rata parameter
Rataan umum:
̂ = Yij / np = Y..
Rataan perlakuan:
ˆ i Yij / n Y.. Yi. Y..
E(Y
16 | P a g e