Teorema 2.

14

{z1, …, zr } menjadi basis ortonormal untuk beberapa ruang bagian vektor, S, dari Rm. Kemudian setiap x ϵ
R dapat dinyatakan secara unik sebagai

x=u+v

dimana u ϵ S dan v adalah vektor yang orthogonal untuk setiap vektor didalam S.

Vektor u dalam teorema di atas dikenal sebagai proyeksi ortogonal x ke S

Pentingnya proyeksi ortogonal u dalam banyak aplikasi muncul dari kenyataan bahwa itu adalah titik
terdekat di S ke x. Artinya, jika y adalah titik lain di S dan dI adalah fungsi jarak Euclidean, maka dI (x, u) ≤
dI (x, y). Ini cukup sederhana untuk memverifikasi. Karena u dan y di S, maka dari dekomposisi x = u + v
bahwa vektor u - y ortogonal terhadap v = x - u dan, karenanya, (x - u) '(u - y) = 0. Akibatnya,

{dI (x,y)}2 = (x – y )’(x – y ) = {(x – u) + (u – y)}’{(x – u ) + (u – y )}

= (x – u )’(x – u ) + (u – y )’(u – y ) + 2 (x – u )’(u – y )

= (x – u )’(x – u ) + (u – y )’(u – y)

= { dI (x,u)}2 + { dI (u,y)}2

dimana dI (x,u) ≤ dI (x,y) berikut karena {dI(u,y)}2 ≥ 0.

Contoh 2.8

Regresi linier sederhana menghubungkan variabel respon y ke satu variabel penjelas x melalui model

y = β0 + β1x + ε

yaitu, jika model ini benar, kemudian mengamati pasangan terurut (x, y) harus diklaster tentang beberapa
baris dalam bidang x, y . Misalkan kita memiliki pengamatan N (xi, yi), i = 1,…, N, dan kita membentuk N
x 1 vektor y = (y1, ..., yN )’ dan N x 2 matriks

1 x1 
1 x 
X   1N x
2 

  
 
1 x N 

Taksiran kuadrat terkecil β^ dari β = (β0 ,β1) 'meminimalkan jumlah kesalahan kuadrat diberikan oleh

( y  yˆ )' ( y  yˆ )  ( y  Xˆ )' ( y  Xˆ ).

Digunakan sifat geometris dari proyeksi untuk menentukan ̂ . Untuk setiap pilihan ˆ , yˆ  Xˆ memberikan
titik dalam ruang bagian dari RN direntang oleh kolom X, yaitu, bidang direntang oleh dua vektor 1N dan x,
Dengan demikian, titik ŷ yang meminimalkan jarak dari y akan diberikan oleh proyeksi ortogonal y ke
(onto) bidang ini direntang oleh 1N dan x. Ini berarti bahwa y  yˆ harus ortogonal untuk kedua 1N dan x. Hal
ini menyebabkan dua persamaan normal

yang bila diselesaikan secara simultan untuk ̂ 0 dan ̂1 , hasilnya

Definisi 2.10

Misalkan S adalah ruang bagian vektor Rm. Komplemen ortogonal dari S, dinotasikan dengan S┴ , adalah
kumpulan dari semua vektor di Rm yang ortogonal terhadap setiap vektor di S; yaitu, S┴ = {(x: x
ϵ Rm dan x' y = 0 untuk semua y ϵ S }.

Teorema 2.15

Jika S adalah ruang bagian vektor Rm maka komplemen ortogonal S┴ yang juga merupakan subruang vektor
Rm.

Teorema 2.16

Misalkan {z1, …, zm } adalah basis ortonormal untuk Rm dan {z1, …, zr } adalah basis ortonormal untuk
ruang bagian vektor S. Kemudian {zr+1, …, zm } adalah ortonormal dasar untuk S┴.