Singular Value

Decomposition (SVD)
Fisika Matematika I
Dr. Sungkono

www.its.ac.id INSTITUT TEKNOLOGI SEPULUH NOPEMBER, Surabaya - Indonesia

Dekomposisi Matrik
• Mendekomposisi matriks artinya memfaktorkan sebuah matriks,
misalnya A, menjadi hasil kali dari sejumlah matriks lain, P1, P2, …, Pk
A = P1  P2  ...  Pk
• Terdapat beberapa metode mendekomposisi matriks:
1. Metode dekomposisi LU
2. Metode Dekomposisi Cholesky (𝐿𝐿𝑇 )
3. Metode dekomposisi QR
4. Metode dekomposisi nilai singular (singular value decomposition
– SVD)
www.its.ac.id INSTITUT TEKNOLOGI SEPULUH NOPEMBER, Surabaya - Indonesia
Dekomposisi LU
1 0 0 𝑢11 𝑢12 𝑢13
• 𝐴 = 𝐿𝑈 = 𝐿21 1 0 0 𝑢22 𝑢23
𝐿31 𝐿32 1 0 0 𝑢33

L = matriks segitiga bawah (lower triangular matrix),

U = matriks segitiga atas (upper triangular matrix)
Contoh:

www.its.ac.id INSTITUT TEKNOLOGI SEPULUH NOPEMBER, Surabaya - Indonesia

 𝑻
Dekomposisi Cholescky (𝑳𝑳 )
𝐿11 0 0 𝐿11 𝐿21 𝐿31
• 𝐴 = 𝐿𝐿𝑇 = 𝐿21 𝐿22 0 0 𝐿22 𝐿32
𝐿31 𝐿32 𝐿33 0 0 𝐿33
L = matriks segitiga bawah (lower triangular matrix)
• Contoh:
4 12 −16 2 0 0 2 6 −8
12 37 −43 = 6 1 0 0 1 5
−16 −43 98 −8 5 3 0 0 3

www.its.ac.id INSTITUT TEKNOLOGI SEPULUH NOPEMBER, Surabaya - Indonesia

Dekomposisi QR

Contoh:

www.its.ac.id INSTITUT TEKNOLOGI SEPULUH NOPEMBER, Surabaya - Indonesia

Singular Value Decomposition (SVD)
• Di dalam materi nilai eigen dan vektor eigen, pokok bahasan diagonalisasi, kita
sudah mempelajari bahwa matriks bujursangkar A berukuran n x n dapat
difaktorkan menjadi:
A = EDE–1
E adalah matriks yang kolom-kolomnya adalah basis ruang eigen dari matriks A,
E = (e1 | e2 | … | en)

D adalah matriks diagonal sedemikian sehingga

D = E–1AE
• Bagaimana cara memfaktorkan matriks non-bujur sangkar berukuran m x n yang
tidak memiliki nilai eigen?

www.its.ac.id INSTITUT TEKNOLOGI SEPULUH NOPEMBER, Surabaya - Indonesia

Singular Value Decomposition (SVD)
• Untuk matriks non-bujursangkar, pemfaktorannya menggunakan metode
singular decomposition value (SVD)
• SVD memfaktorkan matriks A berukuran m x n menjadi matriks U, , dan V
sedemikian sehingga
𝑻
𝑨 = 𝑼𝜮𝑽
U = matriks ortogonal m x m,
V = matriks orthogonal n x n
 = matriks berukuran m x n yang elemen-elemen diagonal utamanya
adalah nilai-nilai singular dari matriks A dan elemen-elemen lainnya 0

www.its.ac.id INSTITUT TEKNOLOGI SEPULUH NOPEMBER, Surabaya - Indonesia

Singular Value Decomposition (SVD)

www.its.ac.id INSTITUT TEKNOLOGI SEPULUH NOPEMBER, Surabaya - Indonesia

Singular Value Decomposition (SVD)
Diagonal utama matriks m xn
• Diagonal utama sebuah matriks biasanya didefinisikan pada matriks
persegi (matriks bujursangkar) berukuran n x n.
• Untuk matriks bukan bujursangkar, yaitu matriks m x n, diagonal
utama matriks didefinisikan pada garis yang dimulai dari sudut kiri
atas terus ke bawah matriks sejauh mungkin.

www.its.ac.id INSTITUT TEKNOLOGI SEPULUH NOPEMBER, Surabaya - Indonesia

Matrik Ortogonal
• Matriks ortogonal adalah matriks yang kolom-kolomnya adalah
vektor yang saling orthogonal satu sama lain (hasil kali titik sama
dengan 0).
• Jika vektor-vektor kolom tersebut merupakan vektor satuan, maka
matriks ortogonal tersebut dinaakan juga matriks ortonormal.
• Vektor satuan adalah vektor yang dinormalisasi dengan panjang atau
magnitude-nya sehingga memiliki panjang atau magnitude = 1.
• Jika Q adalah matriks ortogonal m x n, dan kolom-kolom matriks Q
adalah vektor-vektor satuan v1, v2, …, vm, maka vi  vj = 0 untuk i  j.
• Atau, dapat juga dikatakan bahwa Q adalah matriks ortogonal jika
QTQ= I, dalam hal ini I adalah matriks identitas.

www.its.ac.id INSTITUT TEKNOLOGI SEPULUH NOPEMBER, Surabaya - Indonesia

Matrik Ortogonal

www.its.ac.id INSTITUT TEKNOLOGI SEPULUH NOPEMBER, Surabaya - Indonesia

Contoh Matrik ortogonal

QTQ

www.its.ac.id INSTITUT TEKNOLOGI SEPULUH NOPEMBER, Surabaya - Indonesia

Nilai-nilai singular matrik
• Misalkan A adalah matriks m x n. Jika 1, 2, …, n adalah nilai-nilai
eigen dari ATA, maka
1 =  1, 2 =  2, …, n =  n
disebut nilai-nilai singular dari matriks A.
• Diasumsikan 1  2  …  n  0 sehingga 1  2  …  n  0
Teorema

www.its.ac.id INSTITUT TEKNOLOGI SEPULUH NOPEMBER, Surabaya - Indonesia

Nilai-nilai singular matrik
1 1
Contoh 1: Tentukan nilai-nilai singular matriks 𝐴 = 0 1
1 0
Jawaban:
𝜆 − 2 −1
• det(I – (A A)x) = 0
T = 0  ( - 2)(- 2) – 1 = 0
−1 𝜆 − 2
• Persamaan karakteristik: 2 - 4 + 3= 0  ( - 3)( - 1) = 0
• Nilai-nilai eigen dari ATA adalah 1 = 3 dan 2 = 1
• Jadi, nilai-nilai singular matriks A (dalam urutan dari besar ke kecil) adalah:
1 = 3 dan 2 = 1

www.its.ac.id INSTITUT TEKNOLOGI SEPULUH NOPEMBER, Surabaya - Indonesia

15
A= UV T

Nilai-nilai Vektor-vektor
Vektor-vektor
singular singular kanan
singular kiri

16
Langkah-langkah SVD
1. Untuk vektor singular kiri, hitung nilai-nilai eigen dari AAT . Rank(A) = k = banyaknya
nilai-nilai eigen tidak nol dari AAT .
2. Tentukan vektor-vektor eigen u1, u2, …, um yang berkoresponden dengan nilai-nilai
eigen dari AAT. Normalisasi u1, u2, …, um dengan cara setiap komponen vektornya
dibagi dengan panjang vektor. Diperoleh matriks U.
3. Untuk vektor singular kanan, hitung nilai-nilai eigen dari ATA lalu tentukan nilai-nilai-
singularnya.
4. Tentukan vektor-vektor eigen v1, v2, …, vn yang berkoresponden dengan nilai-nilai
eigen dari ATA. Normalisasi v1, v2, …, vn dengan cara setiap komponen vektornya dibagi
dengan panjang vektor. Diperoleh matriks V. Transpose-kan matriks V sehingga
menjadi VT.
5. Bentuklah matriks  berukuran m x n dengan elemen-elemen diagonalnya adalah
nilai-nilai singular dari matriks A dengan susunan dari besar ke kecil. Nilai singular di
dalam  adalah akar pangkat dua dari nilai-nilai eigen yang tidak nol dari ATA.
6. Maka, A = UVT

www.its.ac.id INSTITUT TEKNOLOGI SEPULUH NOPEMBER, Surabaya - Indonesia

Contoh SVD
3 1 1
• Faktorkan matriks 𝐴 = dengan metode SVD.
−1 3 1
Jawaban:
3 −1
𝑇 3 1 1 11 1
• Singular kiri: 𝐴𝐴 = 1 3 =
−1 3 1 1 11
1 1
• Nilai-nilai eigen dari AAT adalah 1= 12 dan 2 = 10 (terurut dari
besar ke kecil), Jadi rank(A) = 2
• Menentukan Matrik U
 − 11 −1 𝑥1 0
(I – AA )x = 0 
T
𝑥 =
−1  − 11 2 0

www.its.ac.id INSTITUT TEKNOLOGI SEPULUH NOPEMBER, Surabaya - Indonesia

Contoh SVD
• Untuk = 12,diperoleh
 − 11 −1 𝑥1 0 1 −1 𝑥1 0
= ⇒ =
−1  − 11 𝑥2 0 1 1 𝑥2 0
SPL: x1 – x2 = 0 dan –x1 + x2 = 0  x1 = x2 , misal x1 = 1, maka x2 = 1 *)
𝑥1 1 1
Vektor eigen: x = 𝑥 =  u1 =
2 1 1
• Untuk = 10,diperoleh
 − 11 −1 𝑥1 0 −1 −1 𝑥1 0
= ⇒ =
−1  − 11 𝑥2 0 −1 −1 𝑥2 0
SPL: –x1 – x2 = 0 dan –x1 – x2 = 0  x1 = -x2 , misal x1 = 1, maka x2 = –1
𝑥1 1 1
Vektor eigen: x = 𝑥 =  u2 =
2 −1 −1
*) Biasanya dimisalkan x1 = t sehingga x2 = t. Pada kasus ini kita bisa memisalkan t nilai sembarang, misalkan t = 1,
Berapapun nilai t tidak masalah, sebab nanti vektor dinormalisasi dengan panjangnya.
www.its.ac.id INSTITUT TEKNOLOGI SEPULUH NOPEMBER, Surabaya - Indonesia
Contoh SVD
𝐮1 (1,1) 1/ 2
• Normalisasi u1 dan u2: 𝐮1 = = = dan
𝐮1 2 1/ 2
𝐮2 (1,−1) 1/ 2
𝐮2 = = =
𝐮2 2 −1/ 2
1 1 1
• Dengan demikian 𝑈 =
2 1 −1
3 −1 10 0 2
3 1 1
• Singular Kanan:𝐴𝑇 𝐴 = 1 3 = 0 10 4
−1 3 1
1 1 2 4 2

www.its.ac.id INSTITUT TEKNOLOGI SEPULUH NOPEMBER, Surabaya - Indonesia

Contoh SVD
10 0 2
• Nilai-nilai eigen dari 𝐴𝐴𝑇 = 0 10 4 adalah 1= 12, 2 = 10 dan 3 = 0
2 4 2
(terurut dari besar ke kecil)
• Nilai-nilai singular dari nilai eigen yang tidak nol adalah 1 = 12 , 2 = 10
• Vektor-vektor eigen yang bersesuaian dengan setiap nilai eigen tersebut adalah:
1 2 1
v1 = 2 , v2 = −1 , v3 = 2
1 0 −5
• Normalisasi v1, v2, dan v3:
𝐯1 (1,2,1) 𝐯2 (2,−1,0) 𝐯3 (1,2,−5)
𝐯1 = = , 𝐯2 = = , 𝐯3 = =
𝐯1 6 𝐯2 5 𝐯3 30

www.its.ac.id INSTITUT TEKNOLOGI SEPULUH NOPEMBER, Surabaya - Indonesia

Contoh SVD
• Normalisasi v1, v2, dan v3:
𝐯1 (1,2,1) 𝐯2 (2,−1,0) 𝐯3 (1,2,−5)
𝐯1 = = , 𝐯2 = = , 𝐯3 = =
𝐯1 6 𝐯2 5 𝐯3 30
• Matrik V
1 2 1 1 2 1
6 5 30 6 6 6
2 −1 2 2 −1
𝑉= dan VT = 0
6 5 30 5 5
1 −5 1 2 −5
0 30 30 30
6 30
12 0 0
• Matriks  yang berukuran 2 x 3 adalah  =
0 10 0
www.its.ac.id INSTITUT TEKNOLOGI SEPULUH NOPEMBER, Surabaya - Indonesia
Contoh SVD
• Jadi, A = UVT 1 2 1
6 6 6
3 1 1 2 −1
= 1/2 1/2 12 0 0 0
−1 3 1 1/2 −1/2 5 5
0 10 0
1 2 −5
30 30 30

A U  VT
2x3 2x2 2x3 3x3

www.its.ac.id INSTITUT TEKNOLOGI SEPULUH NOPEMBER, Surabaya - Indonesia

Aplikasi SVD
• Kompresi gambar dan video (image and video compression)
• Pengolahan citra (image processing), toomografi, filter data atau
sinyal
• Machine Learning
• Computer vision
• Digital watermarking
• Dll

www.its.ac.id INSTITUT TEKNOLOGI SEPULUH NOPEMBER, Surabaya - Indonesia

Aplikasi SVD
• Model bawah permukaan 𝑚𝑛+1 = 𝑚𝑛 + 𝐽𝑇 𝐽 −1 𝐽𝑇 𝑑𝑜𝑏𝑠 − 𝑑𝑐𝑎𝑙
• Sebab 𝐽 = 𝑈𝜆𝑉 𝑇 , maka: 𝐽𝑇 𝐽 −1 𝐽𝑇 = 𝑉𝜆−1 𝑈 𝑇
• Dengan demikian: 𝑚𝑛+1 = 𝑚𝑛 + 𝑉𝜆−1 𝑈 𝑇 𝑑𝑜𝑏𝑠 − 𝑑𝑐𝑎𝑙

Candra et al., 2014

www.its.ac.id INSTITUT TEKNOLOGI SEPULUH NOPEMBER, Surabaya - Indonesia

References
• Howard Anton & Chris Rores, Elementary Linear Algebra, 10th Edition
• Mary L. Boas, Mathematical Methods In The Physical Sciences, 3rd
Edition
• A.D. Candra, W. Srigutomo, Sungkono, B.J. Santosa, 2014. A Complete
Quantitative Analysis of Self-Potential Anomaly Using Singular Value
Decomposition Algorithm. IEEE

www.its.ac.id INSTITUT TEKNOLOGI SEPULUH NOPEMBER, Surabaya - Indonesia

- TERIMA KASIH -