LEAST SQUARES
NUMERICAL ANALYSIS
WEDNESDAY, 27 FEBRUARY 2019
1/62
ANGGOTA KELOMPOK 4
2/62
PENDAHULUAN
Data:
T : Suhu
S : Tegangan pada suatu permukaan
3/62
PENDAHULUAN
Gambar:
Menggunakan
Software
Octave
4/62
PENDAHULUAN
Data:
5/62
PENDAHULUAN
Data:
6/62
METODE PENYELESAIAN
Metode
Nilai parameter
Least Squares
7/62
OUTLINE
Section 1 Method of Least Squares
Orthogonal System and Chebyshev
Section 2
Polynomials
Section 3
Other Examples of the Least
Squares Principle
Section 4 Studi Kasus dan Contoh Soal
8/62
Section 1
9/62
Method of Least Square
Linear Least Square
10/62
Method of Least Square
Untuk data ke-k berada tepat di dalam garis 𝑦 = 𝑎𝑥 + 𝑏 maka:
𝑦 − 𝑦𝑘 = 0, artinya galat untuk data ke-k adalah 0.
Apabila data tidak berada tepat dalam garis, maka galat untuk data
pengamatan ke-k adalah 𝑒𝑘 = |𝑦 − 𝑦𝑘 |.
𝑒𝑡𝑜𝑡𝑎𝑙 = 𝑒𝑘 = 𝑎𝑥𝑘 + 𝑏 − 𝑦𝑘 ,
𝑘=0 𝑘=0
dan total kuadrat galat adalah:
𝑚
𝑒𝑘 2
𝑘=0
11/62
Method of Least Square
Langkah-langkah menghitung persamaan 𝑎 dan 𝑏
1. Bentuk total kuadrat galat sebagai fungsi dalam 𝑎 dan 𝑏
𝑚 𝑚
2
𝜑 𝑎, 𝑏 = 𝑒𝑘 = 𝑎𝑥𝑘 + 𝑏 − 𝑦𝑘 .
𝑘=0 𝑘=0
2. Mencari nilai 𝑎 dan 𝑏 yang membuat fungsi di atas minimum, yaitu
dengan
𝜕𝜑 𝜕𝜑
=0, =0
𝜕𝑎 𝜕𝑏
𝜕𝜑
• 𝜕𝑎 = 𝑚 𝑘=0 2 𝑎𝑥𝑘 + 𝑏 − 𝑦𝑘 𝑥𝑘 = 0
𝑎 𝑚 2 𝑚 𝑚
𝑘=0 𝑥𝑘 + 𝑏 𝑘=0 𝑥𝑘 = 𝑘=0 𝑦𝑘 𝑥𝑘
𝜕𝜑 𝑚
• 𝜕𝑏
= 𝑘=0 2 𝑎𝑥𝑘 + 𝑏 − 𝑦𝑘 (1) = 0
𝑚
𝑎 𝑘=0 𝑥𝑘 + 𝑏(𝑚 + 1) = 𝑚 𝑘=0 𝑦𝑘
12/62
Method of Least Square
3. Sehingga diperoleh persamaan normal sebagai berikut:
𝑚 𝑚 𝑚
𝑎 𝑥𝑘 2 + 𝑏 𝑥𝑘 = 𝑦𝑘 𝑥𝑘
𝑘=0 𝑘=0 𝑘=0
𝑚 𝑚
𝑎 𝑥𝑘 + 𝑏(𝑚 + 1) = 𝑦𝑘
𝑘=0 𝑘=0
4. Susun persamaan di atas ke dalam matriks
𝑠 𝑝 𝑎 𝑟
𝑝 𝑚+1 𝑏 = 𝑞
dengan:
𝑚 𝑚 𝑚 𝑚 𝑚
𝑠= 𝑥𝑘 2 , 𝑝 = 𝑥𝑘 , 𝑟 = 𝑦𝑘 𝑥𝑘 , 𝑞 = 𝑦𝑘 , 𝑠 = 𝑥𝑘 2
𝑘=0 𝑘=0 𝑘=0 𝑘=0 𝑘=0 13/62
Method of Least Square
5. Tentukan nilai 𝑎 dan 𝑏 dengan aturan Cramer, yaitu:
𝑠 𝑝 2
𝑑= 𝑝 𝑚+1 = 𝑚 + 1 𝑠 − 𝑝
𝑟 𝑝
𝑞 𝑚+1 𝑚 + 1 𝑟 − 𝑝𝑞
𝑎= 𝑠 𝑝 =
𝑑
𝑝 𝑚+1
𝑠 𝑟
𝑝 𝑞 𝑠𝑞 − 𝑝𝑟
𝑏= 𝑠 𝑝 =
𝑑
𝑝 𝑚+1
14/62
Method of Least Square
Bentuk lainnya:
𝑚 𝑚 𝑚
1
𝑎= 𝑚+1 𝑦𝑘 𝑥𝑘 − 𝑥𝑘 𝑦𝑘
𝑑
𝑘=0 𝑘=0 𝑘=0
𝑚 𝑚 𝑚 𝑚
1
𝑎= 𝑥𝑘 2 𝑦𝑘 − 𝑥𝑘 𝑦𝑘 𝑥𝑘
𝑑
𝑘=0 𝑘=0 𝑘=0 𝑘=0
dengan
𝑚 𝑚 2
𝑑 = (𝑚 + 1) 𝑥𝑘 2 − 𝑥𝑘
𝑘=0 𝑘=0
15/62
Method of Least Square
Contoh: Carilah persamaan regresi linear dari data berikut:
x 4 7 11 13 17
y 2 0 2 6 7
𝑎 = 0.4864, 𝑏 = −1.6589
𝜑 𝑎, 𝑏 = 10.781
𝑦 = 0.4864𝑥 − 1.6589
16/62
Method of Least Square
Nonpolinomial
Misalkan kita ingin memasangkan nilai 𝑥𝑘 , 𝑦𝑘 dengan fungsi berbentuk
𝑦 = 𝑎 ln 𝑥 + 𝑏 cos 𝑥 + 𝑐𝑒 𝑥 , maka yang perlu dicari adalah nilai 𝑎, 𝑏, dan
𝑐 dengan menggunakan metode Least Square.
Langkah-langkah:
1. Bentuk total kuadrat galat sebagai fungsi 𝑎, 𝑏, dan 𝑐
𝜕𝜑 𝜕𝜑 𝜕𝜑
=0, = 0, =0
𝜕𝑎 𝜕𝑏 𝜕𝑐
17/62
Method of Least Square
3. Sehingga diperoleh persamaan normal sebagai berikut:
18/62
Method of Least Square
Contoh:
Cocokkan fungsi dengan bentuk 𝑦 = 𝑎 ln 𝑥 + 𝑏 cos 𝑥 + 𝑐𝑒 𝑥 berdasarkan tabel
berikut:
19/62
Method of Least Square
Basis Fungsi
Misalkan sejumlah 𝑛 + 1 data dianggap sesuai dengan persamaan
22/62
Fungsi Basis Ortogonal
Pada bagian sebelumnya:
23/62
Fungsi Basis Ortogonal
Dengan menggunakan prinsip Least Squares, maka akan
diperoleh persamaan matriks sebagai berikut:
24/62
Fungsi Basis Ortogonal
Salah satu sifat basis ortonormal ialah :
26/62
Chebyshev Polinomial
27/62
Chebyshev Polinomial
Dengan persamaan polinom 𝑔 𝑥 = 𝑗=0 𝑐𝑗 𝑥 ,
𝑛 𝑗
kita akan sulit
menentukan koefisien (𝑐0 , 𝑐1 , … , 𝑐𝑛 ), karena fungsi – fungsinya mirip
bahkan sangat mirip untuk derajat yang besar.
untuk 𝑘 = 1,2.
34/65
28/62
Chebyshev Polinomial
Dari bentuk umum di atas akan diperoleh fungsi polinomial:
29/62
Chebyshev Polinomial
Perbandingan polinom biasa
dengan chebyshev polinomial:
30/62
Smoothing Data : Polynomial
Regression
Dalam konteks ini, smoothing digunakan untuk mengurangi error
(penghalusan). Kemudian polinomial regresi digunakan untuk
menentukan fungsi polinom yang cocok dari sekumpulan data
untuk digunakan dalam pencarian parameter.
Misalnya diketahui data sebagai berikut:
31/62
Smoothing Data : Polynomial
Regression
Dari data tersebut, akan diperoleh persamaan yang bergantung
pada suatu fungsi polinom sebagai berikut:
dengan:
𝜀𝑖 adalah error
32/62
Smoothing Data : Polynomial
Regression
Dari persamaan tersebut setelah diterapkan metode least square
dan metode determinan akan diperoleh :
33/62
Smoothing Data : Polynomial
Regression
Sifat – sifat dari hasil kali dalam (inner product):
1. 𝑓, 𝑔 = 𝑔, 𝑓
2. 𝑓, 𝑓 > 0, 𝑘𝑒𝑐𝑢𝑎𝑙𝑖 𝑓 𝑥𝑖 = 0, ∀𝑖
3. 𝑎𝑓, 𝑔 = 𝑎 𝑓, 𝑔 𝑑𝑖𝑚𝑎𝑛𝑎 𝑎 ∈ ℝ
4. 𝑓, 𝑔 + ℎ = 𝑓, 𝑔 + 𝑓, ℎ
34/62
Smoothing Data : Polynomial
Regression
Polinomial berderajat n:
dengan:
35/62
sehingga fungsi polinom dapat ditentukan.
Section 3
36/62
SPL TAK-KONSISTEN
• Misal diberikan SPL sebagai berikut:
𝑛
𝑎𝑘𝑗 𝑥𝑗 = 𝑏𝑘 (0 ≤ 𝑘 ≤ 𝑚, 𝑚 > 𝑛)
𝑗=0
• Dengan menggunakan Metode Least-Square akan diperoleh
2
𝑚 𝑛
𝜑 𝑥0 , 𝑥1 , … , 𝑥𝑛 = 𝑎𝑘𝑗 𝑥𝑗 − 𝑏𝑘
𝑘=0 𝑗=0
37/62
SPL TAK-KONSISTEN
𝑚 𝑛
𝜕𝜑
=0= 2 𝑎𝑘𝑗 𝑥𝑗 − 𝑏𝑘 𝑎𝑘𝑖 (0 ≤ 𝑖 ≤ 𝑛)
𝜕𝑥𝑖
𝑘=0 𝑗=0
𝑛 𝑚 𝑚
𝑔 𝑥 = 𝑐𝑗 𝑔𝑗 (𝑥)
𝑗=0
• Fungsi minimasinya yaitu
𝑏
2
𝜑 𝑐0 , 𝑐1 , … , 𝑐𝑛 = 𝑔 𝑥 −𝑓 𝑥 𝑑𝑥
𝑎
dimana 𝜑 𝑐𝑖 merupakan fungsi error.
39/62
FUNGSI BOBOT 𝑤(𝑥)
• Pilih fungsi bobot yang positif agar fungsi minimasinya tidak
berubah, misal 𝑤 𝑥 ≡ 1
𝑏
2
𝜑 𝑐0 , 𝑐1 , … , 𝑐𝑛 = 𝑔 𝑥 −𝑓 𝑥 𝑤 𝑥 𝑑𝑥
𝑎
• Dengan menggunakan Metode Least-Square akan diperoleh
𝑛 𝑏 𝑏
𝑔𝑖 𝑥 𝑔𝑗 𝑥 𝑤 𝑥 𝑑𝑥 𝑐𝑗 = 𝑓 𝑥 𝑔𝑖 𝑥 𝑤 𝑥 𝑑𝑥
𝑗=0 𝑎 𝑎
(0 ≤ 𝑖 ≤ 𝑛)
• Solusi 𝑐𝑗 dapat diperoleh dengan Metode Eliminasi Gauss.
40/62
5/64
KASUS NONLINEAR
• Misal diberikan pasangan titik data (𝑥𝑘 , 𝑦𝑘 ) yang akan
dihampiri dengan fungsi
𝑦 = 𝑒 𝑐𝑥
• Fungsi minimasinya yaitu
𝑚
𝜑 𝑐 = 𝑒 𝑐𝑥𝑘 − 𝑦𝑘 2
𝑘=0
𝑚
𝜕𝜑
=0=2 𝑒 𝑐𝑥𝑘 − 𝑦𝑘 𝑥𝑘 𝑒 𝑐𝑥𝑘 stuck, modif!
𝜕𝑐
𝑘=0
41/62
KASUS NONLINEAR
• Karena 𝑦 = 𝑒 𝑐𝑥 , misal ln 𝑦 = 𝑧 maka 𝑧 = 𝑐𝑥
𝑚
𝜑 𝑐 = 𝑐𝑥𝑘 − 𝑧𝑘 2
𝑘=0
𝑚
𝜕𝜑
=0=2 𝑐𝑥𝑘 − 𝑧𝑘 𝑥𝑘
𝜕𝑐
𝑘=0
𝒎
𝒌=𝟎 𝒛𝒌 𝒙𝒌
𝒄= 𝒎 𝟐
𝒌=𝟎 𝒙𝒌
42/62
KASUS LINEAR DAN
NONLINEAR
• Misal diberikan pasangan titik data (𝑥𝑘 , 𝑦𝑘 ) sebanyak
𝑚 + 1 entri dan didefinisikan suatu relasi fungsional
𝑦 = 𝑎 sin 𝑏𝑥
• Fungsi minimasinya yaitu
𝑚
𝜑 𝑎, 𝑏 = 𝑎 sin 𝑏𝑥𝑘 − 𝑦𝑘 2
𝑘=0
dimana 𝜑 𝑎, 𝑏 merupakan fungsi error.
43/62
KASUS LINEAR DAN
NONLINEAR
• Meminimumkan jumlah kuadrat galat menjadi
𝑚
46/62
TEOREMA SVD LEAST
SQUARE
Misal 𝑨 matriks 𝑚 𝑥 𝑛 dengan 𝑟𝑎𝑛𝑘 𝐴 = 𝑟. Misal faktorisasi
SVD 𝑨 = 𝑼𝑫𝑽𝑻 . Solusi sistem 𝑨𝒙 = 𝒃 dengan Metode Least
Square adalah 𝒙𝐿𝑆 = 𝑛𝑖=1(𝜎𝑖−1 𝑐𝑖 )𝑣𝑖 dimana 𝑐𝑖 = 𝑢𝑖𝑇 𝑏. Jika
terdapat banyak solusi yang diberikan ke sistem, maka salah
satu dari 2 norm terkecil adalah 𝑥.
47/62
CONTOH KASUS SVD LEAST
SQUARE
• Tentukan solusi masalah Least-Square berikut dari sistem
takpersegi berikut dengan SVD
1 1 𝑥 1
0 1 𝑦 = −1
1 0 𝑧 1
1 1
6 0 3 1 1
3 3
1 1 1 1 1 3 0 2 2
0 1 = 2 2
6 2 − 3 0 1 1 1
1 0 6 2 3
1 1 1 0 0 2 − 2
2 2
6 2 − 3
6 2 3
48/62
CONTOH KASUS SVD LEAST
SQUARE
• 𝑅𝑎𝑛𝑘 𝐴 = 2, nilai singular 𝜎1 = 3 dan 𝜎2 = 1
1 1 1 1 1
𝑇
𝑐1 = 𝑢1 𝑏 = 6 6 6 −1 = 6
3 6 6 3
1
1 1 1
𝑐2 = 𝑢2𝑇 𝑏 = 0 2 − 2 −1 = 2
2 2 1
1 4
𝑥𝐿𝑆 = 𝜎1−1 𝑐1 𝑣1 + 𝜎2−1 𝑐2 𝑣2 = 3 + 1 = 3
1 1 − 2
3 3
49/62
Section 4
50/62
Penerapan Metode Least Square
Bidang Rancang Bangun Aplikasi Peramalan
Teknologi Laba dengan Metode Kuadrat Terkecil
52/62
Metode Kuadrat Terkecil (Least Square
Method)
x = Variabel waktu.
Ŷ = a + bx
a = konstanta
b = parameter
53/62
Data Uji Kendaraan
Data Uji Kendaraan Bermotor Angkutan Data Uji kendaraan Bermotor
Barang Angkutan orang
54/62
Perhitungan Least Square
Ŷ= 211.6667+1.9773x.
55/62
Grafik Perbandingan Prediksi dan Data Actual
Perhitungan Least Square
56/62
Perhitungan Error dengan metode MAPE
MAPE Error dengan metode MAPE
Jenis Kendaraan
Least Square
0-4000 (Y) 8.744075722
4001-7000 (Y) 8.551036186
7001-9000 (Y) 9.411307406
>9000 12.79945278
58/62
SOAL
1. Tentukan fungsi real Cheb (n, x) untuk mengevaluasi Tn(x). Gunakan
berikut: n = 2, dan x = 0, 1, 2.
X -2 -1 0 1 2
Y 3 2 2 0 1
59/62
3. Temukan sebuah fungsi dari 𝑦 =𝑒 𝑐𝑥 , yang paling sesuai
dengan tabel sebagai berikut:
X 0 1
Y 1/2 1
4. Temukan fungsi terbaik (kuadrat terkecil) yang sesuai dengan
titik data berikut dan dalam bentuk 𝑓 𝑥 = 𝑎 sin 𝜋𝑥 + 𝑏 cos 𝜋𝑥
1 24
5. Carilah solusi kuadrat terkecil dari SPL berikut: 3 32
6 67
60/62
DAFTAR PUSTAKA
• Cheney, W. dan Kincaid, D. 2008. Numerical Mathematics
and Computing 6𝑡ℎ . Ed. Belmont (US): Thomson
Higher Education.
61/62
Saya tidak dapat memastikan bahwa
perubahan akan memperbaiki sesuatu,
tetapi saya dapat memastikan bahwa
untuk menjadi lebih baik sesuatu harus
berubah 62/62
(George C. Lichtenberg)