GENERAL LINEAR LEAST SQUARE

AND NON LINEAR REGRESSION

Kelompok 2 :
Riski Maulana 21050116120025
Kani Lihardo Nicholasta 21050116120026
Adam Indra Prasetya 21050116120027
Ilham Prasetya Putra 21050116120030
Martin Butarbutar 21050116120035
Mikhael Horas Boby Silalahi 21050116120054

Departemen Teknik Mesin Undip

Universitas Diponegoro
 POLYNOMIAL REGRESSION

Prosedur least square dapat segera

diperpanjang untuk menyesuaikan data
ke polinomial orde tinggi. Tujuannya
adalah untuk meminimalkan jumlah
kuadrat dari estimasi residual.
Gambar tersebut menunjukkan data
yang sama sesuai dengan:
a) Polinomial orde pertama
b) Polinomial orde dua
 PROCESS AND MEASURES OF
FIT

• Untuk polynomial orde dua, rumus paling singkatnya:

n n
Sr   e   yi  a0  a1 xi  a x
2
i
2 2
2 i 
i1 i1

• Secara umum berarti :

n n
Sr   e   yi  a0  a1 xi  a x  a x
2
i
2
2 i
m 2
m i 
  i1 i1
• Error standar untuk memasukkan polinomial orde m ke titik data n adalah:
Sr
s y/ x 
 n  m 1
Karena polinomial orde urutan ke m memiliki koefisien (m+1).
Koefisien dari perhitungan r2 adalah: St  Sr
r 
2

 St
 MULTIPLE LINEAR
REGRESSION

• Penjabaran lain dari linear

regression yaitu dimana y adalah
fungsi linier dari 2 atau lebih
variable independent :
y  a0  a1 x1  a2 x2 am xm


• Rumus yang tepat didapat dengan

meringkas jumlah dari estimasi
residual :
n n
Sr   ei2   yi  a0  a1 x1,i  a2 x2,i am xm,i 
2

 i1 i1
 GENERAL LINEAR LEAST
SQUARES

• Linear, polynomial, dan multiple linear regression semua

termasuk dalam model kuadrat terkecil linier umum :

y  a0 z0  a1z1  a2 z2 am zm  e

• dimana z0, z1, …, zm adalah satu set fungsi basis m+1 dan e
adalah error
 • Fungsi dasar dapat berupa data fungsi apa pun tetapi tidak
dapat berisi koefisien a0, a1, dll.
 SOLVING GENERAL LINEAR
LEAST SQUARES
COEFFICIENTS

Persamaan : y  a0 z0  a1z1  a2 z2 am zm  e


dapat ditulis ulang menjadi persamaan matrix :
y  Z a e

dimana {y} berisi data dependen, {a} berisi koefisien persamaan,
{e} berisi error di setiap titik, dan [Z] adalah:
 z01 z11  zm1 
z02 z12  zm2 
Z   
    

z
 z z 
 0n 1n  mn 

dengan zji mewakili nilai fungsi basis ke-j yang dihitung pada titik
ke-i.
 SOLVING GENERAL LINEAR
LEAST SQUARES
COEFFICIENTS

• Umumnya, [Z] bukan matriks persegi, jadi inversi

sederhana tidak dapat digunakan untuk menyelesaikan {a}.
Sebaliknya, jumlah kuadrat dari estimasi residual diringkas:
2
n 
n m 
Sr   ei   
2
yi   a j z ji 

i1 i1  j0 
• Hasil dari meringkas ini menghasilkan :

 Z  Z a  Z  y

T T
 MATLAB EXAMPLE

• Diketahui x dan y data pada kolom, hitung koefisien

terbaik untuk y=a0+a1x+a2x2
Z = [ones(size(x) x x.^2]
a = (Z’*Z)\(Z’*y)

a = Z\y
Untuk menghitung:
St = sum((y-mean(y)).^2)
Sr = sum((y-Z*a).^2)
r2 = 1-Sr/St
syx = sqrt(Sr/(length(x)-length(a)))
 NONLINEAR REGRESSION

• Tidak semua kesesuaian adalah persamaan linier dari koefisien dan fungsi
basis.
• Salah satu metode untuk menangani hal ini adalah dengan mengubah
variabel dan mencari yang paling cocok untuk variabel yang diubah. Ada
dua masalah dengan metode ini:
• Tidak semua persamaan dapat diubah dengan mudah atau sama sekali

• Garis paling cocok mewakili yang paling cocok untuk variabel yang
diubah, bukan variabel asli.
• Metode lain adalah dengan melakukan regresi nonlinear untuk secara
langsung menentukan kesesuaian kuadrat-terkecil.
 NONLINEAR REGRESSION IN
MATLAB

• Untuk melakukan regresi nonlinier di MATLAB, tulis

fungsi yang mengembalikan jumlah kuadrat dari estimasi
residual untuk kecocokan dan kemudian gunakan fungsi
fminsearch MATLAB untuk menemukan nilai koefisien di
mana terjadi minimum.

• Fungsi untuk menghitung Sr harus berupa koefisien,

variabel independen, dan variabel dependen.
 NONLINEAR REGRESSION IN
MATLAB EXAMPLE

• Diketauhi data gaya dependen F untuk data kecepatan independen v, tentukan

koefisien untuk kecocokan:

F  a0 v a1

• First - write a function called fSSR.m containing the following:

function f = fSSR(a, xm, ym)

yp = a(1)*xm.^a(2);
f = sum((ym-yp).^2);
 • Kemudian, gunakan fminsearch pada command window untuk mendapatkan nilai
dari peringkasan fSSR :
a = fminsearch(@fSSR, [1, 1], [], v, F)
dimana [1, 1] adalah tebakan awal untuk vektor [a 0, a1], [] adalah placeholder
untuk opsi.
 NONLINEAR REGRESSION
RESULTS

• Koefisien yang dihasilkan akan menghasilkan r2 terbesar

untuk data dan mungkin berbeda dari koefisien yang
dihasilkan oleh transformasi :
THANKYOU