Regresi Linear - Least Square (Bab 10) For Kuliah Komputasi Numerik Mhs Teknologi Bioproses - FTUI

Model Regresi Linear

Untuk mengetahui pola relasi dalam bentuk persamaan regresi. Variabel Y merupakan respons dari variabel independen x dengan hubungan Y = + X + . Dengan dan adalah titik potong dengan sumbu Y dan gradien yg belum diketahui, sedangkan adalah variabel random dengan sifat nilai rata-rata =0. Dari sampel data diperoleh set data {xi,yi} ingin diperoleh model garis lurus terbaik y= a + b x, yaitu dengan mendapatkan a sebagai estimator dan di estimasi oleh b. Variable independen X dipilih yg error dalam pengukurannya kecil atau dapat diabaikan dibandingkan Y.

Definisi Pengaruh
Jika terdapat 2 variabel, misalkan X dan Y yang data-datanya diplot seperti gambar dibawah
Y Y Y

Maka plot data yang membentuk suatu pola tertentu menunjukkan bahwa variabel X dan Y membentuk suatu hubungan

Definisi Pengaruh
Mana variabel yang mempengaruhi ? Mana variabel yang dipengaruhi ? Maka disebut Pengaruh Jika belum jelas variabel yang dipengaruhi / mempengaruhi tapi belum jelas formulanya, maka disebut Hubungan

Kapan analisis regresi ?

Untuk mengetahui pola relasi dalam bentuk persamaan regresi.

Diperlukan jika ada hubungan (korelasi) antar variabel yang diteliti. Regresi tidak diperlukan jika tahap awal diketahui tidak ada korelasi antar variabel yang diteliti.

Contoh Model Kurva Regresi

Positive Linear Relationship Relationship NOT Linear

Negative Linear Relationship

No Relationship

Kapan analisis regresi ?

y

Hubungan Positif Jika X naik, maka Y juga naik dan jika X turun, maka Y juga turun

x
Hubungan Negatif Jika X naik, maka Y akan turun dan jika X turun, maka Y akan naik

x
Tidak ada hubungan antara X dan Y

Regresi Linier Y Terhadap X

Jika pola yang membentuk hubungan X dan Y membentuk suatu garis lurus, maka disebut Pengaruh Linier variabel X variabel bebas (independent), variabel Y variabel terikat (dependent) Nilai-nilai Y ditentukan oleh nilai-nilai X Variabel Y dipengaruhi oleh variabel X, Variabel X mempengaruhi variabel Y

Plot antara X dan Y Garis lurus tersebut membentuk persamaan : Y = a + bX a disebut intersep b disebut slope

Regresi Linier Sederhana

Model regresi linier yang hanya melibatkan satu variabel bebas (X). Model regresinya sbb:

Y = + X

Y= variabel terikat, X= variable bebas, , = parameter regresi, parameter regresi yang akan diduga dari data sampel

Sehingga setiap pasangan pengamatan (Xi, Yi) dalam sampel akan memenuhi persamaan Y

Yi = a + bX i + ei
ei = sisaan / galat / error

. . . . . . .
e5
e6

e7

...
e8

e9

e10

e3

e1

e2

Garis Lurus Terbaik Metoda Least Squares

X Yk ek

= a + bx y

k y

Xk

Garis lurus terbaik diperoleh dengan meminimasi residual error ek yaitu selisih antara predicted yk dengan data yg dipeoleh yk, yaitu jumlah total kuadrat residual error minimum (Sum Squares of Errors)

k yk ) = (a + bxk yk ) 2 SSE = e = ( y
k =1 2 k 2 k =1 k =1

Garis Lurus Terbaik Least Squares

Untuk mendapatkan koefisien a dan b yg terbaik, maka dicari a dan b yg meminimumkan SSE, yaitu dengan menghitung turunan SSE thd a dan b:

SSE = 0 a

SSE = 0 b

Yang akan memberikan dua buah persamaan linear bagi a dan b:

N N N N N 2 (a + bxk yk ) = 2 (a + bxk yk ) = 2a 1 + 2b xk 2 yk =0 a k =1 k =1 k =1 k =1 k =1

N N N N N 2 2 (a + bxk yk ) = 2 xk (a + bxk yk ) = 2a xk + 2b xk 2 xk yk =0 b k =1 k =1 k =1 k =1 k =1

Garis Lurus Terbaik Metoda Least Squares

Dalam notasi matrix sistem pers. Linear tsb dapat dituliskan:

a 1 + b xk = y k
k =1
N

k =1
N

k =1

2 a xk + b x k = xk y k k =1 k =1 k =1

N 1 k =1 N xk k =1

N x y k k a k =1 = k =1 N N b 2 xk xk y k k =1 k =1
N

Solusi bagi sistem pers. Linear tsb dapat diperoleh dengan berbagai cara antara lain cara Cramers:

Garis Lurus Terbaik Metoda Least Squares

Solusi bagi a dan b (metoda Cramers):

a=

x
k =1 N

k =1 N

y
k

x
k =1 N

yk

x
k

k =1 N

1
k =1 N

2 k

b=

x x
k =1 k N k =1 N

k =1 N

y
k

yk
k

1 x x x
k =1 k k =1 k =1 N k =1 N

1 x xk
k =1 k =1 N k =1 N k =1

2 k

2 x k

Atau :

a=

x y x x
k =1 2 k k =1 k k =1 k k =1

yk

2 1 x x k k k =1 k =1 k =1
N N N

b=

1 x
k =1 k =1 N N

y k xk y k
k =1 k =1 2 2 k

N 1 x xk k =1 k =1 k =1

Garis Lurus Terbaik Metoda Least Squares

Penyederhanaan bisa dilakukan mengingat 1=N, sehingga:

a=

x y x x
k =1 2 k k =1 N k k =1 k k =1

yk

2 N xk xk k =1 k =1
N

b=

N x k y k xk y k
k =1 k =1

N N x xk k =1 k =1
N 2 k

k =1 2

Untuk keperluan perhitungan, formula di atas dapat dituliskan sbb:

b=

(x
k =1

x )( yk y )
k

(x
N k =1

x
N

a = y bx

Dengan

x=

x
k =1

y=

y
k =1

Notasi
Untuk keperluan penulisan diperkenalkan notasi berikut:

S XY = ( xk x )( yk y )
k =1

S XX

= ( xk x )
k =1

SYY

= ( yk y )
k =1

Sehingga rumus regresi linear dapat dituliskan sbb: b = SXY/SXX a=ys-bxs

Dengan xs dan ys adalah rata-rata x dan y.

Contoh
X 27 45 72 58 31 60 293 Y 250 285 320 295 265 298 1713 Xs=X-Xr -21.8 -3.8 23.2 9.2 -17.8 11.2 0 Ys=Y-Yr -35.5 -0.5 34.5 9.5 -20.5 12.5 0 Xs^2 476.7 14.7 536.7 84.0 318.0 124.7 1554.8 Ys^2 1260.25 0.25 1190.25 90.25 420.25 156.25 3117.5 Xs*Ys 775.1 1.9 799.3 87.1 365.6 139.6 2168.5 Yteori 255.0 280.2 317.8 298.3 260.6 301.1

SXX = 1554.9

SYY= 3117.5 SXY=2168.5 ys=1713/6=285.5 a= ys-bxs= 285.5- 1.3947*48.8=217.39

xs= 293/6=48.8 b = SXY/SXX = 1.3947

Contoh : Grafik

Regresi Linear
340 320 300 280 260 240 220 20 30 40 50 X 60 70 80 Y

Contoh: Hipotesis Testing untuk slope

Tabel disamping memberikan hasil pengukuran BOD (Biological Oxygen Demand) Y% dan Solid Reduction X(%). Periksalah hipotesa H0: =1 dan H1: <1 dengan tingkat signifikan 5%
Oxygen Dem and vs Solid Reduction 60 50 40 30 20 10 0 0 10 20 30 X 40 50 60 Y

No 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

x 3 7 11 15 18 27 29 30 30 31 31 32 33 33 34 36

y 5 11 21 16 16 28 27 25 35 30 40 32 34 32 34 37

No 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32

x 36 36 37 38 39 39 39 40 42 42 43 44 45 46 47 50

y 38 34 36 38 37 36 45 39 41 40 44 37 44 46 49 51

Linearisasi Persamaan Nonlinear

Regresi Nonlinear

Data tidak cocok dengan bentuk pola kurva linear

Transformasi Linear (jika mungkin)

Regresi Polinomial
y =a0 +a1x +a2x2 +a3x3 +
Misalkan untuk regresi kuadratik, y =a0 +a1x +a2x2 +e e =y (a0 +a1x +a2x2)

Linearisasi Pers Pangkat Sederhana

Misalkan kita akan mencocokkan data dengan fungsi : Lakukan linierisasi sbb :

y = Cx b
ln( y ) = ln(C ) + b ln( x) y = a + bx

Lakukan pengubahan dari nilai (xi,yi) menjadi (ln(xi),ln(yi), hitung a dan b dengan cara regresi linier. Dari pers a = ln(C) maka kita dapat menghitung nilai C = ea. Masukkan nilai b dan C ke dalam pangkat y=Cxb

Cocokkan data berikut dengan f(x) = Cxb

i 1 2 3 4 5 6 7 xi 0.15 0.4 0.6 1.01 1.5 2.2 2.4 yi 4.4964 5.1284 5.6931 6.2884 7.0989 7.5507 7.5106 Xi=ln(xi) -1.89712 -0.91629 -0.51083 0.00995 0.405465 0.788457 0.875469 -1.24489 Yi=ln(yi) 1.503277 1.634794 1.739255 1.838707 1.95994 2.02164 2.016315 12.71393 Xi2 3.599064 0.839589 0.260943 9.9E-05 0.164402 0.621665 0.766446 6.252207 XiYi -2.8519 -1.49795 -0.88846 0.018296 0.794687 1.593977 1.765221 -1.06612

Diperoleh sistem persamaan linier

1.2447 a 12.7139 7 1.2447 6.2522 b = 1.0659

a = 1.8515 b = 0.1981 Hitung C = ea = e1.8515 = 6.369366 Jadi f(x) = 6.369366x0.1981

Contoh Linearisasi
x 1 2 3 4 5 y 0.5 1.7 3.4 5.7 8.4 log x 0 0.301 0. 0.477 0.602 0.699 log y -0.301 226 0.534 0.753 0.922

Regresi linear pada (log x, log y) log y = 1.75 log x 0.300 log a2 = 0.300 a2 = 10-0.3 = 0.5
b2 = 1.75

y = 0.5x1.75

Linierisasi Model Eksponensial y = Cebx

Misalkan kita akan mencocokkan data dg fungsi : y = Cebx Lakukan pelinieran sbb :

y = Cebx ln(y)=ln(C)+bxln(e) ln(y)=ln(C)+bx ln(e)=1 Y=ln(y) a=ln(C) X=x

Definisikan :

Persamaan Regresi Liniernya : Y = a + bX Lakukan pengubahan (xi,yi) (xi,ln(yi)) lalu hitung a dan b Dari persamaan a=ln(C) di dapat C=ea Masukkan nilai b dan C dalam persamaan eksponensial y = Cebx

Regresi Ganda

Mencari prediksi dari satu variabel dependen terhadap dua atau lebih variabel independen (prediktor) Persamaan regresi umum : Y = b0 + b1X1 + b2X2 + + b nXn

Regresi Ganda Dua Variabel Independen

Persamaan Umum Grs Regresi Y = b0 + b1X1 + b2X2 Nilai-nilai b0, b1, dan b2 di cari dari sistem persamaan : Y = b0 n + b1 X1 +b2 X2 X1Y =b0 X1 + b1 X12 + b2 X1X2 X2Y = b0 X2 + b1 X1X2 + b2 X22

Jika kita punya data

Lalu , persamaan regresinya seperti apa ? Lalu, Analisis regresinya ?? Ada 2 variabel bebas (independen) X1, X2 berpengaruh terhadap harga Y
X1 2 6 10 7 4 6 6 4 8 7 X2 3 3 7 4 2 3 4 3 6 5 Y 7 19 23 20 15 14 17 10 23 22

Regresi Ganda Tiga Prediktor

Persamaan grs regresi Y = b0 + b1 X1 + b2 X2 + b3 X3 Nilai bi di cari dari sistem persamaan : X1Y = b1 X12 + b2 X1 X2 + b3 X1 X3 X2Y = b1 X1 X2 + b2 X22 + b3 X2 X3 X3Y = b1 X1 X3 + b2 X2 X3 + b3 X32 dan akhirnya nilai b0 dicari dari hubungan, b0 = Y b1 X1 b2 X2 b3 X3

Lha kalau data seperti ini,

X1 X2 57 34 47 45 78 26 57 55 40 60 58 43 54 46 75 34 60 58 44 62 X3 56 36 52 45 77 30 64 56 47 63 Y 60 40 56 50 80 35 66 60 53 70

Persamaan garis regresinya seperti apa ? Ada 3 variabel bebas (independen) X1, X2, X3 berpengaruh terhadap harga Y.

Regresi Ganda --Empat Variable Independen (Prediktor)

Bentuk umum : Y = b0 + b1X1 + b2X2 + b3X3 + b4X4 Nilai-nilai b1, b2, b3, dan b4 di cari dari sistem persamaan : X1Y = b1X12 + b2X1X2 + b3X1X3 + b4 X1X4 X2Y = b1X1 X2 + b2X22 + b3X2X3 + b4 X2X4 X3Y = b1X1 X3 + b2X2X3 + b3X32 + b4 X3X4 X4Y = b1X1 X4 + b2X2X4 + b3X3X4 + b4 X42 Dan akhirnya, nilai b0 dicari dari hubungan : b0 = Y b1X1 b2X2 b3X3 b4X4

Tugas Regresi linear Least Square

Tugas boleh dikerjakan secara individu (Tanpa kelompok) atau hasil kerjasama

kelompok. Namun setiap mahasiswa harus tetap mengerjakan / tulisan tangan sendiri.
Tugas harus ditulis tangan atau ketikan komputer, Pembuatan kurva grafik/tabel

maupun program boleh menggunakan komputer, diprint dan diprint. Berpegang pada Buku acuan kuliah : Buku 1: Steven C, Chapra dan Raymond P. Canale,Metode Numerik untuk Teknik, Penerbit UI Press, jakarta, 1991. Atau Buku 2 : Steven C, Chapra dan Raymond P. Canale,Numerical Methods for Engineers, Sixth edition, McGrawHill, New York, 2012 (Pdf Format)

Kerjakan Soal Bab 10, Pilih minimal 3 soal dari Soal No. dalam Bab 10 Dikumpulkan paling lambat , seminggu setelah UTS bulan Maret 2013 secara

serempak dan dimasukkan Loker

Perkiraaan Porsi Persentasi Penilaian

Tugas- Porsi min.15%-- Individu ---Studi Kasus Menyelesaikan Masalah Persamaan Simultan Linier (Gauss, Gaus Jordan, Gaus Seidel)Dikumpulkan Saat UTS-- 28 Maret 2013, Soal di e-mail tgl. 21 Maret UTSmandiri ---(1015)% Tugas Porsi min.15 %--Individu---Studi Kasus Regressi kurva Linear, non lineair (polinomial, eksponential, variabel ganda,dll) Dikumpulkan tgl. 4 April 2013, soal di-email tgl. 28 Maret 2013 Tugas Individu -- Integral Numerik -- Porsi Min 15%--Studi Kasus Rencana setelah UTS Tugas Individu Difrensial Numerik Porsi Min 15%--Studi Kasus Rencana setelah UTS UAS ---- mandiri--- (1015%) Dll. Porsi %sisa --- Total jadi 100%