Pemilihan Model Terbaik

Tujuan: untuk mendapatkan model yang sederhana tetapi cukup baik menjelaskan keadaan data (disebut parsimony).

 Secara umum, metode penentuan model terbaik, dibedakan menjadi: 1.Metode tanpa seleksi variabel independen. Metode yang memasukkan seluruh variabel independen yang diduga berpengaruh ke dalam model dan mengakomodasi adanya kolinieritas/multikolinieritas. Contoh : Principle Component Regression (Regresi Komponen Utama), Ridge Regression (Regresi Gulud)

2.Metode dengan seleksi. Metode yang melakukan seleksi variabel independen yang masuk ke dalam model sesuai dengan kriteria/prosedurnya Contoh : Metode Backward, Forward, Stepwise, Best subset regression

 Kriteria yang digunakan adalah: 1. R2 dan R2terkoreksi terbesar

2. MSE terkecil

3. Cp Mallow yang mendekati jumlah parameter

Metode Pemilihan Model Terbaik

1. All Possible Regression
Tahapan pemilihan : i. Tuliskan semua kemungkinan model regresi dan kelompokkan menurut banyaknya variabel bebas ii. Urutkan model regresi menurut besarnya R2 iii. Periksalah untuk setiap kelompok apakah terdapat suatu pola variabel yang konsisten iv. Lakukan analisa terhadap kenaikan R2 pada tiap kelompok

Contoh : Akan dianalisis model regresi yang terdiri dari 4 variabel bebas, Pembagian kelompoknya
1. Kelompok A terdiri dari koefisien intersep Y 0 2. Kelompok B terdiri dari 1 variabel bebas Y 0 1 X 1 3. Kelompok C terdiri dari 2 variabel bebas

Y 0 1 X 1 2 X 2
4. Kelompok D terdiri dari 3 variabel bebas

Y 0 1 X 1 2 X 2 3 X 3
5. Kelompok E terdiri dari 4 variabel bebas

Y 0 1 X 1 2 X 2 3 X 3 4 X 4

Misal diperoleh persamaan regresi yang menduduki posisi utama dalam setiap kelompok adalah

Kelompok Model Regresi B Y = f(X4) C Y = f(X1 , X2) Y = f(X1 , X4) D Y = f(X1 , X2 , X4) E Y = f(X1 , X2 , X3, X4)

R2 67,5% 97,9% 97,2% 98,234% 98,237%

Maka persamaan terbaiknya adalah Y = f(X1 , X4)

2. Best subset regression

Dengan menggunakan Minitab lakukan langkah berikut : Stat > Regression > Best Subsets

3. Backward Elimination Procedur

Tahap pemilihannya : i. Tuliskan persamaan regresi yang mengandung semua variabel ii. Hitung nilai t parsialnya iii. Banding nilai t parsialnya
a. Jika tL < t maka buang variabel L yang menghasilkan tL, kemudian hitung kembali persamaan regresi tanpa menyertakan variabel L b. Jika tL > t maka ambil persamaan regresi tersebut

4. Forward Selection
Memasukkan variabel bebas yang memiliki korelasi yang paling erat dengan variabel tak bebasnya (variabel yang paling potensial untuk memiliki hubungan linier dengan Y). kemudian secara bertahap memasukkan variabel bebas yang potensial berikutnya dan nanti akan terhenti sampai tidak ada lagi variabel bebas yang potensial.

5. Stepwise Regression Procedur

Tahap pemilihannya : i. Hitung korelasi setiap variabel bebas terhadap variabel Y. Variabel bebas dengan nilai korelasi tertinggi masukkan dalam model regresi (syarat uji F menunjukkan variabel ini berpengaruh nyata) ii. Hitung korelasi parsial setiap variabel bebas tanpa menyertakan variabel bebas yang telah masuk model. Masukkan variabel bebas dengan korelasi parsial tertinggi ke dalam model iii. Hitung nilai t parsial variabel yang telah masuk model, jika tidak berpengaruh nyata keluarkan dari model iv. Kembali ke langkah ii

 Dengan menggunakan Minitab lakukan langkah berikut: Stat > Regression > Stepwise>Methods