LAPORAN HASIL DISKUSI

KELOMPOK 4
Pemilihan Model Terbaik

Dosen Pengampu: Admi Salma. S.Pd.. M. Si

Disusun Oleh:

Farhan Farenza 21337006

Roufsaldiaz Nawfal 21337053

Andriarmi 21337063

JURUSAN STATISTIKA
FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM
UNIVERSITAS NEGERI PADANG
2022
 PEMILIHAN MODEL TERBAIK

A. Semua Kemungkinan Regresi

Adalah metode pemilihan model regresi terbaik yang melibatkan variabel X yang
potensial dan menghubungkan himpunan bagian “terbaik” sesuai dengan beberapa
kriteria. Pertama, model regresi yang paling sederhana tanpa variabel X, contohnya
model Y i=β 0 + ε i. Selanjutnya model regresi dengan hanya satu variabel X, dengan
dua variabel X, dan model regresi yang paling lengkap.
Untuk membandingkan atau memilih model regresi dengan kriteria yang berbeda-
beda tersebut dapat dilakukan dengan memeriksa semua kombinasi variabel yang
dapat dibuat. Bila ada k variabel bebas yang tersedia berarti harus memeriksa
sejumlah 2k persamaan. Dalam menilai baik atau tidaknya kombinasi biasanya
digunakan patokan
 Statistik R2disesuaikan
 Statistik s2
 Statistik C p dari Mallow
Yang masing-masing statistiknya akan dijelaskan sebagai berikut:

1. R2 (Koefisien determinasi)

Merupakan nilai yang digunakan untuk mengetahui proporsi keragaman total

dalam variabel tak bebas Y yang dapat dijelaskan oleh variabel bebas yang ada di
dalam model persamaan regresi linier berganda secara bersama-sama. Jika nilai
yang akan dibandingkan dua atau lebih model regresi dan yang satu bukan
himpunan bagian dari yang lainnya seperti model Y^ =b0 +b 1 x 1+ b2 x 2dengan
Y^ =b0 +b 3 x 3 +b 4 x 4 + b5 x 5 maka uji-F tidak lagi banyak menolong. Dalam hal ini
penggunaan R2 lebih sesuai. Hubungan yang lebih umum dari R2 ditentukan
dengan rumus:

2 JKR
R= 100 %=¿
JKT
Keterangan :
2
R = nilai koefisien determinasi
JKR = Jumlah kuadrat regresi (variansi karena regresi)
 JKG = Jumlah kuadrat total (variansi total)

Karena R2 ini dipengaruhi oleh banyaknya peubah bebas dalam model, R2

membesar bersama banyaknya parameter dalam model, sehingga sulit
menyatakan beberapa R2 yang optimum. Akan tetapi bila model yang ingin
dibandingkan mempunyai banyaknya parameter dalam model yang sama maka R2
mudah digunakan, kemudian pilih model dengan R2 terbesar. Suatu cara
mengatasi kelemahan R2 tersebut diatas ialah dengan menggunakan apayang
disebut dengan R2 yang disesuaikan, dilambangkan dengan R2 (adj). Penyesuaian
dikerjakan dengan membagi JKS dan JKT masing-masing dengan derajat
kebebasannya pada rumus R2 .
JKS
n− p
R2 ( adj )=1−
JKT
n−1

¿ 1−
n−1
n−p [
1−
JKR
JKT ]
n−1 2
¿ 1− (1−R )
n−p
Keterangan:
2
R ( adj) = Nilai R2yang telah disesuaikan
2
R = Nilai koefisien determinasi
JKS = Jumlah kuadrat sisa (variansi karena sisa)
JKT = Jumlah kuadrat total (variansi total)
n = Banyaknya sampel
p = Banyaknya parameter dalam model
q = Banyaknya parameter dalam model

2. s2 (rataan kuadrat sisa)

Statistik s2 ini memperhitungkan banyaknya variabel bebas yang masuk kedalam

model melalui pembagian jumlah kuadrat sisa (JKS) dengan derajat bebasnya.

2 JKS
s=
n−p

Keterangan:
 p = banyaknya variabel bebas yang digunakan

n = jumlah data yang digunakan

Bila banyaknya variabel bebas yang potensial dalam model cukup banyak, maka
nilai dari s2 akan sangat informatif. Semakin banyak variabel bebas yang
ditambahkan ke dalam model, nilai tengah kuadrat sisa akan cenderung stabil
mendekati nilai σ 2. Nilai σ 2 merupakan suatu ukuran galat yang memungkinkan
suatu nilai yang diramalkan dari suatu nilai X tertentu dengan menggunakan
persamaan regresi yang diduga dari jumlah amatan. Syaratnya jumlah
pengamatan lebih besar daripada banyaknya variabel bebas dan semua variabel
bebas yang berpengaruh telah dimasukkan dalam model. Dengan kata lain
dikatakan bahwa model telah mengandung semua variabel bebas yang diperlukan.

Nilai tengah kuadrat sisa berkaitan dengan R2 ( adj ), jika nilai s2 mengecil maka
nilai R2 ( adj ) akan membesar. Kriteria yang akan digunakan untuk menentukan
model terbaik adalah model dengan nilai s2 paling kecil.

3. Statistik C p−Mallow

Statistik ini didasarkan atas jumlah kuadara sisa dari model regresi yang
mengukur ada tidaknya bias dalam model regresi. Statistik ini mempunyai
bentuk:

JKS P
C p= 2
−(n−2 p)
s
Keterangan:
JKSP = Jumlah kuadrat sisaan dari model yang ditentukan
2
s = Estimasi variansi sisaan s2
n = Banyaknya observasi
p = Banyaknya variabel bebas yang digunakan
Jika tebaran nilai C p cukup dekat pada garis C p= p, maka model yang terbentuk
merupakan model yang tidak bias. Untuk model yang bias, tebaran nilai C p akan
berada diatas ( seringkali jauh diatas) garis C p= p. Semakin banyak variabel
bebas disertakan ke dalam model untuk menurunkan JKSP , biasanya semakin
tinggi. Model terbaik ditentukan setelah memeriksa tebaran C p yakni persamaan
regresi dengan nilai C p rendah yang kira-kira sama dengan p.
B. Prosedur Eliminasi Langkah Maju (Forward Elimination Procedure)
Forward elimination procedure adalah metode pembentukan model regresi terbaik
dimana peubah bebas dimasukkan satu demi satu menurut urutan besar pengaruhnya
terhadap model, dan berhenti bila semua yang memenuhi syarat telah masuk. Dimulai
dengan memeriksa matriks korelasi kemudian mengambil peubah bebas yang
menghasilkan koefisien korelasi maksimum, dan tidak dipersoalkan apakah korelasi
positif atau negatif karena yang diperhatikan hanyalah eratnya hubungan antara suatu
peubah bebas dengan Y sedangkan arah hubungan tidak menjadi persoalan. Bila nilai
F hitung lebih kecil dari yang ditetapkan untuk pemasukan peubah bebas ke dalam
model maka X j tidak jadi masuk, begitu juga sebaliknya.
Persamaan dari prosedur eliminasi langkah maju adalah
JKR ( X j|X i ) JKR ( X i , X j )−JKR ( X j )
F= =
s2 ( X i , X j ) s2 ( X i , X j )
Keterangan :
JKR = Jumlah Kuadrat Regresi
s2 = Rataan Kuadrat Sisa (KTS)
Xi, Xj = Peubah bebas ke i dan ke j

Kelebihan dan Kekurangan Forward Elimination Procedure

Kelebihan:
a. Metode forward, backward, dan stepwise merupakan alternative untuk
mengurangi kemungkinan adanya multikolinearitas dalam model yang
dihasilkan.
b. Prosedur ini tidak selalu mengarahkan ke model yang terbaik, mengingat kita
hanya mempertimbangkan sebuah subset kecil dari semua model-model yang
mungkin. Sehingga resiko melewatkan atau kehilangan model terbaik akan
bertambah seiring dengan penambahan jumlah variabel bebas.
Kelemahan:
a. Lama dalam penghitungan , karena harus menghitung satu-satu dari peubah
yang ada, dari peubah yang memiliki F tersebar.
 b. Dalam metode ini, ada kemungkinan untuk memasukkan lebih banyak variable
yang tidak begitu signifikan ke dalam model dibanding metode backward dan
stepwise, karena MSE yang dihasilkan forward akan lebih kecil yang
menyebabkan nilai Fobs besar.
c. Prosedur ini tidak selalu mengarahkan ke model yang terbaik, mengingat kita
hanya mempertimbangkan sebuah subset kecil dari semua model-model yang
mungkin. Sehingga resiko melewatkan atau kehilangan model terbaik akan
bertambah seiring dengan penambahan jumlah variabel bebas.

C. Prosedur Eliminasi Langkah Mundur (Backward Elimination

Procedure)
Metode eliminasi langkah mundur lebih ekonomis dibandingkan dengan metode
“semua kemungkinan regresi” dalam pengertian bahwa metode ini mencoba
memeriksa hanya regresi terbaik yang mengandung sejumlah tertentu variabel bebas.
Pada metode ini seluruh variabel prediktor dimasukkan ke dalam model lalu secara
bertahap variabel-variabel yang tidak memenuhi syarat kelayakan dieliminasi dari
model hingga terbentuk model terbaik dengan variabel-variabel yang telah lolos uji di
dalamnya.
Kelebihan dari metode backward elimination procedure ini adalah lebih hemat
waktu karena didalam backward elimination hanya perlu memperhatikan satu variabel
saja, yaitu nilai dari F parsial terkecil dalam model. Kelemahan dari metode ini adalah
ketika suatu variabel prediktor dikeluarkan dari dalam model, maka variabel tersebut
tidak dapat dipertimbangkan atau digunakan kembali.
Langkah-Langkah
1. Menghitung persamaan regresi yang mengandung semua variabel bebas
2. Menghitung semua nilai F untuk setiap variabel bebas. Seolah-olah ia merupakan
variabel terakhir yang dimasukkan kedalam persamaan regresi;
3. Membandingkan nilai F hitung terendah, misalnya F 1, dengan nilai F bertarafnata
tertentu dari tabel, misalnya F 0

 Jika F 1< F 0, buang variabel bebas X 1 , yang menghasilkan F 1, dari persamaan

regresi dan kemudian hitung kembali persamaan regresi tanpa menyertakan
variabel bebas tersebut, kembali ke langkah (2)
 Jika F 1> F 0, ambillah persamaan regresi itu sebagai model regresi terbaik.

D. Prosedur Regresi Bertatar (The Stepwise Regression Procedure)

 Bila pada metode eliminasi langkah mundur mulai dengan regresi terbesar dengan
menggunakan semua variabel bebas, dan secara bertahap mengurangi banyaknya
variabel bebas didalam persamaan sampai suatu keputusan dicapai untuk
menggunakan persamaan yang diperoleh, maka pada prosedur regresi bertatar
berusaha mencapai kesimpulan yang serupa namun dengan menempuh arah yang
berlawanan, yaitu menyusupkan variabel bebas satu demi satu sampai diperoleh
persamaan regresi yang memuaskan. Urutan penyisipannya ditentukan menggunakan
koefisien korelasi parsial (R) sebagai ukuran pentingnya variabel yang masih diluar
persamaan.

Prosedur dasarnya sebagai berikut:

1. Dipilih X yang paling berkolerasi dengan Y (misalkan X 1 ) dan kemudian di

hitung persamaan regresinya Y^ =f ( X 1).

2. Diuji apakah variabel ini nyata. Kalau nyata, diambil model Y =Y^ sebagai yang
terbaik. Jika variabel itu tidak nyata, maka dicari variabel bebas kedua untuk
dimasukkan ke dalam persamaan regresi.

3. Diperiksa koefisien korelasi parsial semua variabel bebas yang berada diluar
regresi pada tahap ini, yaitu X 1 , i≠ 1, dengan Y; dan korelasi antara kedua
variabel yang telah dikorelasi itu dihitung untuk semua i≠ 1. Dari segi
matematis, hal ini sam dengan menghitung korelasi antara sisaan dari regresi
Y^ =f ( X 1) dengan sisaan regresi Y^ 1=f 1 ( X 1 ), yang sesungguhnya tidak
dikerjakan variabel X i yang mempunyai koefisien korelasi parsial tertinggi
dengan Y yang sekarang dipilih, misalkan ini adalah X 2 , dan selanjutnya
persamaan regresi kedua Y^ =f ( X 1 , X 2 ) dihitung.

4. Langkah berikutnya menguji persamaan regresi tersebut, peningkatan nilai R2

diperhatikan, dan nilai F hitung untuk kedua variabel bebas yang ada di dalam
persamaan ( bukan hanya yang baru disusupkan) diuji. Nilai F hitung yang
terendah kemudian dibandingkan dengan nilai F tabel, dan variabel bebas
bersangkutan dipertahankan atau dikeluarkan dari persamaan tergantung pada
apakah uji ini nyata atau tidak. Pengujian variabel bebas yang ada dalam
persamaan regresi yang paling kecil sumbangannya ini dilakukan pada setiap
 tahap prosedur bertatar. Variabel bebas yang sebelumnya pernah menjadi calon
terbaik dan disusupkan ke dalam persamaan regresi, pada tahap berikutnya
mungkin dapat dianggap berlebihan karena hubungannya dengan variabel bebas
lain yang sekaran ada didalam regresi. Untuk memeriksa ini, nilai F hitung untuk
setiap variabel bebas didalam regresi dihitung, dan yang paling kecil (mungkin
berasal dari variabel bebas yang baru masuk, tetapi mungkin juga dari yang
sudah lama ada) dibandingkan dengan nilai F tabel yang telah ditetapkan
sebelumnya. Ini menghasilkan penilaian terhadap sumbangan variabel bebas
yang paling kurang bermanfaat pada tahap itu, seolah-olah dimasukkan paling
akhir, walaupun kenyataanya tidak demikian. Bila sumbangan ini tidak nyata,
maka variabel bebas yang bersangkutan dikeluarkan dari model dan persamaan
regresi dihitung kembali berdasarkan variabel-variabel bebas yang masih ada
dalam model.

5. Variabel bebas terbaik yang diluar model (yang korelasi parsialnya dengan Y
tertinggi) diuji apakah lulus dari uji F hitung untuk memasukkan variabel bebas.
Jika lulus, variabel tersebut dimasukkan dan kembali semua nilai F hitung variabel
bebas yang ada didalam regresi diperiksa. Jika gagal, proses pengeluaran dicoba
lagi. Akhirnya, jika tidak ada variabel bebas yang dapat dikeluarkan atau
dimasukkan, proses akan berhenti. Setiap kali variabel bebas masuk ke dalam
regresi, pengaruhnya terhadap R2, biasanya dicatat dan dicetak.