Prosiding SEMNAS Matematika & Pendidikan Matematika IAIN Ambon ISBN 9 786025 185700

Ambon, 09 Februari 2018

PERBANDINGAN METODE GENERALIZED LEAST SQUARE

DAN ORDINARY LEAST SQUARE PADA MODEL
MULTIVARIATE ADAPTIVE REGRESSION
SPLINE DENGAN RESPON BINER

Safarin Zurimi1)
1)
Dosen Prodi Matematika, FKIP Universitas Darussalam Ambon
Email : arhin_masudi@yahoo.co.id

ABSTRAK

Analisis Regresi digunakan untuk melihat pengaruh variabel respon

terhadap variabel prediktor dengan cara melihat pola hubungan variabel tersebut,
hal ini dapat dilakukan dengan dua pendekatan, yaitu pendekatan regresi
parametrik dan regresi nonparametrik. Penelitian ini bertujuan untuk menaksir
parameter model Multivariate Adaptive Regression Spline (MARS) dengan respon
biner menggunakan metode Generalized Least Square (GLS) dan Ordinary Least
Square (OLS). Metode penelitian dilakukan dengan menaksir parameter pada
model MARS dengan respon biner menggunakan metode GLS dan OLS. Hasil
analisis penaksiran parameter pada model MARS dengan respon biner
menggunakan metode GLS dan OLS dilakukan dengan cara menaksir parameter
melalui proses meminimumkan jumlah kuadrat galat. Hasil penelitian
menunjukkan bahwa estimasi parameter pada model MARS dengan respon biner
menggunakan metode GLS dihasilkan sifat-sifat penaksir yang baik diantaranya
adalah tak bias, konsisten dan varians minimum, sedangkan estimasi parameter
pada model MARS dengan respon biner menggunakan metode OLS dihasilkan
sifat-sifat penaksir diantaranya adalah tak bias, konsisten dan varians tidak
minimum, hal ini disebabkan kehadiran heteroskedastisitas.

Kata kunci: MARS, GLS, OLS, Heteroskedastisitas.

PENDAHULUAN

Model regresi merupakan komponen penting dalam beberapa analisis data dengan
menggambarkan hubungan antara variabel respon dengan satu atau beberapa variabel
prediktor. Misalkan adalah variabel respon dan adalah variabel
prediktor, untuk buah pengamatan, secara umum hubungan antara
dan dapat ditulis sebagai berikut :
Dengan adalah kesalahan random dan merupakan
kurva regresi (Otok,dkk., 2006).
Untuk mengestimasi kurva atau parameter regresi, ada dua pendekatan yaitu
pendekatan regresi parametrik dan pendekatan regresi nonparametrik. Beberapa penelitian
menunjukkan model dengan pendekatan regresi nonparametrik secara adaptive banyak
diminati. Salah satunya, yaitu model Multivariate Adaptive Regression Spline (MARS).
Menurut Friedman (1991), model MARS merupakan kombinasi yang kompleks
dari spline dan recursive partition regression (RPR). Model MARS mampu mengatasi

21
Prosiding SEMNAS Matematika & Pendidikan Matematika IAIN Ambon ISBN 9 786025 185700
Ambon, 09 Februari 2018

kelemahan RPR dan regresi spline yaitu mampu menghasilkan model yang kontinyu pada
knot dan secara otomatis mampu menentukan banyaknya knot sekaligus.
Penerapan MARS pada umumnya digunakan untuk menyelesaikan dua
permasalahan utama dalam statistika, yaitu respon kontinu dan respon kategorik (biner).
Pada respon kontinu, beberapa penelitian yang telah dilakukan diantaranya dapat dilihat
pada Leathwik, dkk., (2006), Otok, dkk., (2008), Balshi, dkk.,(2009), Adamoski, dkk.,
(2012). Sedangkan pada respon kategorik (biner) beberapa penelitian yang telah dilakukan
diantaranya dapat dilihat pada Sephton (2001), Xiang & Meullenet (2002), Aziz (2005),
Otok (2009).
Menurut Aziz (2005), model MARS untuk data dengan variabel respon biner saat
ini masih dalam taraf pengembangan karena masih memerlukan sejumlah batasan-batasan.
Aziz (2005) menerapkan MARS untuk data respon biner dalam pemodelan resesi di
Indonesia, dalam mengestimasi koefisien fungsi - fungsi basis digunakan metode least
square (kuadrat terkecil) dan memperlihatkan hasil yang menjanjikan untuk peramalan
resesi di dalam contoh. Sedangkan peramalan di luar contoh model MARS dapat membantu
tetapi secara umum tidak memberikan hasil yang tepat. Metode lain yang dapat digunakan
untuk mengestimasi parameter pada model MARS dengan respon biner adalah maximum
likelihood. Menurut Otok (2009), metode estimasi maximum likelihood pada model MARS
dengan respon biner merupakan salah satu metode penaksiran yang memenuhi kriteria
penaksir yang baik. Sifat-sifat penaksir likelihood antara lain konsisten, berdistribusi
normal, dan efisien. Berdasarkan beberapa penelitian terdahulu dan pendapat yang
dikemukakan Aziz (2005), maka pada penelitian ini akan diteliti estimasi parameter model
MARS dengan respon biner menggunakan metode Generalized Least Square (GLS) dan
Ordinary Least Square (OLS). Adapun tujuan dari penelitian adalah menaksir parameter
model MARS dengan respon biner menggunakan metode GLS dan OLS.

METODE PENELITIAN

Tipe penelitian ini berbentuk penelitian kualitatif dengan melakukan studi

kepustakaan, dengan mengumpulkan dan mengkaji materi-materi yang berkaitan dengan
sifat-sifat tentang estimasi parameter model MARS dengan respon biner menggunakan
metode GLS dan OLS.
Pada penelitian ini, akan dilakukan estimasi parameter model MARS dengan respon biner
menggunakan metode GLS dan OLS. Penaksiran parameter pada model MARS dengan
respon biner menggunakan metode GLS dan OLS dilakukan dengan cara menaksir
parameter melalui proses meminimumkan jumlah kuadrat galat. Setelah dilakukan
analisis dengan metode GLS dan OLS didapatkan hasil taksiran dan matriks kovarians
dari untuk model MARS dengan respon biner kemudian diselidiki sifat-sifat
estimasinya. Dengan demikian dapat dilihat bahwa metode mana yang memiliki penaksir
yang baik untuk model MARS dengan respon biner. Penaksir yang baik sebaiknya
memenuhi sifat Best Linier Unbiased Estimation (BLUE) sehingga diperoleh model
terbaik. Langkah – langkah yang akan digunakan dalam penelitian ini dapat dilihat pada
Gambar 1 (Lampiran).

22
Prosiding SEMNAS Matematika & Pendidikan Matematika IAIN Ambon ISBN 9 786025 185700
Ambon, 09 Februari 2018

HASIL PENELITIAN

Penaksiran parameter pada Model MARS dengan Respon Biner menggunakan Metode
GLS

Model MARS didefinisikan sebagai berikut :

Y
Persamaan tersebut merupakan bentuk linier dalam parameter .
Metode yang digunakan dalam menaksir parameter yang belum diketahui dalam
model MARS pada persamaan di atas adalah GLS.
Misalkan
Y (1.1)
maka Persamaan (1.1) dapat dituliskan sebagai
Y (1.2)
dimana :

dengan asumsi ■
Untuk memenuhi asumsi variansi konstan, maka kedua ruas pada Persamaan (1.1) dikalikan
dari kiri dengan , sehingga menjadi :
(1.3)
(1.4)
dimana
sehingga,

■ (1.5)
Dengan demikian ,
Karena , maka ditulis sebagai berikut :

)
■ (1.6)
Jadi Persamaan (1.1) memiliki variansi konstan ■
Selanjutnya akan dilakukan penaksiran parameter dan penaksiran matriks varians
kovarians dari sebagai berikut :
Penaksir parameter
Berdasarkan Persamaan (1.3),

sehingga diperoleh :
■ (1.7)
Misalkan

Maka berdasarkan Persamaan (1.7) diperoleh :

23
Prosiding SEMNAS Matematika & Pendidikan Matematika IAIN Ambon ISBN 9 786025 185700
Ambon, 09 Februari 2018

Oleh karena adalah skalar, maka matriks transposenya adalah

=
Jadi,

■
Selanjutnya,

(1.8)
kedua ruas pada Persamaan (1.8) dikalikan dengan
(1.9)
Karena , maka Persamaan (1.9) dapat ditulis sebagai berikut :
■
Jadi,
■ (1.10)
Persamaan (1.10) adalah taksiran Generalized Least Square untuk

Menaksir matriks varians – kovarians dari

Berdasarkan Persamaan (1.10),

Subtitusikan ke Persamaan (1.10), diperoleh :

■ (1.11)
Oleh karena itu,
Sehingga :

(1.12)
Pada Persamaan (1.12), merupakan matriks varians – kovarians dari ■
Untuk menyelidiki sifatnya, pandang kembali model umum MARS dengan respon
biner pada persamaan (1.2). disini dianggap bahwa bebas satu sama lain dan
. Dengan demikian maka
Dengan demikian, sifat dengan metode Generalized Least square adalah :
Tak Bias,
jika maka adalah penduga tak bias untuk
dari persamaan (1.11) dapat dibuktikan :

karena maka :

24
Prosiding SEMNAS Matematika & Pendidikan Matematika IAIN Ambon ISBN 9 786025 185700
Ambon, 09 Februari 2018

Konsisten,
yaitu dengan meningkatnya ukuran sampel secara tak terbatas, penaksir mengarah
ke nilai populasi yang sebenarnya. Jika adalah sebuah estimator berdasarkan
sampel random yang besarnya n, maka adalah konsisten untuk jika :

biasanya sukar untuk membuktikan suatu estimator adalah konsisten dengan

menggunakan persamaan diatas, tetapi estimator yang mempunyai varian
cenderung menuju nol dengan sampel yang biasanya mendekati tak terhingga
adalah konsisten.

Varians Minimum,
jika maka matriks kovarians untuk diberikan oleh .
Jika dan maka mempunyai varians minimum diantara
semua penduga tak bias linier.
Bukti :

Penaksiran Parameter pada Model MARS dengan Respon Biner menggunakan Metode
OLS
Misalkan diberikan sejumlah sampel maka untuk mendapatkan nilai taksiran dari
parameter dilakukan dengan meminimumkan nilai dari atau dapat dituliskan
dalam bentuk fungsi sebagai berikut :

Fungsi diatas dapat dijabarkan sebagai berikut :

yang dapat diminimumkan dengan mencari turunan parsial pertama dari fungsi terhadap
dan menyamakan dengan nol

diperoleh,

Persamaan (1.14) di atas merupakan persamaan normal. Dengan mengalikan kedua ruas
dengan diperoleh estimator OLS untuk parameter sebagai berikut

■ (1.15)

25
Prosiding SEMNAS Matematika & Pendidikan Matematika IAIN Ambon ISBN 9 786025 185700
Ambon, 09 Februari 2018

Persamaan (1.15) adalah taksiran Ordinary Least Square untuk

Selanjutnya akan dilakukan penaksiran matriks varians kovarians dari sebagai berikut :
Berdasarkan Persamaan (1.15),

Subtitusikan ke Persamaan (1.15), diperoleh :

■ (1.16)
Oleh karena itu,
sehingga :

(1.17)
Pada Persamaan (1.17), merupakan matriks varians – kovarians dari ■
Jadi, sifat dengan metode Ordinary Least square adalah :
Tak Bias,
jika maka adalah penduga tak bias untuk
dari persamaan (1.16) dapat dibuktikan :

karena maka :

Konsisten,
yaitu dengan meningkatnya ukuran sampel secara tak terbatas, penaksir mengarah
ke nilai populasi yang sebenarnya. Jika adalah sebuah estimator berdasarkan
sampel random yang besarnya n, maka adalah konsisten untuk jika :

Biasanya sukar untuk membuktikan suatu estimator adalah konsisten dengan

menggunakan persamaan diatas, tetapi estimator yang mempunyai varian
cenderung menuju nol dengan sampel yang biasanya mendekati tak terhingga
adalah konsisten.

Varians tidak Minimum,

model regresi mengasumsikan bahwa varians dari faktor pengganggu konstan,
karena prosedur least square yang biasa menghasilkan estimator dari kekonstanan
ini. Jika terdapat heteroskedastisitas, varians dari faktor pengganggu tidak sama,
bahkan sebaliknya varians ini juga merupakan sebuah variabel yang karenanya
tidak lagi minimun.

PEMBAHASAN

Penelitian ini menghasilkan sifat-sifat dari estimasi parameter model MARS

dengan respon biner menggunakan metode GLS dan OLS. Penelitian ini melibatkan
proses menaksir parameter dengan cara meminimumkan kuadrat galat.
Hasil penelitian ini menunjukkan bahwa estimasi parameter model MARS dengan
respon biner menggunakan metode GLS dihasilkan sifat-sifat penaksir yang baik

26
Prosiding SEMNAS Matematika & Pendidikan Matematika IAIN Ambon ISBN 9 786025 185700
Ambon, 09 Februari 2018

diantaranya adalah tak bias, konsisten dan varians minimum. Dengan demikian, Penaksir
tersebut memenuhi sifat Best Linier Unbiased Estimation (BLUE) sehingga diperoleh
model terbaik. Sedangkan estimasi parameter model MARS dengan respon biner
menggunakan metode OLS dihasilkan sifat-sifat penaksir diantaranya adalah tak bias,
konsisten dan varians tidak lagi minimum, hal ini disebabkan kehadiran heteroskedastisitas
sehingga metode OLS menjadi tidak efisien walaupun parameter yang diperoleh tetap tidak
bias dan konsisten. Tetapi penyimpangan yang muncul dalam analisis regresi pada model
MARS dengan respon bukan hanya terkait dengan pelanggraran asumsi-asumsi dasar OLS
menyangkut variabel-variabel bebas melainkan juga dapat ditimbulkan oleh kekeliruan
dalam menspesifikasikan model yang akan ditaksir dan kesalahan dalam mengukur
variabel. Metode OLS yang mengandung kasus heteroskedastisitas akan menyebabkan
berubahnya beberapa sifat penaksir OLS sehingga tidak lagi bersifat BLUE.

KESIMPULAN DAN SARAN

Berdasarkan hasil dan pembahasan dapat disimpulkan bahwa estimasi parameter

model MARS dengan respon biner menggunakan metode GLS dihasilkan sifat-sifat
penaksir yang baik diantaranya adalah tak bias, konsisten dan varians minimum. Sedangkan
estimasi parameter model MARS dengan respon biner menggunakan metode OLS
dihasilkan sifat-sifat penaksir diantaranya adalah tak bias, konsisten dan varians tidak lagi
minimum, hal ini disebabkan kehadiran heteroskedastisitas. Penelitian ini masih bisa
dikembangkan lagi antara lain mengkaji lebih lanjut tentang estimasi parameter model
MARS dengan respon biner menggunakan metode selain GLS dan OLS sehingga dapat
menjadi peluang penelitian kedepan.

DAFTAR RUJUKAN

Adamowski, J., Hiu Fung Chan., Shivo,Prasher., & Vishwa Nath Sharda. (2012).
Comparison of Multivariate Adaptive Regression Splines with Coupled Wavelet
Transform Artificial Neural Networks for Runoff Forecasting in Himalaya
Micro-Watersheds with Limited Data. Journal of Hydroinformatics.143. IWA
Publishing
Aziz, Azwirda.(2005). Penggunaan regresi spline adaptiv berganda untuk data respon
biner. Tesis. Bogor : Sekolah Pascasarjana Institut Pertanian Bogor
Balshi,M.S., McGuire, A.D., Duffy, P., Flanning, M., Walsh, J., & Melillo, J. (2009).
Assessing the response of area burned to changing climate in western boreal
North America using a Multivariate Adaptive Regression Splines (MARS)
approach. Global Change Biology (15) 2: 578 - 600. www.elsevier.com
Friedman, J.H,.(1991). Multivariate Adaptive Regression Splines, The Annals of Statistics.
19(1) : 1-14
Leathwick,J.R.,Rowe,D., Richardson, J., Elith,J., & Hasti, T. (2006). Using multivariate
adaptive regression spline to predict the distributions of New Zealand’s
freswater diadromous fish. Journal homepage:
www.elsevier.com/locate/ecolmodel. 50, 2034-2052
Otok, B.W., Subanar., & Guritno,S. (2006). Optimize Knot and Basis Function at
Truncated Spline and Multivariate Adaptive Regression Splines. Proceedings of
The First International Conference on Mathematics and Statistics (ICoMS-1).
Bandung, West Java. Indonesia.
Otok, B.W.,Guritno,Suryo & Subanar. (2008). Asimtotik Model Multivariate Adaptive
Regression Spline. Jurnal Natur Indonesia 10(2) : 112-119.

27
 Prosiding SEMNAS Matematika & Pendidikan Matematika IAIN Ambon ISBN 9 786025 185700
Ambon, 09 Februari 2018

Otok, B.W. (2009). Konsistensi dan Asimtotik Normalitas Model Multivariate Adaptive
Regression Spline (MARS) Respon Biner. Jurnal Ilmu Dasar, 10(2) : 133-140
Sephton P. (2001). Forecasting recessions: can we do better on MARS ?. Hydrological
sciences Journal 53 (6), 1165-1175.
Xiang R. & Meullenet JF. (2002). Comparasion of Logistic Regression and MARS in
modeling the effects of water activity, pH and potassium sorbate on growth – no
growth of Saccharomyces cerevisiae. Food Science Department. University of
Arkansan. www.elsevier.com

LAMPIRAN

Studi Literatur pada model MARS dengan

respon biner
Ordinary
Taksiran Model dan
Least
Kesimpulan
Square Kriteria Model
Estimasi Parameter

Generalized Least
Square

Gambar 1. Bagan Alir Prosedur Kerja Penelitian

28