REGRESI SPLINE

TUGAS 1
REGRESI NONPARAMETRIK

NURAZIZAH MAHDIN
G50118093

PROGRAM STUDI STATISTIKA JURUSAN MATEMATIKA

FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM
UNIVERSITAS TADULAKO

FEBRUARI 2021
1. Regresi Spline
Spline merupakan potongan polinomial (piecewise polynomial) tersegmen
yang memiliki sifat fleksibilitas. Titik perpaduan bersama dari potongan-
potongan tersebut atau titik yang menunjukkan terjadinya perubahan-
perubahan perilaku kurva pada interval – interval yang berbeda.
Dalam analisis regresi nonparametrik spline, jika terdapat satu vaeiabel
respon dan satu varibel prediktor maka regresi tersebut dinamakan regresi
nonparametrik spline univariabel. Sebaliknya, apabila terdapat satu variabel
respon dengan lebih dari satu variabel prediktor maka disebut dengan regresi
nonparametrik multivariabel.
Regresi spline merupakan suatu pendekatan ke arah pencocokan data dengan
tetap memperhitungkan kemulusan kurva. Spline ini merupakan potongan
polinomial tersegmen yang dihubungkan oleh titik-titk knot yang dapat
menjelaskan karakteristik dari data.
2. Model Umum
Bentuk umum regresi spline orde ke-m adalah sebagai berikut:
N N
y=β 0 + ∑ β j x j + ∑ β j+k ( x−K k )+¿ +ε ¿ m

k =1 k =1

Dimana :

y= Fungsi Regresi Spline

k 1 , k 2 , … k k = titik knot
x= prediktor
β= Konstanta
ε= Error/ Galat
Dengan menggunakan data amatan sebanyak n, maka bentuk matriks dari
persamaan diatas dapat ditulis sebagai berikut:

y= X 1 δ 1 + ( X −K ) δ 2 +ε

3. Estimasi Parameter
a. Metode Maximum Likelihood Estimator (MLE)
Maximum Likelihood Estimator (MLE) adalah suatu teknik yang sering
digunakan pada model parametrik baik untuk mencari penduga parameter
maupun konstruksi statistika uji (Supranto, 1989). Fungsi likelihoodnya
dapat dituliskan sebagaimana persamaan berikut ini:
n n
1
L(x , x
1 2 …; μ) =∏
i=1
( 2 π σ2 ) exp( 2−1σ (x −μ) )
2
2 i
2

Fungsi log-likelihood dari persamaan diatas sebagaimana persamaan

berikut:
 n
1 n2
ln [ L( μ) ] =ln
{( ) [ ] ∑2π σ 2
exp
−1
2 σ2 i=1
( x i−μ)2
}
b. Metode Ordinary Least Square (OLS)
Dalam OLS, terdapat beberapa asumsi dasar yang harus dipenuhi untuk
menghasilkan estimasi yang Best Linear Unbiased Estimator (BLUE),
yaitu: homoscedastic, no-multicollinearity, dan no-autocorrelation.
Adapun persamaan OLS adalah sebagai berikut:
Y =¿
4. Jenis- jenis Regresi Spline
a. Penalized spline
Regresi Spline dengan Penalized spline merupakan salah satu satu jenis
dari bentuk regresi spline. Dalam regresi penalized spline ini modelnya
diperoleh dengan meminimumkan fungsi Penalized Least Square (PLS).
Penalized Least Square (PLS) adalah fungsi pendugaan yang
menggabungkan antara fungsi least square dan kemulusan kurva
(smooth). Model regresi nonparametrik untuk data longitudinal adalah
sebagai berikut:
y i ; j =η ( x i; j ) +e i ; j , i=1,2 ,… ,m dan j=1,2 , … , n
Misalkan x merupakan observasi yang ditentukan dimana fungsi η ( x i ; j )
akan diestimasi dengan Fungsi Penalized Least Square (PLS). Fungsi
Penalized Least Square untuk data longitudinal adalah sebagai berikut:
m n
2
∑ ∑ ( y ij−x Tij β ) + λ β T Dβ , λ >0
i=1 j=1

Dengan matriks D adalah sebagai berikut:

D=diag (0 p+1 , 1r )
b. Spline Truncated
Pada data longitudinal terdapat i=1,2 , … , m subyek dan j=1,2 ,… , ni
pengamatan dalam setiap subyek, maka fungsi spline truncated berorde p
dengan titik knot K={K 1 , K 2 , … , K r } untuk data longitudinal dapat
diberikan oleh persamaan berikut:
p −1 r
f ( x ij )= ∑ β is x + ∑ β i( p+ s−1 ) ( xij −K is ) p−1
s
ij
s =0 s =1

Dengan fungsi truncated,

( x ij −K is ) (x − K ) ,∧ x −K
p−1
≥ 0¿
+¿
p−1
=
{ ij is ij
0 ,∧x ij −K is <0
is

Diperoleh model regresi nonparametrik spline truncated untuk data

longitudinal orde ke- p sebagai berikut:
p−1 r
y ij =∑ β is x sij + ∑ β i (p +s−1) (x ij −K is ) p−1 +e ij
s=0 s=1
 Persamaan tersebut dapat ditulis kedalam bentuk matriks sebagai berikut:
y i= X i 1 δ i 1+ X i 2 δ i 2+ ei
δi 1
Dengan y i= X i β i +e dengan X i ¿ ¿ dan β i= [ ]
δi 2
. Dengan menggunakan

metode Ordinary Least Square (OLS) estimator untuk parameter β i adalah

sebagai berikut:
^β i=( X Ti X i )−1 X Ti y i

5. Pengujian Hipotesis
1. Uji Simultan
Uji parameter dengan model regresi secara serentak dilakukan secara
bersamaan terhadap model dengan hipotesis dari pengujian adalah:
H 0 : β1 =β2 =…= β p =0
H 0 : paling sedikit ada satu β j ≠ 0 ;
J=1,2,...,p
Statistik uji
n

∑ ( ^y i− ý i)2 / p
i=1
F hitung = n

∑ ( ^y i− ý i )2 /¿ ¿ ¿
i =1

Apabila F hitung > F α (v 1 , v2) maka tolak H 0 ditolak artinya paling sedikit
ada β i yang memiliki pengaruh signifikan terhadap variabel respon

2. Uji Parsial
Uji parameter model regresi secara individu bertujuan untuk
mengetahui seberapa jauh variabel prediktor secara individual dalam
menerangkan variasi varaibel respon. Hipotesis dari pengujian secara
individu adalah

𝐻0: 𝛽𝑗 ¿ 0 ; artinya tidak ada variabel respon yang berpengaruh

terhadap variabel prediktor

𝐻1 : 𝛽𝑗 ≠ 0 ; artinya variabel prediktor yang ada berpengaruh terhadap

variabel respon
^β 2j
t hitung =
S^ E( ^β2j )
 𝐻0 ditolak apabila |t hitung| > t ( α n− p−1) yang artinya ada pengaruh antar
2

variabel prediktor terhadap variabel respon.

6. Pemilihan Model Terbaik

Beberapa kriteria yang digunakan untuk menentukan model regresi terbaik
salah satunya adalah koefisien determinasi (R2). Berikut ini merupakan
rumus untuk menghitung R2:
n
R2=∑ ¿ ¿¿ ¿
i=1

Selain dengan koefisien determinasi (R2), pemilihan moel terbaik juga bisa
menggunakan Mean Square Estimator (MSE). MSE adalah rata-rata dari
kesalahan peramalan kuadratkan. Berikut ini merupakan rumus untuk
menghitung MSE:
n
MSE=∑ ¿ ¿ ¿ ¿
i=1

MSE didapatkan dengan menggunakan k-fold. K-fold merupakan salah

satu metode Cross Validation. K-fold dilakukan untuk membagi data
menjadi data training dan data testing, dengan mengulang sebanyak k
untuk membagi sebuah himpunan secara acak menjadi k subset yang
paling bebas.