TUGAS MATA KULIAH KAPITA SELEKTA

RINGKASAN PAPER

“MODEL AVERAGING IN CALIBRATION OF NEAR-INFRARED

INSTRUMENTS WITH CORRELATED HIGH-DIMENSIONAL DATA”

Dosen Pengampu:
Dr. Deiby Tineke Salaki S.Si, M.Si

Disusun oleh:
Christina Irwan (20101103025)
Friska Sagai (20101103042)
Jose Carlos Tahitu (20101103032)
Regina Riung (20101103010)
Wilyam Sekewael (20101103011)

PROGRAM STUDI MATEMATIKA

FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM
UNIVERSITAS SAM RATULANGI
2022
1. Pendahuluan
Model averaging (MA) adalah strategi pemodelan dimana ketidakpastian dalam
konfigurasi variabel yang dipilih di perhitungkan dengan menggabungkan setiap perkiraan
dari model kandidat.
Beberapa penelitian menunjukkan bahwa MA memungkinkan prediksi yang lebih baik,
bahkan dalam kasus dimensi yang tinggi. Dan untuk memperkirakan parameter model, yang
perlu dipertimbangkan:
 Kuadrat terkecil standar
 Metode regresi punggungan
Dalam kalibrasi NIR, dapat dimodelkan konsentrasi komposisi kimia sebagai fungsi dari
spekrum NIR yang diukur pada ratusan atau ribuan Panjang gelombang. Tujuan Utama
Kalibrasi adalah membangun mode dengan prediksi terbaik. Data spektrum secara umum
memiliki karakteristik yang menjadi tantangan dalam pemodelan :
 Jumlah variabel (Panjang gelombang) jauh melebihi jumlah pengamatan.
 Variabel sangat berkorelasi.
Kita dapat mempertimbangkan seleksi maju, seleksi mundur, Akaike’s Information
Criterion (AIC), Cp Mallows, atau validasi silang (CV), untuk sampai pada model terbaik.
Pendekatan yang disebut model rata-rata (MA) telah digunakan untuk mempertimbangkan
semua model kandidat. Model kandidat ini dibangun oleh subset prediktor yang berbeda.
Prediksi dilakukan dengan menggabungkan prediksi dari model kandidat ini, di mana bobot
yang lebih tinggi diberikan kepada model yang lebih baik. Akibatnya, konfigurasi variabel
diperhitungkan dalam prediksi.
Ada dua pendekatan utama untuk MA yang mencerminkan aliran pemikiran yang
berbeda:
1. Bayesian Model Averaging (BMA)
Dalam BMA kita memerlukan distribusi sebelumnya unuk menghitung probabilitas
posterior dari setiap model kandidat dan menggunakannya sebagai bobot dalam rata
– rata.
2. Frequentist model Averaging (FMA)
FMA tidak memerlukan asumsi sebelumnya dan sepenuhnya bergantung pada data
yang dipertimbangkan. Hasilnya, prosedur untuk membangun model kandidat,
metode untuk memperkirakan parameter model, dan perhitungan bobot.
Tujuan dari penelitian ini adalah Mengetahui bagaimana metode untuk menghitung bobot
model candi date dan metode estimasi parameter yang memengaruhi kinerja prediksi MA
dalam pemodelan data berdimensi tinggi yang mengandung struktur koreli yang berbeda yaitu
korelasi tinggi, korelasi rendah, dan korelasi blok.
Dari perbandingan kinerja model MA dalam situasi berbeda dengan metode pemilihan
model didapatkan least absolute shrinkage and selection operators (LASSO) dan smoothly
clipped absolute deviation (SCAD).
Studi simulasi ini menunjukkan bahwa kinerja prediksi MA ditentukan oleh struktur
korelasi data, metode etimasi parameter, dan metode perhitungan bobot. Secara umum, MA
bekerja lebih baik dari pada metode regresi penalized dalam data berdimensi tinggi dan data
yang sangat berkorelasi. Dalam hal metode estimasi parameter juga ditemukan bahwa MA
regresi ridge mengungguli MA kuadrat terkecil karena model kandidat mengandung lebih
banyak predictor.

2. Metode
2.1 Kalibrasi Data Khusus NIR
Dalam studi ini, kita mempertimbangkan dua dataset nyata pada kalibrasi
spektrometer inframerah dekat. Data khusus disini merupakana spektrum dari 80
spesimen jagung yang diukur pada dua spektrometer yang berbeda di (mp5 dan mp6) pada
700 panjang gelombang antara 1100 dan 2496 nm dalam interval 2 nm. Setiap
spektrometer menghasilkan matriks berukuran 80 × 700. Dari setiap spesimen yang diukur
dari jagung, kadar air, minyak, protein dan pati. Rata-rata korelasi antar variabel dalam
data khusus pada jagung di mp5 dan mp6 masing-masing adalah 0,997 dan 0,982.

2.2 Model dan Notasi

Misalkan y ≡¿ menjadi vektor variabel respon, di mana n adalah jumlah pengamatan
dan 'T' menunjukkan transposisi. Misalkan x 1 , x 2 , … , x nadalah vektor-vektor prediktor,
yang masing-masing merupakan vektor-n, dan misalkan β 1 , β 2 ,… , β p masing-masing
merupakan parameter model yang sesuai. Prediktor dapat diringkas dalam matriks
prediktor X ukuran n × p, dimana p (adalah jumlah prediktor) diperbolehkan melebihi n.
Pertimbangkan model regresi linier berikut ini,
p
y=∑ β j β i +ϵ
j=1

Dimana β ≡ {β j } adalah vektor p dari parameter, ϵ model regresi yang tidak

diketahui, adalah vektor-n dari istilah kesalahan acak. Kami berasumsi bahwa ϵ i secara
independent dan mengikuti distribusi normal dari nilai rata-rata nol dan varians
σ 2> 0 ,untuk i=1, 2 , … , n.

Dalam metode kuadrat terkecil biasa (OLS), β diestimasi sebagai:

^β =arg min { y−Xβ ¿ T ( y−Xβ ) }

OLS β

yang diberikan oleh,

^β =¿
OLS

Memoderasi fungsi tujuan dari persamaan diatas dengan fungsi Penalti (∙ ¿ p λ :

Untuk beberapa setelan parameter λ > 0. Fungsi pinalti yang berbeda p λ akan sampai
pada solusi nilai yang berbeda untuk β . Dalam regresi ridge (RR), estimasi ^β RR dapat
p
diperoleh dengan menetapkan p λ ( β 1 ,… , β b )=λ ∑ β j . Dapat ditunjukkan bahwa taksiran
2

j=1

dapat ditulis sebagai,

^β =¿
OLS

Dimana R adalah matriks identitas dengan ukuran yang sesuai.

Untuk mendapatkan taksiran berdasarkan SCAD, fungsi penalti didefinisikan
sedemikian rupa sehingga turunan pertama (berkenaan dengan β ) diberikan oleh

'
{
p λ ( β )=λ I ( β ≤ λ )+
( aλ−β )
(a−1) λ }
+ I( β ≥ λ)

untuk beberapa a > 2, di mana p λ (0) = 0, dan I (·) adalah fungsi indikator yang sama
dengan satu jika kondisi di dalam kurung benar dan nol sebaliknya. Dalam penelitian kami,
parameter λ dalam metode estimasi yang berbeda ini diperkirakan menggunakan metode
validasi silang.

2.3 Model Rata-rata

Menjelaskan tentang metodologi MA yang di pertimbangkan untuk masalah kalibrasi.
Pertimbangkan model regresi linier dalam himpunan predictor { x 1 , x 2 ,… , x p } yang dipartisi
menjadi subset K. Untuk k = 1, 2, ... , K, subset prediktor ke k dianggap membangun
matriks desain X k dari model kandidat ke k M k . Model kandidat ke k M k dapat ditulis
sebagai,
M k : y=X ( k ) β( k ) +ϵ ( k )

Dimana X (k) adalah matriks prediktor berukuran n × p(k), β (k ) merupakan p(k) sebuah
vector parameter model yang terkait dengan X ( k ) , dan ϵ ( k ) merupakan istilah kesalahan acak.
Parameter model β (k ) adalah diperkirakan menurut metode estimasi yang berbeda seperti
yang dijelaskan di bawah ini.
Setelah di dapatkan perkiraan ^β(k ), kita mendefinisikan ^y (k) sebagai vektor yang

dipasang berdasarkan model M k , yaitu ^y (k)=X (k ) ^β(k). Dimana vektor yang dipasang untuk
MA, ^y MA, dapat ditulis sebagai:
K
^y MA=∑ w k k^ (k ) ,
k=1

Dimana w k adalah bobot yang sesuai dengan model kandidat ke k, 0 ≤ w k ≤ 1 ∀ k dan

K

∑ wk =1.
k =1

Estimasi parameter MA untuk β j , j = 1, ... , p, dapat dihitung dihitung dengan

K
^β j =∑ w k ^β j ,(k)
k=1

Dimana ^β j ,(k) merupakan estimasi ^β j berdasarkan model kandidat ke k. Perhatikan

bahwa, jika prediktor j tidak ada dalam kandidat model k, maka ^β j ,(k) = 0 untuk j = 1, 2, ... ,
p, dan k = 1, 2, ... , K.

2.3.1 Model Konstruksi

Untuk membangun bentuk model kontruksi, X (k), k = 1, 2, ... , K,
diempertimbangkan korelasi marginal dari prediktor dengan variabel respon seperti y
dan matriks desain yang sesuai X = ( x 1 , x 2 , … , x p). Dengan memperhatikan bahwa
variabel dipusatkan untuk memiliki rata-rata nol, diberikan
T
xj y
^p j=
√x x √ y
T
j j
t
y
Dimana yang menjadi (sampel) korelasi marginal antara y dan X j, j = 1, 2, ... , p.
Berdasarkan nilai absolut dari korelasi yang diamati, semua variabel kemudian
diurutkan menurun untuk mendapatkan {( x(1) , x(2) ,… , x (p )}.
2.3.2 Model Estimasi
Metode estimasi untuk memperkirakan model parameter β(k ) yang sesuai.
Pertama, OLS perkiraan untuk β(k ) diberikan oleh
^β
( k ) ,OLS =¿

Kedua, estimasi ridge untuk β(k ) diberikan oleh

^β
( k ) ,RR =¿

Dalam estimasi parameter model kandidat tidak mempertimbangkan LASSO

atau memperkirakan SCAD karena pada prinsipnya mereka termasuk dalam
metodologi pemilihan model. Karena MA tidak fokus pada seleksi, melainkan pada
menggabungkan prediktor dan pembobotan model yang masuk akal (kandidat) yang
berbeda dalam prediksi. Performa prediksi dari MA, bagaimanapun, akan
dibandingkan dengan model LASSO dan SCAD dalam penelitian ini.
Parameter penyetelan λ dalam estimasi regresi linear atau metode pemilihan
model (LASSO dan SCAD) diperkirakan menggunakan metode validasi silang.

Kita tulis kesalahan validasi silang sebagai

n
1 2
CV ( λ )= ∑
n i=1
{ i (λ) }
y i− ^y CV

dan optimal λ diperkirakan sebagai

^λ=arg min CV (λ)

2.3.3 Kriteria Bobot

Menggunakan metodologi model rata-rata merupakan pilihan kriteria bobot
untuk masing-masing kandidat model, atau wk’s, k = 1, 2, ... , K, di mana wk ∈ [0, 1]
K
dan ∑ wk =1. Dalam studi ini, dipertimbangkan tiga jenis kriteria bobot yaitu:
k =1

Akaike’s Information Criterion (AIC), Mallows’s Cp, dan Cross Validation (CV).
Akaike’s Information Criterion (AIC). AIC menunjukkan kualitas relatif dari
model statistik yang diberikan oleh sebuah data. Pertimbangkan AIC dari model
kandidat M k , dilambangkan sebagai
AIC ( M k ) =−2l n ( β (k ) ) +2 d ( M k )

Dimana l n ( β (k )) merupakan kemungkinan log dari β (k ), dan d ( M k ) adalah dimensi

efektif dari vektor parameter dipasang dalam model. Kemungkinan log diberikan oleh
−1 1
l ( β (k )) =−log p ( y|β (k ) )= log|Σ ( k )|− ¿ ¿ )
2 2
 Dimana ∑ adalah diagonal matriks terhadap error dari varians dalam M k ,
k

∑ ¿Var ( ϵ k). Merupakan efektif dimensi d ( M k ) sama dengan j ( K )(jumlah kolom X k)

k

ketika β k diperkirakan menggunakan metode OLS dan sama dengan

t race ¿
ketika (k) diestimasi menggunakan estimasi ridge.
Berdasarkan nilai AIC( M k ), Burnham dan Anderson mengusulkan untuk
mengubah skala kriteria informasi sebagai ukuran relatif untuk setiap model kandidat
yang disebut perbedaan AIC, dan dilambangkan sebagai
∆ k = AIC ( M k ) −A IC min

Dimana A IC min adalah AIC minimum di antara semua model kandidat. Oleh
karena itu, AIC bobot yang akan diberikan dalam model kandidat M k diberikan oleh
w k =exp ⁡(−∆k /2)¿ ¿
K

∑ exp ⁡(−∆k /2)

k=1

Bobot (wk’s) berdasarkan AIC dalam hal ini menunjukkan probabilitas model
M k menjadi model terbaik dalam kumpulan model kandidat yang dipertimbangkan.
Mallows’s Cp. Model rata-rata Mallow’s Cp (MMA) diusulkan oleh Hansen dan
didasarkan pada kriteria Mallow’s Cp yang terkenal dalam menghitung bobot wk’s.
Mallow’s Cp adalah kriteria untuk MA yang diberikan oleh:
C M ( w ) =w T ϵ^ T ϵ^ w+2 σ^ 2 ΦT w
T
Dimana w ≡(w1 , w2 … , wk ) adalah vektor bobot untuk calon model yang
berbeda,ϵ^ adalah matriks dari semua vektor residual di K calon model ukuran n × K,
T
Φ adalah vektor dari Φ k yaitu ¿ ≡ ( Φ1 , … ,Φ k ) dan Φ k adalah jumlah prediktor yang
digunakan pada kandidat ke k model, k = 1, ... ,K. Mempertimbangkan ini sebagai
masalah estimasi, dengan bobot vektor w diperkirakan oleh
M
^ =arg min C ( w )
w
w∈ W

{ }
K
Dimana W = wk ϵ [ 0,1 ] , ∑ w k =1 ; k=1 , … , K .Ini merupakan sebuah masalah
k

pemrograman linier klasik dan dapat dihitung menggunakan prosedur standar

optimasi.
Cross Validation (CV). Model bobot rata-rata berdasarkan prinsip Cross
Validation (CV) sebelumnya diusulkan oleh Hansen dan Racine. Idenya adalah bahwa
 kriteria CV menunjukkan kualitas model yang diberikan data, terutama untuk
menyeimbangkan model fit dan model prediksi.
Misalkan x (ik ) baris ke-i dari matriks prediktor X (k) pada M k Mk, k = 1, 2, ... , K.
( k)
Misalkan X −i dan y−i menjadi masing-masing matriks prediktor X (k) pada M k dan
variabel respons y di mana baris ke-i (atau elemen ke-i dalam y) dihapus. Selanjutnya,
misalkan ~μ kmenjadi prediksi di i pengamatan berdasarkan estimasi model parameter di
i

mana baris ke-i dihapus, atau (dalam perkiraan estimasi OLS) diberikan oleh
~ k (k )
μi =x i ¿
Dalam konteks pendugaan regresi ridge, maka taksiran di ruas kanan persamaan
di atas disesuaikan.
Misalkan ~ μ =( ~
k
μ¿ ¿1 , ~
k
μ2 , … , ~
k k T
μ n) ¿ menjadi n vektor dari nilai prediksi dari CV
dalam model kandidat ke-k. Vektor residual CV dari model kandidat ke-k
dilambangkan oleh ϵ (k)= y −~
μ k . Di seluruh model kandidat K, dapat diringkas menjadi
sebuah matriks (ukuran n × K) dilambangkan sebagai ε =(ϵ 1 , … , ϵ k ). Oleh karena itu,
berdasarkan bobot optimal pada CV dapat dihitung dengan meminimalkan,
1
C J ( w ) = w T ε T εw ,
n
^ =arg min C J ( w )
w
3. Studi Simulasi
3.1 Pengaturan Simulasi
Untuk memahami kinerja prediksi metodologi MA, dilakukan studi simulasi di mana
beberapa parameter simulasi bervariasi. Khususnya, untuk jumlah variabel yang berbeda
termasuk dalam tanggal model ( v ), bagaimana parameter model diestimasi, dan bagaimana
calon model bobot (w k ' s ) mempengaruhi kinerja prediksi dalam struktur korelasi data
yang berbeda.
Data simulasi matriks X ukuran n × p , dengan n = 300 dan p = 1000, dihasilkan
menurut distribusi normal multivariat dengan mean nol dan matriks kovarians C, atau X ~
MVN(0, C). Cara mempertimbangkan C yaitu dengan mendefinisikan struktur korelasi
dari data simulasi. Dalam studi ini, dibuat struktur korelasi yang berbeda sebagai berikut.
Pertama, kita definisikan C sebagai :

[ ]
2 2 2
1 τ τ ⋯ τ
τ2 1 τ2 ⋯ τ2
C= τ 2 τ2 1⋯ τ2
⋮ ⋮ ⋮⋱ ⋮
2 2 2
τ τ τ ⋯ 1
 dimana τ 2 = 0,1, 0,75, 0,85, dan 0,95. Nilai τ 2 = 0,1 mewakili kasus korelasi rendah
sementara nilai-nilai lain mewakili kasus korelasi tinggi. Perbedaan nilai τ 2 dalam
merepresentasikan adalah untuk menyoroti perhatian pada data yang ditemui dalam
kalibrasi instrumen NIR.
Kedua, pertimbangkan data korelasi blok independen sehingga C didefinisikan
sebagai:

[ ]
C1 0 ⋯ 0
0 C2 ⋯ 0
C=
⋮ ⋮ ⋱ ⋮
0 0 ⋯ CQ

dimana

[ ]
2 2 2
1 τ τ ⋯ τ
τ2 1 τ2 ⋯ τ2
C= τ 2 τ
2
1⋯ τ
2

⋮ ⋮ ⋮⋱ ⋮
τ2 τ2 τ2 ⋯ 1

0 adalah sub-matriks dari nol dengan ukuran yang sesuai dengan C q, dan τ 2 = 0,95. Q
di sini menunjukkan jumlah blok korelasi dalam data dan anggap Q = 2, 5, 10 sehingga
setiap C q, q = 1, . . . , Q , berukuran 1000/Q .
Ketiga, pertimbangkan data korelasi blok-korelasi sehingga C didefinisikan sebagai :

[ ]
C1 Cr ⋯ 0
r
⋯ 0
C= C C 2
⋮ ⋮ ⋱ ⋮
0 0 ⋯ CQ

dimana C q seperti yang sudah didefinisikan di atas dan C r adalah sub-matriks yang
berisi korelasi antara balok dengan elemen c rij =0.7 , ∀ i, j .
T
Variabel respon simulasi y ≡( y 1 , y 2 ,. . . , y n ) dihasilkan sebagai berikut :
p
y i=∑ β j x ij + ϵ i ; i=1 , … , n
j=1

Dimana β j = 1 untuk j = 1, ... , 200, dan β j = 0 untuk j = 201, ... , 1000, dan untuk
kesalahan ϵ diambil sampelnya dari N (0 , 0.3).
Sebagai ringkasan, untuk setiap struktur korelasi, kami memvariasikan parameter
simulasi berikut :
 1) Jumlah prediktor yang termasuk dalam kandidat model v ditetapkan sebesar 10, 20,
40, 100, dan 200, yang sesuai dengan jumlah calon model masing-masing K =100,
50, 25, 10, dan 5,.
2) Metode membangun model kandidat ditetapkan berdasarkan marginal korelasi dan
partisi acak.
3) Metode untuk mengestimasi parameter model kandidat ditetapkan menjadi kuadrat
terkecil (OLS) dan regresi ridge (RR).
4) Bobot kandidat model ditetapkan berdasarkan AIC, C p Mallows, dan CV.
Berdasarkan poin no 2–4, terdapat 12 framework MA : MOA, MOM, MOC, MRA,
MRM, MRC, ROA, ROM, ROC, RRA, RRM dan RRC. Untuk huruf pertama, 'M'
mengacu pada korelasi marjinal dan 'R' mengacu pada partisi acak untuk membangun
kandidat model. Huruf kedua sesuai dengan estimasi parameter model kandidat ('O' untuk
OLS, dan 'R' untuk RR), dan huruf ketiga sesuai dengan bobot ('A' untuk AIC, 'M' untuk
Mallows' Cp, dan 'C' untuk CV).

3.2 Rata-rata akar kuadrat kesalahan prediksi (RMSEP)

Untuk mengevaluasi kinerja prediksi dari framework tersebut dilakukan validasi silang
lima kali lipat dengan memisahkan pengamatan secara acak ke dalam set pelatihan dan set
validasi. Sementara lipatan digunakan sebagai set validasi, yang lain berfungsi sebagai set
pelatihan. Misalkan y vi dari pengamatan ke-i yang dipertimbangkan ketika jatuh di
himpunan validasi, dan misalkan ^y vi menjadi nilai prediksi berdasarkan x i ,1 , ... , x i ,1000
dalam validasi diatur menggunakan ^β dari set pelatihan. Rata-rata akar kuadrat kesalahan
prediksi (RMSEP) dari kerangka kerja π dihitung melalui persamaan ini,

{ }
n 1
1
∑ v ,π 2 2
RMSEP ( π ) =
n i=1
( y i − ^y i )
v

Dimana π mewakili jenis atau metode kerangka kerja. Validasi silang ini dipisahkan
dari validasi silang untuk memperkirakan λ dalam estimasi regresi punggungan dan dari itu
untuk memperkirakan bobot calon model.
4. Hasil
4.1. Hasil simulasi
Hasil studi simulasi ditunjukkan pada Tabel 1 dan 2 serta Gambar 2 dan 3. Dalam
Tabel 1 dan 2, Root Mean Square Error Prediction (RMSEP) dari keadaan simulasi yang
berbeda di 500 dataset simulasi ditunjukkan untuk kandidat model berdasarkan korelasi
marginal dan partisi acak. RMSEP dari metode pemelihan model (LASSO, Adaptive
LASSO, MCP, SCAD, dan Elastis Net) yang ditunjukkan dalam tabel. Pada Tabel 1, ada
beberapa situasi di mana MA memiliki RMSEP lebih tinggi daripada metode pemilahan
model. Hal ini berlaku untuk kasus korelasi rendah, 10 independent block correlation, dan
5 independent block correlation.
Pada Tabel 2, MA memiliki nilai RMSEP lebih rendah daripada metode pemilihan
model di semua situasi, kecuali pada low-correlation. Pada Tabel 1 dan 2 menunjukkan
bahwa RMSEP menurun karena jumlah prediktor dalam model kandidat meningkat.

Table 1. Root mean squared error of predictor (RMSE) dari framework Moving
Averaging (MA) yang berbeda untuk jumlah variabel yang berbeda dalam model
kandidat (v) dan dalam berbagai struktur korelasi.

Catatan: Ada enam Framework MA: MOA, MOM, MOC, MRA, MRM dan MRC. Huruf pertama ('M')
mengacu pada korelasi marjinal untuk membentuk model kandidat, huruf kedua sesuai dengan estimasi
parameter model kandidat ('O' untuk OLS, dan 'R' untuk RR), dan huruf ('A' untuk AIC, 'M' untuk Mallows'
Cp, dan 'C' untuk CV). Untuk gambar RMSEP di mana konstruksi model kandidat didasarkan pada partisi
acak, lihat Tabel 2. RMSEP dari metode pemilihan model (LASSO, Adaptive LASSO, MCP, SCAD, dan
Elastic net) juga disajikan sebagai perbandingan.
 Table 2. Root mean squared error of predictor (RMSE) dari framework Moving
Averaging (MA) yang berbeda untuk jumlah variabel yang berbeda dalam model
kandidat (v) dan dalam berbagai struktur korelasi.

Catatan: Ada enam framework MA: ROA, ROM, ROC, RRA, RRM dan RRC. Huruf pertama ('R') mengacu
pada metode partisi acak untuk membangun model kandidat, huruf kedua sesuai dengan estimasi parameter
model kandidat ('O' untuk OLS, dan 'R' untuk RR), dan huruf ketiga bobot ('A' untuk AIC, 'M' untuk Mallows'
Cp, dan 'C' untuk CV). Untuk gambar RMSEP di mana konstruksi model kandidat didasarkan pada korelasi
marginal, lihat Tabel 1. RMSEP dari metode pemilihan model (LASSO, Adaptive LASSO, MCP, SCAD, dan
Elastic net) juga disajikan sebagai perbandingan
 Gambar 2. RMSEP untuk beberapa Model Averaging (MA) dengan masing-masing 5
prediktor yang berbeda dalam data simulasi korelasi tinggi (Corr: 0,95).
Namun, ketika parameter model diestimasi menggunakan OLS atau metode kuadrat
terkecil, RMSEP cenderung meningkat lagi ketika jumlah prediktor adalah 200 pada model
kandidat. Indikasi ini umumnya tidak terlihat ketika kita menggunakkan estimasi regresi
ridge. Hal ini wajar karena ketika jumlah prediktor dalam model kandidat meningkat
menjadi n, maka estimasi OLS menjadi tidak stabil dan estimasi regresi ridge diketahui
dapat mengatasi masalah ini. Selanjutnya, 100 (n/3) prediktor dan 200 (2n/3) prediktor
dalam model kandidat cenderung memberikan prediksi yang optimal ketika menggunakan
estimasi regresi ridge.

Gambar 3. RMSEP untuk beberapa model Moving Averaging (MA) masing-masing lima
angka prediktor yang berbeda dalam data simulasi korelasi tinggi (Corr: 0,95).

4.2. Data kalibrasi NIR

Hasil MA pada data nyata kalibrasi NIR ditunjukkan pada Tabel 3. Tabel tersebut
menunjukkan RMSEP pada dua set data NIR pada jumlah prediktor yang berbeda dalam
model kandidat (v). Banyaknya prediktor yang diuji pada data nyata adalah n/4, n/3, dan
n/2. Tabel tersebut menunjukkan bahwa pada data Jagung (mp5), MA memberikan
RMSEP lebih rendah daripada metode pemilihan model pada semua variabel hasil.

Tabel 3. RMSE dari model kalibrasi di dataset NIR pada model averaging (MA) dengan
metode model pemilihan (LASSO, Adaptive LASSO, MCP, SCAD, dan Elastic Net).

Pada (mp6), MA hanya memberikan RMSEP yang lebih rendah ketika variabel hasil
adalah minyak. Untuk variabel hasil lainnya, MA memberikan RMSEP lebih tinggi daripada
metode pemilihan model. Tabel 3 menunjukkan bahwa framework MA dengan estimasi
ridge menghasilkan RMSEP lebih sedikit dibandingkan dengan estimasi OLS. Perlu
diperhatikan bahwa penerapan MA pada dataset nyata menunjukkan bahwa pilihan bobot
kurang penting. RMSEP terendah dalam setiap variabel hasil dalam framework MA dapat
diperoleh dengan bobot berdasarkan AIC, Mallows Cp, dan cross validation. Perlu dicatat
bahwa semua minimum ini dicapai hanya ketika parameter diestimasi menggunakan regresi
ridge.
5. Diskusi dan kata penutup
Hasil dari penelitian menunjukkan dampak dari jumlah yang berbeda dari prediktor,
metode estimasi parameter, dan skema pembobotan pada prediksi dalam kerangka MA. Selain
itu, peningkatan jumlah prediktor dalam model kandidat diharapkan dapat meningkatkan
kinerja prediksi secara umum. Namun, hal ini konsisten ketika kita mempertimbangkan
regresi punggungan untuk memperkirakan parameter model kandidat.

Ketika kita mempertimbangkan perkiraan OLS, prediksi mulai terpengaruh secara negatif
ketika jumlah prediktor semakin mendekati jumlah pengamatan. Ini adalah hasil utama yang
penting untuk dicatat karena semua studi yang diketahui di MA. Dengan perkiraan
punggungan, studi simulasi menunjukkan kinerja yang stabil dalam prediksi.

Hasil studi simulasi juga menunjukkan bahwa bobot Cp dan CV Mallows lebih bermanfaat
untuk prediksi dibandingkan dengan bobot AIC. Secara keseluruhan, Cp Mallows lebih
disukai, karena ini terbukti konsisten di seluruh struktur korelasi yang berbeda dari data
simulasi. Keuntungan MA dibandingkan dengan metode pemilihan model (LASSO, Adaptive
LASSO, MCP, SCAD, dan Elastic Net) terlihat di semua struktur korelasi dalam data
simulasi, kecuali dalam pengaturan korelasi yang lebih rendah. Dalam konteks korelasi blok
independen sepuluh dan lima, MA masih memiliki keunggulan dibandingkan dengan metode
pemilihan model ketika kita membangun model kandidat menggunakan partisi acak, tetapi
tidak ketika menggunakan korelasi marginal. Dalam pengaturan yang berbeda dari data
simulasi korelasi tinggi, seperti kasus kalibrasi instrumen NIR menemukan bahwa MA
umumnya lebih baik daripada metode pemilihan model. Hasil simulasi ini penting untuk
memandu peneliti apakah akan mempertimbangkan MA atau pendekatan pemilihan model
dalam prediksi. Jadi, pemeriksaan yang cermat pada struktur korelasi data diperlukan ketika
mempertimbangkan pendekatan mana yang akan digunakan.

Prinsip-prinsip dalam studi simulasi, sebagian besar terlihat dalam aplikasi data nyata.
Rata-rata model punggungan terbukti secara umum lebih unggul dibandingkan dengan MA
OLS yang lebih umum. MA ridge juga menghasilkan RMSEP yang lebih rendah
dibandingkan metode pemilihan model pada data Jagung (mp5). Pada data Jagung (mp6), MA
ridge hanya menghasilkan RMSEP yang lebih rendah dibandingkan metode pemilihan model
ketika variabel outcome adalah minyak. Hal ini menunjukkan bahwa, dalam konteks kalibrasi
instrumen NIR dengan data dimensi tinggi yang berkorelasi, kami masih menganggap
pendekatan MA sebagai alternatif yang lebih disukai.
 Untuk jumlah prediktor dalam model kandidat v, dalam studi simulasi bahwa n/3 lebih
disukai untuk mencapai prediksi optimal untuk estimasi regresi OLS dan ridge dalam
kerangka MA. Hal ini dianggap sebagai aturan praktis daripada resep. Pada aplikasi data real
di mana v diatur menjadi n/4, n/3 dan n/2, MA berhasil mencapai RMSEP yang lebih baik
daripada metode pemilihan model pada sebagian besar variabel hasil. MA memberikan
peluang untuk prediksi yang lebih baik dalam masalah kalibrasi dibandingkan dengan metode
pemilihan model, meskipun ada beberapa masalah yang tersisa untuk pekerjaan di masa
mendatang.