Diterjemahkan dari bahasa Inggris ke bahasa Indonesia - www.onlinedoctranslator.

com

ARTIKEL DI PERS

Neurocomputing 70 (2007) 2861–2869

www.elsevier.com/locate/neucom

Metodologi untuk prediksi jangka panjang deret waktu

Antti Sorjamaa, Jin Hao, Nima Reyhani, Yongnan Ji, Amaury Lendasse-
Universitas Teknologi Helsinki, Pusat Penelitian Informatika Adaptif, PO Box 5400, 02015 Espoo, Finlandia

Tersedia online 21 Mei 2007

Abstrak

Dalam makalah ini, metodologi global untuk prediksi jangka panjang deret waktu diusulkan. Metodologi ini menggabungkan strategi prediksi
langsung dan kriteria pemilihan input yang canggih:k-metode pendekatan tetangga terdekat (k-NN), informasi timbal balik (MI) dan estimasi
kebisingan nonparametrik (NNE). Sebuah strategi seleksi input global yang menggabungkan seleksi maju, eliminasi mundur (atau pemangkasan)
dan seleksi maju-mundur diperkenalkan. Metodologi ini digunakan untuk mengoptimalkan tiga kriteria pemilihan input (k-NN, MI dan NNE).
Metodologi ini berhasil diterapkan pada tolok ukur kehidupan nyata: set data Beban Listrik Polandia. r2007 Elsevier BV Semua hak dilindungi
undang-undang.

Kata kunci:Prediksi deret waktu; Pilihan masukan;k-Tetangga terdekat; Informasi bersama; Estimasi kebisingan nonparametrik; Prediksi rekursif; Prediksi
langsung; Kotak terkecil mendukung mesin vektor

1. Perkenalan ketidakpastian yang timbul dari berbagai sumber, misalnya,

Peramalan deret waktu merupakan tantangan di banyak bidang. Di
bidang keuangan, para ahli memperkirakan kursus bursa atau indeks
pasar saham; spesialis pemrosesan data memperkirakan aliran
informasi di jaringan mereka; produsen listrik memperkirakan beban
hari berikutnya. Poin umum dari masalah mereka adalah sebagai
berikut: bagaimana seseorang dapat menganalisis dan menggunakan
masa lalu untuk memprediksi masa depan?
Banyak teknik yang ada untuk perkiraan proses yang
mendasari deret waktu: metode linier seperti ARX, ARMA, dll.
[11], dan yang nonlinier seperti jaringan saraf tiruan[21].
Secara umum, metode ini mencoba membangun model
proses. Model tersebut kemudian digunakan pada nilai
terakhir dari deret tersebut untuk memprediksi nilai masa
depan. Kesulitan umum untuk semua metode adalah
penentuan informasi yang cukup dan diperlukan untuk
prediksi yang akurat.
Tantangan baru di bidang prediksi deret waktu adalah prediksi
jangka panjang: beberapa langkah ke depan harus diprediksi.
Prediksi jangka panjang harus menghadapi pertumbuhan
- Penulis yang sesuai.
Alamat email:antti.sorjamaa@hut.fi (A.Sorjamaa),
jhao@cis.hut.fi (J. Hao),nreyhani@cis.hut.fi (N. Reyhani),
yji@cis.hut.fi (Y.Ji),pinjaman@cis.hut.fi,amaury.lendasse@hut.fi
(A. Lendasse).
akumulasi kesalahan dan kurangnya informasi[21]. Dalam
tulisan ini, dua varian strategi prediksi, yaitu prediksi langsung
dan rekursif dipelajari dan dibandingkan. Makalah ini
menggambarkan bahwa strategi prediksi langsung
memberikan hasil yang lebih baik daripada strategi rekursif.
Dalam makalah ini, metodologi global untuk melakukan
prediksi langsung disajikan. Ini mencakup strategi pemilihan
input dan kriteria pemilihan input. Sebuah strategi seleksi
input global yang menggabungkan seleksi maju, eliminasi
mundur dan seleksi maju-mundur diperkenalkan. Ditunjukkan
bahwa strategi pemilihan ini merupakan alternatif yang baik
untuk pencarian lengkap, yang mengalami beban komputasi
yang terlalu besar.
Tiga kriteria pemilihan input yang berbeda disajikan
untuk perbandingan set input:k-kriteria pemilihan input
berdasarkan tetangga terdekat (k-NN), informasi timbal
balik (MI) dan estimasi kebisingan nonparametrik (NNE).
Set input yang optimal adalah yang mengoptimalkan salah
satu dari tiga kriteria; misalnya, set input yang optimal
dapat didefinisikan sebagai yang memaksimalkan MI
antara input dan output.
Makalah ini menunjukkan bahwa semua kriteria yang disajikan (
k-NN, MI dan NNE) memberikan pilihan input yang baik. Juga
ditunjukkan secara eksperimental bahwa metodologi global yang
diperkenalkan memberikan prediksi yang akurat dengan ketiga
kriteria yang disajikan.

0925-2312/$ - lihat masalah depanr2007 Elsevier BV Semua hak dilindungi undang-

undang. doi:10.1016/j.neucom.2006.06.015
 ARTIKEL DI PERS
2862 A. Sorjamaa dkk. / Neurocomputing 70 (2007) 2861–2869
Dalam makalah ini, mesin vektor pendukung kuadrat terkecil
(LS-SVM) digunakan sebagai model nonlinier untuk menghindari
masalah minima lokal.[19].
Bagian 2 menyajikan strategi prediksi untuk prediksi
jangka panjang dari deret waktu. Dalam Bagian 3
metodologi global diperkenalkan. Bagian 3.1 menyajikan
strategi pemilihan input dan Bagian 3.2 kriteria pemilihan
input. Akhirnya, model prediksi LS-SVM diringkas secara
singkat di Bagian 4 dan hasil eksperimen ditampilkan di
Bagian 5 menggunakan tolok ukur kehidupan nyata:
kumpulan data beban listrik Polandia.
2. Prediksi deret waktu
Masalah prediksi deret waktu adalah prediksi nilai masa
depan berdasarkan nilai sebelumnya dan nilai deret waktu
saat ini (lihat Persamaan (1)). Nilai sebelumnya dan nilai
saat ini dari deret waktu digunakan sebagai input untuk
model prediksi. Prediksi satu langkah ke depan diperlukan
secara umum dan disebut sebagai prediksi jangka pendek.
Tetapi ketika prediksi multi-langkah ke depan diperlukan,
itu disebut masalah prediksi jangka panjang.
Berbeda dengan prediksi time series jangka pendek,
prediksi jangka panjang biasanya dihadapkan pada
ketidakpastian yang berkembang yang timbul dari
berbagai sumber. Misalnya, akumulasi kesalahan dan
kurangnya informasi membuat prediksi lebih sulit. Dalam
prediksi jangka panjang, melakukan prediksi beberapa
langkah ke depan, ada beberapa alternatif untuk
membangun model. Pada bagian berikut, dua varian
strategi prediksi diperkenalkan dan dibandingkan: strategi
prediksi langsung dan rekursif.
2.1. Strategi prediksi rekursif
Untuk memprediksi beberapa langkah ke depan nilai-nilai deret waktu,
strategi rekursif tampaknya menjadi metode yang paling intuitif dan
sederhana. Ini menggunakan nilai prediksi sebagai data yang diketahui
untuk memprediksi yang berikutnya. Secara lebih rinci, model dapat
dibangun dengan terlebih dahulu membuat prediksi satu langkah ke depan:
ŷtth1¼ f1dkamut;kamut-1; . . . ;kamutMth1TH,
di manaMmenunjukkan input angka. Regresor model didefinisikan
sebagai vektor input: kamut;kamut-1; . . . ;kamutMth1. Dimungkinkan
juga untuk menggunakan variabel eksogen sebagai input dalam
regressor, tetapi variabel tersebut tidak dipertimbangkan di sini
untuk menyederhanakan notasi. Namun demikian, metodologi
global yang disajikan juga dapat digunakan dengan variabel
eksogen.
Untuk memprediksi nilai berikutnya, model yang sama digunakan:
ŷtth2¼ f1ðŷtth1;kamut;kamut-1; . . . ;kamutMth2TH.
Dalam Persamaan. (2), nilai prediksitth1digunakan sebagai
pengganti nilai sebenarnya, yang tidak diketahui. Kemudian, untuk
H-prediksi selangkah lebih maju,tth2untuktthHdiprediksi secara
iteratif. Jadi, ketika panjang regresiMlebih besar dariH,Ada M -H
data nyata dalam regressor untuk memprediksiHlangkah ke.
Tapi ketikaHmelebihiM,semua input adalah nilai
prediksi. Penggunaan nilai prediksi sebagai input
memperburuk akurasi prediksi.
2.2. Strategi prediksi langsung
Strategi lain untuk prediksi jangka panjang adalah strategi
langsung. UntukH-prediksi langkah ke depan, modelnya
adalah
ŷtthh¼ fhdkamut;kamut-1; . . . ;kamutMth1THdengan 1phpH. (3)
Strategi ini memperkirakanHmodel langsung antara
regressor (yang tidak mengandung nilai prediksi) danH
keluaran. Kesalahan dalam nilai prediksi tidak
diakumulasikan dalam prediksi berikutnya. Ketika semua
nilai, daritth1untuktthH, perlu diprediksi,Hmodel yang
berbeda harus dibangun. Strategi langsung meningkatkan
kompleksitas prediksi, tetapi hasil yang lebih akurat dapat
dicapai seperti yang diilustrasikan dalam Bagian 5.
3. Metodologi
Dalam percobaan, strategi prediksi langsung digunakan. Hmodel
harus dibangun seperti yang ditunjukkan pada Persamaan. (3). Untuk
setiap model, tiga kriteria pemilihan input yang berbeda disajikan:
- meminimalkank-NN estimasi kesalahan generalisasi tanpa-
satu-keluar,
- memaksimalkan MI antara input dan output,
- meminimalkan NNE.
Untuk mengoptimalkan salah satu kriteria, strategi
pemilihan input global yang menggabungkan pemilihan
maju, eliminasi mundur dan pemilihan maju-mundur
disajikan pada Bagian 3.1.
Estimasi MI dan NNE menuntut pilihan
hyperparameters. Definisi dan arti penting dari
hyperparameter dijelaskan lebih dalam di Bagian 3.2.2
dan 3.2.3. Dalam makalah ini, yang paling memadai
(1) nilai hyperparameter dipilih dengan meminimalkan
Kesalahan LOO disediakan olehk-NN pendekatan disajikan dalam
Bagian 3.2.
Untuk menghindari minima lokal dalam fase pelatihan
model nonlinier (fkdalam Persamaan. (3)), LS-SVM
digunakan. LS-SVM disajikan di Bagian 4.
3.1. Strategi pemilihan masukan
Pemilihan input adalah tahap pra-pemrosesan yang
(2)
penting untuk menjamin akurasi, efisiensi, dan skalabilitas
yang tinggi[7]dalam masalah seperti pembelajaran mesin,
terutama ketika jumlah pengamatan relatif kecil
dibandingkan dengan jumlah input. Ini telah menjadi
subjek di banyak domain aplikasi seperti pengenalan pola
[14], proses identifikasi[15], pemodelan deret waktu[20]dan
 ARTIKEL DI PERS
A. Sorjamaa dkk. / Neurocomputing 70 (2007) 2861–2869
ekonometrika[13]. Masalah yang terjadi akibat pemilihan variabel
input yang kurang baik adalah:
- Jika dimensi input terlalu besar, masalah 'kutukan
dimensi'[20]mungkin terjadi. Selain itu, kompleksitas
komputasi dan kebutuhan memori dari model
pembelajaran meningkat. Masukan tambahan yang
tidak terkait menyebabkan model yang buruk
(kurangnya generalisasi).
- Memahami model yang kompleks (terlalu banyak input) lebih
sulit daripada model sederhana (lebih sedikit input), yang dapat
memberikan kinerja bagus yang sebanding.
Biasanya, metode pemilihan input dapat dibagi menjadi dua
kelas besar: fifiltermetode danpembungkusmetode, lihat
Gambar 1.
Dalam hal metode filter, subset input terbaik dipilih
sebuah prioritashanya berdasarkan kumpulan data. Subset
input dipilih oleh kriteria evaluasi, yang mengukur
hubungan setiap subset variabel input dengan output.
Dalam literatur, banyak metode pengukuran filter dengan
sifat yang berbeda[2]ada: metrik jarak, ukuran
ketergantungan, skor berdasarkan teori informasi, . . . , dll.
Dalam kasus metode pembungkus, subset input terbaik
dipilih sesuai dengan kriteria, yang secara langsung
ditentukan dari algoritma pembelajaran. Metode wrapper
mencari subset input yang baik dengan menggunakan
model pembelajaran itu sendiri sebagai bagian dari fungsi
evaluasi. Fungsi evaluasi ini juga digunakan untuk
menginduksi model pembelajaran akhir.
Membandingkan dua jenis strategi pemilihan input ini,
metode pembungkus memecahkan masalah sebenarnya.
Tetapi ini berpotensi sangat memakan waktu, karena
algoritme pamungkas harus dimasukkan dalam fungsi biaya.
Oleh karena itu, ribuan evaluasi dilakukan saat mencari subset
terbaik. Misalnya, jika 15 variabel input dipertimbangkan dan
jika strategi seleksi ke depan (diperkenalkan pada Bagian 3.1.2)
digunakan, maka 15d15th1=2¼ 120 himpunan bagian yang
berbeda harus diuji. Dalam praktiknya, lebih dari 15 input
realistis untuk masalah prediksi deret waktu dan waktu
komputasi dengan demikian meningkat secara dramatis.
Gambar 1. Dua pendekatan pemilihan subset variabel input. (a) Metode
filter, (b) metode pembungkus.
2863
Sebaliknya, metode filter jauh lebih cepat karena
prosedurnya lebih sederhana. Dalam makalah ini, karena
waktu komputasi yang lama dari metode wrapper, tidak
realistis untuk membandingkan metode wrapper dan filter
untuk masalah pemilihan input yang dipelajari.
Pada bagian berikut, diskusi difokuskan pada metode
filter. Metode filter memilih satu set input dengan
mengoptimalkan kriteria di atas kombinasi input yang
berbeda. Kriteria menghitung ketergantungan antara
setiap kombinasi input dan output menggunakan
prediktabilitas, korelasi, informasi timbal balik atau
statistik lainnya. Berbagai alternatif kriteria ini ada.
Makalah ini menggunakan tiga metode berdasarkan
kriteria yang berbeda:k-NN, MI dan NN. Berikut ini, MI
diambil sebagai contoh untuk menjelaskan strategi
pemilihan input global. Untuk dua kriteria pemilihan input
lainnya, prosedurnya serupa.
3.1.1. Pencarian lengkap
Algoritma optimal adalah menghitung MI antara
semua kemungkinan kombinasi input dan output,
misalnya 2M-1 kombinasi input diuji (Madalah jumlah
variabel input). Kemudian, yang memberikan MI
maksimum dipilih. Dalam kasus prediksi jangka panjang
dari deret waktu, Mbiasanya lebih besar dari 15,
sehingga prosedur pencarian yang lengkap menjadi
terlalu memakan waktu. Oleh karena itu, digunakan
strategi seleksi input global yang menggabungkan
seleksi maju, eliminasi mundur, dan seleksi maju-
mundur. Seleksi maju, eliminasi mundur, dan seleksi
maju-mundur dirangkum dalam bagian berikut.
3.1.2. Pilihan maju
Dalam metode ini, mulai dari himpunan kosongSdari variabel
input yang dipilih, input terbaik yang tersedia ditambahkan ke set
Ssatu per satu, sampai sebesarSadalahM.Misalkan kita memiliki
satu set inputXsaya;saya¼ 1; 2; . . . ;Mdan keluaranY,algoritma
diringkas dalamGambar 2..
Dalam pemilihan maju, hanyaMdMth1=2 set input yang
berbeda dievaluasi. Ini jauh lebih sedikit daripada jumlah
set input yang dievaluasi dengan pencarian lengkap. Di sisi
lain, optimalitas tidak dijamin. Set yang dipilih mungkin
bukan yang optimal global.
Gambar 2. Strategi pemilihan ke depan.
 ARTIKEL DI PERS
2864 A. Sorjamaa dkk. / Neurocomputing 70 (2007) 2861–2869
3.1.3. Penghapusan mundur atau pemangkasan
Eliminasi mundur, juga disebut pemangkasan[12]prosedur,
adalah kebalikan dari proses seleksi maju. Dalam strategi ini,
input yang dipilih ditetapkanSdiinisialisasi untuk memuat
semua variabel input. Kemudian, variabel input yang
eliminasinya memaksimalkan MI dihapus dari himpunanSsatu
per satu, sampai sebesarSadalah 1.
Pada dasarnya, eliminasi mundur adalah prosedur yang sama
dengan pemilihan maju yang disajikan pada bagian sebelumnya,
tetapi dibalik. Ini mengevaluasi jumlah set input yang sama
dengan pemilihan maju,MdMth1=2. Juga, pembatasan yang sama
ada, optimalitas tidak dijamin.
3.1.4. Pilihan maju-mundur
Baik metode seleksi maju dan eliminasi mundur mengalami
pencarian yang tidak lengkap. Algoritma seleksi maju-mundur
menggabungkan kedua metode. Ini menawarkan fleksibilitas untuk
mempertimbangkan kembali variabel input yang sebelumnya dibuang
dandan sebaliknya,untuk membuang variabel input yang dipilih
sebelumnya. Itu bisa dimulai dari set input awal apa pun, termasuk set
input kosong, penuh atau diinisialisasi secara acak.
Mari kita misalkan satu set inputXsaya,saya¼ 1; 2; . . . ;M
dan keluaranY,prosedur Seleksi maju-mundur
dirangkum dalamGambar 3.
Perlu dicatat bahwa hasil seleksi tergantung pada inisialisasi
set input. Dalam tulisan ini, dua opsi dipertimbangkan. Salah
satunya adalah memulai dari set kosong dan yang lainnya
memulai dari set lengkap.
Jumlah set input yang akan dievaluasi bervariasi dan
tergantung pada inisialisasi set input, kriteria
penghentian dan sifat masalah. Namun, tidak dijamin
bahwa dalam semua kasus, metode pemilihan ini
menemukan set input optimal global.
3.1.5. Strategi seleksi global
Untuk memilih set input terbaik, kami mengusulkan untuk
menggunakan keempat metode pemilihan: seleksi maju,
eliminasi mundur, seleksi maju-mundur yang diinisialisasi
dengan set input kosong dan seleksi maju-mundur yang
diinisialisasi dengan set input lengkap. Keempat metode
seleksi cepat dilakukan, tetapi tidak selalu konvergen ke set
input yang sama, karena minima lokal. Oleh karena itu, perlu
untuk menggunakan semuanya agar lebih optimal
Gambar 3. Strategi seleksi maju-mundur.
pilihan. Dari kumpulan input kandidat dari keempat
metode pemilihan, salah satu yang mengoptimalkan
kriteria yang dipilih (k-NN, MI atau NNE) dipilih.
Strategi gabungan ini tidak menjamin pemilihan set
input terbaik yang akan diperoleh dengan strategi
pencarian lengkap. Namun demikian, pemilihan input
ditingkatkan dan jumlah subset yang diuji jauh berkurang
dibandingkan dengan strategi pencarian lengkap.
3.2. Kriteria pemilihan masukan
3.2.1. k-Tetangga terdekat
Ituk-Metode aproksimasi NN adalah metode yang
sangat sederhana dan kuat. Ini telah digunakan dalam
banyak aplikasi yang berbeda, terutama untuk tugas
klasifikasi[3]. Ide utama di balikk-NN adalah bahwa
sampel dengan input yang sama memiliki nilai output
yang serupa. Tetangga terdekat dipilih, menurut jarak
Euclidean, dan nilai output yang sesuai digunakan untuk
mendapatkan perkiraan output yang diinginkan. Dalam
tulisan ini, estimasi output dihitung hanya dengan rata-
rata output dari tetangga terdekat:
Pk
j¼1kamujd
ŷsaya¼ sayaTH, (4)
k
dimanasayamewakili perkiraan (perkiraan) dari output,kamuj
dsayaTHadalah keluaran darijtetangga terdekat sampelxsaya
dankmenunjukkan jumlah tetangga yang digunakan.
Jarak antar sampel dipengaruhi oleh pemilihan input.
Kemudian, tetangga terdekat dan perkiraan output
bergantung pada pemilihan input.
Ituk-NN adalah metode nonparametrik dan hanyak,
jumlah tetangga, harus ditentukan. pemilihan darikdapat
dilakukan dengan banyak teknik pemilihan struktur model
yang berbeda, misalnyak-lipat validasi silang
[9], tinggalkan-satu-keluar[9], Bootstrap[5]dan Bootstrap 632[6].
Metode ini memperkirakan kesalahan generalisasi yang diperoleh
untuk setiap nilaik.yang dipilihkadalah salah satu yang meminimalkan
kesalahan generalisasi.
Di[16]semua metode, leave-one-out dan Bootstraps,
pilih set input yang sama. Selain itu, jumlah tetangga
lebih efisien dipilih oleh Bootstraps
[16]. Juga telah ditunjukkan bahwak-NN sendiri adalah perkiraan
yang baik untuk deret waktu[16]. Namun dalam makalah ini,k-NN
tidak digunakan sebagai aproksimator, tetapi sebagai alat untuk
memilih set input.
3.2.2. Informasi bersama
MI dapat digunakan untuk mengevaluasi ketergantungan
antara variabel acak. MI antara dua variabel, katakanlah,Xdan
kamumenjadi jumlah informasi yang diperoleh dariXdi
hadapankamudandan sebaliknya.Dalam masalah prediksi
deret waktu, jikakamuadalah keluaran danXadalah bagian dari
variabel input, MI antaraXdankamuadalah salah satu kriteria
untuk mengukur ketergantungan antara input
 ARTIKEL DI PERS
A. Sorjamaa dkk. / Neurocomputing 70 (2007) 2861–2869 2865

(regresor) dan keluaran. Jadi, subset inputX,yang memberikan DiberikanNpasangan input-output:dxsaya;kamusaya2RM R,itu
MI maksimum, dipilih untuk memprediksi outputY. hubungan antaraxsayadankamusayadapat dinyatakan sebagai
Definisi MI berasal dari entropi dalam teori informasi.
Untuk variabel acak kontinu (skalar atau vektor), kamusaya¼ fdxsayaÞþ rsaya, (10)
misalkanmX;Y;mXdanmkamumewakili fungsi kepadatan di manafadalah fungsi yang tidak diketahui danradalah kebisingan. GT
probabilitas bersama dan dua fungsi kepadatan memperkirakan varians kebisinganr.
marginal dari variabel. entropi dariXdidefinisikan oleh GT berguna untuk mengevaluasi korelasi nonlinier
Shannon[1]sebagai
antara dua variabel acak, yaitu pasangan input dan output.
Z1
GT telah diperkenalkan untuk pemilihan model tetapi
HdX- mXdxTHcatatanmXdxTHdx,
(5) juga untuk pemilihan input: kumpulan input yang meminimalkan
-1
GT adalah salah satu yang dipilih. Memang, menurut GT,
di mana log adalah logaritma natural dan kemudian, informasi
set input yang dipilih adalah yang mewakili hubungan
tersebut diukur dalam satuan natural.
antara input dan output dengan cara yang paling
Ketidakpastian yang tersisa dariXdiukur dengan
deterministik.
entropi bersyarat sebagai
Z1 GT didasarkan pada hipotesis yang berasal dari
kontinuitas fungsi regresi. Jika dua titikxdanx0dekat di
HdXjkamu- mkamudkamuTH

Z-1 ruang input, kontinuitas fungsi regresi menyiratkan

1 outputfdxTHdanfdx0THakan cukup dekat di ruang
mXdxjkamu¼ kamuTHcatatanmXdxjkamu¼ kamuTHdxdy.d6TH
output. Atau, jika nilai output yang sesuai tidak dekat di
-1
ruang output, ini karena pengaruh noise.
Entropi sendi didefinisikan sebagai
Z1
Dua versi untuk mengevaluasi GT disarankan. Yang pertama
HdX; kamu- mX;Ydx; kamuTHcatatanmX;Ydx; kamuTHdxdy. (7)
-1
mengevaluasi nilaig; sdalam meningkatkan set ukuran data.
Kemudian hasil untuk pasangan parameter tertentu diperoleh
MI antar variabelXdankamudidefinisikan sebagai[4]
dengan merata-ratakan hasil dari semua ukuran yang
MIdX; kamuÞ ¼ HdkamuTH-HdkamujXTH ditetapkan. Versi baru atau yang disempurnakan menetapkan
¼ HdXÞþ HdkamuTH- HdX; kamuTH. d8TH estimasi berdasarkank-Perbedaan NN bukannya meningkatkan
jumlah titik data secara bertahap. Untuk membedakank
Dari Persamaan. (5) hingga (8), MI dihitung sebagai
digunakan dalam konteks NNE dari konvensionalkdik-NN,
Z1
mX;Y m dx; kamuTH jumlah tetangga terdekat dilambangkan denganp.
(9)
X;Y
MIdX; kamuÞ ¼ dx; kamuTHcatatan
X
dxdy. Mari kita tunjukkanptetangga terdekat dari titikxsayadi set
-1 mdxTHmkamudkamuTH

fx1; . . . ;xNgolehxpdsayaTH. Kemudian variabel berikut,

Untuk menghitung MI, hanya estimasi fungsi kepadatan gNdansNdidefinisikan sebagai
probabilitasmX;Y;mXdanmkamudiperlukan.
Dalam makalah ini, MIdX; kamuTHdiperkirakan dengank- 1X N
2,
Pendekatan NN disajikan dalam[10]. Untuk membedakan gNdpÞ ¼ jkamupdsayaTH-kamusayaj d11TH
2N
jumlah tetangga yang digunakan di MI dan yang digunakan saya¼1

dik-NN, jumlah tetangga dilambangkan denganakuuntuk 1X N

2,
sNdpÞ ¼ jxpdsayaTH-xsayaj d12TH
estimasi MI. 2N saya¼1
Kebaruan inil-Penaksir MI berbasis NN terdiri dari
kemampuannya untuk memperkirakan MI antara dua variabel dari di manaj:jmenunjukkan metrik Euclidean dankamupdsayaTH
ruang dimensi apa pun. Kemudian, estimasi MI tergantung pada adalah keluaran darixpdsayaTH. Untuk dipilih dengan benarp[
nilai yang telah ditentukanl. 8], suku konstan model regresi linier antara pasangan dgNd
Di[10], disarankan untuk menggunakan nilai kisaran menengahaku¼ pTH;sNdpÞÞ menentukan estimasi varians kebisingan.
6. Tetapi telah ditunjukkan bahwa ketika diterapkan pada masalah Untuk bukti konvergensi GT, lihat[8].
prediksi deret waktu,akuperlu disetel untuk kumpulan data yang GT mengasumsikan keberadaan turunan pertama dan
berbeda dan dimensi data yang berbeda untuk mendapatkan kinerja kedua dari fungsi regresi. Mari kita tunjukkan
yang lebih baik. Seperti yang dijelaskan di Bagian 3, untuk memilih
-- M - - M
input berdasarkanl-Penaksir NN MI, optimalakudipilih menggunakank- qf q2f
NN dan tinggalkan-satu-keluar.
rfdxÞ ¼ ; HFdxÞ ¼ , (13)
qxdsayaTH qxdsayaTHqxdjTH
saya¼1 aku j¼1

3.2.3. Penaksir kebisingan nonparametrik menggunakan uji di manaxsayadanxjadalahsayath danjkomponen darix,

gamma Uji Gamma (GT) adalah teknik untuk memperkirakan masing-masing.Madalah jumlah variabel. GT
varians dari noise, atau mean square error (MSE), yang dapat membutuhkan keduanyajHFdxjdanjrfdxjdibatasi.
dicapai tanpa overfitting.[8]. Evaluasi NNE dilakukan dengan Kedua kondisi ini bersifat umum dan biasanya dipenuhi
menggunakan estimasi GT yang diperkenalkan oleh dalam masalah-masalah praktis. GT tidak memerlukan
Stefansson in[17]. asumsi lain pada properti kelancaran regresi
 ARTIKEL DI PERS
2866 A. Sorjamaa dkk. / Neurocomputing 70 (2007) 2861–2869
fungsi. Akibatnya, metode ini mampu menangani fungsi
regresi dari berbagai tingkat kekasaran.
Asumsi kedua adalah tentang distribusi kebisingan:
EFfrg0 dan EFfr2gvarfgHai1,
EFfr3gHai1 dan EFfr4gHai1,
di manaEffrgadalah fungsi kepadatan kebisingan.
Selanjutnya, diperlukan variabel noise yang independen
dan terdistribusi secara identik. Dalam kasus derau
heterogen, GT memberikan rata-rata varian derau yang
diekstraksi dari keseluruhan dataset.
Seperti dibahas di atas (lihat Persamaan (11)), GT tergantung pada
jumlahpdigunakan untuk mengevaluasi regresi. Disarankan untuk
menggunakan nilai mid-rangep¼ 10[8]. Namun, ketika diterapkan pada
masalah prediksi deret waktu,pperlu disetel untuk setiap set data dan
untuk setiap set variabel untuk mendapatkan kinerja yang lebih baik.
Seperti yang dijelaskan di Bagian 3, untuk memilih input yang optimalp
dipilih menggunakank-NN dan tinggalkan-satu-keluar.
4. Model nonlinier
Dalam makalah ini, LS-SVM digunakan sebagai model nonlinier[19],
yang didefinisikan dalam ruang bobot primalnya dengan[22,18]
ŷ ¼ HaiTjdxÞþ b,
di manajdxTHadalah fungsi, yang memetakan ruang input ke
dalam ruang fitur berdimensi lebih tinggi,xadalah vektor input.
Haidanbadalah parameter model. Masalah optimasi dapat
dirumuskan sebagai
1XN
1
minJdHai;eÞ ¼ Hai Hai thg
T esaya
2,
2 2
Hai;menjadi
saya¼1
tunduk padakamusaya¼ xTjdxsayaÞþ bthesaya; saya¼ 1; . . . ;N,
dan solusinya adalah
XN
hdxÞ ¼ sebuahsayaKdx; xsayaÞþ b.
saya¼1
Dalam persamaan di atas,sayamengacu pada indeks sampel
dan Kdx; xsayaTHadalah fungsi kernel yang didefinisikan
sebagai produk titik antarajdxTHTdanjdxTH.Metode pelatihan
untuk estimasiHaidanbparameter dapat ditemukan di[22].
5. Eksperimen
5.1. Himpunan data
Satu seri waktu digunakan sebagai contoh. Kumpulan
data tersebut disebut Beban Listrik Polandia, dan
mewakili dua periode beban listrik harian Polandia
selama sekitar 1500 hari pada 1990-an[23]. Variasi
musim semi-sinusoidal terlihat jelas dari dataset.
1000 nilai pertama digunakan untuk pelatihan, dan data sisanya
untuk pengujian. Bagian pembelajaran dari dataset ditunjukkan
dalamGambar 4.
1.4
1.2
d14TH
1
d15TH
0.8
0 200 400 600 800 1000
Gambar 4. Kumpulan pembelajaran dari kumpulan data Beban Listrik Polandia.
5.2. Hasil
Ukuran regressor maksimum diatur ke 15 sesuai dengan
[16]. Regresor dua minggu cukup besar untuk menangkap
dinamika utama rangkaian waktu beban listrik. Input yang
dipilih berdasarkan ketiga metode ditunjukkan pada Tabel 1.
Misalnya, input yang dipilih oleh MI untuk prediksi satu
langkah di depan adalaht, t -6 dant -7. Maka model prediksinya
adalah
(16) kamudtth1Þ ¼ f1dkamudtTH;kamudt -6TH;kamudt -7. (20)
DariTabel 1, juga dapat dilihat bahwa jarak waktu antara waktu
target dan beberapa input yang dipilih adalah konstan di seluruh
cakrawala prediksi. Misalnya masukant -6 digunakan untuk
memprediksitth1, masukant -5 digunakan untuk memprediksitth2,
masukant -4 digunakan untuk memprediksitth3, dll. Ini
(17) faktanya adalah karena dinamika mingguan deret waktu.
Jumlah input yang dipilih olehk-NN bervariasi dari 2
hingga 9 dan rata-rata adalah 7 (dari maksimum 15 input).
(18) Ini menunjukkan bahwa modelnya jarang dan kutukan
dimensi berkurang.
Ketersebaran juga memungkinkan interpretasi fisik dari
input yang dipilih. Misalnya, untuk prediksi satu langkah ke
(19)
depan, input yang dipilih olehk-NN adalaht, t -5,t -6, t -7 dan
t -13. Artinya, untuk memprediksi beban hari berikutnya,
misalkan Selasa, kita perlu menggunakan beban Senin (hari
ini); Rabu, Selasa, Senin minggu sebelumnya dan Selasa 2
minggu sebelumnya. Beban hari ini diperlukan, karena
merupakan pengukuran yang paling mutakhir. Senin,
Selasa dan Rabu minggu sebelumnya diperlukan untuk
memperkirakan tren beban listrik selama hari Selasa.
Selasa 2 minggu sebelumnya diperlukan untuk menangani
perubahan spesifik hari dalam beban listrik.
LS-SVM digunakan untuk membandingkan kinerja.
Validasi silang 10 kali lipat[9]prosedur untuk tujuan
pemilihan struktur model telah diterapkan.
MSE prediksi langsung pada set tes, berdasarkan tiga
metode pemilihan input digambarGambar 5.
Semua kriteria pemilihan masukan (k-NN, MI dan GT) memberikan
masukan yang baik dan sangat mirip. Input yang dipilih juga
memberikan prediksi dengan kesalahan serupa. Dari ketiganya
 ARTIKEL DI PERS
A. Sorjamaa dkk. / Neurocomputing 70 (2007) 2861–2869 2867

Tabel 1
Input yang dipilih untuk set data beban listrik Polandia

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

0 x x x x x x x x x x x x

n n n n n n n n n n n n n n n

-1 x x x x x x

n n n n n n n n

-2 x x x x x

n n n n n n n n

-3 x x x x

n n n n n n n

-4 x x

n n n n n n n n

-5 x x

n n n n n n n n

-6 x x x

n n n n n n n n n

-7 x x

n n n

-8 x x x x

n n n

-9 x x

n n n n

- 10 x x

n n n

- 11 x x x

n n n n n

- 12 x x

n n n

- 13 x x x x x

n n n

- 14 x x x x x x x x

n n n n n n

Angka-angka di baris pertama dan kolom pertama masing-masing mewakili langkah waktu dan indeks regressor. SimbolXadalah untuk input yang dipilih MI, O mewakili hasil pemilihan
NNE,Dadalah untukk-NN hasil yang dipilih.
 ARTIKEL DI PERS
2868 A. Sorjamaa dkk. / Neurocomputing 70 (2007) 2861–2869
metode,k-NN adalah yang tercepat dan oleh karena itu harus lebih
disukai.
MSE prediksi langsung dan rekursif pada set tes
berdasarkank-Kriteria pemilihan input NN ditunjukkan
pada Gambar 6.
DariGambar 6dapat dilihat, bahwa strategi prediksi langsung
memberikan kesalahan yang lebih kecil daripada yang rekursif.
Perbedaan kesalahan meningkat seiring dengan meningkatnya
cakrawala prediksi. Kesalahan strategi langsung adalah linier
sehubungan dengan cakrawala prediksi. Ini tidak berlaku untuk
strategi rekursif.
Lima belas prediksi langkah waktu dari metode prediksi
langsung berdasarkank-Metode pemilihan input NN diberikan
dalamGambar 7.
DiGambar 7dapat dilihat bahwa prediksi jangka panjang
telah menangkap perilaku intrinsik deret waktu.
Hasil kami sesuai dengan intuisi dan model yang digunakan
oleh perusahaan listrik kehidupan nyata dalam estimasi
konsumsi listrik mereka.
Hasil serupa telah diperoleh pada tolok ukur deret waktu
lainnya. Strategi prediksi langsung selalu memberikan prediksi
yang akurat. Selanjutnya, metodologi global yang diperkenalkan
dalam makalah ini memberikan model prediksi jangka panjang
yang jarang dan akurat yang dapat dengan mudah ditafsirkan.
x 10-3
6 strategi pemilihan input global yang menggabungkan
4 yang menderita beban komputasi yang terlalu besar.
2
0 Penggunaan LS-SVM, yang tidak mengalami masalah
0 5 10 15
Gbr. 5. MSE dari metode yang berbeda pada set uji data Beban Listrik
Polandia: garis putus-putus dengan tanda sesuai dengan input yang dipilih
MI, garis padat untuk input yang dipilih NNE, dan garis padat dengan sesuai
tanda
dengank-NN input yang dipilih.
0,04
0,03
0,02
0,01
0 University Press, Oxford, 1995.
0 5 10 15
Gbr. 6. MSE dari prediksi langsung dan rekursif untuk set uji data
Beban Listrik Polandia: garis padat mewakili kesalahan prediksi
langsung dan garis putus-putus untuk kesalahan prediksi rekursif.
0,85
0.8
0,75
0,7
0,65
2 4 6 8 10 12 14
Gambar 7. Hasil prediksik-Metode NN untuk data Beban Listrik
Polandia: garis solid untuk nilai sebenarnya dan garis solid dengan
tanda mewakili hasil prediksi.
6. Kesimpulan
Makalah ini menyajikan metodologi global untuk prediksi
jangka panjang dari deret waktu. Ini menggambarkan
bahwa strategi prediksi langsung memberikan hasil yang
lebih baik daripada yang rekursif. Di sisi lain, strategi
prediksi langsung mengalikan beban komputasi dengan
jumlah langkah prediksi yang dibutuhkan. Untuk mengatasi
peningkatan beban komputasi, strategi pemilihan input
global yang cepat dan andal telah diperkenalkan.
Telah ditunjukkan bahwak-NN, kriteria MI dan NNE
memberikan pilihan input yang baik. Juga ditunjukkan bahwa
pemilihan maju, eliminasi mundur dan pemilihan maju-
mundur adalah alternatif yang baik untuk pencarian lengkap,
Ituk-Kriteria pemilihan NN adalah yang tercepat, karena
pemilihan hyperparameter tidak diperlukan. Ini membuat k-NN
kira-kira 10 kali lebih cepat dari MI dan 20 kali lebih cepat dari
NNE.
minima lokal, memungkinkan perbandingan yang andal.
Metodologi ini telah berhasil diterapkan pada tolok ukur
kehidupan nyata. Jarangnya model yang dipilih
memungkinkan interpretasi fisik langsung.
Dalam pekerjaan lebih lanjut, upaya harus dilakukan
untuk mengurangi beban komputasi dari kriteria
pemilihan input. Alternatif untuk maju, mundur dan
strategi seleksi maju mundur harus dieksplorasi juga.
Referensi
[1] R. Battiti, Menggunakan informasi bersama untuk memilih fitur dalam
pembelajaran jaring saraf terawasi, IEEE Trans. Jaringan Syaraf 50
(1994) 537–550.
[2] M. Ben-Bassat, Pengenalan pola dan pengurangan dimensi, dalam:
Handbook of Statistics, vol. II, 1982, hlm. 773–910.
[3] C. Bishop, Neural Networks for Pattern Recognition, Oxford
[4] T. Cover, J. Thomas, Elemen Teori Informasi, Wiley, New York, 1991.
[5] B. Efron, R. Tibshirani, Sebuah Pengantar Bootstrap, Chapman &
Hall, London, 1993.
[6] B. Efron, RJ Tibshirani, Perbaikan pada validasi silang: the
. 632+ metode bootstrap, J. Am. Statistik. Asosiasi 92 (1997) 548–560.
 ARTIKEL DI PERS
A. Sorjamaa dkk. / Neurocomputing 70 (2007) 2861–2869
[7] J. Han, M. Kamber, Data Mining: Konsep dan Teknik, Morgan
Kaufmann, San Francisco, 2001.
[8] AJ Jones, Alat baru dalam pemodelan dan prediksi non-linear,
Comput. Mengelola. Sci. 1 (2004) 109–149.
[9] R. Kohavi, Sebuah studi validasi silang dan bootstrap untuk estimasi
akurasi dan pemilihan model, dalam: Prosiding Konferensi Gabungan
Internasional ke-14 tentang Kecerdasan Buatan, vol. 2, 1995.
[10] A. Kraskov, H. Stgbauer, P. Grassberger, Memperkirakan informasi
bersama, Phys. Wahyu 69 (2004) 066138.
[11] L. Ljung, Teori Identifikasi Sistem untuk Pengguna, Prentice-Hall,
Englewood Cliffs, NJ, 1987.
[12] G. Manzini, Pencarian perimeter dalam memori terbatas, Comput. Matematika.
aplikasi 32 (1996) 37–45.
[13] R. Meiri, J. Zahavi, Menggunakan anil simulasi untuk mengoptimalkan
masalah pemilihan fitur dalam aplikasi pemasaran, Eur. J.Oper.
Res. 171 (2006) 842–858.
[14] E. Rasek, Sebuah kontribusi untuk masalah seleksi fitur dengan
fungsi kesamaan dalam pengenalan pola, Pengenalan Pola 3
(1971) 31-36.
[15] Q. Shen, R. Jensen, Memilih fitur informatif dengan himpunan fuzzy-
kasar dan penerapannya untuk pemantauan sistem yang kompleks,
Pengenalan Pola 37 (2004) 1351–1363.
[16] A. Sorjamaa, N. Reyhani, A. Lendasse, Input dan pemilihan struktur
untukk-nn pendekatan, dalam: J. Cabestany, A. Prieto, FS Hernandez
(Eds.), Catatan Kuliah di Ilmu Komputer, vol. 3512, hlm. 985–991.
Kecerdasan Komputasi dan Sistem Bioinspired: Konferensi Kerja
Internasional ke-8 tentang Jaringan Syaraf Tiruan, IWANN 2005,
Barcelona, Spanyol, Springer, Berlin/Heidelberg, 2005.
[17] A. Stefansson, N. Koncar, AJ Jones, Catatan tentang uji gamma,
Neural Comput. aplikasi 5 (3) (1997) 131–133.
[18] JAK Suykens, JD Brabanter, L. Lukas, J. Vandewalle, kuadrat terkecil
tertimbang mendukung mesin vektor: ketahanan dan pendekatan
jarang, Neurocomputing 48 (2002) 85-105.
[19] JAK Suykens, TV Gestel, JD Brabanter, BD Moor, J. Vandewalle, Least
Squares Support Vector Machines, World Scientific, Singapore,
2002.
[20] M. Verleysen, D. Francois, Kutukan dimensi dalam data mining dan
prediksi deret waktu, dalam: J. Cabestany, A. Prieto, FS Hernandez
(Eds.), Catatan Kuliah di Ilmu Komputer, vol. 3512, hlm. 758–770.
Pembicaraan yang Diundang dalam Kecerdasan Komputasi dan Sistem
Bioinspired: Konferensi Kerja Internasional ke-8 tentang Jaringan Syaraf
Tiruan, IWANN 2005, Barcelona, Spanyol, Springer, Berlin/Heidelberg,
2005.
[21] A. Weigend, N. Gershenfeld, Prediksi Seri Kali: Meramalkan Masa
Depan dan Memahami Masa Lalu, Addison-Wesley, Reading, MA,
1994.
[22] Tersedia darihhttp://www.esat.kuleuven.ac.be/sista/lssvmlab/saya.
[23]hhttp://www.cis.hut.fi/projects/tsp/?page=Timeseriessaya.
Antti Sorjamaalahir pada tahun 1980 di sebuah kota
kecil di utara Finlandia. Ia menerima gelar master dari
Universitas Teknologi Helsinki pada tahun 2005. Tesis
Masternya berjudul ''Strategi untuk Prediksi Jangka
Panjang Deret Waktu Menggunakan Model Lokal''.
Saat ini, ia melanjutkan sebagai Ph.D. mahasiswa di
HUT. Dia adalah penulis atau rekan penulis enam
makalah ilmiah di jurnal internasional, buku atau
komunikasi ke konferensi dengan komite peninjau.
Topik penelitiannya adalah
masalah nilai yang hilang dalam database temporal.
2869
Jin Haolahir di Cina pada tahun 1980. Beliau
memperoleh gelar sarjana dari Universitas Teknologi
Beijing pada tahun 2003 dan gelar master dari
Universitas Teknologi Helsinki pada tahun 2005. Judul
tesis masternya adalah ''Pemilihan Input
Menggunakan Informasi Bersama—Aplikasi untuk
Prediksi Deret Waktu' '. Dia adalah penulis atau rekan
penulis lima makalah ilmiah di jurnal internasional,
buku atau komunikasi ke konferensi dengan komite
peninjau. Dia sekarang bekerja di
Departemen Telekomunikasi dan Jaringan Samsung Electronics di
Korea.
Nima Reyhanilahir di bagian utara Iran (Persia)
pada tahun 1979. Ia memperoleh gelar sarjana
dari Universitas Isfahan. Selama studi sarjana,
ia bekerja di Pusat Penelitian Telekomunikasi
Iran. Ia menerima gelar master dari Universitas
Teknologi Helsinki, Finlandia. Dia adalah penulis
atau rekan penulis tujuh makalah ilmiah di
jurnal internasional, buku atau komunikasi ke
konferensi dengan komite peninjau. Sekarang,
dia adalah seorang Ph.D. mahasiswa di HUT
dan bidang penelitiannya adalah Estimasi Kebisingan.
Yongnan Jilahir pada tahun 1981 di Daqing, di bagian
utara Cina. Beliau menerima gelar sarjana dari Harbin
Institute of Technology pada tahun 2003, China. Pada
tahun 2005, beliau menerima gelar master dari
Helsinki University of Technology, Finlandia. Judul
skripsinya adalah ''Least Squares Support Vector
Machines for Time Series Prediction''. Dia adalah
penulis atau rekan penulis empat makalah ilmiah di
jurnal internasional, buku atau komunikasi untuk
memberikan
dengan komite peninjau. Dia saat ini adalah Ph.D. mahasiswa di HUT,
mengerjakan algoritme pembelajaran mesin untuk data kemometrik.
Amaury Lendasselahir pada tahun 1972 di Belgia.
Ia menerima gelar MS di bidang teknik mesin dari
Université catholique de Louvain (Belgia) pada
tahun 1996, MS dalam kendali pada tahun 1997
dan Ph.D. pada tahun 2003 dari Universitas yang
sama. Pada tahun 2003, ia menjadi peneliti
postdoctoral di Computational Neurodynamics Lab
di University of Memphis. Sejak 2004, ia adalah
peneliti senior di Pusat Penelitian Informatika
Adaptif di Universitas Helsinki
Teknologi di Finlandia. Dia memimpin Grup Prediksi Time Series. Dia
adalah penulis atau rekan penulis 64 makalah ilmiah di jurnal
internasional, buku atau komunikasi ke konferensi dengan komite
peninjau. Penelitiannya meliputi prediksi deret waktu, kemometrik,
pemilihan variabel, estimasi varians noise, penentuan nilai yang hilang
dalam basis data temporal, aproksimasi nonlinier dalam masalah
keuangan, jaringan saraf fungsional dan klasifikasi.