ECONOMETRICS (2) TUTORIAL

M. Edhie P. M.A, Ph.D

Prepared by: Amrie Anjas Economics Department – UGM

ARTIFICIAL NEURALL NETWORK (ANN)

Jaringan saraf buatan (Artificial Neural Network) atau ANN merupakan model matematis yang
berupaya untuk menstimulasikan struktur dan aspek fungsional dari biological neural networks.
Dengan demikian, model ANN meniru cara kerja jaringan biologis. Otak manusia terdiri atas sel-sel
saraf yang disebut neuron, yang berjumlah sekitar 109 neuron. Neuron – neuron ini terbagi atas group-
group yang disebut dengan jaringan, yang dibedakan atas fungsinya dan setiap group mengandung
ribuan neuron yang saling berhubungan. Kecepatan proses setiap jaringan ini sebenarnya jauh lebih
kecil dibandingkan dengan kecepatan proses komputer yang ada pada saat ini. Namun karena otak
terdiri atas jutaan jaringan yang bekerja secara paralel, maka otak dapat mengerjakan pekerjaan yang
jauh lebih kompleks dibandingkan dengan apa yang dapat dikerjakan oleh komputer yang hanya
mengandalkan kecepatan.

Sejarah ANN

Artificial neural network diperkenalkan pertama kali pada tahun 1943 oleh seorang ahli saraf
Warren McCulloch dan seorang ahli logika Walter Pitss. Penelitian yang berlangsung pada tahun 1950-
an dan 1960-an mengalami hambatan karena minimnya kemampuan komputer pada saat itu. Sekitar
tahun 1970-an penelitian dibidang ini terhenti sama sekali. Baru pada pertengahan tahun 1980-an dapat
dilanjutkan lagi, karena sarana yang dibutuhkan telah tersedia. Tahun 1986 Rumelhart et al. and
McClelland et al. memperkenalkan ANN yang baru yakni ANN yang memiliki struktur lebih kompleks
dan fleksible serta metode pembelajaran yang baru. Sejak itu ANN mulai berkembang.ANN dapat
diaplikasikan dalam berbagai disiplin ilmu seperti biologi, informatika,ekonometri (ekonomi) dan
pertanian.

Pengertian ANN
Artificial neural network merupakan model yang meniru cara kerja jaringan neural biologis atau
memiliki karekteristik menyerupai sistem jaringan syaraf. Neuron buatan dirancang untuk menirukan
karakteristik neuron biologis.
ECONOMETRICS (2) TUTORIAL
M. Edhie P. M.A, Ph.D
Prepared by: Amrie Anjas Economics Department – UGM

Tabel 1: Hubungan konsep biologi dengan ANN

Biologi ANN
Soma Node (simpul)
Dendrite Input
Axon Output
Sinapsis Weight (bobot)
Slow speed Fast speed
Terdiri dari banyak neuron Beberapa neuron

Jaringan saraf, dengan kemampuan luar biasanya dapat mengartikan data yang rumit, dapat juga
digunakan untuk mengubah pola yang terlalu kompleks (banyak). Dengan alasan inilah kemudian
cabang ilmu ekonometrika pun berusaha mengaplikasikan konsep dan cara kerja dari ANN syaraf
tersebut.
Artificial Neural Network dalam perspektif ekonometri dapat diaplikasikan untuk mengukur
kondisi fungsi mean yang tidak diketahui (serta median,quantile) dari variable, tanpa mengalami
masalah dari model yang tidak terperinci (misspecification). Meskipun metodenya adalah
nonparametrik seperti series dan penaksiran polynomial, ANN menggunakan sejumlah besar
komponen untuk tujuan penaksiran yang akurat (Barron, 1993), ANN menggunakan pendekatan
parsimony untuk menganalisis fungsi non parametrik.
ANN menggunakan data untuk menurunkan suatu pola yang relevan. Dengan kata lain, ANN
mengolah informasi internal dan eksternal yang mengalir pada jaringan melalui proses learning. Dalam
hal ini, proses learning pada ANN dapat diklasifikasikan menjadi 2 yaitu:
1. Supervised learning
Menggunakan sejumlah pasangan data masukan dan keluaran yang diharapkan
2. Unsupervise learning
Hanya menggunakan sejumlah pasangan data masukan tanpa ada contoh keluaran yang
diharapkan
ECONOMETRICS (2) TUTORIAL
M. Edhie P. M.A, Ph.D
Prepared by: Amrie Anjas Economics Department – UGM

Lebih lanjut, Artificial Neural Network terdiri atas lapisan masukkan (input layer) dan luaran
(output layer). Tetapi ada juga yang mempunyai lapisan tersembunyi (hidden layer) diantara lapisan
masukan dan luaran. Pada unit masukkan (input layer) tidak memproses suatu informasi tetapi hanya
menyebarkan atau menyalurkan ke unit lain. Sedangkan simpul yang ada pada lapisan tersembunyi
(hidden layer) berfungsi untuk menyelesaikan masalah non linear dan lapisan luaran (output layer)
menghasilkan keluaran yang berupa suatu bentuk non linear. Adapun komponen ini diilustrasikan oleh
gambar berikut ini:

Gambar 1: Sistem ANN

Model ANN
Pada dasarnya model ANN dibagi menjadi 2 yakni (1) feedforward network dan (2) recurrent network.
Adapun penjelasan dari kedua model tersebut adalah sebagai berikut:
1) Feedforward Neural Networks
Merupakan jaringan dimana semua hubungan dari lapisan masukkan (input layer) sampai
lapisan luaran (output layer) menuju ke satu arah. Sinyal mengalir searah dari lapisan masukan (input
layer), lapisan tersembunyi (hidden layer) sampai lapisan luaran (input layer). Setiap simpul
dihubungkan dengan simpul lainnya yang berada diatas dan dibawahnya, tetapi tidak dengan simpul
yang berada pada lapisan yang sama.
ECONOMETRICS (2) TUTORIAL
M. Edhie P. M.A, Ph.D
Prepared by: Amrie Anjas Economics Department – UGM

Inputnya berupa neuron yang menerima informasi (input layer) kemudian meneruskannya ke
neuron di lapisan tersembunyi (hidden layer) lalu diteruskan ke lapisan luaran (output layer). Output
neuron lah yang akan menentukan apa yang akan dilakukan. Adapun ilustrasi dari jaringan ini
digambarkan sebagai berikut :
Gambar 2: Feedforward Neural Network

Persamaan untuk bentuk jaringan seperti ini adalah sbb:

Ada pula bentuk jaringan dimana input lapisan masukkan (input layer) tidak hanya
berhubungan dengan lapiasan tersembunyi (hidden layer) tapi memiliki shortcut yang langsung ke
lapisan luaran (output layer). Adapun ilustrasi dari jaringan ini digambarkan sebagai berikut:
ECONOMETRICS (2) TUTORIAL
M. Edhie P. M.A, Ph.D
Prepared by: Amrie Anjas Economics Department – UGM

Gambar 2: Feedforward Neural Network dengan Shortcut

Persamaan untuk bentuk jaringan seperti ini adalah sbb:

2) Recurrent Neural Networks

Dari bagian sebelumnya kita melihat bahwa tidak ada alat “memory” pada jaringan feedforward
neural network yang dapat menyimpan signal dengan cepat. Selain itu, dalam model feedforward
neural network signal tidak dapat membantu mengidentifikasi ciri-ciri data, terutama ketika informasi
data memiliki ketergantungan yang sementara. Hal ini berarti, feedforward neural network harus
mengembangkan ke tingkat yang lebih luas untuk menunjukkan kompleksitas pola yang dinamis. Ini
menyebabkan dalam praktek mengalami kesulitan karena luasnya jaringan tidak mudah di
implementasikan. Oleh karenanya recurrent neural network hadir untuk mengatasi kesulitan ini dengan
memberikan internal feedback dan itu tepat sekali untuk masalah yang dinamis.
Jordan (1986) pertama kali memperkenalkan recurrent neural network dengan feedback-nya
dari unit/lapisan output (output layer). Unit output (output layer) akan dihubungkan dengan unit input
(input layer) tapi dengan time delay, jadi jaringan output (output layer) pada t-1 juga merupakan
ECONOMETRICS (2) TUTORIAL
M. Edhie P. M.A, Ph.D
Prepared by: Amrie Anjas Economics Department – UGM

informasi input pada time t. Output dari Jordan network dapat ditunjukkan dalam persamaan sebagai
berikut:

Dimana merupakan vector dari hubungan yang kuat antara hth hidden layer dan input layer

yang menerima output yang terdahulu Sama halnya pada Elman (1990)
yang mempertimbangkan recurrent neural network pada hidden layer yang dihubungan pada input
layer dengan time delay. Adapun output dari Elman network ditunjukkan dalam persamaan sebagai
berikut:

Dimana: merupakan vector dari pergerakan hidden layer terdahulu

dan merupakan vector dari hubungan tertimbang antara hth hidden layer dan input layer yang
menerima pergerakan hidden layer terdahulu pada αt-1.
Dari output dari Jordan network dan Elman network dapat kita lihat, dengan substitusi yang
berulang, model pada recurrent neural network dapat menunjukkan output bentuk saat ini dan semua
input masa lalu. Pada akhirnya dapat disimpulkan bahwa recurrent neural network menggabungkan
informasi pada variable input terdahulu tanpa memasukkan semuanya dalam model. Berbeda dengan
feedforward neural network yang memerlukan input yang besar seperti informasi.

Spesifikasi Model ANN

Sejauh ini specification model telah menjadi perhatian, model ANN merupakan pergerakan
fungsi F dan G. Pilihan berbeda dalam pergerakan fungsi akan menghasilkan jaringan yang berbeda.
Sekarang kita mengenal beberapa fungsi pergerakan yang biasanya terdapat dalam studi empiris.
Hidden layer berperan sebagai neuron dalam system biologi. Pergerakan fungsi pada setiap
hidden layer ditentukan pada sebuah neuron yang dapat mati dan hidup. Seperti pada hidup dan
ECONOMETRICS (2) TUTORIAL
M. Edhie P. M.A, Ph.D
Prepared by: Amrie Anjas Economics Department – UGM

matinya respon dapat dengan mudah ditunjukkan menggunakan sebuah indikator fungsi, yaitu dalam
literatur ANN dikenal dengan fungsi heaviside yang ditunjukkan sebagai berikut:

Dimana c merupakan nilai awal. Berdasar pada kekuatan dari hubungan tertimbang dan signal

input, pergerakan fungsi G akan menentukan neural khusus yang on (hidup) yaitu

atau yang mati (off)

Pada sistem neural yang kompleks, neurons tidak hanya membutuhkan respon on/off tapi
mungkin djuga sebuah posisi tengah-tengah. Dalam hal ini, jumlah dari pergerakan fungsi dapat di
asumsikan nilainya antara nol dan satu. Pada literature ANN, hal tersebut biasa untuk memilih sebuah
signmoid (S-shaped) dan fungsi squashing (bounded).