Anda di halaman 1dari 4

Chapter11.

FUSION OF FUZZY SYSTEM AND NEURAL NETWORKS



In this chapter, we study the fusion of fuzzy systems and neural networks. The two methods are
complementary. The neural networks can learn from data while the fuzzy systems cannot; the
fuzzy systems are easy to comprehend because they use linguistic terms but the neural
networks are not. Many researches have been devoted to the fusion of them in order to take
their advantages.

Pada Bab ini, kita mempelajari tentang perpaduan Sistem Fuzzy dan Neural Network. Dua
metode ini saling melengkapi. Neural Network dapat belajar dari data sedangkan Sistem Fuzzy
tidak; Sistem Fuzzy mudah untuk memahami karena menggunakan istilah linguistik tetapi
Neural Network tidak. Banyak penelitian telah dilakukan untuk memadukan kedua metode ini
dalam rangka memperoleh manfaatnya.


11.1 Neural Networks
11.1.1 Basic Concepts of Neural Networks

11.1.1 Konsep Dasar Neural Network

Neural networks (NN) are a computational model of the operation of human brain. A neural
network is composed of a number of nodes connected by links. Each link has a numeric weight
associated with it. Weights are the primary means of long-term storage in neural networks. One
of the major features of the neural network is its learning capability. They can adjust the weights
to improve the performance for a given task. Learning usually takes place by updating the
weights.

Neural Network (NN) adalah suatu model komputasi dari operasi otak manusia. Suatu Neural
Network terdiri dari beberapa node yang dihubungkan oleh link. Setiap lnk memiliki bobot
numerik yang terkait dengannya. Bobot adalah sarana utama penyimpanan jangka panjang
dalam Neural Network. Salah satu fitur utama dari Neural Network adalah kemampuan
pembelajarannya. Mereka dapat menyesuaikan bobot untuk meningkatkan kinerja untuk tugas
yang diberikan. Pembelajaran biasanya terjadi dengan memperbarui bobot.

..

A node has a set of input links from other nodes, a set of output links, and a nonlinear function
called activation function. The output of a node is generated from the inputs, the weight of links,
and activation function (Fig 11.1.). So, the output of node j are as follows:

Sebuah node memiliki seperangkat link masukan dari node lain , satu set link output, dan fungsi
nonlinear yang disebut fungsi aktivasi . Output dari node yang dihasilkan dari input , berat link,
dan fungsi aktivasi ( Gambar 11.1 . ) . Jadi , output dari node j adalah sebagai berikut :

.

.. oi is the output of node i and an input to node j, wji is the weight of the link between nodes
j and i, and f is the activation function. Any nonlinear functions can be used as the activation
function, but sigmoidal function is often used.

adalah output dari node i dan masukan ke node j ,

adalah bobot dari link antara node j


dan i, dan f adalah fungsi aktivasi . Setiap fungsi nonlinier dapat digunakan sebagai fungsi
aktivasi , tetapi fungsi sigmoidal sering digunakan .


11.1.2 Learning Algorithms

11.1.2 Algoritma Pembelajaran

Neural networks can be categorized into feedforward and feedback. The feed forward neural
networks have only feed forward links, i.e. neural networks which do not have feedback cycle.
The output of a node will not directly or indirectly be used as an input of that node. To the
contrary, the feedback neural networks have feedback cycle. The output of a node may be used
as an input of a node. (Figs 11.2(a), (b)) show the feedforward and feedback neural networks,
respectively. In the case of the feedback neural network, there is no guarantee that the
networks become stable because of the feedback cycle. Some of them converge to a stable
point, some may have limit-cycle, or become chaotic or divergent. These are common
characteristics of non-linear systems which have feedback. There are two types of learning
algorithms in the neural networks. The first type is supervised learning. It uses a set of training
data which consist of pairs of input and output. During learning, the weights of a neural network
are changed so that the input-output mapping becomes more and more close to the training
data. The second type is unsupervised learning. While the supervised learning presents target
answers for each input to a neural network, the unsupervised learning has the target answers. It
adjusts the weights of a neural network in response to only input patterns without the target
answers. In the unsupervised learning, the network usually classifies the input patterns into
similarity categories.

Neural Network dapat dikategorikan ke dalam umpan terusan dan umpan balik. Neural Network
umpan terusan hanya memiliki link umpan terusan, misalnya Neural Network yang tidak
memiliki siklus umpan balik. Output dari sebuah node akan digunakan sebagai input dari node
tersebut baik secara langsung maupun tidak langsung. Sebaliknya, Neural Network umpan balik
memiliki siklus umpan balik. Output dari sebuah node mungkin digunakan sebagi sebuah input
dari suatu node. (Gambar 11.2 (a), (b)) menunjukkan Neural Netwrok umpan terusan dan
umpan balik secara berturut-turut. Mengenai Neural Netork umpan balik, tidak ada jaminan
bahwa jaringan akan stabil karena siklus umpan balik. Beberapa diantaranya berkumpul ke titik
stabil. Beberapa mungkin memiliki batas siklus atau menjadi kacau atau divergen. Ini
merupakan karakteristik umum dari sistem non-linear yang memiliki umpan balik. Ada dua tipe
algoritma pembelajaran pada Neural Network. Tipe pertama adalah pembelajaran diawasi. Ini
menggunakan satu set data pelatihan yang terdiri dari pasangan input dan output. Selama
pembelajaran, bobot Neural Network berubah sehingga pemetaan input-output menjadi lebih
dan lebih dekat dengan data pelatihan. Tipe kedua adalah pembelajaran tanpa pengawasan.
Selama pembelajaran diawasi menyajikan sasaran jawaban untuk setiap masukan ke Neural
Network, pembelajaran terawasi memiliki jawaban sasaran. Ini menyesuaikan bobot dari Neural
Network dalam menanggapi hanya pada pola masukan tanpa jawaban sasaran. Dalam
pembelajaran tidak terawasi, jaringan biasanya mengklasifikasikan pola masukan ke dalam
kategori kesamaan.

11.1.3 Multilayer Perceptrons and Error Backpropagation Learning

11.1.3 Pembelajaran Multilayer perceptrons dan Error Backpropagation

Among the neural networks and learning algorithms, multiplayer perceptron network and its
learning algorithm are widely used. This learning algorithm is called error backpropagation
method. Multilayer perceptrons are layered feedforward neural networks. They consist of
several layers. A layer is a set of nodes which do not have inter-connection links, i.e. the nodes
in the same layer are not connected to each other. One more characteristic is that the nodes in
a layer are connected to only the nodes in the neighboring layer. (Fig 11.3) shows a three layer
perceptron network. The first layer is the input layer, the second is the hidden layer and the third
is the output layer.

Di antara Neural Network dan algoritma pembelajaran, jaringan multiplayer perceptron dan
algoritma pembelajarannya banyak digunakan. Algoritma pembelajaran ini disebut metode
backpropagation error. Multilayer perceptrons adalah Neural Network umpan terusan yang
berlapis. Mereka terdiri dari beberapa lapisan. Satu lapisan adalah satu set node yang tidak
memiliki hubungan inter-koneksi, yaitu node pada lapisan yang sama tidak terhubung satu
sama lain. Salah satu cirinya lagi adalah bahwa node pada satu lapisan yang terhubung ke
node yang hanya ada di lapisan tetangga. ( Gambar 11.3 ) menunjukkan jaringan perceptron
tiga lapisan. Lapisan pertama adalah lapisan input, yang kedua adalah lapisan tersembunyi dan
yang ketiga adalah lapisan output.



(1) Activation function
In this kind of neural networks, mostly used activation function is the sigmoidal function defined
as:

(1) Fungsi Aktivasi
Pada jenis Neural Network ini, fungsi aktivasi yang sering digunakan adalah fungsi sigmoidal
yang didefinisikan sebagai:



The reason is that their derivatives are simple as follows:

Alasannya adalah bahwa turunanya sederhana seperti berikut:

.

If the derivative is simple, the error backpropagation algorithm can be simple.

Jika turunan sederhana , algoritma backpropagation error dapat sederhana

(2) Error backpropagation learning algorithm

Algoritma Pembelajaran Kesalahan Backpropagation

The error backpropagation algorithm iteratively changes the weights of links little by little. The
weights are changed so that the error is minimized. The error is defined as:

Algoritma kesalahan backpropagation secara iteratif mengubah bobot dari link sedikit demi
sedikit. Bobot diubah sehingga kesalahan diminimalisir. Kesalahan didefinisikan sebagai:

..

where tk is the expected output and ok is the actual outputs for node k in the output layer. In
order to decide whether to increase or decrease weight wji, the algorithm evaluates the
derivative of E with respect to wji, and then changes wji to the direction opposite to the
derivation. That is,

dimana t
k
adalah output yang diharapkan dan o
k
adalah output aktual untuk node k pada lapisan
output. Agar dapat memutuskan apakah akan menambah atau mengurangi bobot w
ji
, algoritma
mengevaluasi turunan dari E sehubungan dengan w
ji
, dan kemudian mengubah w
ji
ke arah
yang berlawanan dengan derivasi. Artinya,

.


Where is a learning rate and wji is the weight of the connection between node j and node i.
Value is a pre-determined small real number.

Dimana ....... adalah suatu tingkat pembelajaran dan w
ji
adalah bobot dari hubungan antara
node j dan i. Nilai || adalah suatu bilangan real kecil yang telah ditentukan sebelumnya.

(3) Convergence problem
Thus, if all weights of a neural networks are iteratively modified little by little in this manner, E
will decrease and at last converge to a stable point. However it does not guarantee to converge
to the global optimum because the method uses only derivations. So, in order to overcome this
defect, some variations have been developed such as adding momentum term.

(3) Masalah konvergensi
Jadi, jika semua bobot dari suatu Neural Network dimodifikasi secara iteratif sedikit demi sedikit
pada aturan ini, E akan meningkat dan pada akhirnya berkumpul ke titik stabil. Bagaimanapun
itu tidak menjamin untuk berkumpul ke optimal global karena metode ini hanya menggunakan
derifasi. Jadi, untuk mengatasi kekurangan ini, beberapa variasi telah dikembangkan seperti
menambahkan istilah momentum

One more question on this algorithms is about magnitude of . If is a large value, the learning
speed may be fast, but this may cause large oscillations. Small value will not cause the large
oscillations, but the learning speed is slow. Choosing the value of depends on applications.

Satu pertanyaan lagi pada algoritma ini mengenai besarnya . Jika adalah suatu nilai yang
besar, kecepatan belajar mungkin cepat, tapi hal ini dapat menyebabkan osilasi besar. Nilai
kecil tidak akan menyebabkan osilasi besar, namun kecepatan belajar lambat. Pemilihan nilai
tergantung pada aplikasi.

11.2 Fusion with Neural Networks
Neural networks and fuzzy systems are two complementary technologies. Neural networks can
learn from data, but the knowledge represented by the neural networks is difficult to understand.
In contrast, fuzzy systems are easy to comprehend because they use linguistic terms and if-
then rules, but it does not have learning algorithms. So, many researches have been devoted to
fusion of them. The researches on fusion of neural networks and fuzzy systems can be
classified into four categories:
(1) Modifying fuzzy systems with supervised neural network learning,
(2) Building neural networks using fuzzy systems,
(3) Making membership functions with neural networks,
(4) Concatenating neural networks and fuzzy systems.

11.2. Perpaduan dengan neural Network
Neural Network dan Sistem Fuzzy adalah teknologi yang saling melengkapi. Neural Network
dapat belajar dari data, tetapi pengetahuan direpresentasikan oleh Neural Network sulit untuk
dpahami. Sebaliknya, Sustem Fuzzy mudah untuk dipahami karena menggunakan istilah
linguistik dan aturan jika-kemudian, tetapi tidak memiliki algoritma pembelajaran. Jadi, banyak
penelitian yang telah dilakukan untuk memadukannya. Penelitian-penelitian mengenai
perpaduan dari Neural Networ dan Sistem fuzzy dapat diklasifikasikan kedalam 4 kategori:
(1) Memodifikasi Sistem Fuzzy dengan Pembelajaran Neural Network yang terawasi.
(2) Membangun Neural Network menggunakan Sistem Fuzzy
(3) Membuat fungsi keanggotaan dengan Neural Network.
(4) Menggabungkan Neural Network dan Sistem Fuzzy

11.2.1 Modifying Fuzzy Systems with Supervised Neural Network Learning
Research in this category represents fuzzy systems with neural networks. These systems are
called neuro fuzzy systems, and the neural networks are used to improve the performance of
fuzzy systems. Neuro fuzzy systems have characteristics of both neural networks and fuzzy
systems; they have learning capability like neural networks and can perform inference like fuzzy
systems. In the ordinary neural networks, nodes have the same functionality and are fully
connected to the nodes in the neighboring layers. But in a neuro fuzzy system, nodes have
different functionalities and are not fully connected to the nodes in the neighboring layers. This
differences come from the fact that the nodes and links in a neuro fuzzy system usually
correspond to a specific component in a fuzzy system. That is, some nodes represent the
linguistic terms of input variables, some nodes are for those of output variables, and some
nodes and links are used for representing.

11.2.1 Memadukan sistem Fuzzy dengan Pembelajaran Neural Network yang terawasi.
Penelitian pada kategori ini merepresentasikan Sistem Fuzzy dengan Neural Network. Sistem
ini disebut Sistem Neuro Fuzzy, dan Neural Network digunakan untuk meningkatkan kinerja
Sistem Fuzzy. Sistem Neuro Fuzzy memiliki karakteristik dari keduanya; memiliki kemampuan
belajar seperti Neural Network, node memiliki fungsionalitas dan terhubung sepenuhnya
dengan node pada lapisan tetangga. Tetapi pada suatu Sistem Neuro Fuzzy, node memiliki
kemampuan yang berbeda dan tidak sepenuhnya terhubung ke node pada lapisan tetangga.
Perbedaan ini berasal dari fakta bahwa node dan link pada suatu Sistem Neuro Fuzzy biasanya
cocok dengan suatu komponen spesifik pada suatu Sstem Fuzzy. Oleh karena itu, beberapa
node merepresentasikan node dan link yang digunakan untuk pewakilan.