2017099906966406-Neural Network
2017099906966406-Neural Network
PEMBELAJARAN MESIN
STMIK AMIKOM PURWOKERTO
Mengapa Neural Networks Perlu
Dipelajari?
- Fungsi aktivasi
Besarnya output (atau aktivasi) sebuah neuron dihitung
berdasarkan
fungsi aktivasi F( . )
y = F(ynet )
lts05
Contoh Fungsi fungsi aktivasi dalam perhitungan output y.
w11 -1
x1 q
w21
x2 y
x3 w31 S F(.)
xn
wn1
Fungsi Aktivasi
Fungsi undak biner (hard limit)
q
Fungsi Aktivasi
Fungsi bipolar
error
X|k y|k
NN - error digunakan
input output untuk menyesuai-
kan bobot jaringan
t|k (berdasarkan suatu
algoritma belajar).
Himpunan data pelatihan
Data pelatihan di-
k vektor input vektor target
berikan per-eksem-
1 X|1 t|1 plar, diulang ulang
2 X|2 t|2 per-epoch,
sampai dicapai har-
ga error mendekati
K X|K t|K nol untuk seluruh
vektor pelatihan.
1 epoch 1 eksemplar
2. Belajar Tak-terbimbing (Unsupervised)
X|k Y|k
NN
Vektor input pelatihan diberikan per-
eksemplar, diulang ulang per-epoch,
Himpunan Data sampai jaringan menghasilkan harga
Pelatihan output yang konsisten (tidak berubah-
k vektor input ubah lagi) untuk setiap input pelatihan.
X Y misal :
NN misal : plant suhu plant
pengendali
NN dilatih mengenali putaran kipas
dinamika plant
penilai
Pertanyaan : kinerja plant
misal:
Bagaimana data suhu terlalu tinggi,
pelatihannya ? rendah, cukup, ...
McCulloch Pitts
X1 X2 Y
1 1 1
1 0 0
0 1 0
0 0 0
Contoh Sederhana
Jawab
0 0 0.1+0.1=0 0 1
X2
1
Keterbatasan :
43
input output input output
x1 x2 y x1 x2 y
0 0 0 -1 -1 -1
0 1 1 -1 1 1
1 0 1 1 -1 1
1 1 1 1 1 1
representasi biner representasi bipolar
x2
{1, 1}
{0, 1} Tidak ada satupun garis linear
yang dapat mengklasifikasikan
vektor vektor input dengan benar !
karena :
{0, 0} {0, 1}
x1 Data pelatihan untuk logika EXOR lts05
tersebut non-linearly separable
Algoritma belajar Perceptron
47 ( = algoritma penyesuaian bobot)
Dwi = txi
48
49
Algoritma LMS - Least Mean Square atau ATURAN DELTA
Selain dilatih dengan algoritma belajar Perceptron (Gradient Descend
50
sederhana -Rosenblatt), jaringan lapis tunggal dapat dilatih dengan
aturan belajar Delta (delta rule).
Dasar aturan Delta adalah minimisasi galat kuadrat dalam pelatihan.
Fungsi galat E adalah jumlah error kuadrat, merupakan fungsi bobot-
bobot jaringan.
Dalam proses belajar, bobot bobot disesuaikan
E(w1,w2)
kearah perubahan-harga-galat (gradient E) yang
paling tajam (terjal) dalam ruang Bobot-Galat.
Eab Galat E untuk vektor bobot n-dimensi,
Ecd K
E(w1,w2, ... , wn) = S ( t |k – y |k )
a c k=1
w1
b k = jumlah vektor pelatihan (input dan
d target)
.
Gradient E, untuk vektor bobot n-dimensi
w2
Ruang Bobot-Galat, E E E
E [w ]
r
untuk vektor bobot 2-dimensi , ,K ,
w 0
w 1
w n
Δw = E [w ] Δw = E [w ]
E Gradient, E 1E 2 1 2
Δw i = Δw = i = (t tx|k–yo|xk) = t x ox
2
r w i w i w i w 2 xD w i
E [w ]
2 ixkD
r r
2E 1 1 ] [
51 = 2 2 1 r r
EE = 1 pada Δ w E w 2
t x
arah
o x = = 2
t
x
(
t
ttx|
o
x
k
–y
xo
o
|
x
k
x t =
x
o x
=
t x
t oxxo x t x w x
wiw i w i 2 xsumbu D wi w 2wE2w
Δwi i = xxDDi xiD)2
w i 2 xD w i xD w i
w i
E
[ o2x x ] r r r r
1 = 1
2 t 2 x 2
o2xt x =ox
1 w
t==tx
= 1
1
xS
ox
t
o x xt=
22( tx| k–y
t|
o xkxi ox
x|k–yot|xkx=w xtx 2 o x
(t t1 t x w x
2 xDw
E 2 xD ) txxD oxw
1
i )= t x
x D ox w i
k
xD x D w ii i = 2
x D 2 wi
w i w i 2 xD 2 xD w i
[ xoi ]x == [tt(x x i ]t(tx| –y
E E
= txx oxt
r r
untuk fungsi
D
w i xD
2 t x o
w i
x wi =
=1 xD
S
) 2
t
x
|
t
k
x
o
–y
o
x
x |
o
k
x
w
i ) t k
x
w
| k
x
o x
=
aktivasi t x o
linearx :
t x w
r r
x
x D
k w i w i
2 xD y| x D
= y |
k net k
t x ox x i ] E
w i xkD
S
= [t[(xt |ko –y x| k ) x( i-]wi xi N
= S wi xi
)] i=1
1/2
RMS = S t|k –y|k 2
xN
vektor bobot
W = ( w1 , w2 , . . . , w )
lts05
N
MADALINE
w11 y1
56 x1 w21
wN1
x2
y2
vektor bobot
w1M WM = ( w1M, w2M , . . . , wNM )
xN w2M
wNM yM
Matriks bobot
w11 w12 w1M
w21 w22 w2M
WNM =
x1 y1
Misal : Jaringan MADALINE dilatih untuk
Mengenali huruf huruf A, B, C, ...
x2
y2
ADALINE merah : melakukan klasifikasi
dikotomis “A” dan “bukan-A”.
ADALINE biru: melakukan klasifikasi
dikotomis “B” dan “bukan-B”. yM
xN
ADALINE hijau: melakukan klasifikasi
dikotomis “C” dan “bukan-C”.
Latihan :