Anda di halaman 1dari 39

CONTEDO

Introduo
Motivao, Objetivo, Definio, Caractersticas
Bsicas e Histrico
Conceitos Bsicos
Neurnio Artificial, Modos de Interconexo
Processamento Neural
Recall e Learning
Regras de Aprendizado
Regra de Hebb, Perceptron, Back Propagation,
Competitive Learning, RBF, etc.
Algoritmos de Aprendizado
Regra de Hebb
Perceptron
Delta Rule (Least Mean Square)
Multi-Layer Perceptron (Back Propagation)
Competitive Learning
Radial Basis Functions (RBFs)

Regra de HEBB
Declarao de Hebb:
Quando um axnio de uma clula A est
prximo o suficiente de excitar a clula B
e repetidamente ou persistentemente
participa da ativao desta, um processo
de crescimento ou mudana metablica
ocorre em uma ou ambas as clulas, de tal
forma que a eficincia de A em ativar B
aumentada
Regra de HEBB
Em termos prticos:
Se dois neurnios em cada lado de uma sinpse
(conexo) so ativados simultaneamente
(sincronamente), ento a fora daquela
sinpse deve ser aumentada.
Se dois neurnios em cada lado de uma sinpse
so ativados assincronamente, ento aquela
sinpse dever ser enfraquecida.
Regra de HEBB
Concluso:

A modificao na sinpse tem relao com a
correlao entre as atividades pr-sinpticas
e ps-sinpticas.
+
correlao + o valor do peso aumenta
correlao - o valor do peso diminui
Regra de HEBB
Aw
ji
= q s
i
.s
j
Hebbian Learning Rule
0 < q < 1 taxa de aprendizado
Mecanismo dependente do tempo
A informao est disponvel localmente
s
j

s
i

w
ji

PE
j
PE
i

atividade
pr-sinptica
atividade
ps-sinptica
Algoritmos de Aprendizado
Os algoritmos podem ser definidos
atravs das seguintes caractersticas:

+Regra de Propagao
+Funo de Ativao
+Topologia
+Regra de Aprendizado - Aw
Algoritmos de Aprendizado
Regra de Hebb
Perceptron
Delta Rule (Least Mean Square)
Multi-Layer Perceptron (Back Propagation)
Competitive Learning
Radial Basis Functions (RBFs)

Perceptron
Na sua forma mais simples o modelo do
processador consiste de:

Padro
de
Entrada:
vetor X
x
1

x
2

x
i

s
j

net
j

w
j1

w
j2

w
ji

Bias = u
j

+1
Perceptron
Caractersticas Bsicas:
Regra de Propagao net
j
= E x
i
.w
ji
+ u
j

Funo de Ativao Degrau
Topologia Uma nica camada de
processadores.
Algoritmo de Aprendizado Supervisionado:
Aw
ji
= q.x
i
.t
j

(se t
j
s
j
)
Valores de Entrada/Sada Binrios {-1,1}
Perceptron
Aw
ji
= q s
i
.s
j
Hebbian Learning Rule
Aw
ji
= q s
i
.t
j
Regra de aprendizado do Perceptron
s
j

s
i

w
ji

PE
j
PE
i

atividade
pr-sinptica
atividade
ps-sinptica
t
j

Inspirao na Regra de Hebb:
Perceptron
Como t,s e{-1, +1}, as frmulas abaixo so equivalentes:

- Aw
ji
= q.x
i
.t
j
se t
j
= s
j

0 caso contrrio

-Aw
ji
=q.x
i
.(t
j
. - s
j
)


Se t
j
s
j
= t
j
s
j
= 2t
j
=


2 se t
j
= 1 e s
j
= -1
-2 se t
j
= -1 e s
j
= 1

Algoritmo de Aprendizado
Inicializao:
pesos iniciados com valores aleatrios e pequenos (,w,s0.1)
Treinamento:
+ Loop
1
at que o erro de cada processador de sada seja s tolerncia, para
todos os padres do conjunto de treinamento.
+ Loop
2
at terminar de apresentar todos os padres
O Aplica-se um padro de entrada X
i
com o respectivo vetor de sada Y
i

desejado.
O Calcula-se as sadas de cada processador (s
j
p
).
O Calcula-se o erro para cada processador (e
j

p
=t
j
p

- s
j
p

).
O Calcula o valor de ajuste dos pesos de cada processador (Aw
ji
p
= q.x
i
p

.e
j
p
).
O Volta ao passo O
+ Fim Loop
2
Atualiza os pesos sinpticos w
ji
(t+1) = w
ji
(t) + Aw
ji

+ Fim Loop
1



O Problema do OU-Exclusivo
Rosenblatt (1962) provou que:
Uma rede Perceptron capaz de
Aprender tudo que puder Representar.
Representao refere-se habilidade do
sistema neural de representar (simular) uma
funo especfica (Existe um conjunto de parmetros
pesos que representa a funo desejada)
Aprendizado refere-se existncia de um
procedimento sistemtico de aquisio de
conhecimento (ajuste dos pesos), de forma a
produzir a funo desejada
O Problema do OU-Exclusivo
Minsky & Papert provaram (Perceptrons 1969)
que existem srias restries sobre o que as
redes Perceptron so capazes de Representar.


Por exemplo, as redes Perceptron NO so
capazes de Representar a funo OU-Exclusivo
O Problema do OU-Exclusivo
PONTO X
1
X
2
Sada
A
0
0 0 0
A
1
0 1 1
A
2
1 0 1
A
3
1 1 0
F(net)
w
2

w
1

x
2

x
1

sada: s
De acordo com a definio do
neurnio: s = F( x
1
w
1
+ x
2
w
2
+ u )
+
net = x
1
w
1
+ x
2
w
2
+ u
Funo Degrau
Se net > 0 s = 1
Se net < 0 s = 0
+
A rede Perceptron divide o
plano X
1
x X
2
em duas
regies (atravs da reta net)
x
1

x
2

A
3

A
2

A
0

A
1

-u/w
2

- w
1

w
2

Regio
de s = 0
Regio
de s = 1
u
+1
O Problema do OU-Exclusivo
Concluso:
mudando-se os valores de w
1
, w
2
e u,
muda-se a inclinao e a posio da reta.

Entretanto, impossvel achar uma reta
que divida o plano de forma a separar os
pontos A
1
e A
2
de um lado e A
0
e A
3
de
outro.


O Problema do OU-Exclusivo
Concluso:
mudando-se os valores de w
1
, w
2
e u,
muda-se a inclinao e a posio da reta.

Entretanto, impossvel achar uma reta
que divida o plano de forma a separar os
pontos A
1
e A
2
de um lado e A
0
e A
3
de
outro.
Redes de 1 nica camada s representam
funes linearmente separveis!
Anlise Geomtrica
O Problema do OU-Exclusivo
x
1

x
2

A
3

A
2

A
0

A
1
x
1

x
2

A
3

A
2

A
0

A
1

x
1

x
2

A
3

A
2

A
0

A
1

Funo AND
Funo OU-Exclusivo
Funo OR
Minsky & Papert provaram que este
problema pode ser solucionado
adicionando-se uma outra camada
intermediria de processadores.


Multi-Layer Perceptrons
O Problema do OU-Exclusivo
Anlise Geomtrica
Perceptron 1 camada apenas Multi-Layer Perceptron
insero de camada escondida
Ivan Nunes da Silva, D. H. Spatti, R. A. Flauzino, Redes Neurais Artificiais para
Engenharia e Cincias Aplicadas: Curso Prtico, Artliber Editora, 2010.
O Problema do OU-Exclusivo
Exemplo:
x
1

x
2

A
3

A
2

A
0

A
1

s
1

Regio de
s
1
=1
s
1

w
j2
=+1
w
j1
= -2
u
j
= -0.5
w
12

w
21

w
22

w
11

+1
x
2

x
1

s
j

s
2

s
1

w
11
=w
12
=w
21
=w
22
=+1
-1.5
-0.5
+1
net
1
= x
1
.w
11
+ x
2
.w
12
+ u
1
= 0
x
1
+ x
2
1,5 = 0
x
2
= - x
1
+ 1,5

O Problema do OU-Exclusivo
Exemplo:
x
1

x
2

A
3

A
2

A
0

A
1

s
1

Regio de
s
1
=1
Regio de
s
2
=0
s
2

s
1

w
j2
=+1
w
j1
= -2
u
j
= -0.5
w
12

w
21

w
22

w
11

+1
x
2

x
1

s
j

s
2

s
1

w
11
=w
12
=w
21
=w
22
=+1
-1.5
-0.5
+1
net
2
= x
1
.w
21
+ x
2
.w
22
+ u
2
= 0
x
1
+ x
2
0,5 = 0
x
2
= - x
1
+ 0,5

O Problema do OU-Exclusivo
Exemplo:
s
j
= 1 s
1
w
j1
+ s
2
w
j2
+ u
j
> 0
-2s
1
+ s
2
- 0.5 > 0
-2s
1
+ s
2
> 0.5
x
1

x
2

A
3

A
2

A
0

A
1

s
1

Regio de
s
1
=1
Regio de
s
2
=0
s
2

s
1

w
j2
=+1
w
j1
= -2
u
j
= -0.5
w
12

w
21

w
22

w
11

+1
x
2

x
1

s
j

s
2

s
1

w
11
=w
12
=w
21
=w
22
=+1
-1.5
-0.5
+1
O Problema do OU-Exclusivo
Exemplo:
s
j
= 1 s
1
w
j1
+ s
2
w
j2
+ u
j
> 0
-2s
1
+ s
2
- 0.5 > 0
-2s
1
+ s
2
> 0.5
x
1

x
2

A
3

A
2

A
0

A
1

s
1

Regio de
s
1
=1
Regio de
s
2
=0
s
2

s
1

w
j2
=+1
w
j1
= -2
u
j
= -0.5
w
12

w
21

w
22

w
11

+1
x
2

x
1

s
j

s
2

s
1

w
11
=w
12
=w
21
=w
22
=+1
-1.5
-0.5
+1

s
1
inibitrio
s
2
excitatrio
Regio de
s
j
=1
Observao:

Redes Neurais de mltiplas camadas
s oferecem vantagens sobre as de
uma nica camada se existir uma
funo de ativao no-linear entre
as camadas!
O Problema do OU-Exclusivo
Em termos vetoriais com funo linear :

Camada Escondida NET
H
= X
I
. W
H



O Problema do OU-Exclusivo
PE
3

PE
2

PE
1

PE
n

PE
1

PE
2

PE
m

Vetor S
O

s
1


s
2

.
.
.
s
n

Vetor S
H


Vetor de
Entrada
X
I


W
O
W
H

Funo Linear
Em termos vetoriais com funo linear :

Camada Escondida NET
H
= X
I
. W
H

S
H
= k
1
NET
H


O Problema do OU-Exclusivo
PE
3

PE
2

PE
1

PE
n

PE
1

PE
2

PE
m

Vetor S
O

s
1


s
2

.
.
.
s
n

Vetor S
H


Vetor de
Entrada
X
I


W
O
W
H

Funo Linear
Em termos vetoriais com funo linear :

Camada Escondida NET
H
= X
I
. W
H

S
H
= k
1
NET
H

Camada de Sada NET
O
= S
H
.W
O


O Problema do OU-Exclusivo
PE
3

PE
2

PE
1

PE
n

PE
1

PE
2

PE
m

Vetor S
O

s
1


s
2

.
.
.
s
n

Vetor S
H


Vetor de
Entrada
X
I


W
O
W
H

Funo Linear
Em termos vetoriais com funo linear :

Camada Escondida NET
H
= X
I
. W
H

S
H
= k
1
NET
H

Camada de Sada NET
O
= S
H
.W
O

S
O
= k
2
NET
O


O Problema do OU-Exclusivo
PE
3

PE
2

PE
1

PE
n

PE
1

PE
2

PE
m

Vetor S
O

s
1


s
2

.
.
.
s
n

Vetor S
H


Vetor de
Entrada
X
I


W
O
W
H

Funo Linear
Em termos vetoriais:

Camada Escondida NET
H
= X
I
. W
H

S
H
= k
1
NET
H

Camada de Sada NET
O
= S
H
.W
O

S
O
= k
2
NET
O

S
O
= k
2
[S
H
.W
O
]

O Problema do OU-Exclusivo
PE
3

PE
2

PE
1

PE
n

PE
1

PE
2

PE
m

Vetor S
O

s
1


s
2

.
.
.
s
n

Vetor S
H


Vetor de
Entrada
X
I


W
O
W
H

Funo Linear
Em termos vetoriais:

Camada Escondida NET
H
= X
I
. W
H

S
H
= k
1
NET
H

Camada de Sada NET
O
= S
H
.W
O

S
O
= k
2
NET
O

S
O
= k
2
[S
H
.W
O
]

S
O
= k
2
[(k
1
NET
H
).W
O
]

O Problema do OU-Exclusivo
PE
3

PE
2

PE
1

PE
n

PE
1

PE
2

PE
m

Vetor S
O

s
1


s
2

.
.
.
s
n

Vetor S
H


Vetor de
Entrada
X
I


W
O
W
H

Funo Linear
Em termos vetoriais:

Camada Escondida NET
H
= X
I
. W
H

S
H
= k
1
NET
H

Camada de Sada NET
O
= S
H
.W
O

S
O
= k
2
NET
O

S
O
= k
2
[S
H
.W
O
]

S
O
= k
2
[(k
1
NET
H
).W
O
]
S
O
= k
2
[(k
1
(X
I
. W
H
)).W
O
]

O Problema do OU-Exclusivo
PE
3

PE
2

PE
1

PE
n

PE
1

PE
2

PE
m

Vetor S
O

s
1


s
2

.
.
.
s
n

Vetor S
H


Vetor de
Entrada
X
I


W
O
W
H

Funo Linear
Em termos vetoriais:

Camada Escondida NET
H
= X
I
. W
H

S
H
= k
1
NET
H

Camada de Sada NET
O
= S
H
.W
O

S
O
= k
2
NET
O

S
O
= k
2
[S
H
.W
O
]

S
O
= k
2
[(k
1
NET
H
).W
O
]
S
O
= k
2
[(k
1
(X
I
. W
H
)).W
O
]
S
O
= (k
2
k
1
) X
I
. (W
H
.W
O
)]

O Problema do OU-Exclusivo
PE
3

PE
2

PE
1

PE
n

PE
1

PE
2

PE
m

Vetor S
O

s
1


s
2

.
.
.
s
n

Vetor S
H


Vetor de
Entrada
X
I


W
O
W
H

Funo Linear
Em termos vetoriais:

Camada Escondida NET
H
= X
I
. W
H

S
H
= k
1
NET
H

Camada de Sada NET
O
= S
H
.W
O

S
O
= k
2
NET
O

S
O
= k
2
[S
H
.W
O
]

S
O
= k
2
[(k
1
NET
H
).W
O
]
S
O
= k
2
[(k
1
(X
I
. W
H
)).W
O
]
S
O
= (k
2
k
1
) X
I
. (W
H
.W
O
)]
S
O
= K . X
I
. (W
H
.W
O
)

O Problema do OU-Exclusivo
PE
3

PE
2

PE
1

PE
n

PE
1

PE
2

PE
m

Vetor S
O

s
1


s
2

.
.
.
s
n

Vetor S
H


Vetor de
Entrada
X
I


W
O
W
H

Funo Linear
Em termos vetoriais:

Camada Escondida NET
H
= X
I
. W
H

S
H
= k
1
NET
H

Camada de Sada NET
O
= S
H
.W
O

S
O
= k
2
NET
O

S
O
= k
2
[S
H
.W
O
]

S
O
= k
2
[(k
1
NET
H
).W
O
]
S
O
= k
2
[(k
1
(X
I
. W
H
)).W
O
]
S
O
= (k
2
k
1
) X
I
. (W
H
.W
O
)]
S
O
= K . X
I
. (W
H
.W
O
)
S
O
= K . X
I
. W
T
-
Equivalente a uma camada
O Problema do OU-Exclusivo
PE
3

PE
2

PE
1

PE
n

PE
1

PE
2

PE
m

Vetor S
O

s
1


s
2

.
.
.
s
n

Vetor S
H


Vetor de
Entrada
X
I


W
O
W
H

Funo Linear
O Problema do OU-Exclusivo
PE
1

PE
2

PE
m

Vetor S
O

s
1


s
2

.
.
.
s
n

Vetor de
Entrada
X
I


W
T

Funo Linear
Em termos vetoriais:
Duas camadas com funo linear S
O
= K . X
I
. W
T

Uma camada de Sada linear NET
O
= X
I
.W
T


O Problema do OU-Exclusivo
PE
1

PE
2

PE
m

Vetor S
O

s
1


s
2

.
.
.
s
n

Vetor de
Entrada
X
I


W
T

Funo Linear
Em termos vetoriais:
Duas camadas com funo linear S
O
= K . X
I
. W
T

Uma camada de Sada linear NET
O
= X
I
.W
T

S
O
= K . X
I
. W
T

-

Equivalente a uma camada

Anda mungkin juga menyukai