1

PERCEPTRON
Caractersticas Bsicas
Modelo de Neurnio
Estrutura da Rede
Algoritmo de Aprendizado
CARACTERISTICAS BASICAS
- Regra de propagao
- Funo de ativao: Degrau
- Topologia: uma nica camada de processadores
- Algoritmo de Aprendizado: w
ij
= x
i
(t
j
- s
j
)
(supervisionado)
- Valor de Entrada/Sada: Binrios

+ =
i
i ij i j
w x net
2
MODELO DO NEURNIO
( )

>
= |

\
|
+ = =

0 0
0 1
j
j
i
i ij i j j
net
net
w x F net F s
Na sua forma mais simples, o modelo do
processador consiste em:
Padro de
entrada
vetor x
y
i
x
1
x
2
...
x
n

F
s
j
w
1j
w
2j
w
nj
PERCEPTRON
Finalidade do Termo Bias:
0 =

i
ij i
w x
0 = +

i
i ij i
w x
Define um hiperplano passando pela origem
Desloca-se o hiperplano da origem
3
ALGORITMO DE APRENDIZADO
1) iniciar os pesos sinpticos com valores randomicos e
pequenos ou iguais a zero;
2) aplicar um padro com seu respectivo valor
desejado de sada (t
j
) e verificar a sada da rede (s
j
);
3) calcula o erro na sada E
j
= t
j
- s
j
;
4) se E
j
= 0, volta ao passo 2;
se E
j
0, atualiza os pesos: w
ij
= x
i
E
j
;
5) volta ao passo 2.
ALGORITMO DE APRENDIZADO
IMPORTANTE
no ocorre variao no peso se a sada estiver correta;
caso contrario, cada peso incrementado de quando
a sada menor que o target e decrementado de
quando a sada maior que o target.
w
ij
= x
i
e
j
4
PROCESSO DE APRENDIZADO
Processo de minimizao do erro quadrtico pelo mtodo
do Gradiente Descendente
ij
ij
w
E
w

=
Cada peso sinptico i do elemento processador j
atualizado proporcionalmente ao negativo da derivada
parcial do erro deste processador com relao ao peso.
PROCESSO DE APRENDIZADO
Calcula w
ij
j ij i j
w x x + =

ij
j
j
p
ij
p
ij
w
x
x
E
w
E
w

=
i
x
( )

=
j
j j p
x t E
2
2
1
( )( ) 1
2
1
2
j j
x t
( )
i j j ij
x x t w =
5
EXEMPLO
AND x
0
x
1
x
2
t
Entrada 1: 1 0 0 0
Entrada 2: 1 0 1 0
Entrada 3: 1 1 0 0
Entrada 4: 1 1 1 1
Peso inicial: w
0
= 0, w
1
= 0, w
2
=0
Taxa de aprendizado: = 0.5
Simulao do Operador Lgico AND
s
1
s
out
s
2
x
1
x
2
w
1
w
2
s
0
+1
Estrutura da Rede
1
a
Cicle
Entrada 1: s
out
= f(w
0
x
0
+ w
1
x
1
+ w
2
x
2
)
= f(01+00+00) = f(0) = 0 s
out
= t
Entrada 2: s
out
= f(w
0
x
0
+ w
1
x
1
+ w
2
x
2
)
= f(01+01+00) = f(0) = 0 s
out
= t
Entrada 3: s
out
= f(w
0
x
0
+ w
1
x
1
+ w
2
x
2
)
= f(01+00+01) = f(0) = 0 s
out
= t
Entrada 4: s
out
= f(w
0
x
0
+ w
1
x
1
+ w
2
x
2
)
= f(01+01+01) = f(0) = 0 s
out
t
w
0
= w
0
+(t-s
out
)x
0
= 0 + 0.5 (1-0) 1=0.5
w
1
= w
1
+(t-s
out
)x
1
= 0 + 0.5 (1-0) 1=0.5
w
2
= w
2
+(t-s
out
)x
2
= 0 + 0.5 (1-0) 1=0.5
EXEMPLO
6
2
a
Ciclo
Entrada 1: s
out
= f(w
0
x
0
+ w
1
x
1
+ w
2
x
2
)
= f(0.51+0.50+0.50) = f(0.5) = 1 s
out
t
w
0
= w
0
+(t-s
out
)x
0
= 0.5 + 0.5 (0-1) 1 = 0
w
1
= w
1
+(t-s
out
)x
1
= 0.5 + 0.5 (0-1) 0 = 0.5
w
2
= w
2
+(t-s
out
)x
2
= 0.5 + 0.5 (0-1) 0 = 0.5
Entrada 2: s
out
= f(w
0
x
0
+ w
1
x
1
+ w
2
x
2
)
= f(01+0.50+0.51) = f(0.5) = 1 s
out
t
w
0
= w
0
+(t-s
out
)x
0
= 0 + 0.5 (0-1) 1 = -0.5
w
1
= w
1
+(t-s
out
)x
1
= 0.5 + 0.5 (0-1) 0 = 0.5
w
2
= w
2
+(t-s
out
)x
2
= 0.5 + 0.5 (0-1) 1 = 0
EXEMPLO
2
a
Ciclo
Entrada 3: s
out
= f(w
0
x
0
+ w
1
x
1
+ w
2
x
2
)
= f(-0.51+0.51+00) = f(0) = 0 s
out
= t
Entrada 4: s
out
= f(w
0
x
0
+ w
1
x
1
+ w
2
x
2
)
= f(-0.51+0.51+01) = f(0) = 0 s
out
t
w
0
= w
0
+(t-s
out
)x
0
= -0.5 + 0.5 (1-0) 1 = 0
w
1
= w
1
+(t-s
out
)x
1
= 0.5 + 0.5 (1-0) 1 = 1
w
2
= w
2
+(t-s
out
)x
2
= 0 + 0.5 (1-0) 1 = 0.5
EXEMPLO
7
3
a
Ciclo
Entrada 1: s
out
= f(w
0
x
0
+ w
1
x
1
+ w
2
x
2
)
= f(01+10+0.50) = f(0) = 0 s
out
= t
Entrada 2: s
out
= f(w
0
x
0
+ w
1
x
1
+ w
2
x
2
)
= f(01+10+0.51) = f(0.5) = 1 s
out
t
w
0
= w
0
+(t-s
out
)x
0
= -0.5 + 0.5 (0-1) 1 = -1
w
1
= w
1
+(t-s
out
)x
1
= 1 + 0.5 (0-1) 0 = 1
w
2
= w
2
+(t-s
out
)x
2
= 0.5 + 0.5 (0-1) 1 = 0
EXEMPLO
3
a
Ciclo
Entrada 3: s
out
= f(w
0
x
0
+ w
1
x
1
+ w
2
x
2
)
= f(-11+11+00) = f(0) = 0 s
out
= t
Entrada 4: s
out
= f(w
0
x
0
+ w
1
x
1
+ w
2
x
2
)
= f(-11+11+01) = f(0) = 0 s
out
t
w
0
= w
0
+(t-s
out
)x
0
= -1 + 0.5 (1-0) 1 = -0.5
w
1
= w
1
+(t-s
out
)x
1
= 1 + 0.5 (1-0) 1 = 1.5
w
2
= w
2
+(t-s
out
)x
2
= 0 + 0.5 (1-0) 1 = 0.5
EXEMPLO
8
4
a
Ciclo
Entrada 1: s
out
= f(w
0
x
0
+ w
1
x
1
+ w
2
x
2
)
= f(-0.51+1.50+0.50) = f(-0.5) = 0 s
out
= t
Entrada 2: s
out
= f(w
0
x
0
+ w
1
x
1
+ w
2
x
2
)
= f(-0.51+1.50+0.51) = f(0) = 0 s
out
= t
Entrada 3: s
out
= f(w
0
x
0
+ w
1
x
1
+ w
2
x
2
)
= f(-0.51+1.51+0.50) = f(1) = 1 s
out
t
w
0
= w
0
+(t-s
out
)x
0
= -0.5 + 0.5 (0-1) 1 = -1
w
1
= w
1
+(t-s
out
)x
1
= 1.5 + 0.5 (0-1) 1 = 1
w
2
= w
2
+(t-s
out
)x
2
= 0.5 + 0.5 (0-1) 0 = 0.5
Entrada 4: s
out
= f(w
0
x
0
+ w
1
x
1
+ w
2
x
2
)
= f(-11+11+0.51) = f(0.5) = 1 s
out
= t
EXEMPLO
5
a
Ciclo
Entrada 1: s
out
= f(w
0
x
0
+ w
1
x
1
+ w
2
x
2
)
= f(-11+10+0.50) = f(-1) = 0 s
out
= t
Entrada 2: s
out
= f(w
0
x
0
+ w
1
x
1
+ w
2
x
2
)
= f(-11+10+0.51) = f(-0.5) = 0 s
out
= t
Entrada 3: s
out
= f(w
0
x
0
+ w
1
x
1
+ w
2
x
2
)
= f(-11+11+0.50) = f(0) = 0 s
out
= t
Entrada 4: s
out
= f(w
0
x
0
+ w
1
x
1
+ w
2
x
2
)
= f(-11+11+0.51) = f(0.5) = 1 s
out
= t
w
0
= -1, w
1
= 1, w
2
= 0.5
EXEMPLO
9
INTERPRETAO GEOMTRICA
(0,0)
(1,0)
(1,1) (0,1)
x
1
+ 0.5x
2
=1
Linha de Deciso:
x
1
w
1
+x
2
w
2
= -
x
1
+ 0.5 x
2
= 1
O PROBLEMA DO OU-EXCLUSIVO (XOR)
PONTO X
1
X
2
Sada
A
0
0 0 0
A
1
0 1 1
A
2
1 0 1
A
3
1 1 0
F(y)
w
1
w
2
x
1
x
2
sada x
De acordo com a definio do
neurnio: x = F(x
1
w
1
+x
2
w
2
+)

= <
=
+ + =
0 0
1 0
2 2 1 1
x y se
x y se
w x w x y
A rede perceptron divide o plano
X
1
X
2
em duas regies (atravs
da reta y).
A
0
A
1
A
2
A
3

-w
1
/w
2
Regio de x = 1
Regio de x = 0
10
Concluso
- mudando-se os valores de w
1
, w
2
e , muda-se
a inclinao e a posio da reta;
- entretanto impossvel achar uma reta que
divide o plano de forma separar os pontos A
1
e
A
2
de um lado e A
0
e A
3
de outro
- redes de 1 nica camada s representam
funes linearmente separveis
O PROBLEMA DO OU-EXCLUSIVO (XOR)
O PROBLEMA DO OU-EXCLUSIVO (XOR)
A
0
A
1
A
2 A
3
x
1
x
2
A
0
A
1
A
2 A
3
x
1
x
2
A
0
A
1
A
2
A
3
x
1
x
2
11
Minsky & Papert provaram que este problema pode ser
solucionado adicionando-se uma outra camada
intermediaria de processadores- Multi-Layer Perceptron
(MLP)
O PROBLEMA DO OU-EXCLUSIVO (XOR)
O PROBLEMA DO OU-EXCLUSIVO (XOR)
12
O PROBLEMA DO OU-EXCLUSIVO (XOR)
- Redes Neurais de mltiplas camadas s oferecem vantagens sobre
as de uma nica camada se existir uma funo de ativao no-
linear entre as camadas.
Camada Escondida: y
1
= x
0
W
1
x
1
= k
1
y
1
Camada de Sada: x
2
= k
2
y
2
= k
2
(x
1
W
2
)
= k
2
((k
1
y
1
)W
2
)
= k
2
((k
1
x
0
W
1
)W
2
)
= k
2
k
1
(x
0
W
1
)W
2
= Kx
0
(W
1
W
2
)
= Kx
0
W
Equivalente a uma nica camada
UMA OBSERVAO
13
MULTI-LAYER PERCEPTRON
Redes de apenas uma camada s representam funes
linearmente separveis
Redes de mltiplas camadas solucionam essa restrio
O desenvolvimento do algoritmo Back-Propagation foi
um dos motivos para o ressurgimento da rea de redes
neurais