Introduo s Redes 2
Introduo
Introduo s Redes 3
Introduo
Introduo s Redes 4
Introduo
Encontrou-se uma arquitetura capaz no s de aprender como tambm
generalizar.
Introduo s Redes 5
Quando as redes neurais so teis
Introduo s Redes 6
Histrico das Redes Neurais
Introduo s Redes 7
Histrico das Redes Neurais
Durante as dcadas de 50 e 60 muitos pesquisadores trabalharam no
peceptron com grande afinco e excitao.
Introduo s Redes 8
Redes Neurais Naturais
O neurnio a unidade fundamental constituinte do sistema nervoso
Sinapses
Dendritos
Axnio
Corpo
Somtico
Introduo s Redes 9
O neurnio
Ele constitudo de:
um volumoso corpo central denominado pericrio no qual so
produzidos os impulsos nervosos
prolongamentos finos e delgados atravs dos quais estes impulsos so
transmitidos e recebidos.
Fundamentalmente existem dois tipos de prolongamentos:
os dendritos (ou dendrnios) : mais curtos e ramificados, atravs dos quais so
recebidos os impulsos nervosos provenientes de outros neurnios e que se
destinam ao corpo central.
o axnio (ou cilindro eixo): atravs do qual a clula nervosa transmite os
impulsos nela originados. Em geral os axnios so muito longos (alcanando s
vezes o tamanho de 1m de comprimento) e so nicos para cada clula. Nele os
dendritos de outros neurnios se ligaro de forma a obter o impulso
correspondente ao "resultado de sada" desta clula.
Introduo s Redes 10
As sinapses
Introduo s Redes 11
Sinapses
Introduo s Redes 12
Neurnios trabalhando...
Todo neurnio tem um pequeno potencial eltrico de repouso na sua membrana, da ordem
de -65mV.
Quando este atinge a marca de -45mV, o neurnio atinge o que se chama potencial de ao.
Para atingir este estado necessria a atuao de vrios neurnio pr-sinpticos (cerca de
70 para o neurnio motor tpico)
Introduo s Redes 13
Neurnios trabalhando...
Graficamente:
Cone axnico
-45 mV
Propagao do
potencial de ao
Introduo s Redes 14
Redes Neurais Naturais
Introduo s Redes 15
Redes Neurais naturais
Introduo s Redes 16
O neurnio artificial
x1 w1
x2 w2
.
. f ( wt x ) Sada
wn
.
xn
Introduo s Redes 17
O neurnio artificial
Introduo s Redes 18
O neurnio artificial
T=0
Introduo s Redes 19
O neurnio artificial
Cone axnico
-45 mV
T=0 Propagao do
potencial de ao
Introduo s Redes 20
As primeiras redes neurais
Neurnios de uma rede de McCulloch-Pitts esto ligados por
caminhos direcionados e com pesos.
Cada um dos pesos pode ser positivo ou negativo, emulando as
sinapses inibitrioas ou excitatrias existentes no neurnio real.
Cada neurnio tem o seu prprio threshold
Se a soma ponderada das entradas exceder este limite, o neurnio
disparar. X 1
2
X2 2 Y
-1
X3
Introduo s Redes 21
As primeiras redes neurais
X1
2
X2 2 Y
-1
X3
Introduo s Redes 22
As primeiras redes neurais
X1
2
X2 2 Y
-1
X3
Introduo s Redes 23
As primeiras redes neurais
Normalmente, o valor do threshold definido de forma que se uma das
entradas inibitrias estiver presente, o neurnio no disparar.
X1
2
X2 2 Y
-1
X
No caso desta rede, colocamos
3
o threshold em 4.
Para termos algum controle, determinamos que demora um tempo finito para
o sinal de propagar das entradas at a sada.
Introduo s Redes 24
Resumindo o nosso neurnio...
ini j Wj , iaj
aj : Valor de ativao da unidade j
wj,I : Peso sinptico ligando a unidade j
unidade i
inI : Soma ponderada das entradas unidade
i
aI : Valor de ativao da unidade i
g : Funo de ativao usada
Introduo s Redes 25
Perceptron: unidade X rede
O Step 0 j WjIj
Introduo s Redes 26
Exemplos
AND
X1 1
X1 X2 Y
Y 1 1 1
X2 1
1 0 0
0 1 0
Funo AND 0 0 0
Threshold(Y) = 2
Introduo s Redes 27
Exemplos
OR
X1 2 X1 X2 Y
Y 1 1 1
1 0 1
X2 2
0 1 1
Funo OR 0 0 0
Threshold(Y) = 2
Introduo s Redes 28
Exemplos
AND
2
NOT
X1
X1 X2 Y
Y
1 1 0
X2 -1 1 0 1
0 1 0
Funo AND NOT
0 0 0
Threshold(Y) = 2
Introduo s Redes 29
Funes de ativaco
s pequeno
Introduo s Redes 31
Redes simples que vimos at agora
AND OR NOT
Input 1 0 0 1 1 0 0 1 1 0 1
Input 2 0 1 0 1 0 1 0 1
Output 0 0 0 1 0 1 1 1 1 0
Introduo s Redes 32
O que os perceptrons podem representar?
AND XOR
Input 1 0 0 1 1 0 0 1 1
Input 2 0 1 0 1 0 1 0 1
Output 0 0 0 1 0 1 1 0
Introduo s Redes 33
O que os perceptrons podem representar?
AND e OR XOR
2
2
X1 -1 Z1
Y
X2 -1 Z2
2
2
Funo XOR
Introduo s Redes 35
O que um perceptron pode representar?
AND
Input 1 0 0 1 1
Input 2 0 1 0 1
Output 0 0 0 1
Introduo s Redes 37
Aprendizado
Introduo s Redes 38
Termos usados no algoritmo
Erro : Diferena entre o valor calculado pela rede e o valor desejado. Por
exemplo, se quisssemos uma sada de valor 0 e ela gerasse 1, ento o
Erro = -1
Introduo s Redes 39
Termos usados no algoritmo
Introduo s Redes 40
Treinando um perceptron
-1
W = 0.3
x t = 0.0
W = 0.5
W = 0.4
y
I1 I2 I3 Soma Sada
-1 0 0 (-1*0.3) + (0*0.5) + (0*0.4) = -0.3 0
-1 0 1 (-1*0.3) + (0*0.5) + (1*0.4) = 0.1 1
-1 1 0 (-1*0.3) + (1*0.5) + (0*-0.4) = 0.2 1
-1 1 1 (-1*0.3) + (1*0.5) + (1*0.4) = 0.6 1
Introduo s Redes 41
Treinando nossa rede
Introduo s Redes 42
Treinando um perceptron
-1
W = 0.5
x t = 0.0
W = 0.4
W = 0.4
y
I1 I2 I3 Soma Sada
-1 0 0 (-1*0.5) + (0*0.4) + (0*0.4) = -0.5 0
-1 0 1 (-1*0.5) + (0*0.4) + (1*0.4) = -0.1 0
-1 1 0 (-1*0.5) + (1*0.4) + (0*0.4) = -0.1 0
-1 1 1 (-1*0.5) + (1*0.4) + (1*0.4) = 0.3 1
Introduo s Redes 43
Treinando nossa rede
Introduo s Redes 44
O ressurgimento
Introduo s Redes 45