Aluizio Fausto Ribeiro Arajo

Universidade Federal de Pernambuco

Centro de Informtica
Primeiras Redes Neurais
2
Contedo
1. Modelo de McCullough and Pitts
2. Teoria de Hebb
3. O Perceptron
4. Exemplos
3
Modelo de McCullough and Pitts
Modelo proposto pelo neufisiologista americano Warren Sturgis
McCulloch (16/11/1898-24/09/1969) e um logstico Walter Pitts
(23/04/1923-14/05/1969) em 1943 que foi publicado como um
modelo eletrnico de como neurnios atuariam.
4
Modelo de McCullough and Pitts
Hipteses do Modelo:
O neurnio bi-estvel (sada 0 ou 1);
H um nmero fixo de sinapses excitatrias que precisam
receber estmulos para ativar o neurnio;
O atraso devido sinapse o nico significativo;
Ativao de uma sinapse inibitria impede (inibe) ativao de
um neurnio;
A estrutura do neurnio no muda com o tempo.
5
Modelo de McCullough and Pitts
Proposta de clculo lgico para descrever neurnios e redes, onde:
Todas as sinapses excitatrias tm o mesmo peso.
Todo neurnio ativado por nmero fixo de sinapses.
Todo neurnio computa funo lgica da entrada (funo limiar).
A rede pode ser construda para computar qualquer funo
arbitrria.
6
Teoria de Hebb
Modelo terico de como os neurnios atuam foi porposto no
livro de Hebb (1949), The Organization of Behavior.
Donald Olding Hebb
1904-1985
Crescimento das Sinapses: mudanas nos
valores das conexes.
Quando o axnio de uma clula A est
prximo o suficiente para excitar uma clula B
e repetida e insistentemente toma parte na
emisso de sinal eltrico da clula B, algum
processo de crescimento ou mudana
metablica acontece em ambas clulas tal que
a eficincia de A, para fazer a clula B
disparar, aumentada.
7
O Perceptron
Frank Rosenblatt (11/07/1928-1971), um neuro-cientista americano
que estava vinculado Cornell quando pesquisava sobre a operao do
olho de uma mosca que realiza a maior parte do processamento que
determina para onde a mosca deve fugir.
Em 1957, o Perceptron, foi proposto durante
esta pesquisa e foi implementado em hardware,
tornando-se o primeiro modelo de rede neural
artificial.
Um Perceptron de camada nica foi proposto
como classificador de conjunto de padres com
valores contnuos em uma de duas classes.
8
O Perceptron
A arquitetura de mapeamento de padres chamada Perceptron objetiva
aprender classificaes de padres atravs de treinamento
supervisionado.
9
O Perceptron
As entradas x
i
, i = 1, 2, ..., n so binrias;
Os pesos ?
ji
podem ser positivos ou negativos;
Regra de propagao:
A sada binria determinada pela regra de ativao:

n
i
i
x
ji
w net
j
1
.

'

<

j j
j j
j
T net
T net
y
se 0
se 1
10
O Perceptron
Nesta parte discute-se como treinar a rede. Isto , discute-se
como construir um mecanismo que vai absorver o
conhecimento dentro da rede. Duas so as consideraes
bsicas:
Em temos cognitivos existe uma tendncia de se aprender o
comportamento recompensado e se esquecer o comportamento
penalizado.
Em termos microscpios ou de microcognio necessrio
incluir o conceito de aprendizagem no mecanismo da rede.
11
O Perceptron
{ } . , ) ( que tal , 0 , Seja . , 1 , 1 e , i x u y u i y R x x
i i
n
i i
n
i
>
O paradigma de aprendizagem pode ser descrito da seguinte maneira:
Considere valores de pesos e limiares (thresholds) iniciais;
Apresente uma entrada;
Calcule o efeito da entrada na sada;
Altere pesos para sadas indesejveis;
O Teorema da Convergncia dos Perceptrons (Rosenblatt, 1958;
Block, 1962; Novikoff, 1963) limita o nmero de erros que o algoritmo
do perceptron pode cometer:
Seja (x
1
,y
1
),...,(x
n
,y
n
) uma seqncia de exemplos rotulados com
Ento o perceptron comete no mximo nesta seqncia de
exemplos.
( )
2
2
2
/ u R
12
O Perceptron
Algoritmo de aprendizagem:
Inicialize pesos e limiares:
Atribua valores aleatrios para ?
ji
, (0 i n) e T
j;
Como j = 1, ndice some.
Apresente as entradas e as sadas desejadas:
Represente binariamente os vetores de entrada e sada;
Apresente a entrada (x
0
, x
1
, ..., x
n
) e a sada alvo [t(t)]
Calcule a sada pela Funo de Heaviside em t:
Recalcule os Pesos:
1
]
1

n
i
i i h
t x w f t y
1
) ( ) (
ji ji
i ji ji
i ji ji
w w t t t y
x w w t t t y
x w w t t t y


+
) ( ) (
0 ) ( , 1 ) (
1 ) ( , 0 ) (
13
Adaptive Linear Neurons
A primeira modificao consiste de atenuar as modificaes nos pesos
no perodo de treinamento. Isto conseguida atravs da introduo de
fator multiplicativo da variao do peso.
Substitua o passo de ajustar pesos:
Widrow e Hoff (1960) modificaram a regra acima de maneira que
as variaes nos pesos fossem proporcionais s diferenas entre a
sada real e a desejada. Os pesquisadores propuseram se calcular a
diferena entre as sadas mencionadas acima e cham-la de ERRO.
. 1 0 , ) ( ) (
0 ) ( , 1 ) (
1 ) ( , 0 ) (
<

+

ji ji
i ji ji
i ji ji
w w t t t y
x w w t t t y
x w w t t t y
14
Em 1959, Bernard Widrow (24/12/1929) e Marcian Edward "Ted"
Hoff, Jr. (28/10/1937), de Stanford, desenvolveram modelos chamados
ADALINE e MADALINE que receberam seus nomes devido ao uso de
elementos lineares e adaptativos mltiplos (Multiple ADAptive LINear
Elements). MADALINE foi a primeira RN usada em um problema do
mundo real: filtro adaptativo para eliminar ecos em linhas telefnicas.
Adaptive Linear Neurons
15
Adaptive Linear Neurons
Adaline foi uma verso modificada do Perceptron, cuja regra de
propagao de Adaline :
A regra de ativao (para uma representao binria) :
Algoritmo de treinamento proposto por Widrow-Hoff atualiza os pesos
com base em um erro entre a sada obtida e a desejada.

n
i
i i j
x net
1

1
]
1

n
i
i i h
t x w f t y
0
) ( ) (
16
Adaptive Linear Neurons
Algoritmo de treinamento proposto por Widrow-Hoff:
Seja x
p
um padro com sada desejada e obtida t
p
e y
p
. Define-se o erro:
Os pesos so ajustados para minimizar o erro
Este erro varia com relao a cada um dos pesos:
A regra de Widrow-Hoff ou regra Delta ou regra Least-Means-Square
(LMS):
p p p
y t d
2
2
1
p p
d E
i i p p
i i
p
.x d ) t (y
w w
E

i i i i
i
p
i i
x w w
t ?
t E
w w +

+
) (
) (
17
Adaptive Linear Neurons
Variaes do modelo ADALINE:
HARDWARE: implementada no computador analgico.
SOFTWARE: simulaes num IBM 1620 at 1000 pesos.
MADALINE: Conjunto de ADALINES
que lanam suas respostas em uma
ADALINE fixa.
A ADALINE fixa atua com voto de
maioria: Se mais que a metade das sadas das
ADALINEs so +1 a sada da MADALINE
tambm o .
Pode resolver problemas complexos, mas
no se provou convergncia.
18
Perceptron
Pode-se entender o procedimento de aprendizagem do Perceptron
observando a evoluo do vetor peso no tempo.
Comportamento do vetor de pesos no espao de
padres
Evoluo da Linha de Classificao ()
19
Perceptron
Separabilidade linear: Separao
linear de dois conjuntos de
padres pertencentes a classe
diferentes.
Limitao do perceptron com
respeito separabilidade linear.
20
Perceptron
O perceptron no pode
aprender exemplos que
no sejam linearmente
separveis tais como a
porta XOR.
Marvin Lee Minsky
(09/08/1927)
Seymour Papert
(29/02/1928)
21
Exemplos
EXEMPLO 1:
Um Perceptron deve ser treinado para reconhecer a porta lgica OR.
As condies iniciais de treinamento so:
As amostras e as sadas da porta lgica OR so
1 ; 0 ; 0 ; 0
3 2 1
T w w w
1 1 1 1 4
1 1 0 1 3
1 1 1 0 2
0 1 0 0 1
SADA DESEJADA T X
2
X
1
AMOSTRA
22
Exemplos
Seqncia de
treinamento:
0
0
1
1
1
1
0
1
1
1
1
0
1
1
2
(1 1 1)
(1 1 1)
- (0 0 1)
(1 1 0)
(1 1 0)
(1 1 0)
(0 0 1)
(0 0 1)
(0 1 1)
(1 0 1)
(1 1 1)
10
11
12
13
14
IV
0
1
1
1
0
1
0
1
0
1
0
2
(0 1 0)
(0 1 0)
(0 1 0)
(0 1 0)
+ (1 0 1)
(0 0 1)
(0 1 1)
(1 0 1)
(1 0 1)
6
7
8
9
III
0
0
1
0
1
0
(0 1 1)
(0 1 1)
(0 0 1)
(0 0 1)
(0 0 1)
4
5
II
0
1
1
0
0
1
0
0
2
(0 0 0)
(0 0 0)
(0 0 0)
+ (0 1 1)
(0 0 1)
(0 1 1)
(0 1 1)
1
2
3
I
DE
S.
REA
L
SADAS
SU
M
PESOS
(W
1
, W
2
,
W
3
)
ENTRADAS (X
1
,
X
2
, T)
INST. DE
TEMPO
ESTG
IO
23
Exemplos
EXEMPLO 1:
Variao dos pesos durante o treinamento:
24
Exemplos
EXEMPLO 2:
Reconhecimento de dgitos
comumente usados em displays
digitais. Tais dgitos so
resultado de uma combinao
apropriada de segmentos como
em sete possibilidades como
mostrada na figura ao lado.
Um sistema de visualizao
identifica os estados de
ativao dos segmentos e
estes estados so entradas
para um perceptron como na
figura ao lado.
25
Exemplos
Representao das entradas:
1 0 0 1 1 0 0 0
2 1 1 0 1 1 0 1
3 0 1 1 1 1 0 1
4 0 1 1 1 0 1 1
5 0 1 1 0 1 1 1
6 1 1 1 0 1 1 1
7 0 0 1 1 1 0 0
8 1 1 1 1 1 1 1
9 1 0 1 1 1 1 1
0 1 1 1 1 1 1 0
Dgito X
6
X
5
X
4
X
3
X
2
X
1
X
0
26
Exemplos
EXEMPLO 2:
Cada um dos dgitos reconhecido pela rede. Logo, para treinar um
Perceptron reconhecedor de dgitos 1, s a ltima linha produziria sada
1, enquanto todas as demais produziriam sada 0.
Para identificar o nmero 0 (zero) s duas mudanas so necessrias.
1 1 1 (-1 0 0 0 0 0 1 0) (0 1 1 1 1 1 1 1)
0 1 7 (0 1 1 1 1 1 1 1) (1 1 1 1 1 0 1 1)
1 1 7 (0 1 1 1 1 1 1 1) (0 1 1 1 1 1 1 1)
1 0 0 (0 0 0 0 0 0 0 0) (0 1 1 1 1 1 1 1)
Resposta Correta Sada Som Pesos Entrada
Com dois seguimentos ( 0 inativo e 6 ativo) o zero identificado.
So observadas 65 mudanas para identificar o dgito 8, resultando nos
pesos (3 3 0 6 1 7 4 7).