Redes Neurais Artificiais.

pdf
Salvo no Dropbox 6 de nov de 2017 15@08

Voc ver nesta pgina um tutorial introdutrio sobre Redes Neurais Artificiais, em especial sobre as Redes Multi Layer Perceptron treinadas com
BackPropagation

Tpicos:

Introduo

Um Breve Histrico
Caractersticas Gerais das Redes Neurais
Processos de Aprendizado
Treinamento Supervisionado

Perceptron multi-camadas (MLP)

Backpropagation
Treinamento da Rede MLP
Utilizao
Limitaes

Desenvolvimento de Aplicaes

Hot Links

Introduo

Redes Neurais Artificiais so tcnicas computacionais que apresentam um modelo matemtico inspirado na estrutura neural de organismos
inteligentes e que adquirem conhecimento atravs da experincia. Uma grande rede neural artificial pode ter centenas ou milhares de unidades de
processamento; j o crebro de um mamfero pode ter muitos bilhes de neurnios.

O sistema nervoso formado por um conjunto extremamente complexo de clulas, os neurnios. Eles tm um papel essencial na determinao
do funcionamento e comportamento do corpo humano e do raciocnio. Os neurnios so formados pelos dendritos, que so um conjunto de
terminais de entrada, pelo corpo central, e pelos axnios que so longos terminais de sada.

Constituntes da clula neuronal - esquema.

Outras figura:

Cortex - esquema.
Vrias formas de neurnios - esquema.
Micro-fotografia de neurnios 1.
Micro-fotografia de neurnios 2.
Micro-fotografia de neurnio de macaco.
Micro-fotografia de neurnios em sinapse.

Os neurnios se comunicam atravs de sinapses. Sinapse a regio onde dois neurnios entram em contato e atravs da qual os impulsos
nervosos so transmitidos entre eles. Os impulsos recebidos por um neurnio A, em um determinado momento, so processados, e atingindo um
dado limiar de ao, o neurnio A dispara, produzindo uma substncia neurotransmissora que flui do corpo celular para o axnio, que pode estar
conectado a um dendrito de um outro neurnio B. O neurotransmissor pode diminuir ou aumentar a polaridade da membrana ps-sinptica,
inibindo ou excitando a gerao dos pulsos no neurnio B. Este processo depende de vrios fatores, como a geometria da sinapse e o tipo de
neurotransmissor.

Em mdia, cada neurnio forma entre mil e dez mil sinapses. O crebro humano possui cerca de 10 E11 neurnios, e o nmero de sinapses de
mais de 10 E14, possibilitando a formao de redes muito complexa.
 Um Breve Histrico

Um histrico resumido sobre Redes Neurais Artificiais deve comear por trs das mais importantes publicaes iniciais, desenvolvidas por:
McCulloch e Pitts (1943), Hebb (1949), e Rosemblatt (1958). Estas publicaes introduziram o primeiro modelo de redes neurais simulando
mquinas, o modelo bsico de rede de auto-organizao, e o modelo Perceptron de aprendizado supervisionado, respectivamente.

Alguns histricos sobre a rea costumam pular os anos 60 e 70 e apontar um renicio da rea com a publicao dos trabalhos de Hopfield
(1982) relatando a utilizao de redes simtricas para otimizao e de Rumelhart, Hinton e Williams que introduziram o poderoso mtodo
Backpropagation.

Entretanto, para se ter um histrico completo, devem ser citados alguns pesquisadores que realizaram, nos anos 60 e 70, importantes trabalhos
sobre modelos de redes neurais em viso, memria, controle e auto-organizao como: Amari, Anderson, Cooper, Cowan, Fukushima, Grossberg,
Kohonen, von der Malsburg, Werbos e Widrow.

Caractersticas Gerais das Redes Neurais

Uma rede neural artificial composta por vrias unidades de processamento, cujo funcionamento bastante simples. Essas unidades, geralmente
so conectadas por canais de comunicao que esto associados a determinado peso. As unidades fazem operaes apenas sobre seus dados
locais, que so entradas recebidas pelas suas conexes. O comportamento inteligente de uma Rede Neural Artificial vem das interaes entre as
unidades de processamento da rede.

A operao de uma unidade de processamento, proposta por McCullock e Pitts em 1943, pode ser resumida da seguinte maneira:

Sinais so apresentados entrada;

Cada sinal multiplicado por um nmero, ou peso, que indica a sua influncia na sada da unidade;
feita a soma ponderada dos sinais que produz um nvel de atividade;
Se este nvel de atividade exceder um certo limite (threshold) a unidade produz uma determinada resposta de sada.

Esquema de unidade McCullock - Pitts.

Suponha que tenhamos p sinais de entrada X1, X2, ..., Xp e pesos w1, w2, ..., wp e limitador t; com sinais assumindo valores booleanos (0 ou 1)
e pesos valores reais.

Neste modelo, o nvel de atividade a dado por:

a = w1X1 + w2X2 + ... + wpXp

A sada y dada po

y = 1, se a >= t ou
y = 0, se a < t.

A maioria dos modelos de redes neurais possui alguma regra de treinamento, onde os pesos de suas conexes so ajustados de acordo com os
padres apresentados. Em outras palavras, elas aprendem atravs de exemplos.

Arquiteturas neurais so tipicamente organizadas em camadas, com unidades que podem estar conectadas s unidades da camada posterior.
 Organizao em camadas.
Usualmente as camadas so classificadas em trs grupos:

Camada de Entrada: onde os padres so apresentados rede;

Camadas Intermedirias ou Escondidas: onde feita a maior parte do processamento, atravs das conexes ponderadas; podem ser
consideradas como extratoras de caractersticas;
Camada de Sada: onde o resultado final concludo e apresentado.

Uma rede neural especificada, principalmente pela sua topologia, pelas caractersticas dos ns e pelas regras de treinamento. A seguir, sero
analisados os processos de aprendizado.

Processos de Aprendizado

A propriedade mais importante das redes neurais a habilidade de aprender de seu ambiente e com isso melhorar seu desempenho. Isso feito
atravs de um processo iterativo de ajustes aplicado a seus pesos, o treinamento. O aprendizado ocorre quando a rede neural atinge uma soluo
generalizada para uma classe de problemas.

Denomina-se algoritmo de aprendizado a um conjunto de regras bem definidas para a soluo de um problema de aprendizado. Existem muitos
tipos de algoritmos de aprendizado especficos para determinados modelos de redes neurais, estes algoritmos diferem entre si principalmente pelo
modo como os pesos so modificados.

Outro fator importante a maneira pela qual uma rede neural se relaciona com o ambiente. Nesse contexto existem os seguintes paradigmas de
aprendizado:

Aprendizado Supervisionado, quando utilizado um agente externo que indica rede a resposta desejada para o padro de entrada;
Aprendizado No Supervisionado (auto-organizao), quando no existe uma agente externo indicando a resposta desejada para os
padres de entrada;
Reforo, quando um crtico externo avalia a resposta fornecida pela rede.

Denomina-se ciclo uma apresentao de todos os N pares (entrada e sada) do conjunto de treinamento no processo de aprendizado. A correo
dos pesos num ciclo pode ser executado de dois modos:

1) Modo Padro: A correo dos pesos acontece a cada apresentao rede de um exemplo do conjunto de treinamento. Cada
correo de pesos baseia-se somente no erro do exemplo apresentado naquela iterao. Assim, em cada ciclo ocorrem N correes.

2) Modo Batch: Apenas uma correo feita por ciclo. Todos os exemplos do conjunto de treinamento so apresentados rede, seu erro
mdio calculado e a partir deste erro fazem-se as correes dos pesos.

Treinamento Supervisionado

O treinamento supervisionado do modelo de rede Perceptron, consiste em ajustar os pesos e os thresholds de suas unidades para que a
classificao desejada seja obtida. Para a adaptao do threshold juntamente com os pesos podemos consider-lo como sendo o peso associado a
uma conexo, cuja entrada sempre igual -1 e adaptar o peso relativo a essa entrada.

Quando um padro inicialmente apresentado rede, ela produz uma sada. Aps medir a distncia entre a resposta atual e a desejada, so
realizados os ajustes apropriados nos pesos das conexes de modo a reduzir esta distncia.Este procedimento conhecido como Regra Delta.
 Regra Delta

Deste modo, temos o seguinte esquema de treinamento.

Iniciar todas as conexes com pesos aleatrios;

Repita at que o erro E seja satisfatoriamente pequeno (E = e)

Para cada par de treinamento (X,d), faa:

Calcular a resposta obtida O;

Se o erro no for satisfatoriamente pequeno E > e, ento:

Atualizar pesos: Wnovo := W anterior + neta E X

Onde:

O par de treinamento (X, d) corresponde ao padro de entrada e a sua respectiva resposta desejada;
O erro E definido como: Resposta Desejada - Resposta Obtida (d - O);
A taxa de aprendizado neta uma constante positiva, que corresponde velocidade do aprendizado.

Esquema de treinamento do Perceptron.

As respostas geradas pelas unidades so calculadas atravs de uma funo de ativao. Existem vrios tipos de funes de ativao, as mais
comuns so: Hard Limiter, Threshold Logic e Sigmoid.

Tpicos

Perceptron Multi-Camadas (MLP)

Desenvolvimento de Aplicaes

Hot Links
Links para pginas sobre Redes Neurais Artificiais.

SNNS- Sttutgart Neural Networks Simulator.

Back to my personal page!