INTRODUO AO ESTUDO DE REDES NEURAIS ARTIFICIAIS MDULO INTRODUTRIO

Laboratrio de Conexionismo e Cincias Cognitivas L3C Grupo SICRES INE - UFSC

Objetivo
Oferecer ao aluno uma introduo abordagem da IA conexionista, descrevendo caractersticas de funcionamento, formas de aprendizado, modelos de redes neurais e aplicaes tpicas.

Introduo
As abordagens da Inteligncia Artificial IA Simblica:
Em um primeiro momento, a inteligncia era geralmente associada a uma caracterstica unicamente humana, de representao de conhecimentos e resoluo de problemas, refletindo um ponto de vista altamente antropocntrico. Um sistema simblico capaz de manifestar um comportamento inteligente. HIPTESE DO SISTEMA DE SMBOLOS FSICOS (Newell & Simon) (Newell

Introduo
As abordagens da Inteligncia Artificial IA Conexionista:
Se for construdo um modelo suficientemente preciso do crebro, este modelo apresentar um comportamento inteligente. Se apenas uma pequena parte do crebro for reproduzida, a funo exercida por esta parte emergir do modelo. Existem uma srie de problemas que os seres vivos, e os seres humanos em particular, parecem resolver de maneira inata: o processamento de imagens, o inata: reconhecimento da fala, a recuperao de informaes de maneira associativa, a filtragem adaptativa de sinais, o aprendizado de novos fatos e idias, etc.

Introduo
IA Simblica
Conhecimento representado por regras (ou outra estrutura similar) que podem ser facilmente tratadas e analisadas. Permite a explicao do processo que levou a uma determinada resposta. Fcil insero de novos conhecimentos obtidos a partir do especialista ou atravs de mtodos automticos de aquisio de conhecimento.

IA Conexionista
Conhecimento representado por exemplos (casos resolvidos). Dificuldade de explicar todos os conhecimentos relativos ao problema atravs de regras simblicas. A insero de novos casos trabalhosa, pois a rede deve ser re-treinada. So capazes de generalizar o seu conhecimento a partir de exemplos anteriores.

Introduo
IA Simblica X IA Conexionista
Conhecimento Terico / Emprico AND(A,B) = if A=0 then AND=0 A else if B=0 0 then AND=0 0 else AND=1

1 1

B 0 1 0 1

AND 0 0 0 1

Introduo
IA Simblica X IA Conexionista
A 0 0 1 1 w1=1 w2=1 =2 A.w1+B.w2 B B 0 1 0 1 AND 0 0 0 1 A w1 w2 AND

Introduo
Fundamentos Biolgicos

Introduo
Fundamentos Biolgicos

Introduo
Fundamentos Biolgicos

Introduo
O Crebro
Composto por Neurnios (105 na mosca da fruta, 5x106 no rato e 1011 no homem)

O CrebroHumano
O crebro humano tem 10 bilhes de neurnios. Cada neurnio tem 1.000 a 10.000 conexes 60 trilhes de conexes - 1014 sinapses! Massa: 1-2kg no adulto - 2% do peso 20% do peso do recm-nascido. Usa 20% do oxignio, 25% da glucose, 15% do fluxo de sangue.

Introduo
DEFINIO
Redes Neurais Artificiais so sistemas inspirados nos neurnios biolgicos e na estrutura massivamente paralela do crebro, com capacidade de adquirir, armazenar e utilizar conhecimento experimental.

IDIA BSICA
Sistemas compostos de diversas unidades simples (neurnios artificiais) ligadas de maneira apropriada, podem gerar comportamentos interessantes e complexos. Comportamento determinado pela estrutura das ligaes (topologia) e pelos valores das conexes (pesos sinpticos)

Introduo
Devido similaridade com a estrutura do crebro, as Redes Neurais exibem caractersticas similares ao do comportamento dos seres vivos, tais como: Procura Paralela e Endereamento pelo Contedo: O crebro no possui endereo de memria e no procura a informao seqencialmente. Aprendizado: A rede aprende por experincia, no necessitando explicitar os algoritmos para executar uma determinada tarefa.

Introduo
Devido similaridade com a estrutura do crebro, as Redes Neurais exibem caractersticas similares ao do comportamento dos seres vivos, tais como: Associao: A rede capaz de fazer associaes entre padres diferentes.
Cidade Pessoa

Perfume Pessoa Pessoa Nome

Introduo
Devido similaridade com a estrutura do crebro, as Redes Neurais exibem caractersticas similares ao do comportamento dos seres vivos, tais como: Generalizao: Redes Neurais so capazes de generalizar o seu conhecimento a partir de exemplos anteriores. Habilidade de lidar com rudos e distores, respondendo corretamente a padres novos. Robustez e Degradao Gradual: A perda de um conjunto de elementos processadores e/ou conexes sinpticas no causa o mal funcionamento da rede neural.

Modelos de Neurnios Artificiais

Evoluo Histrica
McCulloch & Pitts (1943): modelo computacional para o neurnio artificial. No possua capacidade de aprendizado Hebb (1949): modelo de aprendizado (Hebbian Learning (Hebbian Rule) Rule) Rosenblatt (1957): modelo Perceptron, com grande sucesso em Perceptron, certas aplicaes e problemas em outras aparentemente similares

Modelos de Neurnios Artificiais

O PERCEPTRON (Rosenblatt (1957) (Rosenblatt
Na sua forma mais simples o modelo perceptron consiste de:

Modelos de Neurnios Artificiais

O PERCEPTRON (Rosenblatt (1957) (Rosenblatt
Caractersticas Bsicas:
Regra de Propagao: netj = xi.wji + j Funo de Ativao: Degrau Topologia: Uma nica camada de processadores. Algoritmo de Aprendizado: Supervisionado Valores de Entrada/Sada: Binrios

Modelos de Neurnios Artificiais

O PERCEPTRON (Rosenblatt (1957) (Rosenblatt
x1 w1 x2 w2 sada net=x1.w1+x2.w2

1 se net sada=f(net)= 0 se net <

EQUAO FUNDAMENTAL DO PERCEPTRON EQUAO DE UMA RETA w1.x1+w2.x2=

Modelos de Neurnios Artificiais

x1 O PERCEPTRON (Rosenblatt (1957) (Rosenblatt x1 w1 w2 sada 1 se net sada=f(net)= 0 se net <

x2

Determinar w1, w2 e para que o Perceptron aprenda a funo OU Lgico (OR)

x2 (0,1) (0,0)

(1,1) (1,0) x1

Modelos de Neurnios Artificiais

x1 O PERCEPTRON (Rosenblatt (1957) (Rosenblatt x1 w1 w2 sada 1 se net sada=f(net)= 0 se net <

x2

Determinar w1, w2 e para que o Perceptron aprenda a funo OU Lgico (OR)

x2 (0,1) (0,0)

(1,1) (1,0) x1

Possvel soluo: w1=w2= = 1

Modelos de Neurnios Artificiais

x1 O PERCEPTRON (Rosenblatt (1957) (Rosenblatt x1 w1 w2 sada 1 se net sada=f(net)= 0 se net <

x2

Determinar w1, w2 e para que o Perceptron aprenda a funo E Lgico (AND)

x2 (0,1) (0,0)

(1,1) (1,0) x1

Modelos de Neurnios Artificiais

x1 O PERCEPTRON (Rosenblatt (1957) (Rosenblatt x1 w1 w2 sada 1 se net sada=f(net)= 0 se net <

x2

Determinar w1, w2 e para que o Perceptron aprenda a funo E Lgico (AND)

x2 (0,1) (0,0)

(1,1) (1,0) x1

Possvel soluo: w1=w2=1 =2

Modelos de Neurnios Artificiais

x1 O PERCEPTRON (Rosenblatt (1957) (Rosenblatt x1 w1 w2 sada 1 se net sada=f(net)= 0 se net <

x2

Determinar w1, w2 e para que o Perceptron aprenda a funo OUOUEXCLUSIVO (XOR)

x2 (0,1)

(1,1)

?
(0,0) (1,0) x1

Modelos de Neurnios Artificiais

x1 O PERCEPTRON (Rosenblatt (1957) (Rosenblatt x1 w1 w2 sada 1 se net sada=f(net)= 0 se net <

x2

Determinar w1, w2 e para que o Perceptron aprenda a funo OUOUEXCLUSIVO (XOR)

x2 (0,1)

(1,1)

?
(0,0) (1,0) x1

CONCLUSO: O PERCEPTRON CAPAZ DE DISTINGUIR APENAS PADRES LINEARMENTE SEPARVEIS!!!

Modelos de Neurnios Artificiais

O PERCEPTRON (Aprendizado)
Considerando apenas a parte linear:
x1 x2 x3 x4 x5 xn ALC Adaptive Linear Combiner w1 w2 w3 wn +1 sada sign(y) y -1

Modelos de Neurnios Artificiais

O PERCEPTRON (Aprendizado)
Formulao Vetorial w0 x0 w1 x1 W = w2 X = x2 ... ... wn xn

y = WT.X

Suponha que temos um conjunto de vetores de entrada {X1, X2, ..., XL}, cada um com seu valor de sada correto (desejado) {d1, d2, ..., dL}. O Mtodo de Aprendizado procura achar os pesos de forma a minimizar a diferena entre a sada desejada e a sada obtida com o vetor de entrada. (REGRESSO LINEAR)

Modelos de Neurnios Artificiais

O PERCEPTRON (Aprendizado)
Como Minimizar o Erro Mdio Quadrtico
Erro para o k-simo vetor de entrada:

Ek = dk - yk desejado - obtido
< E < E
2 k

2 k

1 >= L 1 >= L

L k =1 L k =1

2 Ek

(d

2 y k) = < (d k y k) >

mas y k = W T X k
2 2 logo < Ek >=< (d k W T X k) >= 2 < d k > +W T < X k X T > W 2 < d k X T > W k k

Modelos de Neurnios Artificiais

O PERCEPTRON (Aprendizado)
Como Minimizar o Erro Mdio Quadrtico (mtodo analtico resoluo de um sistema de equaes lineares)
2 2 < Ek >=< dk > +W T < XkXT > W 2 < dkXT > W k k 2 < Ek > = 0 W 2 < XkXT > W 2 < dkXk >= 0 k

Modelos de Neurnios Artificiais

O PERCEPTRON (Aprendizado)
Como Minimizar o Erro Mdio Quadrtico (mtodo analtico resoluo de um sistema de equaes lineares)
2 < X k X > W 2 < dk X k >= 0
T k T < X k X k >= XX T

< dk X k >= XDT W = ( XX T )1 ( XDT )

Modelos de Neurnios Artificiais

O PERCEPTRON (Aprendizado)
Como Minimizar o Erro Mdio Quadrtico (mtodo iterativo Regra Delta)
1-Comear especificando valores aleatrios para os pesos. 2-Aplicar um vetor de entrada Xk. 3-Determinar o erro Ek(t) utilizando W(t). Ek2(t) = (dk - WT(t)Xk)2 4-Supor que Ek2(t) uma aproximao razovel para o Erro Mdio Quadrtico <Ek2(t)>

Modelos de Neurnios Artificiais

O PERCEPTRON (Aprendizado)
Como Minimizar o Erro Mdio Quadrtico (mtodo iterativo Regra Delta)

Modelos de Neurnios Artificiais

O PERCEPTRON (Aprendizado)
Como Minimizar o Erro Mdio Quadrtico (mtodo iterativo Regra Delta)
5-Calcular o gradiente do erro, isto a direo em que derivada maior.

Ek2 (t ) = (d k W T (t ) X k ) 2 Ek E (t ) = 2(d k W (t ) X k ) = W 2 Ek (t ).( X k ) = 2 Ek X k

2 k T

Modelos de Neurnios Artificiais

O PERCEPTRON (Aprendizado)
Como Minimizar o Erro Mdio Quadrtico (mtodo iterativo Regra Delta)
6-Atualizar o Vetor de Pesos.

W (t + 1) = W (t ) Ek2 (t ) W (t + 1) = W (t ) + 2 Ek X k com Ek = d k W T (t ) X k

Modelos de Neurnios Artificiais

O PERCEPTRON (Aprendizado)
Como Minimizar o Erro Mdio Quadrtico (mtodo iterativo Regra Delta)
7-Repetir os passos de 2 a 6 at o erro alcanar um valor suficientemente pequeno.

Modelos de Neurnios Artificiais

O PERCEPTRON (O Perodo Negro)
Minsky e Papert - 1969 - Livro Perceptrons. O Perceptrons. Perceptron incapaz de classificar corretamente padres no linearmente separveis. A maioria dos problemas so no linearmente separveis. Se colocar mais uma camada de neurnios possvel contornar esta limitao, mas como achar os pesos para estes neurnios intermedirios?

Modelos de Neurnios Artificiais

O PERCEPTRON (O Renascimento)
Apesar do descrdito gerado sobre a rea da neurocomputao, neurocomputao, entre 1969 e 1982 os estudos neste campo continuaram, ainda que englobadas em outras linhas de pesquisa Os primeiros resultados da retomada do desenvolvimento sobre redes neurais foram publicados em 1986 e 1987, atravs dos trabalhos do grupo PDP (Parallel and (Parallel Distributed Processing), onde ficou consagrada Processing), a tcnica de treinamento por backpropagation. backpropagation.

Modelos de Neurnios Artificiais

O Modelo Moderno de NEURNIO ARTIFICIAL

Modelos de Neurnios Artificiais

O Modelo Moderno de NEURNIO ARTIFICIAL
As Entradas
As entradas de um neurnio podem ser as sadas de outros neurnios, entradas externas, um bias ou qualquer combinao destes elementos.

Modelos de Neurnios Artificiais

O Modelo Moderno de NEURNIO ARTIFICIAL

Modelos de Neurnios Artificiais

O Modelo Moderno de NEURNIO ARTIFICIAL
A Combinao das Entradas - O Net
O somatrio de todas estas entradas, multiplicadas por seus pesos, d origem ao chamado "net" de um neurnio. wji um nmero real que representa a conexo sinptica da entrada do j-simo neurnio com a sada do i-simo neurnio. Aps a determinao do net, o valor de sada do neurnio produzido atravs da funo de ativao.

Modelos de Neurnios Artificiais

O Modelo Moderno de NEURNIO ARTIFICIAL
A Funo de Ativao ou de Sada
Essencialmente, qualquer funo contnua e derivvel pode ser utilizada como funo de sada na modelagem neural. As funes mais comumente utilizadas como funes de sada so: A Funo Linear A Funo Sigmoidal ou Logstica A Funo Tangente Hiperblica

Modelos de Neurnios Artificiais

O Modelo Moderno de NEURNIO ARTIFICIAL
A Funo de Ativao ou de Sada
A Funo Linear

y ( x) = ax

Modelos de Neurnios Artificiais

O Modelo Moderno de NEURNIO ARTIFICIAL
A Funo de Ativao ou de Sada
A Funo Sigmoidal

1 y ( x) = 1 + e kx

Modelos de Neurnios Artificiais

O Modelo Moderno de NEURNIO ARTIFICIAL
A Funo de Ativao ou de Sada
A Funo Tangente Hiperblica

1 e y ( x) = tanh(kx) = kx 1+ e

kx

Topologias de Redes Neurais

Como os neurnios se Conectam
Um nico neurnio ou elemento processador insuficiente para a maioria dos problemas prticos, e, redes com grande nmero de neurnios interconectados so freqentemente utilizadas. A maneira como os neurnios so interconectados determina como as capacidades computacionais da rede e se constitui em uma das primeiras e mais importantes decises no desenvolvimento de uma rede neural.

Topologias de Redes Neurais

Como os neurnios se Conectam
Redes Diretas - Feedforward MLP (MultiFeedforward (MultiLayer Perceptrons) Perceptrons) No existem ciclos. Conexes para a frente. Redes Recorrentes ou Cclicas Existem ciclos. Conexes para trs e/ou para os lados.

Topologias de Redes Neurais

Redes Neurais Diretas-Feedforward Diretas MLP (Multi-Layer Perceptrons) (MultiPerceptrons)
As redes diretas so aquelas cujo grafo no tem ciclos. Freqentemente comum representar estas redes em camadas e neste caso so chamadas redes de camadas. camadas.

Topologias de Redes Neurais

Redes Neurais Diretas em Camadas
Neurnios que recebem sinais de excitao do ambiente so chamados de camada de entrada ou primeira camada. Neurnios que tem sua sada como sada da rede pertencem a camada de sada ou ltima camada. Neurnios que recebem sinais apenas de outros neurnios e enviam suas sadas para outros neurnios, pertencem a camadas intermedirias ou escondidas (hidden).

Topologias de Redes Neurais

Redes Neurais Recorrentes
Redes recorrentes so aquelas no qual um neurnio de uma camada i pode possuir conexo com um ou mais neurnios de uma camada j, em que j i.

Aprendizado de Redes Neurais

Um neurnio considerado ser um elemento adaptativo. Seus pesos sinpticos so modificveis dependendo do algoritmo de aprendizado. Por exemplo, alguns, dependendo do sinal de entrada que recebem, tem seus valores de sada associados a uma resposta diante de um aprendizado supervisionado por uma espcie de "professor. Em alguns casos o sinal do "professor" no est disponvel e no h informao de erro que possa ser utilizada para correo dos pesos sinpticos, assim o neurnio modificar seus pesos baseado somente no sinal de entrada e/ou sada, sendo o caso do aprendizado no-supervisionado no-supervisionado.

Aplicaes de Redes Neurais

CLASSIFICAO

CLUSTERIZAO

Aplicaes de Redes Neurais

QUANTIZAO VETORIAL

ASSOCIAO DE PADRES

Aplicaes de Redes Neurais

APROXIMAO DE FUNES

PREVISES DE SRIES TEMPORAIS

Aplicaes de Redes Neurais

APLICAES EM CONTROLE

FIM DO MDULO INTRODUTRIO