Aula Conceitos SI

Redes Neurais
(Conceitos Fundamentais)
Germano C. Vasconcelos
Centro de Informtica - UFPE
Interdisciplinaridade
Redes Neurais uma rea de estudo interdisciplinar:
Neurofisiologia
Psicologia Cognitiva
Matemtica
Fsica
Medicina
Percepo Humana
Engenharias
Cincia da Computao
No uma rea Nova ...
Trabalhos iniciais:
McCulloch & Pitts (1943) - modelo de neurnio

Donald Hebb (1949) - regra de aprendizagem
Frank Rosenblatt (1962) - topologia de rede
Porque Parece Nova ?
Aparecimento de novos paradigmas

Anlise fundamentada em mtodos cientficos
Avano tecnolgico dos computadores
Sucesso em aplicaes do mundo real
O que so Redes Neurais ?
Sistemas paralelos distribudos compostos por unidades de
processamento simples interligadas entre si e com o
ambiente por um nmero de conexes
De outra maneira...
So modelos inspirados na estrutura paralela do crebro e que

buscam reter algumas de suas propriedades...
Unidades Neurnios
Interconexo Redes Neurais
O que so Redes Neurais ?
Geralmente conexes esto associadas a pesos que
armazenam o conhecimento da rede e servem para
ponderar a entrada recebida pelo neurnio
Conhecimento Aprendizagem
Semelhana em Relao ao
Crebro
Elementos bsicos (neurnios)

Rede de processadores interconectados
Conhecimento armazenado em conexes
Conhecimento adquirido atravs de aprendizagem
Estrutura inerentemente paralela
Representaes distribudas
Elementos Bsicos
Existe uma vasta quantidade de modelos de Redes

Neurais, mas alguns elementos esto presentes em
todos os modelos
A funo das unidades de processamento
A topologia da rede
A estratgia ou algoritmo de aprendizagem
A Funo das Unidades
Caracterizado por trs elementos bsicos:
Um conjunto de conexes de entrada
Um estado de ativao
Um valor de sada (resposta)
O comportamento do neurnio
Ocorre um estmulo como entrada
Ocorre uma computao do estado de ativao em
funo do estmulo
Ocorre uma resposta em funo da ativao
Modelos para o Neurnio
A definio da unidade de processamento
caracteriza-se por:
Regra de Propagao (estado de ativao)

Funo de Ativao (resposta do neurnio)
Exemplo: Neurnio de
McCulloch & Pitts (MCP)
Funo de Ativao Regra de Propagao

Viso Matemtica do MCP
f(x)=wi.xi -
X2 Classe 1 f(x)=(|W|.|X| cos) -
f(x)
Considere o ponto onde

f(x) = 0:
Classe 2
w1.x1 + w2.x2 - = 0
x2 = - w1/w2.x1 + / w2
(y = m.x +c)
X1
Topologias de Redes:
Feedforward
camadas
camada de intermedirias camada
entrada de
sada
conexes
Recorrente I
camada de
processamento
Z-1
Z-1
Z-1
conexes Z-1
de feedback
Recorrente II
X(t) Y(t)
S(t) S(t+1)
Retardo
Construtiva
C = |p(ypo yo)(epo - eo)|
Sadas
Unidade
Escondida 2
Unidade
X X
Escondida 1
X X
Entradas
X X
X X
X X
+1 X X
Aprendizagem
Aprendizagem aquisio de conhecimento
Conhecimento ?
Termo vago. Depende de sob que ponto de
vista considerado
Diferentes Pontos de Vista
Psicologia Cognitiva
Psicologia Experimental
Cincias Exatas
Aprendizagem nas Cincias Exatas
Aprendizagem aquisio e processamento de
dados para aproximar e/ou representar funes
(conhecimento)
Aproximao de funes :
Respostas no domnio discreto: Classificao
(e. g. deciso de conceder ou no crdito ao
consumidor)
Respostas no domnio contnuo: Regresso
(e. g. previso do limite de crdito a ser concedido)
Computability x Learnability
Computability (Computabilidade): o poder
computacional de um sistema, expresso em termos
do universo de funes que ele capaz de
computar. (Requisitos)
MLP, RBF
pRAM
Learnability: o poder computacional que os
algoritmos de aprendizagem oferecem a um
sistema adaptativo expresso em termos do
universo de funes que eles so capazes de fazer
o sistema efetivamente computar. (Requisitos)
MLP, RBF
pRAM Germano C. Vasconcelos
Tipos de Aprendizagem I
(pelo grau de feedback)
Supervisionada: um professor diz quanto a resposta
fornecida pelo sistema se aproxima da resposta desejada
(e. g. nota de um aluno numa prova)
Por Reforo: um crtico diz apenas se a resposta dada
pelo sistema est certa ou errada
(e. g. punio/recompensa no treinamento de animais)
No-Supervisionada: o sistema tenta se auto-organizar
baseado nas similaridades entre os exemplos
apresentados
(e. g. desenvolvimento das clulas simples do crtex visual
estriado)
Tipos de Aprendizagem II
(pelo grau de feedback)
Supervisionada:
Conjunto de treinamento s ={(x1, f(x1)), (x2, f(x2)),..., (xn, f(xn))}
Convergncia rpida
Por Reforo:
Conjunto de treinamento s ={(x1, sgn[f(x1)] ), (x2, sgn[f(x2)]),...,
(xn, sgn[f(xn)] )}
Convergncia mdia
No-Supervisionada:
Conjunto de treinamento s = {(x1, ), (x2, ),..., (xn, )}
Convergncia lenta
Exemplo de Classificao
Supervisionada
Exemplos Exemplos
do mundo Resposta
Codificados 0/1
real Mquina
Mundo Pr-processador de
real deciso
Espao de Conceitos
cC Espao de Hipteses
hH
Exemplo de Classificao
Supervisionada
CASO ESPECFICO
Aprendizagem o processo de modificao do
estado da mquina M com base nos exemplos
apresentados visando a deix-la apta a classificar
exemplos no-vistos do mesmo problema
CASO GERAL
Aprendizagem o processo de escolha da funo
h H que melhor aproxime a funo c C a
partir dos exemplos contidos no conjunto de
treinamento Germano C. Vasconcelos
Algoritmos de Aprendizagem
DEFINIO
Algoritmo de aprendizagem a funo L que, a
partir dos exemplos da amostra s, seleciona uma
funo h H para aproximar o conceito c C
CRITRIOS DE AVALIAO
Consistncia:
h(xi) = f(xi) (xi, f(xi)) s
Convergncia:
Melhora da aproximao com o aumento do nmero de
exemplos no conjunto de treinamento
Exemplo de Anlise de Crdito
(I)
Anlise de crdito
Hiperplano paralelo:
sem
pode ser interpretado
crdito x o
o
diretamente como
o uma regra:
x x
x
x
o o se a renda menor que
x
o
o o t, ento o crdito no
deve ser liberado
dbito
x o o
Exemplo:
t renda rvores de deciso
induo de regras
x: exemplo recusado
o: exemplo aceito
(II)
Anlise de crdito
Hiperplano oblquo:
sem
x o melhor separao:
crdito o
o Exemplos:
x x
x
x
o o Perceptron
x o o
o regresso linear
dbito
x o o
t renda
x: exemplo recusado
o: exemplo aceito
(III)
Anlise de crdito
Superfcies lineares
por partes no
sem contguas
x o
crdito o Exemplos:
o
x x raciocnio baseado
x
x o o em casos
x o o
o MLP-perceptrons
dbito
x o o multicamadas com
funo de sada
sigmide (squashing)
t renda regresso linear por
partes
x: exemplo recusado
o: exemplo aceito
(IV)
Anlise de crdito
Superfcie no linear:
melhor poder de
sem
crdito x o classificao, pior
o
o
interpretao
x x
x
x
o o
Exemplos:
x o o MLP perceptrons
o
dbito
x o o Cascade Correlation
k-vizinhos mais
prximos
t renda
regresso no-linear
x: exemplo recusado
o: exemplo aceito
(V)
Anlise de crdito Superfcies Elpticas
Exemplos:
MLP com funo de
+ + sada gaussiana
+
+
RBF-Radial Basis
+ + Functions
+
+
+
+
+ +
+ Agrupamento
+ Exemplos:
dbito
+ + +
Kohonen-vector
quantization
t renda Adaptive Ressonance
Theory (ART)
+: exemplo

Aula Conceitos SI

Diunggah oleh

Informasi Dokumen

Hak Cipta

Format Tersedia

Bagikan dokumen Ini

Bagikan atau Tanam Dokumen

Opsi Berbagi

Apakah menurut Anda dokumen ini bermanfaat?

Apakah konten ini tidak pantas?

Hak Cipta:

Format Tersedia

Aula Conceitos SI

Diunggah oleh

Hak Cipta:

Format Tersedia

Redes Neurais

McCulloch & Pitts (1943) - modelo de neurnio

Aparecimento de novos paradigmas

So modelos inspirados na estrutura paralela do crebro e que

Interconexo Redes Neurais

Elementos bsicos (neurnios)

Existe uma vasta quantidade de modelos de Redes

Regra de Propagao (estado de ativao)

Funo de Ativao Regra de Propagao

Considere o ponto onde

Anda mungkin juga menyukai