Redes Neurais Artificiais

Rede Multicamadas Diretamente Alimentada

Algoritmo de aprendizagem – Retropopagação
(MLP Back-propagation)

1. Introdução e Arquitetura da Rede

1
Uma extensão do Perceptron simples capaz de trabalhar com problemas
não-linearmente separáveis, através da utilização de (pelo menos) uma
camada intermediária entre a entrada e a saída.

Breve Histórico
Até o início dos anos 70 não existia um algoritmo de aprendizado
para redes multicamadas. O aprendizado back-propagation foi
desenvolvido de maneira independente por vários pesquisadores:

1974 Werbos “Algoritmo de Realimentação Dinâmica”

descoberto durante tese de doutorado.

1982 Parker “Algoritmo de Aprendizado Lógico” foi uma

redescoberta do algoritmo de Werbos.

1986 Rumelhart Divulgaram e popularizaram o “Algoritmo

Hinton Back-propagation” para o aprendizado em
William RNA, através do grupo de pesquisa “Parallel
Distributed Processing” (PDP) do MIT.

Algortimo Back-propagation é uma das técnicas de aprendizado

supervisionado mais utilizada para redes neurais unidirecionais
multicamadas com neurônios estáticos.
4

2
 Estrutura da Rede

Função de ativação de cada neuônio k deve ser uma função diferenciável

3
2. Aprendizagem – Regra Delta Generalizada

Função de ativação do neuônio k (função diferenciável)

Saída desada para a unidade o quando o padrão p é apresentado

4
5
3. O Algortimo Back-propagation

12

6
1. Inicialize os pesos da rede em valores randomicos pequenos.
2. Escolha randomicamente um padrão de entrada p.
3. Propague o sinal para frente através da rede.
4. Calcule o valor de delta para cada unidade o na camada de saída:

5. Calcule os deltas para cada unidade h nas camadas precedentes

(propagando para trás os erros obtidos no Passo 4):

5. Atualize os pesos:

7. Volte ao Passo 2 e repita os passos restante para o próximo padrão, até que
o erro na saída da rede seja menor que um valor de limiar pré-especificado
ou o número máximo de épocas (apresentação do conjunto de exemplos)
tenha sido alcançada.

Entendendo o Algoritmo Back-propagation

14

7
15

16

8
17

18

9
 Deficiência do Back-propagation

19

Taxa de Aprendizagem e Termo Momento

20

10
Quantos exemplos de treinamento?

21

22

11
Quantas unidades escondidas?

12
4. Aplicações RNA Multicamadas Back-propagation

26

13
 • Iris Classification
• The Smoker and the Risk of Cancer
• Gas Consumption Prediction
• Handwritten Characters Recognition
• Bank Loan Decision
• Inverted Pendulum
• Medical Diagnosis
• Mortgage approval
• Traveling Salesman
• Resource Scheduling
• Unemployment prediction
• Musical signals-to-notes transformation
• Playing ticktacktoe
• Predicting beer sales
• Stock Market Prediction
• Water Flow to a Sewage Plant Prediction

✓ Reconhecimento de Caracteres Escritos à Mão

variabilidade de formas em que o número 3 pode ser escrito

padrão pode ser representado por um conjunto de

aspectos: curvas, linhas retas, pontos, cor, ...

28

14
 29

✓ Classificação da Iris

150 amostras em três classes: setosa, versicolor e virginica

4 atributos, medidos em centímetros, para cada amostra: comp.
sepal, comp. petal, larg. sepal e larg. petal.

15
 SL - comprimento sepal, PL - comprimento petal
SW - largura sepal, PW - largura petal
31

✓ Previsão Consumo de Gás

X – meses jan, abr, out dos anos 88-91

Y1 – consumo de gás (gallons per capita)
Y2 – temperatura mínima média (0C)
32

16
 33

✓ Diagnóstico Médico Baseado em Exemplos

Case Sex Age Lumbar pain Spinal column stiffness

1 Male 30 yes yes
2 Women 23 not not
3 Male 30 not not
...
4 Male 70 not not
5 Women 63 not not
6 Male 59 not not
7 Women 61 not not

.
.
.

17
 35

✓ Controle do Pêndulo Invertido

Y – força aplicada no carro para frente e para trás

 – ângulo do pêndulo com a vertical
 – velocidade angular

18
37

19