Computacin
INTELIGENCIA ARTIFICIAL
Perceptrn Multicapa
Presenta: J. Jair Vzquez Palma
Perceptrn Simple
Limitaciones
Resuelve solo problemas linealmente separables
Es decir clasificar entre 2 clases (0,1)
Perceptrn Multicapa
El primer algoritmo de entrenamiento para
las redes multicapa fue desarrollado por Paul
Werbos en 1974. Al principio no fue Aceptada
por la comunidad de los desarrolladores del
Redes Neuronales.
Fue asta los 80s el Backpropagation
redescubierto por David Rumelhart (1986),
Geoffrey Hinton - Rolal Williams, David Parker
y Yann Le Cun.
Perceptrn Multicapa
La Perceptrn Multicapa surge de para resolver
problemas que no son linealmente separables
Perceptrn Multicapa
Pasos Aprendizaje (Propagacin hacia delante, hacia
atrs):
a) Definir la Topologa (numero de capas, funcin de
activacin o transferencia).
b) Inicializar lo pesos aleatoriamente.
c) Ingresar los patrones.
d) Realizar la propagacin.
e) Comparar salidas.
f) Calcular el error.
g) Propagar hacia tras
h) Actualizar pesos.
Perceptrn Multicapa
Ingreso de los patrones
Perceptrn Multicapa
Calculando Funcin Net
Perceptrn Multicapa
Funcin de Transferencia.
Se utiliza para acotar la salida de la neurona y
generalmente viene dada por la interpretacin
que queramos darle a dichas salidas.
Las ms utilizadas son:
Funcin sigmoidea: para obtener valores en el
intervalo [0,1] casi nunca toca a 0
logsig
salida positiva: f(n)=1/[1+e^(-n)]
Funcin tangente hiperblica
Para obtener valores en el intervalo [-1,1]
pasando por el 0.
f(n)=[e^n - e^-n] / [e^n + e^-n]
Perceptrn Multicapa
Aplicando Funcin de Transferencia.
Salida positiva: f(n)=1/[1+e^(-n)]
Todo este proceso se realiza
con cada una de las neuronas.
Funcin Net
Funcin de Activacin
Los resultados de la primera
capa sern la entrada de la
siguiente capa.
Perceptrn Multicapa
El cambio de la topologa de la red (nmero de
capas) depender
de la satisfaccin del
porcentaje de error, si el error no es satisfactorio
se aumentara una capa capas a la Red Neuronal.
Podemos observar
una tendencia.
Se
elige
el
numero que sea
mas cerca a 1.
Perceptrn Multicapa
Se comparan la salida Real con las Salida
Esperada, si los resultados no son los adecuados
se entrena la Red Neuronal.
Los
resultados
son
diferentes,
entonces
se
necesita aplicar el
entrenamiento.
Perceptrn Multicapa
Para
conocer los valores
tenemos:
esperados ahora
Perceptrn Multicapa
Aprendizaje:
Tipo de aprendizaje Supervisado.
La propagacin se da desde la primera a la ultima capa
hasta generar una salida
Se calcula el error medio cuadrtico: compara la
salida real(a) con la salida deseada(t)
Perceptrn Multicapa
En backpropagation, el mtodo general de entrenamiento se
resume en los siguientes pasos:
Pasos hacia delante:
1. Selecciona un vector de entrada desde el conjunto de
entrenamiento.
2. Aplica esta entrada a la red y calcula la salida.
Pasos hacia atrs:
3. Calcular el error entre la salida calculada y la salida deseada de
la entrada usada.
4. Ajustar los pesos para que el error cometido entre la salida
calculada y la salida deseada sea disminuido.
5. Se continua propagando el error hacia atrs y ajustando los
pesos hasta que se alcance la capa de entradas.
6. Este proceso se repetir con los diferentes datos de
entrenamiento.
Perceptrn Multicapa
Ajustando pesos: Regla Delta
La actualizacin de los
pesos de la ultima capa se
realiza mediante:
Perceptrn Multicapa
Ajustando pesos: Regla Delta
Perceptrn Multicapa
Ejercicio
salida deseada
Patron 2: 0, 1
o esperada 0
salida deseada
Perceptrn Multicapa
Calculando el error: