Red Neuronal Madaline

INTEGRANTES:
Aguirre Pascual Cesar
Baes Vsquez Diego
Castillo Graus Ruben
Chirinos Carranza Luis
Cisneros Baca Benny
Corales Domnguez Too
Gutirrez Lpez Axel
 HISTORIA :
Desde hace miles de aos se ha estudiado el
cerebro humano con en fin de modelar su
funcionamiento, pero fue con el avance de la
electrnica que esta idea tom fuerza.
En 1949, Donald Hebb apoya el concepto de
neurona y su funcionamiento.
En la dcada de 1950, con el avance de las
computadoras, se hizo posible simular una red
neuronal.
En 1959, Bernard Widrow y Marcian Hoff de la
universidad de Stanford desarrollaron un modelo Marcian Hoff Bernard Widrow
llamado ADALINE y MADALINE.
 Concepto
Fue una de las primeras redes
neuronales multicapa entrenable
con mltiples elementos
adaptivos.

Consta de una capa de ADALINES

y una funcin de mayora cuya
respuesta binaria depende de las
respuestas de las ADALINES
CARACTERISTICAS
Los componentes del vector de entrada son -1 y 1, en lugar de 0 y 1
como en el perceptron y otras redes.

La funcin de activacin es la funcin escaln bipolar, utilizndose

dicha funcin de activacin en lugar de la funcin escaln binaria. En
consecuencia, el estado de activacin de las neuronas de la capa de
salida es -1 o 1.

La expresin que modifica los pesos de las redes adaline y madaline

es la utilizada en el perceptron.
 DIFERENCIAS
MADALINE
Fue una de las primeras redes
neuronales multicapa entrenable con
mltiples elementos adaptivos.
Esta estructura fue diseada despus
de ADALINE para ir ms all de la
solucin de problemas linealmente
separables.
Consta de una capa de ADALINES y
una funcin de mayora cuya
respuesta binaria depende de las
respuestas de las ADALINES.
ADALINE
Es un dispositivo que consta de un
solo elemento de procesamiento, por
lo que tcnicamente no es una red.
Una ADALINE consiste de un ALC
(Adaptive Linear Combiner) y un
cuantizador (funcin bipolar de
salida)
Solo resuelve adecuadamente
problemas binarios linealmente
separables.
MADALINE ADALINE
 Entrenamiento de Red Neuronal
1.-Madeline
Se presentan los valores de entrada (X1,X2 Xn) y los valores
de salida deseados del Madeline (D1,D2, Dt)
2.- Se inicializan los Pesos (W1, W2 Wn) y el Umbral (X0) para
cada Adeline que contenga la red, completando la siguiente
matriz:
N W0 W1 W2 Wn
Adeline 1 W(1,0) W(1,1) W(1,2) W(1,n)
Adeline 2 W(2,0) W(2,1) W(2,2) W(2,n)
Adeline 3 W(3,0) W(3,1) W(3,2) W(3,n)

Adeline m W(1,0) W(m,1) W(m,1) W(m,n)
Entrenamiento de Red Neuronal Madeline
3.- Para calcular la salida se realiza la siguiente frmula:

Donde: Yk representa la salida del Adeline k y F(x) es la funcin

escaln bipolar, que responde a la siguiente frmula:
Entrenamiento de Red Neuronal Madeline
4.- Para determinar la salida j del Madeline, se usa la funcin mayora:

Si es diferente a la salida deseada, se actualizan los datos pasando al

siguiente paso.
 Entrenamiento de Red Neuronal Madeline
En este paso los Adeline compiten para saber cual ser actualizado. El
5.-
ganador ser aquel con la salida ms cercana a cero (Antes de aplicar la
funcin escaln bipolar).
La actualizacin consiste en modificar los pesos segn la siguiente frmula:

E es la tasa de aprendizaje y se calcula de la siguiente forma:

Donde n indica la cantidad de neuronas entrantes.

6.- Repetir los pasos 3, 4 y 5 hasta que los valores de salida reales (Yk) y las
deseadas (Dk) sean iguales.
Ejemplo
Entrenar una red Madaline para reconocer el patrn de
movimiento de un caballo en el siguiente tablero de ajedrez:

1 2 3

4 5 6

7 8 9
Casos
Movimientos vlidos:
1 2 3 1 2 3 1 2 3 1 2 3 1 2 3
4 5 6 4 5 6 4 5 6 4 5 6 4 5 6
7 8 9 7 8 9 7 8 9 7 8 9 7 8 9

Movimientos invlidos:
1 2 3 1 2 3 1 2 3 1 2 3 1 2 3
4 5 6 4 5 6 4 5 6 4 5 6 4 5 6
7 8 9 7 8 9 7 8 9 7 8 9 7 8 9
Tabla de entrenamiento
Casilla sombreada = 1 Movimiento vlido = 1
En blanco = -1 Movimiento invlido = -1
Caso X1 X2 X3 X4 X5 X6 X7 X8 X9 Y
1 1 1 1 1 -1 -1 -1 -1 -1 1
2 -1 1 1 -1 1 -1 -1 1 -1 1
3 -1 1 -1 -1 1 -1 1 1 -1 1
4 -1 1 -1 -1 1 -1 -1 1 -1 -1
5 -1 -1 1 -1 -1 1 -1 1 1 1
6 -1 1 -1 1 -1 -1 1 -1 -1 -1
7 1 -1 -1 -1 1 -1 -1 -1 1 -1
8 -1 1 -1 -1 1 1 -1 1 -1 -1
9 -1 -1 -1 1 -1 -1 1 1 1 1
10 -1 1 -1 -1 1 1 -1 -1 -1 -1
11 -1 -1 -1 1 1 1 1 -1 -1 1
12 -1 1 -1 -1 1 1 -1 -1 1 -1 Umbral X0 = 1
Entrenamiento
Inicializar los pesos
Adaline W0 W1 W2 W3 W4 W5 W6 W7 W8 W9
1 -0.0096 0.0496 0.1904 0.2496 0.2496 -0.2496 0.0096 0.5136 -0.0496 -0.1904
2 0.0080 -0.2080 -0.0320 0.2320 -0.2320 -0.0080 0.2320 -0.0320 0.4320 0.0320
3 -0.1000 0.1000 -0.1000 0.1000 0.1000 -0.1000 0.1000 0.1000 -0.1000 0.1000

Caso 1: Salida deseada = 1

Calcular la salida Yk de cada Adaline:

Salida del Madaline: = Salida deseada. No hay ajuste de pesos.

Entrenamiento
Caso 2: Salida deseada = 1
Calcular la salida Yk de cada Adaline:

Salida del Madaline: Salida deseada.

Ajuste de pesos:
Elegir al Adaline con salida (sin aplicar funcin escaln) ms cercana a cero:

Actualizar los pesos del Adaline elegido ()

Entrenamiento
Nuevos pesos
Adaline W0 W1 W2 W3 W4 W5 W6 W7 W8 W9
1 0.1405 -0.1005 0.3405 0.3997 0.0995 -0.0995 -0.1405 0.3635 0.1005 -0.3405
2 0.0080 -0.2080 -0.0320 0.2320 -0.2320 -0.0080 0.2320 -0.0320 0.4320 0.0320
3 -0.1000 0.1000 -0.1000 0.1000 0.1000 -0.1000 0.1000 0.1000 -0.1000 0.1000

Repetir los pasos anteriores hasta que la red Madaline produzca los resultados
correctos para todos los casos de la tabla de entrenamiento.
Pesos luego del entrenamiento (4 iteraciones):

Adaline W0 W1 W2 W3 W4 W5 W6 W7 W8 W9
1 0.1237 -0.0837 0.3237 0.4165 0.1163 -0.1163 -0.1237 0.5869 0.0837 -0.3237
2 0.0080 -0.2080 -0.0320 0.2320 -0.2320 -0.0080 0.2320 -0.0320 0.4320 0.0320
3 -0.1000 0.1000 -0.1000 0.1000 0.1000 -0.1000 0.1000 0.1000 -0.1000 0.1000
Puesta a prueba
Salida de cada Adaline:
1 2 3
4 5 6
7 8 9
Salida del Madaline: (Vlido)

Salida de cada Adaline:

1 2 3
4 5 6
7 8 9
Salida del Madaline: (Invlido)
X1 X2 X3 X4 X5 X6 X7 X8 X9 Y
-1 -1 -1 1 1 1 1 -1 -1 1
-1 1 -1 -1 1 1 -1 -1 1 -1