Temas

Selectos de Mecatrnica: Introduccin a las Redes Neuronales

Regla de Aprendizaje

Se entiende por aprendizaje al procedimiento para optimizar los valores de peso y sesgos de una red
de tal forma que sea capaz de ejecutar una cierta tarea.

Aprendizaje OFF LINE
Cuando el aprendizaje es OFF LINE se distingue entre una fase de aprendizaje y una fase de operacin,
existiendo un conjunto de datos de entrenamiento y un conjunto de datos de prueba que sern
utilizados en la correspondiente fase.
En este caso los PESOS de las conexiones permanecen fijos despus de que termina la etapa de
entrenamiento de la red.
Debido a que las redes de tipo OFF LINE presentan un carcter esttico, estos sistemas no presentan
problemas de estabilidad en su funcionamiento.

Aprendizaje ON LINE
En estas redes no se distingue entre la fase de entrenamiento y de operacin, de tal forma que los
PESOS varan dinmicamente siempre que se presente una nueva informacin al sistema.
En las redes ON LINE debido al carcter dinmico de la misma, es importante el estudio de la
estabilidad de la red.

Las reglas de aprendizaje de una red son criterios que se siguen para cambiar el valor asignado a las
conexiones (o sea cmo se modifican los valores de los pesos y sesgos).
Existen dos tipos de reglas de aprendizaje:

1. El aprendizaje supervisado, y
2. El aprendizaje no supervisado

Aprendizaje Supervisado
En el aprendizaje supervisado se tiene un conjunto de entrenamiento " , " & , & ( , (
Donde:
pQ es una entrada y tQ es una salida correcta.

Tipos de aprendizajes supervisados:

Aprendizaje por correccin de error
Aprendizaje por refuerzo
Aprendizaje estocstico

El Aprendizaje por correccin de error
Este aprendizaje consiste en ajustar los pesos de las conexiones de la red en funcin de la
diferencia entre los valores deseados y los obtenidos en la salida de la red.
Ejemplos: La regla de aprendizaje del Perceptrn, regla delta o regla del mnimo error cuadrado o
regla de Widrow-Hoff, ADALINE y MADALINE.

El Aprendizaje por Reforzamiento
Es una variante del aprendizaje supervisado a la cual se informa a la red solamente una crtica
de correccin de salida de red y no la respuesta en s.

El Aprendizaje Estocastico
Consiste bsicamente en realizar cambios aleatorios en los valores de los pesos de las conexiones de
la red y evaluar su efecto a partir del objetivo deseado y de las distribuciones de probabilidad.
Ejemplo: la red Mquina de Cauchy

 Temas Selectos de Mecatrnica: Introduccin a las Redes Neuronales

Aprendizaje no Supervisado

En el aprendizaje no supervisado, no hay salidas predeterminadas, sino que la red agrupa
(clustering) a sus vectores de acuerdo a un criterio, al agrupamiento tambin se le llama
cuantizacin vectorial.


Por ejemplo: se tiene un conjunto de vectores y la red los empieza a agrupar en clusters, no es
necesario que los clasifiques en categoras.









Tipos de algoritmos de aprendizaje no supervisado:
Aprendizaje Hebbiano
Aprendizaje Competitivo y cooperativo































 Temas Selectos de Mecatrnica: Introduccin a las Redes Neuronales

Perceptrn
Sea el perceptrn de S neuronas, con una capa y funcin hard limit (limite duro).

Donde

Se define el vector, compuesto por los isimos trminos de la matriz W

Y la matriz W se puede expresar como:

Por lo que la isima salida se puede escribir:

* = * = ( *5 + * )







 Temas Selectos de Mecatrnica: Introduccin a las Redes Neuronales

Considerando nuevamente el perceptrn de dos entradas, una capa y la funcin de lmite duro.

La salida es:

= = + = "5 + = ("," " + ",& & + )
Que divide las salidas en dos clases: salida 1 y salida 0

Habamos sealado que la frontera de decisin es determinada por las entradas de la red que cumplan
con la siguiente ecuacin:
= + = , + , + = 0

Sea el caso de W1,1=1, W1,2=1 y b=-1 se tiene la recta.
" + & 1 = 0

Graficando la recta se tiene:

Probando para p=[2 0]T, cual es la salida de la red.

2
= + = 1 1 1 = 1
0

Por ejemplo, se desea disear un perceptrn con la funcin AND. El entrenamiento sera:

0 0 1 1
" = , = 0 & = , = 0 D = , = 0 E = , = 1
0 1 0 1

El problema se ilustra grficamente
 Temas Selectos de Mecatrnica: Introduccin a las Redes Neuronales

Lo ms razonable es buscar una frontera de decisin a la mitad de ambas regiones, despus elegir un
vector de pesos que sea ortogonal a la frontera de decisin. Una opcin es:

2
" =
2
Finalmente necesitamos encontrar un vector de sesgos b, para lo cual sustituiremos un punto
p= [1.5 0]T el cual pertenece a la frontera de decisin en la siguiente ecuacin:
1.5
+ = 2 2 + = 3 + = 0, = 3
0

Ahora probemos para cada una de las entradas de la red:

0
" = 2 2 3 = 3 = 0
0
0
& = 2 2 3 = 1 = 0
1
1
D = 2 2 3 = 1 = 0
0
1
E = 2 2 3 = 1 = 1
1

Regla de Aprendizaje

En esta regla, cuando una entrada se aplica a la red la salida se compara al objetivo, entonces, los
pesos y los sesgos se ajustan para acercarse al objetivo y as sucesivamente.
Para explicar cmo es que trabaja la regla de aprendizaje experimentaremos con el siguiente
problema de prueba.
Las entradas y objetivos son los siguientes:
1 1 0
" = , = 1 & = , = 0 D = , = 0
2 2 1

De manera grafica tenemos lo siguiente:

 Temas Selectos de Mecatrnica: Introduccin a las Redes Neuronales

Como se puede ver en la grfica tenemos dos tipos de patrones, por lo que la red necesitar tener dos
entradas y una salida, para facilitar el desarrollo de la regla de aprendizaje no utilizaremos un vector
de sesgos.

Sin un vector de sesgos la frontera de decisin pasara por el origen, hay que ver si es posible
encontrar una frontera que separe las dos clases utilizando esta red, para ello graficamos cuales son
las posibles rectas que pudieran servir como fronteras.

Como se puede ver en la figura anterior existen un gran nmero de fronteras y de vectores de pesos
asociados a estas rectas, ahora lo que queremos es encontrar una regla de aprendizaje que encuentre
al vector de pesos que corresponda con alguno de esos puntos mostrados en las graficas, ya que lo que
importa no es el tamao de W sino su direccin.

Construyendo Reglas de Aprendizaje

El aprendizaje comienza al asignar valores inciales a los parmetros de la red, en este caso al no
contar con el vector de sesgos le asignaremos un valor arbitrario a los dos pesos.

= 1 0.8
1
Para: " =
2

1
" = = 1 0.8 = 0.6 = 0
2
La red no obtuvo el valor esperado, ya que el valor objetivo era t=1, para resolver esto lo que se hace
es construir la siguiente regla:

Si t=1 y a=0, entonces = +

Aplicando esta regla a nuestro problema obtenemos nuevos valores de W
1 1 2
= + = + =
0.8 2 1.2
 Temas Selectos de Mecatrnica: Introduccin a las Redes Neuronales

Ahora continuemos con la siguiente entrada:
1
& = = 2 1.2 = 0.4 = 1
2
La salida de la red no es la misma que la esperada, ya que t=0 y a=1, se tiene que mover el vector de
pesos lejos del vector de entrada, lo que se hace es restar p

Si t=0 y a=1, entonces =

Aplicndolo al problema tenemos:

2 1 3
= = =
1.2 2 0.8

Para p3
0
D = = 3 0.8 = 0.8 = 1
1
3 0 3
= = =
0.8 1 0.2

Ahora la red ha aprendido a clasificar correctamente los tres vectores, si le presentaramos cualquier
vector lo clasificaria correctamente, lo cual no lleva a una tercera regla:

S t=a, entonces =

 Temas Selectos de Mecatrnica: Introduccin a las Redes Neuronales

Estas tres reglas pueden ser reescritas en una expresin mas sencilla, introduciendo una nueva
variable que es el error del perceptrn e
e=t-a
S e=1, = +
S e=-1, =
S e=0, =

En las primeras dos reglas se ve que el signo de p es igual al de e y en la tercera no hay p y el error es
cero, esto puede simplificar las cosas de la siguiente manera:
= + = +
Esta regla puede extenderse para calcular el vector de sesgos.
= +

Por lo tanto la regla es:

=

= +

= +

Ejercicio 1 Calcule los valores de los pesos y sesgos de siguiente conjunto de entrenamiento usando el
algoritmo del perceptrn.

Sea por ejemplo:

1 1
" = 1 , " = 0 & = 1 , " = 1
1 1

Con condiciones iniciales = 1 1 0.5 , = 1