CONEXIONISMO CONVENCIONAL
RESUMEN
Para realizar un buen diseo de una red neuronal debemos conocer sus funciones de
clculo y sus mtodos de aprendizaje.
De esta forma segn el planteamiento que se nos presente podremos seleccionar los
aspectos ms importantes de la red, para poder obtener lo que buscamos.
INTRODUCCION
Comenzaremos viendo las caractersticas y funcionamiento de una red neuronal, para
ver los diferentes modelos de clculo que se utilizan, as como los algoritmos de
aprendizaje ms apropiados segn las caractersticas de la red o los datos que
conocemos.
Supervisado.
No supervisado.
o Aprendizaje Hebbiano.
Aprendizaje Hebbiano Original.
Aprendizaje de componentes principales.
o Aprendizaje competitivo.
Hibrido.
Pgina 1 de 18
1. - CARACTERISTICAS DE UNA RED NEURONAL
Haciendo uso del concepto matemtico de grafo: una red neuronal es un grafo
(conjunto de nodos con conexiones entre ellos) dirigido, con las siguientes
propiedades:
Para cada nodo i se define una funcin fi que representa el nuevo estado del
nodo, y depende de los pesos de sus conexiones, del umbral y de los estados
de los nodos a l conectados.
Normalmente ser la suma ponderada de las entradas multiplicadas por los pesos
sinpticos (es una funcin de tipo lineal).
Pgina 2 de 18
1.2 - FUNCIN DE ACTIVACIN (FUNCIN DE TRANSFERENCIA)
ai(t) = fi(hi(t))
En general, los algoritmos de aprendizaje requieren que sea derivable (por ello se
utilizarn funciones de tipo sigmoideo, gaussiana, sinusoidal, etc.)
Los modelos estticos estn formados por variables de entrada no lineales, cuyos
clculos no dependen del tiempo.
Pgina 3 de 18
Generalmente se aade a los pesos un elemento adicional i i (umbral) que se resta
del potencial postsinptico. i i es el nivel mnimo que debe alcanzar el potencial de
la neurona para que sta se dispare o active.
fi((wij * xj)) corresponde con la parte lineal del clculo, pero podemos aumentar la
posibilidad de operar con variables de entrada xi2 o xi3, es decir podemos operar con
funciones no lineales.
Y(x) = wjj(x)
representa cualquier expansin cuadrtica del espacio de entradas (x2 ,xi* xj,)
incluso una funcin lineal .
Pgina 4 de 18
Dependen del tiempo, es decir el valor de y(t) no solo depende el valor de las
entradas y salidas en un instante de tiempo concreto, sino que se van a tener
en cuenta todos los valores en los diferentes instantes de tiempos anteriores.
Cada neurona viene representada por una ecuacin diferencial de primer orden:
tj dyj(t)/dt = -yj(t) + hj
neurona , tendremos:
tj dyj(t)/dt = -yj(t) + + hj
Pgina 5 de 18
De la actividad del resto de neuronas de la red.
La funcin umbral, funcin sigmoideas.
La nueva ecuacin que tendramos, suponiendo todas las neuronas conectadas entre
s, sera:
tj dyj(t)/dt = -yj(t) + G[ + hj + ]
G es la funcin sigmoidea.
4. - MODELOS LOGICOS
Con una estructura de redes neuronales podemos disear una estructura lgica que
podremos utilizar en cualquier proceso industrial.
Podemos decir:
Los pesos W, actan como los coeficientes de los trminos mnimos de una
funcin lgica.
5. - MODELOS PROBABILISTICOS
Pgina 6 de 18
Caractersticas:
Existe una seal de error (nica), que representa el rendimiento global de la red (slo
se indica lo bien o lo mal que responde la red, sin aportar informacin acerca de la
salida deseada u objetivo).
Este tipo de red es muy til cuando:
6. - MODELOS INFERENCIALES
Pgina 7 de 18
Las reglas inferenciales son aquellas en las que a travs de unas premisas
obtenemos una conclusin.
Una red neuronal inferencial es una red basada en reglas, que tiene las siguientes
caractersticas:
Pgina 8 de 18
7. - APRENDIZAJE SUPERVISADO Y NO SUPERVISADO EN
RNAS
Aprendizaje supervisado.
Aprendizaje No supervisado.
Aprendizaje Hbrido.
8. - APRENDIZAJE SUPERVISADO
La red ajusta sus pesos hasta que su salida se acerca al objetivo (la red tiende
paulatinamente a la salida deseada).
Para lograr este objetivo la red se servir del error cometido en cada
iteracin. De esta forma, la red neuronal es capaz de estimar relaciones
entrada/salida.
Se ajustan los pesos sinpticos segn la diferencia entre la salida deseada (objetivo) y
la salida real de la red. Un ejemplo es el algoritmo backpropagation, que trata de
optimizar el error cometido por la red.
Pgina 9 de 18
Para el ajuste de los pesos de las neuronas comparamos entre el valor real
obtenido yj(t) y el valor deseado dj(t).
2
E=
En cada ciclo de entrenamiento el peso W se obtiene a partir del peso del ciclo
anterior.
W(nuevo) = W(antiguo) - .gradwE(W)
Siempre comenzamos el entrenamiento inicializando los pesos de cada una de
las neuronas de la red.
A medida que se entrena la red, las neuronas van variando sus pesos, hasta
conseguir el entrenamiento que proporcione el resultado esperado.
Para arquitecturas con ms de una capa oculta, el algoritmo puede extenderse sin
ningn tipo de problema siguiendo el mismo esquema.
Pgina 10 de 18
o Calcular las seales de error asociadas k y j
o Calcular el incremento parcial de los pesos y umbrales como
consecuencia del patrn con que estemos trabajando
o Calcular el incremento total (para todos los patrones) actual de los
pesos wjk y wij, haciendo lo mismo para los umbrales.
o Actualizar pesos y umbrales.
o Calcular el error actual y repetir (a excepcin del primer paso) si an
no es satisfactorio.
Hay que tener en cuenta que en este tipo de aprendizaje el orden en la presentacin
de los patrones debe ser aleatorio.
Pgina 11 de 18
8.3 APRENDIZAJE POR REFUERZO.
9. - APRENDIZAJE NO SUPERVISADO
En este caso, la red deber estimar por si sola la salida a travs del algoritmo de
aprendizaje que se est utilizando, de forma que puedan reconocerse regularidades
en el conjunto de entradas, extraer rasgos, agrupar patrones segn su similitud, etc.
Consiste en el ajuste de los pesos sinpticos segn la relacin entre los valores de
entrada y salida de cada neurona. Existen diferentes tipos:
Pgina 12 de 18
o Aprendizaje de componentes principales. Permite reducir el tamao
de la red estudiando las variables en juego. Utiliza backpropagation e
intercala capas en que se determinan las componentes principales,
reduciendo progresivamente el nmero de neuronas en las capas
ocultas mediante la eliminacin de aqullas que no afectan
significativamente al rendimiento de la red.
Este incremento de los pesos wij, hace inestable al sistema ya que produce una
realimentacin positiva entre las neuronas.
Para solucionar este problema tendremos que tener una realimentacin negativa, es
decir inhibicin en la neurona.
Dividir cada nuevo valor de los pesos por la raz cuadrada de la suma de los
cuadrados de todos los nuevos valores.
Cada sinapsis Tiene que conocer el valor de los pesos y de sus incrementos
en todas las otras sinapsis.
Pgina 13 de 18
9.2 APRENDIZAJE COMPETITIVO.
El objetivo Es que solo una neurona de salida se active con un grupo de patrones que
tenemos a la entrada.
Se puede decir que las neuronas de salida compiten unas con otras con el fin de
llevar a cabo una tarea dada; es por ello que las neuronas vecinas crean conexiones
de refuerzo e inhibidoras mediante lo que se conoce con el nombre de funcin de
vecindad.
Tras competir, las neuronas ganadoras son las que procedern al ajuste de sus pesos
a fin de incluir a la nueva entrada en el conjunto que representan.
Incluso es posible que la resolucin del problema con redes neuronales artificiales no
sea viable.
Pgina 14 de 18
Inicializacin de los pesos: es aleatoria, si bien en ocasiones se recurre a
ciertos algoritmos de minimizacin de funciones (de error) para su eleccin.
Pgina 15 de 18
CONCLUSIONES
Para el diseo de una red neuronal no solo debemos crear su estructura, que
construiremos en funcin de las entradas y salidas (resultados) que buscamos.
En este documento hemos analizado las funciones de clculo que pueden utilizarse en
redes neuronales y que se pueden ver en la siguiente tabla:
Funciones de clculo
Y los mtodos de aprendizaje que nos ayudaran a entrenar la red con los menos ciclos
posibles y con la mayor estabilidad durante el entrenamiento.
Tendremos un tercer grupo el aprendizaje hbrido que ser una mezcla de los dos
anteriores.
Pgina 16 de 18
La siguiente tabla muestra una comparativa entre los dos principales grupos de
aprendizaje de una red neuronal:
Mtodos de aprendizaje
SUPERVISADO NO SUPERVISADO
Se conoce la respuesta que No sabemos el resultado final que
buscamos. vamos a obtener.
Entrenamiento controlado por un El entrenamiento depende de los
agente externo. patrones que se dan a la entrada
de la red.
Ajustamos los pesos en funcin Los pesos se van ajustando segn
del error obtenido a la salida. un conjunto de reglas aplicadas a
los patrones de entrada.
Organizados con los patrones de Se auto organizan.
entrada y las respuestas
conocidas.
Mayores tiempos de entrenamiento Menores tiempos de entrenamiento
Capa de neuronas ocultas para Arquitectura de red simple. Una
refuerzo de los clculos. sola capa o Feed-forward
REFERENCIAS BIBLIOGRAFICAS
Pgina 17 de 18
Mecanismos subyacentes al aprendizaje supervisado y no supervisado en
RNAS. J. Mira Mira y A.E. Delgado 2007
On how the computational paradigm can help us to model and interpret the
neuronal function, J. Mira and E. Delgado,
http://dx.doi.org/10.1007/s11047-006-9008-6
Pgina 18 de 18