Sistemas Inteligentes

Unidad 3
Redes Neuronales Artificiales
Dr. Isidro Robledo Vega
Qu son las Redes Neuronales?
Sistemas de cmputo masivamente
paralelos que consisten de una multitud
de elementos computacionales no-
lineales (neuronas) con conexiones
entre s.
Son implementadas utilizando algunos
de los principios organizacionales del
cerebro humano.
Los elementos de procesamiento son
los nodos.
Las interconexiones son lazos dirigidos.
Cada elemento de proceso tiene varias
entradas y una seal de salida sencilla
conectada a varios elementos de
proceso de la siguiente capa.
Otros Nombres
Redes neurales
Neurocomputadoras
Modelos de procesamiento en paralelo
distribuido (PDP)
Sistemas neuromrficos
Redes en capas auto-adaptivas
Modelos conexionistas
rea Multidisciplinaria
Sicologa
Matemticas
Estadstica
Neurociencia
Teora de sistemas
Sistema de Informacin
Inteligencia Artificial
De Dnde Provienen?
Estudios del comportamiento del
cerebro humano.
El cerebro humano es un sistema de
10xE10 a 10xE12 neuronas de material
y estructura casi uniforme.
Una neurona tiene un axon largo y
sencillo que conecta el cuerpo de la
clula con las sinapsis.
Las dendritas son protuberancias que
salen del cuerpo de la clula y forman
sinapsis con otras neuronas.
La terminal sinptica guarda los
neurotransmisores en vasculos.
Los microtbulos proveen rigidez
estructural y transportan material a lo
largo del axon.
Funcionamiento de una Neurona Biolgica
Las seales de una neurona son inhibidoras o excitadoras, no
ambas.
Las seales excitadoras tienden a disparar las neuronas
destino, las seales inhibidoras tienden a prevenir el disparo.
Una neurona se dispara dependiendo del efecto de tiempo
integrado de todas las seales que cruzan su banda sinptica.
Un mecanismo electroqumico produce y propaga seales
elctricas a travs del axon.
Una bomba bioqumica de iones, activada potencialmente por
la mitocondria, causa las concentraciones de iones dentro y
alrededor de las neuronas.
Caractersticas de Procesamiento del
Cerebro Humano
Paralelismo masivo
Representacin y cmputo distribuido
Habilidad de Aprendizaje
Habilidad de Generalizacin
Adaptividad
Procesamiento de informacin inherente al
contexto
Tolerante a fallas
Bajo consumo de energa
Modelo Matemtico
Vi - i-sima neurona.
Xi - variable de estado de Vi definida como.
Xi(t) = Nivel de activacin de la i-sima neurona.
Fisiolgicamente Xi representa la desviacin del potencial de la neurona con
respecto al equilibrio.
Zij - variable de estado asociada a la interaccin de Vi con Vj (otra neurona) y
se define como.
Zij(t) = coeficiente de acoplamiento sinptico.
Fisiolgicamente Zij representa el rango de liberacin promedio de
neurotransmisores por unidad de frecuencia de la seal del axon.
La neurona Vi enva una seal Sij a lo largo de su axon hacia una neurona
destino Vj.
La seal puede ser excitadora (Zij>0) o inhibidora (Zij<0).
Modelo Computacional
Neurona artificial modelada como una unidad de umbral binario
(Treshold Logic Unit-TLU) por McCulloch-Pitts.
Calcula la suma tasada de las n entradas y genera un 1 a la salida si
la suma es mayor que el umbral u y un 0 de otra forma.
( ) es una funcin escaln unitario en 0.
W son los pesos de las sinapsis asociados a cada entrada.
Pesos positivos corresponden a sinapsis excitadoras y pesos
negativos a sinapsis inhibidoras.
|
|
.
|

\
|
=

=
n
j
j j
u x w y
1
u
Funciones de Activacin
Caractersticas de Procesamiento de las Redes
Neuronales
Modelo matemtico neuronalmente inspirado.
Sus conexiones (pesos) almacenan el conocimiento.
Un elemento de proceso puede responder dinmicamente a un
estmulo de entrada y su respuesta depende completamente de
su informacin local.
Tienen la habilidad de aprender, recordar y generalizar a partir de
datos de entrenamiento asignando y ajustando los pesos de las
conexiones.
Su comportamiento colaborativo demuestra su poder
computacional.
Historia de las Redes Neuronales
McCulloc y Pitts (1943) propusieron modelos de neuronas en la
forma de dispositivos de umbral binario.
Hebb (1949) propuso modelos matemticos que intentaban
capturar el concepto de aprendizaje por reforzamiento o
asociacin.
Rosenblatt (1957, 1962) propuso las llamadas Mquinas de
Aprendizaje o Perceptrones.
Minsky y Papert (1969) publicaron un libro sobre el Perceptrn.
Hopfield (1982) propuso las Redes de Hopfield.
Rumelhart y McClelland (1986) desarrollaron el Algoritmo de
Propagacin Regresiva.
Modelos de las Redes Neuronales
Algoritmos de Aprendizaje
Supervisado
No supervisado
Hbrido
Reforzado
Aprendizaje Supervisado
Correccin de Error (SLP y MLP)
Perceptrn
Propagacin regresiva
Adaline, Madaline
Regla de Boltzman
Algoritmo de aprendizaje de Boltzman (Redes Recurrentes)
Regla Hebbiana
Anlisis discriminatorio lineal (Redes en Cascada Multicapa)
Competitivo
Cuantificacin de vector de aprendizaje (Redes Competitivas )
Mapas ART (Redes ART)
Aprendizaje No Supervisado
Correccin de Error
Proyeccin de Sammon (Redes en cascada
Regla Hebbiana
Anlisis de Componentes Principales (Redes en cascada o
Competitivas)
Aprendizaje de Memorias Asociativas (Redes de Hopfield)
Competitivo
Cuantificacin de Vectores (Redes Competitivas)
Kohonen (SOM)
ART1 y ART2 (Redes ART)
Aprendizaje Hbrido
Correccin de Error y Competitivo
Algoritmo de aprendizaje RBF para Redes con
Funcin Base Radiales
Aprendizaje Reforzado
Se puede utilizar en redes en cascada y recurrentes.
Los datos de entrenamiento son burdos y poco
especficos, considerados solo como evaluativos.
El algoritmo de aprendizaje reforzado entrena una
red con este tipo de retroalimentacin evaluativa
llamada seal de refuerzo.
Es el aprendizaje de un mapeo de situaciones a
acciones de manera que se maximice la seal de
refuerzo.
Redes en Cascada Multicapa
Construida con nodos interconectados en un arreglo de por lo
menos tres capas.
El perceptrn multicapa de propagacin regresiva es de las
redes mas comnmente usadas.
Procesamiento por Capas
La capa de entrada es pasiva, solo recibe los datos entrada
pasndolos hacia la red.
El nmero de nodos en la capa de entrada es igual al nmero
de datos del vector de entrada.
La capa oculta y la capa de salida procesan datos activamente.
La salida de la red es un vector de valores variables continuos.
El nmero de nodos de la capa de salida corresponder al
nmero de patrones a clasificar.
La capa oculta no tiene conexin directa con las entradas o las
salidas, pero permite modelar funciones no lineales
complejas.
Para determinar el nmero de nodos de la capa intermedia se
requiere de experimentacin.
Separabilidad de Clases
Propagacin Regresiva
(Back-Propagation BP)
Habilidad para cambiar los valores de los pesos en respuesta a los
errores (etapa de entrenamiento).
El entrenamiento requiere una serie de patrones de entrada
etiquetados con sus correspondientes patrones de salida.
La red pasa cada patrn de entrada a travs de la capa oculta hacia la
capa de salida para generar un resultado para cada nodo de salida.
La salida es comparada con los resultados deseados.
Las diferencias son los errores de la capa de salida, los cuales la red
regresa hacia la capa oculta usando los mismos pesos en las
conexiones.
La propagacin regresiva de los errores da el nombre al algoritmo.
Cada nodo oculto calcula la suma de los pesos de los errores
propagados regresivamente para encontrar su contribucin a los
errores de salida conocidos.
Cada nodo de salida y cada nodo oculto encuentran su valor de error y
ajustan sus pesos para reducir el error.
Regla Delta
Es la ecuacin que cambia los pesos.
Esta diseada para minimizar la suma cuadrada de los errores.
La precisin total de la red ser mejorada por las correcciones
hechas durante el entrenamiento.
Cuando la red pueda procesar los patrones de entrada con la
suficiente precisin, los pesos sern guardados para preservar lo
que se ha aprendido.
Etapa de Prueba
Despus del entrenamiento, la red deber ser probada con
datos conocidos que no hayan sido usados durante el
entrenamiento.
La precisin de la red con patrones no usados en el
entrenamiento es llamada GENERALIZACIN e indica su
confiabilidad en una aplicacin.
Despus de entrenar y probar, la red estar lista para
procesar datos desconocidos.
La red acta como el modelo de una funcin, mapeando los
patrones de entrada con los patrones de salida.
La red solo aprende esta asociacin con el entrenamiento,
an cuando la ecuacin que describe la funcin sea no-lineal,
desconocida o ambas.
Otros Tipos de Redes Neuronales
Teora de Resonancia Adaptiva
Adaptive Resonance Theory (ART).
Tiene dos capas interactivas.
Un patrn entra a la red por la capa de
entrada, esta lo codifica y lo pasa hacia la
capa de salida a travs de conexiones con
pesos especficos.
La capa de salida busca el nodo de salida
mas cercano al patrn suprimiendo los
dems nodos y pasa el resultado de
regreso a la capa de entrada sobre un
segundo conjunto de conexiones con sus
respectivos pesos.
La capa de entrada encuentra entonces
su propio resultado.
ART (Cont.)
Si los dos resultados concuerdan, entonces la ART ha identificado
la categora correcta y se dice que las capas estn en resonancia
adaptiva.
Si los resultados no concuerdan, entonces la ART busca la
siguiente mejor opcin y as sucesivamente con los dems nodos
de salida.
Las ART se entrenan continuamente ya que los pesos difieren
poco en cada presentacin. Eventualmente las capas entran en
resonancia. Otros mecanismos regulan el aprendizaje.
El efecto total de las redes ART es que encuentran las categoras
autnomamente y aprenden nuevas categoras si es necesario. El
continuo aprendizaje en las redes ART es clave.
Las redes ART pueden procesar distribuciones no estacionarias,
por lo que se pueden aplicar a procesos dinmicos y no requieren
datos de entrenamiento etiquetados.
Cuantificacin de Vector de Aprendizaje
Learning Vector Quantization (LVQ).
Ajusta las fronteras entre las categoras para un mnimo de
errores en las clasificaciones.
Una red LVQ2 tiene una capa sencilla de nodos
computacionales, cada uno representando una clase o
subclase.
Para cada patrn de entrada, LVQ2 encuentra el mejor nodo de
salida que corresponda con la clasificacin requerida del
patrn de entrada.
LVQ2 no se entrena mediante un gradiente descendiente. En su
lugar, este encuentra el nodo de salida mas cercano al patrn
de entrenamiento.
LVQ (Cont.)
Si la clase del patrn de entrenamiento, difiere de la clase del
nodo de salida, entonces la red LVQ2 encuentra la siguiente
mejor opcin,
Si la siguiente mejor opcin tiene la clase correcta, entonces
LVQ2 mueve el nodo de la mejor opcin (pero incorrecta)
lejos del patrn de entrenamiento y la siguiente mejor opcin
(pero correcta) al nodo mas cercano a este patrn de
entrenamiento.
Este proceso, llamado aprendizaje competitivo, en efecto
mueve las fronteras entre las clases hasta que esta se
aproxima a la posicin ptima.
LVQ2 es comnmente usada para el reconocimiento de
patrones, convirtiendo voz o texto en fonemas y tarea
similares.
Mapas Auto-Organizables
Self-Organizing Map (SOM).
Este algoritmo de clustering que crea un mapa de
relaciones entre los patrones de entrada.
El mapa es una representacin reducida de los datos
originales que preserva sus relaciones topolgicas.
El mapa tiene menor dimensin pero los clusters
mantienen sus posiciones relativas.
La red SOM crea el mapa desde un punto de inicio
aleatorio sin resultados de destino.
Redes Neuronales con Funciones Base
Radiales
Radial Basis Function Networks (RBF).
Contienen una sola capa oculta con muchos nodos.
Los nudos usualmente utilizan funciones de activacin
Gaussiana.
La capa de salida es lineal.
Una Base es un conjunto de vectores unitarios que puede
usarse para expresar cualquier otro vector en un espacio
dimensional dado.
Las entradas a la red son no-linealmente transformadas a una
nueva Base por la capa oculta.
En general el vector de entrada es de un tamao diferente al
de la Base generada por la capa oculta.
RBFs (Cont.)
Cada nodo de la capa oculta implementa una funcin Base-
Radial:
Donde r es alguna combinacin, necesariamente no-lineal,
del vector de entrada actual.
La salida de la red ser una combinacin lineal de la Base.
) 2 exp( ) (
2 2
o r r =
Transformacin Combinacin
Vector de
entrada
Vector de mayor
dimensin
Combinacin lineal
del vector de mayor
dimensin
Redes de Hopfield
Es una red recurrente asociativa con una sola capa.
Utiliza la retroalimentacin de otros nodos.
Los pesos no se cambian, son preseleccionados y se mantiene
fijos.
La red realiza un proceso de actualizacin secuencial.
Cuando se aplica una entrada, la red se establece en un estado
estable de actividad el cual representa la solucin.
Las oscilaciones son mas comunes que en las redes sin
retroalimentacin.
Normalmente son usadas con entradas binarias.
Ejemplo de una Red de Hopfield
Cada nodo es una unidad de umbral lgico con
umbral 0 y salidas +1 y 1.
Las salida de cada nodo es retro-alimentada a todo
los dems nodos de la red.
Asuma que la salida actual de la red es [1, -
1, -1]
En la primera iteracin:
Nodo 1: (-1)*0+(-1)*1 = -1
Nodo 2: (-1)*0+(-1)*(-1) = +1
Nodo 3: (-1)*1+1*(-1) = -2 = -1
En la siguiente iteracin:
Nodo 1: 1*0+(-1)*1 = -1
Nodo 2: (-1)*0+(-1)*(-1) = +1
Nodo 3: (-1)*1+1*(-1) = -2 = -1
La salida se establece en [-1, +1, -1] por siempre.
Memorias Asociativas
Una red de Hopfield se puede utilizar como Memoria
Asociativa.
Esto significa que se puede proveer a la red con una porcin
de los datos deseados y los datos completos son regresados
de la memoria.
Pueden guardar un conjunto de patrones como memorias.
Cuando se le presenta un patrn clave, la red responde
produciendo el patrn que ms se le acerque o relacione.
Por lo que la memoria es direccionada por asociacin del
patrn clave con la informacin memorizada.
Tambin se les llama memorias-direccionables por contenido.
Redes Competitivas
Las unidades de salida compiten entre s para
activarse, como resultado solo una unidad estar
activa en un instante determinado.
Aprendizaje no supervisado - El conjunto de
entrenamiento no a sido preclasificado.
Aprendizaje Auto-organizado - La red se organiza a s
misma basada en reglas internas y en los vectores de
entrenamiento.
Clustering La red agrupa los vectores de
entrenamiento similares en la misma clase.
Competicin Las neuronas actan como detectores
de rasgos y compiten para a cada vector de entrada.
Aplicaciones de las
Redes Neuronales
Clasificacin de Patrones
Asignar un patrn de entrada representado por un vector a
una de muchas clases especificadas.
Reconocimiento de caracteres, reconocimiento de voz,
clasificacin de clulas de la sangre e inspeccin de tablillas
electrnicas.
Clustering/Categorizacin
No hay datos de
entrenamiento con etiquetas
de clase conocidas.
Explora la similitud entre los
patrones.
Coloca los patrones similares
en clusters.
Minera de datos,
compresin de datos y
anlisis exploratorio de
datos.
Aproximacin de Funciones
Encontrar estimados de funciones desconocidas a
partir de datos ruidosos.
Problemas de modelado cientfico.
Predicciones
Predecir el comportamiento de un proceso en un
tiempo futuro basado en datos histricos.
Impacto en la toma de decisiones en negocios, ciencia
e ingeniera.
Prediccin del valor de acciones y prediccin del clima.
Memoria Direccionada por Contenido
El contenido de la memoria puede recuperarse a
partir de datos de entrada parciales o distorsionados.
Construccin de bases de datos de informacin
multimedia.
Control
El propsito es generar
una seal de control de
manera que el sistema
siga una trayectoria
determinada por el
modelo de referencia.
Control de velocidad de
un motor.