Redes Neuronales Artificiales

Introduccin a las Redes Neuronales

Tabla de Contenido
Neuronas Naturales Neuronas Artificiales Aprendizaje Reconocimiento de Patrones. Arquitectura de Redes Neuronales Aplicaciones

Mapa Conceptual del Curso

Herramientas Redes Asociativas

Modelo Redes Neuronales

Redes de Nivel Simple

Redes Multinivel

Redes competitivas

Algebra Lineal Estadstica

Redes recurrentes

Mapa Conceptual de la Sesin

Mapa Conceptual

Objetivo de la Sesin
Exponer los aspectos bsicos de las redes neuronales. Exponer los conceptos acerca de las redes neuronales. Exponer los conceptos del aprendizaje natural y automtico. Exponer los conceptos de reconocimiento de patrones. Plantear el modelo de redes neuronales artificiales. Exponer las arquitecturas de las redes neuronales.

NEURONAS NATURALES

El Cerebro Humano
Gran velocidad de proceso Trata gran cantidad de informacin Los sentidos Memoria almacenada Capacidad de tratar situaciones nuevas Capacidad de aprendizaje Almacenamiento redundante. No binario, no estable y no sncrono. Poder desconocido

1011 Neuronas (procesadores) 1000 10000 conexiones por neurona Capacidad basada en las conexiones. Cada neurona es muy compleja.

La Neurona
Dendritas de entradas dendrita Un axn de salida Sinapsis de conexin. 104 sinapsis por neurona Comunicacin mediante Potenciales de Accin (PA) Generacin de conexiones. Consolidacin de conexiones. ncleo
axn terminal neurona ndulo de Ravier

axn

clula de schwann envoltura de mielina

La Neurona

Conexiones Neuronales
Dendritas
Axon

Cuerpo

Seal (Informacin) Sinapsis

Sinapsis
Impulso elctrico que viaja por el axn Liberacin de neurotransmisores Apertura/cierre de canales inicos Variacin potencial en dendrita Integracin de entradas en soma Si se supera umbral de disparo se genera un PA

Los Potenciales de Accin

Es una onda de descarga elctrica que viaja a lo largo de la membrana de la neurona. Se utilizan para llevar informacin entre neuronas. Se generan en las clulas y en las neuronas. Periodo refractario de 10-3 segundos entre PAs

Propagacin del potencial de accin

NEURONAS ARTIFICIALES
Wij1
Wij2 1 4 u2 2 5 7 y2 3 Wij3 6 y1

u1

Inspiracin Biolgica
Inclinacin a adquirir conocimiento desde la experiencia Conocimiento almacenado en conexiones sinpticas Gran plasticidad neuronal Comportamiento altamente no-lineal Alta tolerancia a fallos (muerte neuronal) Apto para reconocimiento, percepcin y control.

Red Neuronal Artificial (RNA)

Es un sistema de procesamiento de informacin que tiene propiedades inspiradas en las redes neuronales biolgicas: El procesamiento de informacin ocurre en muchos elementos simples llamados neuronas. Las seales son transferidas entre neuronas a travs de enlaces de conexin. Cada conexin tiene un peso asociado, el cual, tpicamente, multiplica a la seal transmitida. Cada neurona aplica una funcin de activacin (usualmente no lineal) a su entrada de red (suma de entradas pesadas) para determinar su salida.

Modelado Neuronal
Entradas (X) Salida (Y) Pesos sinpticos (W) Funcin suma (net) Funcin de activacin (f) Funcionamiento en modo aprendizaje o ejecucin

. . . k . . .
n

1 X1
W1u Xk Xn Wku Wnu

Yu

net u=

X W
i 1
i

iu

Yu = f (netu) Yu = f (

Xi Wiu )
i 1

Modelo Neuronal
Elemento Procesador

net u=

X W
i 1
i

iu

Yu = f (netu)

Yu = f (

Xi Wiu )
i 1

Neurona Natural vs. Artificial

Neurona Dendritas Axn Conexiones sinpticas Efectividad sinptica Excitacin / Inhibicin Potencial Combinado de PAs Potencial de accin = Unidad de procesamiento = entradas (X) = salidas (Y) = Conexiones con pesos (W) = Peso sinptico (Wij) = Pesos Wij (+) Wij (-) = valores de entradas o salidas = Funcin de propagacin () = Funcin de transferencia (f)

Funcin de Transferencia
Funcin de Propagacin
Permite obtener el valor del potencial post-sinaptico (net) a partir de las entradas (X) y los pesos (W)

Funcin de Transferencia.
Permite obtener la salida (Y) del elemento procesador ante un estmulo (net). Yu = f (netu) En el modelo ms simple la f obtiene la salida Y comparando la entrada net con un umbral.
Si net > umbral seal. Si net < umbral sin seal.

netu=

X W
i 1
i

iu

Es posible utilizar otro tipos de funcin de propagacin, tales como mnimo, mximo, mayora, producto, etc.

APRENDIZAJE

Aprendizaje
Cambio relativamente estable en la conducta del individuo. Relacin entre el estmulo y la respuesta (experiencia). Las neuronas son estimuladas por las sensaciones. Plasticidad de las neuronas. Respuesta a situaciones simulares
Aprendizaje significativo Incorporacin de Sustantiva. nuevos No arbitraria. conocimientos No verbalista Esfuerzo del sujeto Deliberado. Intencin de vincular los conocimientos a un nivel superior. Implicancia El aprendizaje se vincula a la experiencia emprica objetiva Motivacin Implicacin afectiva en la vinculacin de los nuevos conocimientos con los anteriores Aprendizaje memorstico No sustantiva. Arbitraria. Verbalista No hay esfuerzo por integrar los ya datos incorporados. El aprendizaje no se vincula a la experiencia objetiva No hay implicacin afectiva por relacionar los nuevos conocimientos con los anteriores

Aprendizaje
Aprendizaje Memorstico.
Generado por patrones de actividad. Resonancia

Plasticidad neuronal.
Es la modificacin continua del sistema nervioso en su estructura y su funcin para adaptarse a las necesidades del medio ambiente.

Aprendizaje Significativo.
Generado por cambios fsicos y qumicos en las neuronas.

Se crean nuevas conexiones. Generado por la plasticidad neuronal. Reforzamiento de las conexiones creadas Eliminacin de las conexiones formadas.

Aprendizaje Automtico
Desarrollo de tcnicas para que las computadoras aprendan. Crea programas que generalizan comportamientos a partir de informacin no estructurada entregada como ejemplos. Proceso de induccin del conocimiento Basado en el anlisis de datos.
Aplicaciones. Motores de bsqueda Diagnstico mdico. Deteccin de fraude Mercado de valores Clasificacin de ADN Reconocimiento de voz Robtica

Nuevos casos

ejemplo

Algoritmo de aprendizaje automtico

Modelos de Clasificacin Agrupamiento, Secuenciacin, Asociacin y Optimizacin

Respuesta

Modelos de Aprendizaje
Aprendizaje supervizado:
Se presentan pares de patrones de entrada y salida. Se compara la salida calculada con la respuesta correcta. La diferencia permite ajustar los pesos de las conexiones para buscar una salida ms aproximada a la correcta. El aprendizaje se da a travs de un proceso iterativo de ajuste aplicado a sus pesos sinpticos.

Aprendizaje no supervizado
Se presentan slo patrones de entrada Se busca grupos de entradas relacionados por cercana. No requiere influencia externa para ajustar sus pesos. No recibe ninguna informacin del entorno que le indique si la salida generada respecto a una determinada entrada es o no correcta. Basado en la redundancia en las entradas

RECONOCIMIENTO DE PATRONES

Reconocimiento de Patrones
El reconocimiento de patrones es la clasificacin de seales en clases.
Se quiere clasificar un seal dependiendo de sus caractersticas. Las seales, caractersticas y clases pueden ser de cualquiera forma.
Clasificar imgenes digitales de letras en las clases A a Z dependiente de sus pxeles. Clasificar ruidos de cantos de los pjaros en clases de rdenes aviares dependiente de las frecuencias.

Reconocimiento de Patrones
Cul de estos caracteres corresponde al nmero 3?

Enfoques - Reconocimiento de Patrones

Reconocimiento Estadstico de Patrones.- Usa probabilidad y estadstica, supone la existencia de distribuciones de probabilidad a partir de ellas se hace el reconocimiento.
Reconocimiento Sintctico de Patrones.- Encuentra relaciones estructurales, utilizando teora de lenguajes formales, construye una gramtica que describe la estructura de objetos. Redes Neuronales.- Dada una arquitectura, las red es entrenada para entregar una respuesta cuando se le presentan determinados valores. Reconocimiento Lgico Combinatorio de Patrones.- Se modela el problema lo ms cercana a la realidad del mismo, sin hacer supuestos no fundamentados.

ARQUITECTURA DE LAS REDES NEURONALES ARTIFICIALES

Arquitectura Neuronal
Entrada - salida Nmero y tipo de entradas Elementos ocultos Elementos de salida

Conexin entre capas Totalmente conectados (full-conexin) Parcialmente conectados Conexin uno a uno Actualizacin de valores. Simultnea Aleatoria Segn orden topolgico

Conectividad entre capas Feedforward (hacia adelante) Feedback (recurrentes) Estructuras Enrejadas (Lattice)

Arquitectura Neuronal

Monocapa feedforward
Recurrente con interconexiones laterales

Capa de entrada

Capa de salida

Multicapa feedforward

Capa de entrada

Capa oculta

Capa de salida
Salidas

Multicapa feedforward parcialmente conectada

Capa oculta Capa de salida

Recurrente con neuronas ocultas

Entradas

Arquitectura Neuronal
Redes Feedforward (No recurrentes) Conexiones unidireccionales:
Aprendizaje Supervisado

Redes Feedback (recurrentes) Presenta conexiones de Retorno

Aprendizaje no Supervisado

Algoritmos de Aprendizaje
Algoritmos de aprendizaje ms comunes: Perceptrn multicapa o Backpropagation (BPN) Aprendizajes supervizados bajo correccin de error
Mapas Auto-organizados (SOM) Aprendizajes competitivo no supervizados Extractores de caractersticas (GHA ICA) Aprendizajes hebbianos no supervizados

APLICACIONES

Aplicaciones
Se usan para el reconocimiento de patrones. Problemas donde ms importante es el patrn que los datos exactos. Aplicaciones: 1. Clasificacin. 2. Prediccin 3. Clustering (Agrupamiento) 4. Aproximacin de curvas 5. Optimizacin.

1. Clasificacin
Clasifica objetos en un nmero finito de clases, dado sus propiedades. Busca una funcin de mapeo que permita separar la clase 1 de la clase 2 y esta de la clase 3 El nmero de clases es finito.
rboles de decisin. Reglas de Asociacin.

Redes Neuronales.
Clasificador Bayesiano. Razonamiento basado en casos

2. Prediccin
Intenta determinar la funcin que mapea un conjunto de variables de entrada en una (o ms) variables de salida. Es bsicamente numrica. Est basada en supuestos estadsticos. Ejemplos:
Monitoreo la reserva de plazas en empresas de aviacin. Predicciones financieras a corto plazo

3. Clustering
(Clasificacin no supervisada) Intenta agrupar una serie de objetos en grupos. Cada objeto es representado por un vector de atributos ndimensional. Los objetos que forman cada grupo deben ser disimilares. La similaridad es medida del grado de proximidad. Luego cada grupo es etiquetado.
K-means
(agrupamiento exclusivo)

Fuzzy C-means
(agrupamiento con traslape)

Angulo de distribucin mnima Mtodo de autoorganizacin (SOM)

Razonamiento Adaptativo

4. Aproximacin de curvas

5. Optimizacin

Conclusiones
Los modelos neurales son tiles en el aprendizaje mecnico. Son tiles para el reconocimiento de patrones.

Referencias
Pattern Classication. R. O.Duda,P. E. Hart, and D.G.Stork. John Wiley & Sons, 2nd ed., 2001.
Pattern Recognition and Machine Learning, C. M. Bishop, Springer, 2006. (An additional useful book)

PREGUNTAS