Redes Neuronales

Jorge Granados
Agosto 1996

TEXTO SELECCIONADO Y ADAPTADO PARA USO DOCENTE por Ing. Simn Mario Tenzer, Octubre 1999

Indice I.-Redes Neuronales Artificiales vs Redes Neuronales Biolgicas

1) Comparacin entre humanos y mquinas 2) Las neuronas y el aprendizaje 3) Activacin de las neuronas y su representacin en las redes neuronales

II.- Redes neuronales

1) Definiciones 2) Introduccin de las redes neuronales 3) Problemas relacionados con el modelo neuronal

III) Redes neuronales multi-nivel de alimentacin hacia adelante

1) Funcionamiento 2) Interpretacin de entradas y salidas 3) Entrenamiento 4) Caractersticas importantes de muestras para entrenamiento 5) Problemas
6) Entrenamiento no supervisado

IV) Aplicaciones de redes neuronales

1) Control de la eficiencia de una mquina 2) Reconocimiento de firmas 3) Reconocimiento de blancos mediante sonares 4) Prediccin en la bolsa de valores 5) Otras 6) Finanzas.

V) Bibliografa

Introduccin a la Computacin - Computacin aplicada a Contabilidad, Administracin y Economa

Redes Neuronales

I.- Redes Neuronales Artificiales vs Redes Neuronales Biolgicas

1) Comparacin entre humanos y mquinas El aparato computacional ms poderoso conocido por el hombre es el cerebro humano. Un nio de tres aos puede realizar fcilmente labores que superan por mucho las capacidades de las computadoras ms sofisticadas: reconociendo docenas de caras y cientos de objetos desde diferentes ngulos, en condiciones de luz distintas; manipulando un ambiente complejo; entendiendo y usando un vocabulario complejo de lenguaje y gestos. Se han hecho enormes esfuerzos en desarrollo para intentar reproducir versiones limitadas de algunas de estas capacidades en las computadoras, con pobres resultados. Una computadora puede realizar en segundos clculos aritmticos que a un ser humano le llevaran aos. La aritmtica es difcil para los humanos e imposible para los animales. Dicha habilidad se considera tradicionalmente como un signo de gran inteligencia. Entonces, qu causa la disparidad entre las habilidades del hombre y la mquina? La diferencia obvia yace en la arquitectura fundamental de la computadora y del cerebro. Las computadoras tradicionales estn basadas en la arquitectura de Von Neumann: un simple procesador que puede realizar operaciones simples aritmticas, lgicas y condicionales, una a la vez, y una gran memoria, a tasas de millones por segundo o ms. El cerebro humano, en contraste, consiste de un gran numero de clulas especializadas llamadas neuronas, interconectadas masivamente (se estima que hay en el orden de diez billones de neuronas en el cerebro humano con un promedio de miles de conexiones por cada una). Estas neuronas son lentas, realizando cientos en lugar de millones de operaciones por segundo. Las Redes Neuronales Artificiales (ANN, por sus siglas en ingles o simplemente Redes Neuronales) son modelos computarizados inspirados en la estructura a bajo nivel del cerebro. Consisten en grandes cantidades de unidades de procesamiento sencillas llamadas neuronas, conectadas por enlaces de varias fuerzas. Las Redes Neuronales tambin pueden ser construidas con hardware especial o simuladas en computadoras normales. Sin embargo, el hardware neuronal especializado no es comn, as que la simulacin es la norma. 2) Las neuronas y el aprendizaje El cerebro contiene un gran nmero de clulas especializadas llamadas neuronas. Una neurona tiene tres partes: un cuerpo celular, una fina estructura de entrada (Dendrita) y una gran estructura de salida (Axon). Un buen mnemnico es que dendrIta = Input (Entrada) y axOn = output (salida). Las terminales de los axones terminan en sinapsis: estas son conexiones que casi todas los dendritas de otras neuronas. Seales electro-qumicas se propagan por neuronas desde sus sinapsis hacia otras neuronas. Esta conducta simple es modificada en varias formas: a) Una neurona slo produce una seal (se dispara) si la seal de entrada supera una determinada cantidad en un perodo corto de tiempo. b) Las sinapsis varan en fuerza; algunas son buenos conectores permitiendo una seal fuerte, y otras una seal dbil.

Introduccin a la Computacin - Computacin aplicada a Contabilidad, Administracin y Economa

Redes Neuronales c) Las sinapsis pueden ser: excitatorias o inhibitorias. Una sinapsis excitatoria aade una seal a la dendrita. En contraste, la inhibitoria reduce la seal de la dendrita. Ahora se cree que gran parte de la actividad cerebral es controlada por conexiones introductoras / removedoras entre neuronas, y alterando las fuerzas sinpticas de las conexiones. Por ejemplo, asumamos que dos neuronas representan dos conceptos: Comida y Campana. La neurona Comida transmite cada vez que la comida est disponible y la neurona Campana cuando suena una campana. Si hay cena la campana suena, de ah que haya una conexin muy importante entre estos dos conceptos. El aprendizaje de Hebb postula que la fuerza sinptica entre neuronas se incrementa si representan conceptos asociados. Cada vez que la campana suena y la comida aparece, la conexin entre estas dos neuronas aumenta. Consecuentemente, el cerebro aprende a asociar la campana con comida. Sin embargo, si hay un conjunto de conceptos que indican la proximidad de comida (como ser: hambre, olor) que pueden combinarse y "pesarse" de acuerdo a su importancia relativa para determinar si la comida puede aparecer, la neurona de comida quiz pueda activarse slo si coinciden varios conceptos relacionados, por ejemplo, si la campana suena cuando no hay comida, puede no activarse. 3) Activacin de las neuronas y su representacin en las redes neuronales Matemticamente podemos representar una neurona simplificada por un valor (que debe ser superado para que se active) y una lista de sus sinapsis y sus fuerzas asociadas. Las seales de entrada a una neurona son multiplicadas por sus fuerzas ("pesos") asociadas y despus se suman. El resultado se llama el nivel de activacin de la neurona. Si el nivel de activacin supera el valor de la neurona, esta se activa, y una seal se enva a cada neurona que tiene conectada. Se ha postulado que paquetes de neuronas deben compartir esencialmente entradas de otros paquetes, as que la conducta de neuronas individuales es irrelevante. Los paquetes de neuronas ms que neuronas individuales necesitan ser modelados. En una red neuronal, se puede asumir que una neurona sencilla representa un paquete de neuronas reales para enfatizar que el modelo de neuronas usado hasta ahora es extremadamente simple con respecto al del cerebro humano.

II.- Redes neuronales

1) Definiciones "Una red neuronal es un sistema compuesto de muchos elementos procesadores simples operando en paralelo, cuya funcin es determinada por la estructura de la red, fuerza en las conexiones y el procesamiento realizado por los elementos computacionales en los nodos." (DARPA, 1988) "Una red neuronal es un procesamiento distribuido masivamente paralelo que tiene una tendencia natural para almacenar conocimiento emprico y hacerlo disponible para el uso, con dos caractersticas: 1.- El conocimiento se adquiere por la red a travs de un proceso de aprendizaje. 2.- Las conexiones interneurnicas se conocen como pesos sinpticos y se usan para almacenar el conocimiento." (Haykin, S., 1994) "Los sistemas de redes neuronales artificiales, o redes neuronales, son sistemas celulares fsicos que pueden adquirir, almacenar y usar conocimiento emprico." (Zurada, J. M., 1992)
3

Introduccin a la Computacin - Computacin aplicada a Contabilidad, Administracin y Economa

Redes Neuronales Las redes neuronales son una forma de un sistema computarizado multi-proceso con: - Elementos de procesamiento sencillos. - Alto grado de interconexin. - Mensajes simples escalares. - Interaccin adaptable entre elementos. 2) Introduccin de las redes neuronales En los 50's y 60's, se hicieron varios intentos para adaptar los modelos de Redes Neuronales para que se diera el aprendizaje. Rosenblatt dise el Perceptron. Este contena tres tipos de neuronas: sensoriales, asociativas y de respuesta. Las sensoriales tomaban entradas de fuera de la red, las unidades de respuesta propagaban seales afuera de la red al mundo externo, y las asociativas eran meramente internas. La distincin entre estos tres tipos de neuronas se refieren como unidades de entrada, de salida y ocultas.

Rosenblatt desarroll mtodos para alterar los niveles sinpticos de forma que la red aprendiera a reconocer clases de entradas. Por ejemplo, produjo una red que aprendi a responder a lneas verticales, pero no a horizontales (se sabe que neuronas especializadas en la visin actan de esta forma). Como muchas Redes Neuronales posteriores, el rasgo ms importante del Perceptron es que aprendi a clasificar sus entradas "por ejemplo"; lo cual contrasta con la clsica ciencia computacional donde el programador escribe un programa que le dice a la computadora cmo clasificar sus entradas. En 1969, Minsky y Papert publicaron un libro que influenci mucho el pensamiento sobre redes neuronales. Demostraron que para hacer algunas tareas importantes de clasificacin en geometra requeran un incremento arbitrario en el tamao del Perceptron mientras se iba incrementando el tamao de la retina. Tambin demostraron que el Perceptron era incapaz de aprender a resolver cualquier problema linealmente inseparable, lo cual fue un grave problema.

Introduccin a la Computacin - Computacin aplicada a Contabilidad, Administracin y Economa

Redes Neuronales Despus de los 80s el campo de inteligencia artificial se hizo muy popular. En Inteligencia Artificial, la inteligencia se modela top-down, con algoritmos diseados para modelar procesos mentales de alto nivel como la asociacin de conceptos, deduccin, induccin y razonamiento. 3) Problemas relacionados con el modelo neuronal Primero, si las seales llegan a la neurona a tiempos distintos, se deben sumar, y si es as cmo se deben sumar? Si las seales viajan a diferentes tasas entre diferentes conexiones, habr diferencias en los tiempos? Deben las neuronas esperar a que llegue un cierto nmero de seales para ejecutar la funcin de activacin? Si es as, cunto deben esperar? Las redes biolgicas deben tratar con estos problemas as como las redes artificiales deben tomarlos en cuenta. Sin embargo, los modelos artificiales con los que se tratarn hacen a un lado este problema insistiendo en que la red se actualiza en una secuencia de pasos discretos: en cada paso, se propagan las seales, se calculan los niveles de activacin y se determinan las salidas, a travs de la red entera de una manera simultnea (o cuando menos en un orden bien definido). Segundo, qu neurona debe estar conectada con cul? En el caso mas general, cada neurona puede tener conexiones con cualquier otra, lo que incluye conexiones de la neurona consigo misma. Un sistema donde la salida de un componente puede influenciar su entrada se dice que exhibe feedback (retroalimentacin). Los sistemas con feed-back son notablemente difciles de analizar y predecir. Una Red Neuronal con conexiones feed-back recibe el nombre de Red Recurrente. Estas tienen propiedades no deseadas; por ejemplo, las seales se pueden propagar por la red, indefinidamente, siempre cambiando. Es difcil ver cmo se puede interpretar que la red ha decidido algo, ya que la decisin requiere cierta estabilidad. Se ha hecho un gran esfuerzo en investigacin en redes neuronales para conseguir estructuras de red que consigan estabilidad. La estabilidad puede introducirse si se deshace cualquier conexin feed-back o limitando el feed-back para hacer predecible y estable el comportamiento de la red.

III) Redes neuronales multi-nivel de alimentacin hacia adelante ( Multi-Layer feedforward Neural Networks)
1) Funcionamiento El modelo de red multi - nivel feedforward 1 es el ms popular. Se arregla en un numero de capas secuenciales; cada neurona en cada capa se conecta a cada neurona del siguiente nivel. La primera capa es llamada capa de entrada y recibe seales del mundo externo. La ultima es llamada capa de salida y propaga seales (decisiones de la red) al mundo exterior. Las otras capas son llamadas ocultas porque no se acceden directamente desde el mundo exterior, ya que estn dedicadas exclusivamente a decisiones.

El concepto de feedforward quiere decir libre de ciclos. Generalmente las conexiones permitidas son entre las capas de entrada y la primera capa oculta, de la primera oculta a la segunda, .... y de la ultima capa oculta a la de salida. 5

Introduccin a la Computacin - Computacin aplicada a Contabilidad, Administracin y Economa

Redes Neuronales El comportamiento de la red se basa en lo siguiente: Primero, las activaciones de las unidades de entrada son valuadas de acuerdo al problema que se quiere resolver. Despus, las seales se propagan de la capa de entrada a la siguiente, con cada unidad realizando una suma ponderada de sus entradas y aplicando su funcin de activacin. El proceso se repite hasta que la capa de salida se alcance. Las activaciones de la salida representan la respuesta de la red a las entradas que recibe. 2) Interpretacin de entradas y salidas El significado preciso de los valores de entrada y salida depende de la aplicacin parar la que fue diseada la red. Por ejemplo, si se pretende que la red prediga valores de mercado, las entradas pueden ser varias medidas financieras (precios anteriores, inflacin, moneda) y las salidas pueden representar la prediccin de la red respecto a los precios de maana. Si la red predice una falla en un aeroplano, las entradas pueden ser temperatura, nivel de aceite, altitud y la edad del avin, con la salida siendo un valor entre cero y uno (0 = tranquilo a 1 = pnico). En general, cualquier conjunto de entradas y cualquier conjunto de salidas puede ser especificado. 3) Entrenamiento La parte ms importante de la modulacin de la red neuronal es determinar formas para ajustar los pesos de forma que la red realice un buen mapeo entre entradas y salidas: a esto se le llama "entrenamiento" de la red. El mapeo de redes neuronales es tan complejo que an cuando una red ha sido bien entrenada para resolver un problema, el usuario puede ser incapaz de entender cmo la red lo logra. Lo que se requiere son mtodos de entrenamiento automticos para el mapeo de entrada-salida. Una cantidad de muestras son presentadas a la red y un procedimiento de entrenamiento es usado para ajustar los pesos para que aprenda el mapeo. Las muestras de entrenamiento consisten de un conjunto de entradas junto con las salidas esperadas. Entrenar una red neuronal es, en muchos de los casos, un ejercicio de optimizacin numrica de una funcin usualmente no-lineal. Se usa el entrenamiento de redes neuronales cuando se enfrentan a problemas que, aunque poseen causa y efecto, son muy complejos para derivar y expresar en relaciones conductales. La intencin es que la red neuronal aprenda a generalizar. Es decir, habiendo aprendido a clasificar correctamente las muestras de aprendizaje, si se presenta una nueva muestra, la clasificar correctamente tambin, porque ha aprendido a reconocer las caractersticas que distinguen las diferentes clases de muestras. 4) Caractersticas importantes de muestras para entrenamiento 1) Las muestras deben reflejar todas las condiciones de entrada que estn asociadas con la salida deseada, en cualquier combinacin. 2) Deben ser incluidos buenos contra-ejemplos. Esto es crtico. Si se intenta sonar la campana una vez para una cena, y dos veces para evacuar el edificio, se habr tenido que entrenar mejor al perro, seguramente; de lo contrario cuando la campana suene dos veces el perro saldra disparado a la cocina en lugar de a la salida del edificio.

Introduccin a la Computacin - Computacin aplicada a Contabilidad, Administracin y Economa

Redes Neuronales 3) El viejo dicho: "no puedes ensear a un perro viejo, nuevos trucos" es adecuado. Ya que los pesos en una red han sido ajustados para aprender un mapeo particular, es difcil ajustarlos a aprender un mapeo nuevo o uno modificado. Si primero se le presentan puros ejemplos correctos y luego incorrectos, la red probablemente clasificar a todos como buenos. El problema de requerir redes neuronales para que retengan lo que han aprendido, y ser capaces de incorporar nuevos conocimientos cuando se requiera, se conoce como el dilema estabilidadflexibilidad. 4) Se necesita concentrar esfuerzo donde la clasificacin es ms difcil. Es ms fcil distinguir entre entradas muy diferentes que causan salidas muy diferentes, que entre entradas ligeramente diferentes que causan salidas muy diferentes. Si se debe tratar con ambos, la mayora de los patrones deben ser concentrados en las entradas difciles de distinguir. 5) Las redes neuronales son propensas a "sobre-aprender". Esto ocurre cuando la red reconoce una entrada para la que ha sido entrenada, pero falla en clasificar correctamente entradas no vistas previamente. Esto puede ocurrir si los mismos patrones en el procedimiento de entrenamiento son repetidamente presentados en un intento de hacer una clasificacin ms precisa. 5) Problemas Es difcil entender por qu una red neuronal hace lo que hace. An si la red clasifica correctamente todas sus entradas, y aparenta generalizar nuevas entradas, no hay forma sencilla de predecir lo que pasar cuando una entrada no vista se presenta. La nica forma es haciendo la prueba. Las redes neuronales pueden ser clasificadas como una aproximacin del enfoque de "caja negra" a la solucin de problemas. Efectivamente, resultan adecuadas cuando el diseador necesita un problema resuelto, pero no le importa cmo, y puede tolerar decisiones pobres si ocurren.

6) Entrenamiento no supervisado En los prrafos anteriores se trat con redes multi-nivel de alimentacin hacia adelante. Estas son parte de las clases de redes neuronales que usan algoritmos de entrenamiento supervisados, donde el entrenador determina qu salidas se esperan de las entradas de entrenamiento. Existen algoritmos de entrenamiento no supervisados, donde la red aprende a clasificar entradas basada solamente en su similitud con otras entradas. Son tiles cuando el usuario no sabe exactamente qu clases se desean o esperan. Tambin permiten a la red descubrir patrones entre los datos. En el aprendizaje supervisado, hay un "profesor" que en la fase de aprendizaje "le dice" a la red cmo debe comportarse ("aprendizaje reforzado"), o cul debe ser el comportamiento correcto ("completamente supervisado"). En el aprendizaje no supervisado slo se muestran los datos, se hallan algunas de sus propiedades del conjunto de datos y aprende a reflejar esas propiedades en la salida. Cules son esas propiedades exactamente, que la red aprende a reconocer, depende del modelo particular de la red y del mtodo de aprendizaje. Usualmente, la red aprende representaciones ms compactas de los datos.

Introduccin a la Computacin - Computacin aplicada a Contabilidad, Administracin y Economa

Redes Neuronales

IV) Aplicaciones de redes neuronales

1) Control de la eficiencia de una mquina El comportamiento de la mquina de un vehculo es influenciada por un gran nmero de parmetros: temperatura, mezcla airecombustible, viscosidad del lubricante, etc. Rolls Royce ha usado redes neuronales para ajustar dinmicamente una mquina de acuerdo a su estado actual. 2) Reconocimiento de firmas Cada persona tiene una firma distinta. Aunque cada vez que firmamos algo, la firma es ligeramente distinta, la forma en general es similar y puede ser reconocida por un experto humano. Una compaa ha creado una mquina que reconoce firmas con un gran nivel de precisin. Toma en cuenta la velocidad en que se firma, adems de la presin, grosor y otros factores. 3) Reconocimiento de blancos mediante sonares El propsito es reconocer objetos "hostiles", en este caso, minas en el mar. Las minas deben ser distinguidas entre otros objetos similares, pero inofensivos (como rocas). La red neuronal es provista con un gran nmero de parmetros que son extrados de la seal del sonar, cada uno de los cuales repercute en la forma del objeto. El conjunto de entrenamiento consiste de seales de minas y de rocas. 4) Prediccin en la bolsa de valores El triunfo (o no) en el uso real en la prediccin de mercados es difcil de conocer dado que las compaas que estn usando estas tcnicas son comprensiblemente reacias a mostrar informacin. Algunos creen, incluso, que la proclama de usar redes neuronales es un truco de mercadeo. Los sistemas basados en redes neuronales son los mecanismos ms avanzados y sofisticados para el pronstico de los precios de acciones. Han resultado ser herramientas muy efectivas para complementar las decisiones financieras. Debidamente entrenadas y programadas, las redes neuronales permiten realizar pronsticos, utilizndose mayormente para generar informacin cuantitativa (por ejemplo, los precios esperados de acciones). La "Optimizacin" en Finanzas: los modelos de optimizacin son especialmente indicados para apoyar la administracin de carteras, en ambientes tan dinmicos y exigentes como los financieros. El uso de estos sistemas permiten: * Tratar coordinada y simultneamente a todos los componentes de la cartera. * Considerar los costos fijos y variables involucrados en cada operacin, como ser: comisiones y gastos por compra o venta. * Controlar restricciones a cumplir (por ejemplo: incluir un determinado porcentaje de papeles de un rubro, o que ese porcentaje no sea mayor a otro valor).

Introduccin a la Computacin - Computacin aplicada a Contabilidad, Administracin y Economa

Redes Neuronales * Cumplir con consideraciones tcnicas (por ejemplo: un valor mnimo de liquidez). * Considerar datos cualitativos (como ser: noticias, rumores, apreciacin personal).

5) Otras - Reconocimiento ptico de caracteres.

Control de procesos industriales. Aplicaciones de prediccin del tiempo. Decisiones sobre otorgamiento de prstamos, etc. Anlisis de inversiones. Anlisis de firmas. Monitoreo. Mercadotecnia.

6) Area financiera Se aplica lo dicho en el ejemplo de prediccin de valores de bolsa. Ejemplo de utilizacin de redes neuronales en la decisin respecto al otorgamiento o no de una tarjeta de crdito:

Problema Tipo de red. Objetivo Clasificacin. Ayuda al proceso de toma de Determinar la aprobacin o no decisin en la concesin de crditos. de una tarjeta de crdito a un cliente de un banco.

Variables elegidas para este estudio: En total son 51, de las cuales 15 son provistas por el banco. Por razones de confidencialidad no se da una descripcin de las variables utilizadas. Entre ellas hay tanto variables numricas como alfanumricas.

Variable a PREDECIR: 1) una variable binaria: 1 si se le tiene que dar la tarjeta, 0 en caso contrario.

Las redes neuronales se han creado con el fin de duplicar y simular los componentes y las funcionalidades del cerebro humano. Estos sistemas deben aprender de los datos que se le suministran. Por medio de un proceso de entrenamiento; el conocimiento se almacenar como "pesos" dados a los distintos enlaces entre las neuronas de la red. El mtodo de entrenamiento es un factor relevante en las redes y en su aplicacin en las finanzas. Es el aspecto ms importante. Se necesitan dos etapas para el entrenamiento de la

Introduccin a la Computacin - Computacin aplicada a Contabilidad, Administracin y Economa

Redes Neuronales red. En la primera, el diseador necesita adquirir conocimiento de los aspectos que pueden influir en el resultado del proceso de adopcin de medidas. En la segunda, el diseador debe tratar una cantidad muy grande de datos, que se utilizarn para entrenar la red segn los criterios identificados en el primer juego de informacin. Estos datos consistirn tpicamente de bases de datos histricas de precios e indicadores matemticos, financieros y estadsticos. El entrenamiento es un proceso que normalmente requiere una cantidad significativa de tiempo. En los pronsticos financieros, el sistema requerir miles de datos y una actualizacin peridica, antes que pueda utilizarse en los pronsticos de tiempo real. Un punto importante para destacar es que los datos deben estar libres de errores. De otra manera ocasionaran soluciones inadecuadas. El proceso de entrenamiento puede durar desde horas a semanas, dependiendo de la cantidad de datos que se utilicen. Las instituciones financieras tienen por lo menos un sistema que trabaja en tiempo real para apoyar la adopcin de medidas de sus operadores. Las redes neuronales y los sistemas expertos pueden integrarse a dichos sistemas para superar las limitaciones de cada tcnica. Por ltimo, una nota sobre los Sistemas Expertos en Finanzas. El tema ms importante para el desarrollo de herramientas financieras con sistemas expertos es la adquisicin de conocimientos especficos. Qu criterios seran los utilizados por un experto para tomar las mejores decisiones? Al presente, la informacin sobre tales sistemas se basa en la divulgacin de casos exitosos que han tenido algunos operadores financieros y generalmente en otros pases. Esto puede llevar a la prdida de ventaja competitiva. En general, los operadores financieros hoy prefieren sistemas basados en redes neuronales para el pronstico, mientras que los sistemas expertos ahora tienden a ser utilizados en otras zonas financieras, donde el resultado del sistema debe ser una decisin clara y concreta.

V) Bibliografa
NeuroSolutions - The Neural Network Simulation Environment http://www.nd.com/ An Introduction To Neural Networks Prepared by: Z Solutions, LLC Atlanta, Georgia USA http://www.mindspring.com/~zsol/nnintro.html Frequently Asked Questions ftp://ftp.sas.com/pub/neural/FAQ.html An Introduction to Neural Networks Dr. Leslie Smith Centre for Cognitive and Computational Neuroscience Department of Computing and Mathematics University of Stirling. http://www.cs.stir.ac.uk/~lss/NNIntro/InvSlides.html COM338 Neural Networks: Home Page http://osiris.sunderland.ac.uk/ahu/nn/home.html Software de redes neuronales en finanzas http://www.laguia.com.ar

10