REDES NEURONALES

Dr. Jorge Vivas

CIMEPB - Centro de Procesos Bsicos, Metodologa y Educacin Facultad de Psicologa U.N.M.D.P. En base a A Practical Guide to Neural Nets M. Nelson y W. Illingworth

A) LOS COMPONENTES BSICOS

El elemento de Proceso Simple (PE) O Neurona Artificial Entradas 1 2 Salida PE 3 4

1) FUNCIONES (3 de las 150 funciones reales)

Evaluar seales de entrada determinando en peso de

cada una.
Calcula el total para cualquier combinacin de entradas

y lo compara para cualquier nivel.

Determina que salida debe realizar

2) ENTRADAS Y SALIDAS
Las E ingresan simultneamente al PE. De acuerdo a

un umbral la neurona dispara o no una salida. Varias Entradas una sola Salida. Algunas Redes aceptan la inclusin de mecanismos para otras influencias distintas de las Entradas. Estos extra-inputs se llaman trminos de predisposicin o forzamiento. Incluye los de olvido para desaprender.

3) FACTOR PESO
Cada Entrada puede tener un Peso relativo que

afecta el impacto como entrada.

Los Pesos son Coeficientes Adaptativos dentro de

la red. Determinan la intensidad de la Entrada (Fuerza de la conexin).

El Peso inicial para un PE puede ser modificado en

funcin de las E y las propias reglas de modificacin de la red.

3) FACTOR PESO
La Entrada Total en un PE es el producto de dos

vectores:

(e1 , e 2, e

3 . . .

e n)

y (P1 , P2, P3

. . .

Pn)

E1 = e

1 * P1 ;

E2 = e

1*

P1

etc

La Entrada Total es el escalar E1 + E2 . . .En. Donde: Si los vectores van en el mismo sentido el

producto es el mximo. Si apuntan en sentidos opuestos el producto es mnimo.

4) FUNCIONES NEURONALES a) Funcin Sumatoria

Si eX * PX es mayor que el umbral entonces genera una seal de salida. e1 P1

e2

P2

S = eX

PX

e3
e4

p3
p4

4) FUNCIONES NEURONALES b) Funcin de Activacin

El resultado de la debera ingresar a una Funcin de Activacin antes que a una funcin de Transferencia. Esto permite variar la salida en funcin del tiempo y la experiencia e1 P1

e2

P2

T
p4

S = eX

PX

e3
e4

p3

4) FUNCIONES NEURONALES c) Funcin de Transferencia

El

Umbral o Funcin de Transferencia es generalmente no lineal. Las funciones lineales son limitadas y no muy tiles (x or) para decidir si se prende una clula fotoelctrica. Las Funciones de Transferencia ms utilizadas son las escalonadas, en rampa o las sigmoideas. O las decisiones en base a lgica difusa.

4) FUNCIONES NEURONALES c) Funcin de Transferencia

1 1
1 -1
X < 0 ^ Y = -1 x ) X>0^Y= 1 X<0^Y=0 0 X 1 ^Y = X X>1^Y=1 Y = 1 / (1 + e

5) COMBINANDO ELEMENTOS PEs

Si se combinan varios PEs da lugar a una capa. Las entradas se conectan a varios nodos (Pes) con

distinto peso. La salida sigue por un nodo.

Una Capa

6) COMBINANDO CAPAS
Se pueden interconectar varias capas. La capa que recibe las entradas se llama capa de entrada y su funcin es un buffer de inputs. La capa de salida genera los outputs. Entre una y otra puede haber n capas ocultas. Las interconexiones se ponderan por un peso asociado a cada conexin particular. Una red es full connected si para cada salida de una capa existe una conexin para cada nodo de la prxima capa.

6) COMBINANDO CAPAS

7) OPCIONES DE CONECTIVIDAD
La conectividad alude a como las salidas pueden ser usadas como canales para ser entradas de otras neuronas:
1.

Si la salida de un PE no puede ser entrada de un PE de la misma capa o de capas precedentes de llama feedforward. Si una salida puede ser entrada de su misma capa o

2.

8) FILTROS
Las capas pueden actuar como filtros generando representaciones intermedias. Ej. La Matriz de puntos de la letra A (5 por 7). La salida activa una representacin ASCII 0100 0001
. . . . . . . . . . . . . . . . . . .

B) LOS MECANISMOS BSICOS DE APRENDIZAJE

La Funcin de Transferencia se establece en el diseo y

no puede ser modificada durante la ejecucin (para cada PE). Cada PE puede ajustar su peso dinmicamente Cuando muchos PEs ajustan su peso colectivamente se dice que la red se ensambla inteligentemente. Esto se logra por medio de distintos mecanismos de Aprendizaje

MODOS Y RANGOS DE APRENDIZAJE

1.
2. 1. 2.

Los Modos aprendizajes pueden ser: Supervisado: Con un tutor que REFUERZA hasta congelar los pesos. No supervisado: Aprende de detectar regularidades. Los Rangos de aprendizaje pueden ser: Rpido: Poco training Discriminacin baja. Lento: Mucho training (off line) Discriminacin fina. El rango es una medida de CONVERGENCIA de la red

TCNICAS DE ENTRENAMIENTO
Las Redes Aprenden la relacin entre Entradas y

Salidas mirando ejemplos de varias Entradas y Salidas.

La habilidad para determinar como procesar los datos de entrada se llama autoorganizacin.
El proceso por el cual lo logran se denomina adaptacin o aprendizaje

LEYES DE APRENDIZAJE Ley de Hebb y Regla Delta

Ley de Hebb:

Si un PE recibe un input de otro PE y si ambos son altamente activos (= signo), el peso entre los PEs debera potenciarse

Regla DELTA: Para un PE la regla continuamente modifica el nivel de discrepancia (DELTA) entre el output deseado y el output real corriente (Ej. Windrow & Hoff Adaline)

LEYES DE APRENDIZAJE Regla del descenso y Kohonen

Regla del descenso del gradiente:

Los pesos son modificados por un monto proporcional a la primera derivada del error respecto del peso. Ley de Aprendizaje de Kohonen: Los PEs compiten entre s para tener oportunidad de aprendizaje. El PE con mayor salida se declara ganador y obtiene la posibilidad de: 1) inhibir a los competidores 2) ajustar sus pesos con los de sus vecinos (aliados). El ganador se define como quien tienen la mas estrecha coincidencia con los patrones de entrada. Las leyes Kohonen modelan la distribucin de los inputs.

LEYES DE APRENDIZAJE Propagacn hacia atrs

Aprendizaje Back Propagation (dos fases con 3 o ms

capas):
1)

Fase Forward: El input es propagado hacia la salida. Calcula el valor del output para cada PE. Se compara con el valor deseado y se calcula el error. Fase Backward: el error es ejecutado en direccin hacia atrs.

2)

LEYES DE APRENDIZAJE Red de Grossberg

Teora del Refuerzo (Simula Pavlov):

El PE es condicionado para que ciertos inputs trabajen como REFUERZOS y otros como INHIBIDORES. La salida se mide por frecuencia ms que por intensidad

c) Qu podemos hacer con Redes Neuronales? Aplicaciones

Reconocimiento de Caracteres: El reconocimiento de caracteres es cada vez ms importante en

nuestra sociedad. Los dispositivos manuales como la Palm Pilot son cada vez ms populares. Las redes neuronales se pueden utilizar para reconocer caracteres manuscritos.
Medicina: Una de las reas que ha ganado la atencin es el diagnstico cardiopulmonar. Un

paciente puede tener chequeos regulares en un rea particular, aumentando la posibilidad de detectar una enfermedad o una disfuncin. Los datos pueden incluir ritmo cardaco, la presin arterial, el ritmo respiratorio, etc. Los modelos pueden incluir variaciones de edad, sexo y actividad fsica. Los datos de cada individuo se comparan con los datos anteriores y/o a los datos de los varios modelos genricos. Las desviaciones de la norma se comparan a las causas sabidas de las desviaciones para cada dolencia. La red neuronal puede aprender estudiando las diversas condiciones y modelos, combinndolos para formar un cuadro conceptual completo y despus diagnostica la condicin de un paciente basada sobre los modelos. Compresin de imagen: La redes neuronales pueden recibir y procesar extensas cantidades de informacin inmediatamente, hacindolas tiles en la compresin de imagen. Con la explosin del Internet y ms sitios usando ms imgenes en sus sitios, las redes son una alternativa eficaz.

c) Qu podemos hacer con Redes Neuronales? Aplicaciones

El problema del viajante: Es bastante interesante. Las redes pueden ayudar a resolver estos

problemas de optimizacin, pero solo hasta cierto grado de aproximacin.

La nariz electrnica: La idea de una nariz qumica puede parecer un poco absurda, pero tiene

varios usos en el mundo real. La nariz electrnica se compone de un sistema de deteccin qumico y de una red que reconoce ciertos patrones de productos qumicos. Un olor se pasa sobre el arsenal qumico del sensor, se traducen de formato y la red identifica el producto qumico.
Seguridad: Ya de usa el CATCH. U n acrnimo para el seguimiento y caracterizacin de

homicidios. Aprende sobre un crimen existente, su localizacin y las caractersticas particulares. Se subdivide en diversas herramientas, que ponen nfasis en una caracterstica o grupo de ellas. Permite que el usuario quite ciertas caractersticas que determine que no tienen relacin.
Prediccin de la bolsa: El negocio cotidiano de la bolsa es extremadamente complicado. Muchos

factores pesan para que una accin suba o baje en cualquier momento. Dado que las redes neuronales pueden examinar mucha informacin rpidamente y ordenarla, pueden ser utilizadas para predecir precios de las acciones.