Escalares: a, b, c

Vectores: a,b,c
Matrices: A,B,C

Neurona Simple
LA entrada escalar p es multiplicado con el peso escalar w formando el wp. Esto dependiendo
puede ser sumado o multiplicado por el bias (llamado tambin offset) b. Tomando como ejemplo
la suma de la bias tenemos:
Wp+b
Esto es llamado la funcin de transferencia (llamado tambin funcin de activacin), el cual
produce un valor escalar a.
f(Wb+b)=a

Comparada con las neuronas biolgicas el peso w corresponde a la fuerza de la sinapsis.
El cuerpo de la neurona biolgica seria representado por los elementos que corresponden a la
funcin de transferencia.
El axn seria representado por la salida a de la funcin de transferencia.
El bias puede tener valor cero.
Tpicamente la funcin de transferencia es escogida por el diseador y los valores de w y p son
ajustados de acuerdo a una funcin de aprendizaje el cual buscara ajustarlos para obtener los
valores objetivos.




Funciones de Transferencia
Hard Limit Transfer Function
Da la salida a CERO si el argumento de la funcin es menor a 0, y da 1 si el argumento de la funcin
es mayor a 0.
Se puede usar esta funcin de transferencia para clasificar entradas en dos categoras distintas.

Podemos ajustar esta funcin mediante los pesos y las bias. Sabiendo que:
Para (-b/w) igual a p la salida de la funcin de transferencia es CERO.
Para -b/w o valores menores la funcin de transferencia es CERO.

Linear Transfer Function
Para la funcin de transferencia linear tenemos que:
a = n = wp+b

Podemos ajustar esta funcin mediante los pesos y las bias. Sabiendo que:
Para (-b/w) igual a p la salida de la funcin de transferencia es CERO.
Para -b/w o valores menores la funcin de transferencia es CERO.
0
0.2
0.4
0.6
0.8
1
1.2
-10 -5 0 5 10
a

p
-10
-5
0
5
10
-10 -5 0 5 10
Linear Transfer Function
Log-Sigmoid Transfer Function
Se obtiene valores de salida para a infinitos entre 0 y 1
a = 1/(1+e
-n
)
Esta funcin en comnmente usada en redes neuronales multicapas, para el entrenamiento
mediante el algoritmo backpropagation en arte porque esta funcin es diferenciable.
a = logsig(wp + b)



Multiple Input Neuron
Para cada entrada p1,p2,p3..pr es multiplicado por cada peso correspondiente a una matriz de
pesos: w11,w12,w13w1r.

Esto lo podemos desagregar de la siguiente manera:

0
0.2
0.4
0.6
0.8
1
1.2
-8 -6 -4 -2 0 2 4 6
Log-Sigmoid Transfer Function
El primer nmero del ndice significa la neurona especfica a la cual pertenece el peso, la segunda
cifra del ndice indica la fuente de donde viene conectado el peso.



Se puede ver un ejemplo de estas redes en matlab: nnd2n2

Arquitectura de Redes
Una Capa de Neuronas
Una capa simple de S neuronas se muestra a continuacin.

Algunos autores refieren a la entrada como una capa ms.
En este caso la salida a ser un vector.
Normalmente todas las neuronas de la capa tienen la misma funcin de transferencia aunque no
siempre se cumple esta condicin.

Para el caso de la bias se tratara de un vector b

Multiple Layers of Neurons
Considerando una red de mltiples capas, podemos usar un superscript para identificar cada capa.




Para redes neuronales de dos capas, usando como funciones de transferencia: sigmoid para la
primera capa y linear para la segunda capa se puede aproximar la MAYORIA DE FUNCIONES
RELATIVAMENTE BIEN.
Las caractersticas deseadas de la seal en la salida de la red puede ser indicativo de las funciones
de transferencia necesarias para la seal en la capa de salida de la red. Por ejemplo si se desea una
salida la cual debe ser -1 o 1, se deber usar en la capa de salida la funcin de transferencia la
symmetrical hard limmit.
Cuando se requiere ms de dos capas?, saber el nmero de capas ocultas que requiere una red
neuronal aun es tema de investigacin.
La mayora de redes neuronales raramente tienen solo dos o tres capas.
Uno puede elegir redes neuronales la cuales no tengas bias, pero las bias pueden ayudar a hacer
redes neuronales ms poderosas.
Cuando la entrada p es cero la salida de la neurona siempre ser cero, esto puede ser no deseado
por lo que en estos casos es muy til la bias.

Redes Neuronales Recurrentes
Antes de discutir sobre las redes recurrentes, vamos a hablar sobre un bloque simple. El bloque
delay.

La salida del bloque delay a(t) es procesado desde la entrada u(t) acorde con la funcin:
a(t) = u(t-1)
Asi tenemos que la salida del bloque delay es la entrada t-1.
La salida inicia con a(0) es decir en t=0

Otro bloque a tomar en cuenta es el bloque integrador.

Redes Neuronales Recurrentes
Las redes neuronales recurrentes son redes neuronales con feedback, donde las salidas estn
conectadas con las entradas. En los bloques inferiores mostramos un tipo de red neuronal
recurrente.

Como escoger un tipo de Arquitectura
1.- Nmero de entradas de la red neuronal = nmero de entradas del problema
2.- Numero de neuronas en la capa de salida = Nmero de salidas del problema
3.- La funcin de transferencia de la capa de salida se escoger segn las caractersticas de las
salidas del problema.




















Funciones de Transferencia
Name Input / Output Relation Icon
MATLAB
Function
Hard Limit a=0 n < 0


hardlim
a=1 n>= 0
Symmetrical Hard
Limit
a= -1 n < 0


hardlims
a= +1 n>= 0
Linear a=n

purelin
Saturating Linear
a=0 n < 0


satlin a=n 1 >= n >= 0
a=1 n > 1
Symmetric
Saturating Linear
a= -1 n < -1



satlins a=n 1 >= n >= -1
a=1 n > 1
Log-Sigmoid a = 1/(1+e^-n)

logsig
Hyperbolic Tangent
Sigmoid
a = (e^n - e^-n) /(e^n + e^-n)



tansig
Positive Linear
a=0 n < 0


poslin
a=n n >= 0
Competitive
a=1 neuron with max n


compet
a=0 all other neurons

Multiple-Input Neuron