Departamento de Ingeniera Elctrica

UNIVERSIDAD DE SANTIAGO DE CHILE

Carrera: Ingeniera Civil en Electricidad

Control Inteligente
Redes Neuronales (parte III)

Dra. Marcela Jamett Domnguez

 M. Jamett
Tabla de Contenido
Redes Multicapa
Tabla de Contenido
Redes Multicapa RNA
RNA
Red Backpropagation Red Backpropagation
Representacin Matricial
Gradiente Descendente
Representacin Matricial
Mnimo Local
Gradiente con Momentum
Ejercicio
Gradiente Descendente

Mnimo Local

Gradiente con Momentum

Ejercicio

CONTROL INTELIGENTE
 M. Jamett
Redes Multicapa
Red en la que sus neuronas estn ordenadas en capas o estratos
Tabla de Contenido
sucesivos. Cada capa recibe entradas desde la capa previa (o
Redes Multicapa entrada externa) y enva sus salidas a la capa siguiente. No hay
RNA conexiones internas en cada capa.
Red Backpropagation
Representacin Matricial
Gradiente Descendente
Mnimo Local
Gradiente con Momentum
Ejercicio

CONTROL INTELIGENTE
 M. Jamett
RNA

Tabla de Contenido
Redes Multicapa
RNA
Red Backpropagation
Representacin Matricial
Gradiente Descendente
Mnimo Local
Gradiente con Momentum
Ejercicio

CONTROL INTELIGENTE
 p
n
M. Jamett
yk (t ) wjk f NL vij xi (t ) bin j boutk
j 1 i1
vi 1 wj 1
x1(t)
S S

x2(t)

fNL y1(t)
xn(t)
Tabla de Contenido
Redes Multicapa
bin 1 bout 1
RNA wj 2
vi 2
Red Backpropagation

Representacin Matricial
S

fNL y2(t)
Gradiente Descendente
Mnimo Local
Gradiente con Momentum
bin 2 bout 2
Ejercicio

.
.
.
.
.
.

vi p wj m

S S

fNL ym(t)

bin p bout m
CONTROL INTELIGENTE
 M. Jamett
Red BackPropagation
Pesos
Modificacin
Iniciales
de los pesos
Tabla de Contenido
deAleatorios
la Red Calculo
Clculodedella
Retropropagacin Salida
Redes Multicapa w1
X salida
del error de la
RNA
1 error
Red Backpropagation 1 Red
w1
Representacin Matricial w1 1
Gradiente Descendente 2
y
Mnimo Local
Gradiente con Momentum
Ejercicio
w2 w2
1
1
error y y
X w2
2 2
w3 w3
1
w3
2
1

1 1
CONTROL INTELIGENTE
 Salidas
M. Jamett de la Red

Tabla de Contenido
Redes Multicapa
RNA Error
Red Backpropagation
Representacin Matricial
Gradiente Descendente
Mnimo Local
Gradiente con Momentum Retropropagacin
Ejercicio

CONTROL INTELIGENTE
 M. Jamett

Clculo de activacin de capas ocultas

Tabla de Contenido
Redes Multicapa
RNA
Red Backpropagation
Representacin Matricial
Gradiente Descendente
Mnimo Local
Gradiente con Momentum
Ejercicio

Clculo de la activacin de capa salida

CONTROL INTELIGENTE
 M. Jamett

Clculo del error

Tabla de Contenido
Redes Multicapa
RNA
Red Backpropagation
Representacin Matricial dk = Dk f (Ok)
Gradiente Descendente
Mnimo Local
Gradiente con Momentum
Ejercicio

CONTROL INTELIGENTE
 M. Jamett

Funcin objetivo de gradiente

Tabla de Contenido
descendente
Redes Multicapa
RNA
Red Backpropagation
Representacin Matricial
Gradiente Descendente
Mnimo Local
Gradiente con Momentum
Ejercicio

Condicin de trmino de gradiente

descendente

CONTROL INTELIGENTE
 M. Jamett

Reclculo de pesos de capa de salida

Tabla de Contenido
Redes Multicapa
RNA
Red Backpropagation
Representacin Matricial
Gradiente Descendente
Mnimo Local
Gradiente con Momentum
Ejercicio Tasa de Aprendizaje Error en k
(ejm. 0.25)

CONTROL INTELIGENTE
 M. Jamett

Reclculo de pesos de capas ocultas

Tabla de Contenido
Redes Multicapa
RNA
Red Backpropagation
Representacin Matricial
Gradiente Descendente
Mnimo Local
Gradiente con Momentum
Ejercicio

CONTROL INTELIGENTE
 Matricialmente
M. Jamett
X(t+1)

Zin(t) 1 Z(t) Y(t)

X(t) V f NL W fE Y(t) X(t 1) E(t)
1 eZin(t )
Tabla de Contenido
Redes Multicapa
RNA
Red Backpropagation eZin(t )
fNL fE 1
Representacin Matricial 1 e
Zin(t ) 2

Gradiente Descendente
Mnimo Local
Gradiente con Momentum
Ejercicio
Wj E(t)

X(t) Z(t)

-V -WCONTROL INTELIGENTE
 M. Jamett
Matricialmente

Tabla de Contenido
Redes Multicapa
Wi fNL Wo
RNA
Red Backpropagation
Representacin Matricial
Gradiente Descendente
Mnimo Local
Gradiente con Momentum
Ejercicio
Y(t) = WoT fNL [WiTX(t)]
DWoT = E(t) ZT(t)
f NL T
DWiT = ET (t) Wo X (t)
Zi(t )
CONTROL INTELIGENTE
 M. Jamett
Gradiente Descendente

Tabla de Contenido
Redes Multicapa
RNA Ventajas:
Red Backpropagation
Implementacin simple
Representacin Matricial
Gradiente Descendente Mtodo estndar que generalmente funciona bien
Mnimo Local
Gradiente con Momentum
Ejercicio
Desventajas:
Lento e ineficiente
Puede quedar atrapado en mnimos locales entregando
resultados sub-ptimos

CONTROL INTELIGENTE
 M. Jamett
Mnimo Local

Tabla de Contenido
Redes Multicapa
RNA
Red Backpropagation
Representacin Matricial
Gradiente Descendente
Mnimo Local
Gradiente con Momentum Mnimo
Ejercicio
Local

Mnimo
Global

CONTROL INTELIGENTE
 M. Jamett
Gradiente con Momentum
Momentum
Tabla de Contenido Aade porcentaje del ltimo movimiento al actual
Redes Multicapa
RNA
Red Backpropagation
Representacin Matricial
Gradiente Descendente
Mnimo Local
Gradiente con Momentum
Ejercicio

CONTROL INTELIGENTE
 M. Jamett
Ejercicio
Desarrolle el algoritmo del Gradiente Descendente para la
Tabla de Contenido
siguiente RNA
Redes Multicapa
RNA
f (zi)
Red Backpropagation x zi z y
1
Representacin Matricial
Gradiente Descendente
S 1+e-zi
S
Mnimo Local
Gradiente con Momentum
Ejercicio
A partir de la forma genrica:

Dwo = dE/dwo = - a e dy/dwo = - a e z

Dwi = dE/dwi = - a e dy/dwi = - a e wo dz/dwi
= - a e wo f(zi) x
CONTROL INTELIGENTE