Agenda
Introduo
Boltzmann Machines
Deep Boltzmann Machines
Experimentos
MNIST
NORB
Concluses
Introduo
O que Deep Learning?
Introduo
Origem:
Visvel e Invisvel.
Introduo
Boltzmann Machine e Restricted Boltzmann Machine:
Introduo
Deep Learning com RBM:
RBM's empilhadas.
RBM's empilhadas.
Boltzmann Machines
Onde sigma uma funo Logstica. A atualizao dos pesos dada por:
Boltzmann Machines
Problemas:
Emprego algoritmo
expectativas;
de
Gibbs
para
aproximar
as
Soluo:
Boltzmann Machines
Restrict Boltzmann Machine:
Divergncia Contrastiva:
Boltzmann Machines
Usando cadeias de Markov persistentes para estimar a
expectativa do modelo:
Boltzmann Machines
Abordagem variacional para estimar a expectativa dependentes
dos dados
Boltzmann Machines
Abordagem variacional para estimar a expectativa dependentes
dos dados
Boltzmann Machines
Abordagem variacional para estimar a expectativa dependentes
dos dados
Soluo:
Vantagens:
Boltzmann Machines
DBM's e DBN's:
Calculando a Energia:
Modelo:
Camada do topo:
Experimentos
Bases:
MNIST e NORB;
Base dividida em mini batches, cada um com 100
amostras;
Metodologia:
Experimentos
MNIST:
Base
Experimentos
MNIST:
Experimentos
NORB:
Base
Experimentos
NORB:
Escala de cinza:
Experimentos
NORB Treinamento:
Foi usada ento uma DBM com 2 camadas de 4000 unidades cada;
Experimentos
NORB Treinamento e testes:
Concluses
Foi apresentado novo algoritmo para treinamento de Mquinas
de Boltzmann com mltiplas camadas, e demonstrou que pode
ser usado para aprender modelos generativos;
Estendeu aprendizado de Mquinas de Boltzmann para
distribuies exponenciais (Bases grandes);
Apresentou estimador IAS, junto com inferncia Variacional
para estimar a verossimilhana em Mquinas de Boltzmann
com mltiplas camadas escondidas;
Mostrou que os ajustes (fine-tuning) discriminativos
funcionaram muito bem para reconhecimento das bases MNIST
digit e NORB 3D