UNIVERSIDADE FEDERAL DE MINAS GERAIS DEPARTAMENTO DE ENGENHARIA ELETRNICA

Redes Neurais
Aprendizado Supervisionado ADALINE

Andr Paim Lemos andrepl@cpdee.ufmg.br

Sumrio
Aprendizado Supervisionado Regresso Linear ADALINE

Aprendizado Supervisionado

Mo;vao
Previso de preos de residncias (Portland, Estados Unidos)

Mo;vao
Dado esse conjunto de dados, como fazer uma es2ma2va de preo para outras residncias em que a rea construda conhecida?

Nomenclatura
x(i) = variveis de entrada (ou caracter a sticas de entrada) y (i) = variveis de sa a da (x(i) , y (i) ) = amostra de treinamento (x(i) , y (i) ; i = 1, , m) = conjunto de treinamento m = nmero de amostras de treinamento u

Obje;vo
Para o problema em questo
X =Y=R

O obje;vo , dado o conjunto de treinamento, aprender a funo

De forma que h(x) fornea uma boa es;ma;va dos preos

h:X Y

Obje;vo

Regresso e Classicao
Quando a varivel de sada conRnua, o problema de aprendizado denido como um problema de regresso A varivel de sada pode tambm assumir valores discretos. Nesse caso o problema denido como problema de classicao

Regresso Linear
Considere um conjunto de dados mais completo

Regresso Linear
Para resolver esse problema, deve-se denir uma estrutura para h, por exemplo:

h = 0 + 1 x 1 + 2 x 2 xR
2

i = parmetros ou pesos a

Regresso Linear
A funao h pode ser generalizada como
n i=0

h (x) =
dado

i xi = T x

x0 = 1

Regresso Linear
Dada h(x) como escolher os parmetros? Soluo:
Escolher os parmetros de forma a tornar os valores de h(x) prximos de y

Deni-se uma funo que mede o quanto os valores de h(x) esto prximos de y

Regresso Linear

J() =

Funo de Custo

m 1

i=1

(h (x ) y )

(i)

(i) 2

Regresso Linear
Obje;vo

arg min J()

Soluo: gradiente descendente

j = j J() j
= taxa de aprendizado

Gradiente
y = xe
x2 x2 1 2

Gradiente

Gradiente Descendente

Simulao Matlab

Gradiente Descendente
Funo a ser o;mizada

J() =
Calcula-se

m 1

i=1

(h (x ) y )

(i)

(i) 2

J() = (h (x) y)xj j

*considerando apenas uma amostra

Gradiente Descendente
Regra de aprendizagem Widrow-Ho
(i) )xj

j = j (h (x)

(i)

(i)

Tambm conhecida como mtodo dos mnimos quadrados (Least Mean Squares LMS)

Algoritmo em Batelada
Repita at convergir! {! !Para j=1n! !{! m (i) (i) (i) ! j = j + (y h (x) )xj !}! i=1 }

Algoritmo
Regresso linear = funo quadr;ca convexa

Simulao Matlab

Algoritmo Incremental (ou estocs;co)

Repita at convergir! {! !Para i=1m! !{! ! !Para j=1n! ! !{! (i) (i) (i) ! j = j + (y h (x) )xj ! !}! !! !}! }

ADALINE
ADAp;ve LINEar
Criado na dcada de 50

Criado por Bernard Widrow e Marcian Ho

Simultaneamente com o Perceptron Perceptron : baseado em aspectos cogni;vos do pensamento ADALINE : ltro linear

ADALINE
1 x1 w1 w2

x2

. . .

wn

u f (u)

xn

f (u) = u

ADALINE
y=
Sendo
n i=0

w i xi = w x

x0 = 1

w0 = b

ADALINE = regresso linear genrica

Combinao Linear de Funes

ADALINE pode ser u;lizado para aproximar funes no lineares Combinao linear de funes de base
Exemplos
k i=1

y=

w i xi

y=

k i=1

wi cos(2fi )

Combinao Linear de Funes

Simulao Matlab