Previso de Sries Temporais dom Redes Neurais Artificiais Otimizadas por Algoritmo Gentico
Bruno Pires de Campos !"io #enri$ue erreira Roc%a
I " Introduo
S#ries tem$orais esto $resentes em %&rias &reas do conhecimento humano como economia cotao de a'es e moedas!( f)sica incid*ncia de manchas solares!( engenharia consumo de energia el#trica de determinada regio ou ambiente!( entre outros. O estudo destas s#ries # de e+trema im$ort,ncia $ara se conhecer o com$ortamento e at# mesmo $redi-er %alores( $ossibilitando $lane.amentos a longo( m#dio ou curto $ra-o e au+iliando na tomada de decis'es. /os dias atuais gera0se e arma-ena0se uma imensa 1uantidade de dados a todo o momento( $or#m os dados em si no di-em nada( eles de%em ser inter$retados $ara se transformarem em informao. /esse conte+to esse trabalho $ro$'e uma an&lise 1ue $ode a.udar na tomada
os resultados obtidos. E $or fim a seo 7III a$resenta as conclus'es deste trabalho.
contudo( $retende0se utili-ar da t#cnica de algoritmos gen#ticos $ara reali-ar a seleo dos corretos regressores.
T#cnicas de identificao Modelo matem&tico Bigura @: Identificao de sistemas O m#todo utili-ado $ara estimao dos $ar,metros $asso A! # o dos M)nimos Luadrados 1ue minimi-a o erro 1uadrado entre o %alor real e o estimado $elo modelo atra%#s da e1uao matricial 1ue define os $ar,metros do modelo: e M NTN!0@NTO @! onde e # o %etor dos $ar,metros estimados( N # matride regressores e O o %etor de sa)das.
>
4s redes neurais so classificadas em dois ti$os de acordo com a sua to$ologia: as redes $or camadas e as redes homog*neas. /as redes $or camadas( os neurEnios esto dis$ostos em linhas e so conectados entre uma camada e outra. J& nas redes homog*neas( os neurEnios so conectados com os neurEnios da %i-inhana e=ou at# com eles mesmos. E+istem basicamente dois ti$os de treinamento: o su$er%isionado e o no su$er%isionado. O treinamento su$er%isionado trabalha com um tutor 1ue indica a rede uma res$osta $retendida $ara os con.untos de entradas( .& no no su$er%isionado no e+iste essa indicao( ou se.a( a rede se auto organi-a $ara a.ustar uma sa)da FKG. 4s redes homog*neas utili-am o treinamento no su$er%isionado( como $or e+em$lo( a rede ti$o ma$a de Rohonen ou mem2ria associati%a no linear. 4s redes $or camadas utili-am o treinamento su$er%isionado( como $or e+em$lo( as redes $erce$tron( adaline e madaline( B8/ Bunction 8inQ /etPorQ!( entre outras FKG. /este trabalho utili-ou0se uma rede M8P Multi08aSer Perce$tron!( ou Perce$tron de Multi camadas 1ue foi %iabili-ada graas ao desen%ol%imento do algoritmo de bacQ$ro$agation error retro $ro$agao do erro!( $ermitindo o treinamento de camadas ocultas. Tal algoritmo trabalha em dois $assos: $rimeiramente as sa)das so $rocessadas e o flu+o de $rocessamento flui $elas camadas at# a camada de sa)da onde ocorre a com$arao entre a sa)da obtida e a es$erada $ara a1uele con.unto de entradas( o 1ue gera um erroT a $artir deste erro # obtido o c&lculo do gradiente 1ue # $ro$agado no sentido contr&rio ao flu+o inicial de maneira a a.ustar os $ar,metros da rede de forma a minimi-ar o erro FKG. 4 funo de ati%ao utili-ada foi a sigmoidal( mais comumente obser%ada na literatura.
0 O$eradores gen#ticos: so utili-ados $ara a mani$ulao e tratamento das informa'es $ara o correto funcionamento do algoritmo. So eles FWG: Y Seleo: tem $or ob.eti%o $er$etuar caracter)sticas dos indi%)duos com maiores )ndices de a$tido. Tal )ndice # mensurado atra%#s de uma funo denominada funo de fitness e os indi%)duos so classificados dos mais a$tos aos menos a$tos. 4 funo de fitness de$ende do $roblema em 1uesto $ara ser elaborada. Y ;rosso%er: # o $rocesso no 1ual os indi%)duos trocam $artes de suas informa'es gerando no%os indi%)duos( o 1ue garante aos descendentes caracter)sticas de interesse e $ossibilita a $rocura $or solu'es no%as e $ossi%elmente mais a$tas. Y Mutao: # um mecanismo 1ue altera aleatoriamente $artes dos indi%)duos( $or e+em$lo( a mudana de estado de um determinado bit. Isso # de interesse( $ois gera di%ersidade na $o$ulao( ou se.a( fa- com 1ue no%as $ossibilidades se.am testadas( al#m de $oder au+iliar no des%io de algum ti$o de con%erg*ncia $ara um m)nimo local. Para um bom funcionamento do algoritmo tamb#m se fanecess&rio a correta escolha de algumas %ari&%eis( os $ar,metros gen#ticos 1ue so: 0 Ta+a de mutao: indica o 1uanto de mutao ocorrer& na $o$ulao. Se for muito alta a busca $ode tornar0se essencialmente aleat2ria $or no $reser%ar caracter)sticas .& selecionadas. 3m bom uso e%ita 1ue o algoritmo fi1ue estagnado. 0 Ta+a de recombinao ou crosso%er: indica o 1uanto de crosso%er ocorrer& na $o$ulao. Se for muito alta( h& a $ossibilidade de $erda de estruturas de alta a$tido e se muito bai+a( h& o risco de o algoritmo ficar muito lento FWG.
Bigura >: Modelo de s#rie tem$oral 3m dos $rinci$ais fatores $ara o sucesso da identificao de s#ries tem$orais # a correta seleo das entradas 1ue realmente tero influ*ncia na $re%iso da sa)da. /o conte+to desse trabalho as entradas so dados $assados de uma s#rie tem$oral( e as sa)das so dados seguintes( de modo 1ue a dificuldade seria decidir 1uais dessas sa)das $assadas de%ero entrar na com$osio do modelo da s#ries. 4 soluo $ro$osta neste trabalho sugere o uso da t#cnica de 4lgoritmos 5en#ticos com o ob.eti%o de otimi-ar a modelagem( encontrando a se1u*ncia de entradas 1ue minimi-aria os erros da identificao em relao a cur%a real de dados de forma a gerar modelos $arcimoniosos.
1uarto dado anterior( o 1uinto( o se+to( o s#timo( o oita%o e o nono seriam desconsiderados. :e modo 1ue se o 45 fosse eficiente( o indi%iduo selecionado seria F@ ? @ ? @ @ ? @ ? ?G. Mostrando 1ue cada dado da se1u*ncia( a $artir do @@]( de$endem dos %alores anteriores n0@!( n0A!( n0W!( n0[! e n0\!( 1ue so os dados 1ue foram usados na e1uao >!. Boram utili-adas tanto a identificao $or modelagem 46 1uanto $elo uso de uma 6/4( ambas otimi-adas $elo 45 1ue seleciona as melhores entradas atra%#s de uma se1u*ncia bin&ria de @? elementos( seguindo a metodologia do teste anterior. /a modelagem 46( a se1u*ncia bin&ria define 1uais entradas iro com$or a matri- de regressores. Por e+em$lo( na se1u*ncia F@ ? ? ? ? ? ? ? ? @G( somente o $rimeiro e o d#cimo dado anterior entrariam na matri- de regressores: O Q0@! O Q0@?! O Q0>! O R0@@! : : O R0n! O Q0n0^! :e forma 1ue ao se e+ecutar a formulao dos m)nimos 1uadrados( chega0se a uma e1uao 1ue simula a cur%a real: O Q!M a.O Q0@! Z b.O Q0@?! A! Em 1ue a e b so os $ar,metros do modelo resultante. 4 deciso da melhor se1u*ncia bin&ria foi feita com base na seleo do 45( 1ue testa %&rios indi%)duos se1u*ncia bin&ria! e seleciona a1uele 1ue a$resenta o menor erro entra a cur%a simulada $elo modelo da identificao e a cur%a real. /a identificao $or rede neural a se1u*ncia bin&ria decide 1uais entradas $assadas sero utili-ados $ara treinar a rede. Por e+em$lo( F@ ? @ ? ? ? @ ? ? ?G define 1ue as entradas da rede neural sero o $rimeiro( terceiro e s#timo %alores anteriores da se1u*ncia de dados reais( de forma 1ue a matri- de entrada # dada $or: O Q0@! O Q0>! _ O Q0n! O Q0A! O Q0K! _ O Q0n0>! O Q0`! O Q0\! _ O Q0n0[! 4 refer*ncia de a$rendi-ado da rede # a se1u*ncia dos dados reais no seguinte %etor: a O Q! O Q0@! ... O Q0n! a :e modo 1ue a rede ser& treinada $ara 1uando as entradas forem as da se1u*ncia da $rimeira coluna da matri- de entradas( a sa)da da rede de%er& ser o %alor da $rimeira coluna do %etor de refer*ncia. O mesmo %ale $ara as demais colunas da matri- de entradas com suas res$ecti%as refer*ncias no %etor de refer*ncias. VII.1.2 Modelagem 46
/essa e1uao nota0se 1ue a sa)da S Q! de$ende da $rimeira entrada anterior S Q0@!!( da terceira S Q0A!!( da 1uinta S Q0W!!( da se+ta S Q0[!! e da oita%a S Q0\!!. VII.1.1 Teste de converso Para com$ro%ar se o 45 seria ca$a- de selecionar as entradas corretas da se1u*ncia foi elaborada a funo de fitness 1ue recebe como entrada uma se1u*ncia bin&ria de @? %alores( na 1ual os %alores em @ selecionariam a entrada $ara modelagem e os em ? descartaria essa entrada. Essa se1u*ncia # o indi%)duo do 45. Por e+em$lo( na se1u*ncia F@ @ @ ? ? ? ? ? ? @G( o $rimeiro dado anterior( o segundo( o terceiro e o d#cimo seriam usados como entradas da identificao en1uanto 1ue o
/a identificao 46 o resultado es$erado foi atingido. O 45 selecionou corretamente o modelo da e1uao >!. VII.1.3 Treinamento RNA /o caso da identificao $or 6/4 o 45 no selecionou as entradas es$eradas. O indi%)duo resultante foi F@ ? @ ? @ @ @ @ ? @G. :e forma 1ue o algoritmo no e+cluiu a s#tima e nem a d#cima entrada anterior 1ue segundo a e1uao >! no teriam correlao com o %alor seguinte da se1u*ncia de dados. O $onto $ositi%o foi 1ue a funo mante%e as entradas rele%antes. O resultado no foi o es$erado $or1ue a rede neural acaba reali-ando uma com$ensao na distribuio de $esos o 1ue fa- com 1ue o resultado se.a di%ergente do es$erado. 4 figura A a$resenta dados da s#rie sint#tica 1ue se dese.a%a modelar.
Bigura W: Sa)da da 6/4 4 dimenso dos erros mostra 1ue as duas identifica'es foram bem sucedidas( al#m do erro da modelagem 46 ter sido menor 1ue o da sa)da 6/4.
VII.2 Srie Natural /o $r2+imo e+em$lo $retende0se reali-ar a identificao de uma s#rie tem$oral e utili-ar o modelo resultante $ara gerar dados de $re%iso. 4 s#rie utili-ada foi dados do Suns$ot( 1ue # uma s#rie tem$oral formada $ela ocorr*ncia anual de manchas solares( 1ue indica o n)%el da ati%idade solar F>G. Os dados obser%ados e 1ue com$'em esta s#rie so a$resentados na figura [. Bigura A: S#rie sint#tica /a figura K $ode0se obser%ar os dados obtidos a $artir do modelo 46 identificado. O modelo 46 obte%e o somat2rio dos m2dulos dos erros igual a K(\`@W+ @?0@K.
Bigura [: S#rie Tem$oral Suns$ot 3m $asso im$ortante # garantir 1ue a s#rie analisada no contenha %alores errEneos( causados $or falha de e1ui$amento de medio ou ru)dos na transmisso das medidas. 41ui as medidas do suns$ot .& foram $r#0 tratadas onde se eliminaram $oss)%eis ru)dos( restando a$enas a cur%a m#dia dos dados. ;om a identificao im$lementada o teste final foi %erificar se o modelo resultante ou a rede treinada seriam ca$a-es de gerar %alores de $re%iso coerentes com a realidade( atra%#s da realimentao das sa)das na rede treinada ou na e1uao modelada e ento com$arar os resultados com os dados reais da s#rie do Suns$ot. Im$lementou0se a identificao da s#rie tem$oral Suns$ot %ia modelagem 46 e treinamento de uma 6/4( ambas otimi-adas $elo 45 seguindo a mesma metodologia do teste de con%erso. ;om a identificao finali-ada reali-ou0se a realimentao das sa)das no modelo a fim de se obser%ar a ca$acidade de $re%iso da soluo $ro$osta
Bigura K: Sa)da do modelo 46 4 figura W a$resenta os dados obtidos a $artir do modelo obtido $ela 6/4. O somat2rio dos m2dulos dos erros da 6/4 foi de >(K+@?0@A.
neste trabalho com$arando as sa)das do modelo identificado com a cur%a real. VII.2.1 Previso com modelo AR /a identificao $or modelagem 46 o 45 selecionou 1ue o indi%)duo 1ue chegou no melhor modelo( a1uele 1ue gerou a cur%a mais $arecida com os dados reais foi F@ @ @ @ @ @ @ @ @ @G com erro total de @^^K(` entre a cur%a real e a do modelo. Para efeito de com$arao entre a cur%a real e a cur%a do modelo( os resultados so a$resentados na figura `: Bigura ^ 0 ;om$arao entre cur%a real e a do modelo " Segundo modelo 46 O resultado de AW $re%is'es com$arando0se com a cur%a real # a$resentado na figura @?.
Bigura `: ;om$arao entre cur%a real e a do modelo " Modelo 46 Percebe0se 1ue a identificao foi bem sucedida. O $r2+imo teste foi gerar AW dados de $re%iso e com$arar com a cur%a real. Por#m $ela an&lise da figura \( nota0se 1ue esse modelo no foi ca$a- de gerar $re%is'es satisfat2rias.
Bigura @? 0 ;om$arao da $re%iso com a cur%a real " Segundo Modelo 46 ;omo $ode se notar( o modelo 46 com mais entradas modelou melhor a s#rie sob estudo( $ois( melhorou sua ca$acidade de generali-ao. VII.2.2 Previso e RNA /a modelagem $or treinamento de uma rede neural o 45 identificou 1ue a rede 1ue identificou melhor a s#rie suns$ot te%e como refer*ncia o indi%)duo F? ? @ ? ? ? @ ? @ @G. 4 simulao da rede e os dados reais $odem ser com$arados a seguir na figura @@:
Bigura \: ;om$arao da $re%iso com a cur%a real0 Modelo 46 4lterando0se os $ar,metros da identificao atingiu0se um bom resultado de $re%iso com uma se1u*ncia bin&ria de [W dados anteriores( o somat2rio de erros entre os dados reais e os da identificao foi igual a @@[W(`. O indi%iduo 1ue o 45 selecionou foi: F? @ @ @ @ @ @ @ @ @ @ @ @ @ ? ? @ @ @ @ @ ? @ ? @ @ @ @ @ @ @@@@@@?@@??@?@@@?@@@@?@@@@@@@@@ @ @ @ @ @G Sua identificao com$arada com a s#rie real $ode ser %ista na figura ^:
Bigura @@ 0 ;om$arao entre cur%a real e a do modelo 6ede /eural O resultado de AW $re%is'es com$arado aos dados reais utili-ando0se o modelo de redes neurais # a$resentado na figura @>.
7III. ;O/;83S<O
O ob.eti%o deste trabalho no # $re%er e+atamente o com$ortamento da cur%a real( mas sim ter %alores de tend*ncia dessa cur%a baseados na an&lise de seus dados $assados. :esse modo os resultados de ambas as t#cnicas( 46 e 6/4( mostraram0se eficientes num conte+to em 1ue a cur%a real tem certo $adro de com$ortamento. 6edes neurais com um nHmero de neurEnios maior 1ue @? na camada escondida $ro%ocaram o su$er treinamento( onde a rede $erdia a abrang*ncia e o resultado da $re%iso no foi bom. PEde0se concluir 1ue a identificao 46 necessita de muito mais $ontos anteriores $ara resultar em $re%is'es eficientes do 1ue a identificao com 6/4. En1uanto a t#cnica 46 $recisou de WK dados $assados a 6/4 necessitou de K. 4 combinao 45 com 6/4 mostrou0se eficiente tendo em %ista 1ue o $adro $ara uma se1u*ncia bin&ria seria usar F@ @ @ @ @ @ @ @ @ @ G onde todos os de- %alores $assados teriam alta correlao com o %alor seguinte. 4o a$licar a metodologia $ro$osta( o 45 selecionou o indi%)duo com a melhor identificao: F? ? @ ? ? ? @ ? @ @G. Isso mostra 1ue nem todos os @? dados $assados tinham influ*ncia no %alor seguinte da se1u*ncia de dados reais. ;om isso se ganha em economia de $rocessamento e em otimi-ao de resultado.
Bigura @> 0 ;om$arao da $re%iso com a cur%a real $ara a 6/4 " dados Suns$ot Esse resultado foi atingido treinando0se uma rede com @? neurEnios na camada oculta utili-ando o UbacQ $ro$agationV como algoritmo de treinamento. O somat2rio do erro entre a cur%a real e a da identificao foi de @@>>(\. Em todos os testes descritos o 45 foi configurado com: Tamanho da $o$ulao " @?? indi%)duos Ta+a de crosso%er " ?.\ Ta+a de mutao " ?.?> O gr&fico do melhor %alor da funo de fitness em cada gerao do 45 com$arado aos %alores da m#dia na figura @A:
IN. 4564:E;IME/TOS
4o orientador Prof. Jeremias Barbosa Machado $or sua constante contribuio e ateno $ara com os orientados.
N. 6EBE6b/;I4S
F@G P.4. Morettin( ;.M.;. Toloi " An lise de Sries Tem!orais( Ed. Edgard Blucher( >??[. F>G M.;.B. de ;astro 0 UPredio /o08inear de S#ries Tem$orais 3sando 6edes /eurais 6BB $or :ecom$osio em ;om$onentes Princi$aisV( $$. `0 @`( ;am$inas( Mar. >??@. FAG 8. 8.ung " S"stem Identi#ication T$eor" #or t$e %ser& Ed. Prentice 9all( @^^^. FKG S.S. 9aSQin " Redes neurais'Princ(!ios e !r tica ( Ed. BooQman( >??@. FWG T. BacQ( :.B. Bogel( c. MichalePic- 1 )volutionar" *om!utation 1+ ,asic Algorit$ms and -!erators( Ed. TaSlor d Brancis 8T:( >???.
Bigura @A: Melhor Bitness e Bitness M#dia ;omo $Ede0se obser%ar $elos resultados obtidos $ela res$ostas a$resentadas nas figuras \( @? e @>( a rede neural a$resentou melhor resultado( sendo ca$a- de $re%er com maior e+atido os %alores futuros a serem obtidos como sa)da na s#rie tem$oral( utili-ando menos informa'es de instantes $assado se com$arado ao modelo 46 com WK regressores. Este fato se de%e a
BIO564BI4:
Bruno Pires de Campos /asceu em Es$)rito Santo do Pinhal SP! em @^\\. Estudou em sua cidade natal e em Mogi0Mirim SP!. Ingressou na 3/IBEI em >??^( foi estagi&rio na em$resa Eli$se SoftPare com$ondo o time do su$orte t#cnico.
!"io #enri$ue erreira Roc%a /asceu em ;a$it2lio M5!( em @^\^. Estudou em 7iosa e Ita.ub&. Ingressou na 3/IBEI em >??^( e no ano de >?@A foi estagi&rio na em$resa BI4T 4utom2%eis S=4 fa-endo $arte da engenharia industrial.