Sistemas Hbridos Inteligentes F. Osrio R.

Vieira ENIA99
XIX CONGRESSO DA S.B.C.
ENIA99 ENCONTRO NACIONAL DE INTELIGNCIA ARTIFICIAL SUMRIO:
0. Apresentao
1. Inteligncia Artificial: Mtodos Simblicos (R. Vieira)
TUTORIAL
2. Inteligncia Artificial: Mtodos Conexionistas Rede Neurais (F. Osrio)
3. Sistemas Hbridos Inteligentes (F. Osrio)
SISTEMAS APRESENTAO
Este tutorial tem por objetivo apresentar os conceitos e as novas tendncias da
HBRIDOS rea de Sistemas Hbridos Inteligentes. Sero abordados os mtodos tradicionais
simblicos e conexionistas, apontando para os principais problemas e limitaes de cada
tipo de tcnica em aplicaes do mundo real. A necessidade do tratamento de grande
quantidade de informaes e as incertezas inerentes aos sistemas complexos nos leva a
INTELIGENTES fuso destas metodologias, representada pelos Sistemas Hbridos.
Inicialmente ns apresentaremos as caractersticas dos diferentes mtodos de
representao do conhecimento e suas particularidades. Discutiremos a utilizao destas
tcnicas no desenvolvimento de sistemas inteligentes (sistemas baseados em
conhecimento: lgica, regras, casos, frames, redes semnticas) e suas limitaes na
aquisio do conhecimento e na representao de conhecimento incerto e incompleto.
Autores:
Nesta seo vamos analisar os mtodos conexionistas (redes neurais).
Inicialmente ser apresentada uma viso geral sobre as redes neurais, os diferentes tipos
Prof. Dr. Fernando Santos Osrio de redes e algoritmos de aprendizado existentes. Sero discutidas as caractersticas e
Prof. Dra. Renata Vieira limitaes de uso dos diferentes modelos conexionistas, relacionando-as com as
caractersticas dos sistemas de inteligncia artificial simblica vistos na seo anterior.
O problema da aquisio e na representao do conhecimento incompleto e
incerto impulsiona a fuso de tcnicas e metodologias, originando os sistemas hbridos.
UNISINOS Universidade do Vale do Rio dos Sinos Sero apresentados os conceitos bsicos relativos aos sistemas hbridos inteligentes.
Centro de Cincias Exatas e Tecnolgicas Centro 6/6 Vamos apresentar uma viso global das possveis combinaes entre sistemas de
Curso de Informtica Inteligncia Artificial: Redes Neurais, Algoritmos Genticos, Lgica Nebulosa,
Web: http://www.inf.unisinos.br Sistemas baseados em Conhecimento, Sistemas Baseados em Casos, etc. Discutiremos
E-Mail: osorio@exatas.unisinos.br sobre os modos de integrao destes sistemas: processamento em srie, sub-
renata@exatas.unisinos.br processamento, meta-processamento e co-processamento. A partir de uma anlise das
vantagens da integrao destes diferentes mtodos, vamos direcionar nossa apresentao
ao que se refere aos sistemas hbridos neuro-simblicos. Em seguida, mostraremos
exemplos de sistemas hbridos neuro-simblicos, tais como: KBANN, SYNHESYS e
INSS (ligado ao projeto Europeu Esprit/BRA MIX). Concluiremos esta seo com uma
anlise sobre os sistemas inteligentes e o uso de ferramentas hbridas.
Rio de Janeiro, Julho 1999
1. Mtodos Simblicos R. Vieira ENIA99 Pg.3
1.INTELIGNCIA ARTIFICIAL:
Mtodos Simblicos
1.1 Introduo
Os mtodos simblicos em Inteligncia Artificial so baseados na idia de que a
inteligncia (ou parte dela) constitui-se de operaes sobre um conjunto de smbolos. A
linguagem, exemplo de sistema simblico, uma faculdade humana associada inteligncia. As
palavras representam objetos, relaes e eventos no mundo (so smbolos). Quando combinadas
umas com as outras podem descrever, explicar (ou influenciar) diversas situaes. Podemos
entender uma situao atravs de sua representao simblica, sem necessariamente vivenci-la
e utilizar este conhecimento posteriormente em situaes reais.
Os primeiros sistemas de inteligncia artificial foram os sistemas resolvedores de
problemas. A programao deste tipo de sistemas requer uma especificao precisa do
problema em termos de estados e operaes sobre estes estados. A soluo de um problema
dada ao atingir-se o estado final especificado a partir da aplicao de um conjunto de operaes
sobre o estado inicial. O conjunto de passos a serem realizados do estado inicial ao final
constitui a soluo do problema. A especificao do problema uma representao simblica,
fornecida de tal maneira que um algoritmo seja capaz de operar sobre esta representao e
reproduzir uma representao simblica da soluo.
Os mtodos ditos simblicos em Inteligncia Artificial seguem este mesmo princpio,
so baseados em tcnicas de representao simblica de conhecimento associadas a mecanismos
com capacidade de inferir solues ou novos conhecimentos a partir do conhecimento
representado.
Neste captulo iremos apresentar idias bsicas sobre representao do conhecimento, a
representao simblica e sistemas que manipulam representaes simblicas, no desempenho
de funes normalmente associadas inteligncia humana.
1.2 Representao do conhecimento
Uma representao alguma coisa que est no lugar de outra. um modelo da coisa
representada, de maneira que olhando-se apenas para o modelo, concluses podem ser tiradas
sobre as coisas representadas. Para o mesmo objeto sendo representado podem corresponder
vrios modelos representantes. Veja a Tabela 1 [Rumelhart 84], tem-se um mundo
representado (indivduos, propriedades e relaes) e trs modelos representantes.
Mundo Modelos representantes
representado Modelo 1 Modelo 2 Modelo 3
Objetos
Indivduo 1 1,80
A
1,50
Indivduo 2 B expressar conhecimento e simular o raciocnio humano, a Inteligncia Artificial lanou novos
Propriedades
Altura comprimento de linha valor numrico
Relaes
Maior que mais_alto_que(A,B) mais comprida > autoepistmica e circunscrio), lgica difusa, raciocnio sobre ao e mudana (clculo de
Tabela 1. Diferentes modelos de representao.
No primeiro os indivduos so representados pelos smbolos A e B, a relao de
tamanho entre os dois indivduos representada pela frmula mais_alto_que(A,B). No h
representao direta de altura neste sistema. No segundo modelo, os indivduos so
representados por linhas verticais, a relao de tamanho representada pela relao fsica entre
as duas linhas. No terceiro modelo, os indivduos so representados por nmeros e a magnitude
1. Mtodos Simblicos R. Vieira ENIA99 Pg.4
dos nmeros representam suas respectivas alturas. A relao mais alto que neste caso
representada pela relao aritmtica < (maior que). Estas diferentes representaes esto
associadas a diferentes processos de interpretao e uso: se a altura representada pelo
comprimento da linha, existe um processo para comparao de comprimentos de linha, se a
altura representada por nmeros, dever corresponder um processo capaz de operar sobre estes
nmeros.
Existem diferentes sistemas de representao. Existem tambm sistemas hbridos, que
combinam dois ou mais diferentes sistemas. Alguns sistemas tpicos so descritos brevemente a
seguir.
Sistema proposicional - em um sistema proposicional os conceitos so
representados por afirmaes. geralmente utilizado para representar
conhecimento declarativo. Neste tipo de representao o conhecimento
pode ser examinado e combinado, produzindo inferncias.
Sistema analgico - a representao feita por correspondncia direta, um mapa
um exemplo de sistema analgico de representao de caractersticas
geogrficas.
Sistema procedural - este tipo de representao no acessvel, por isto difcil de
ser examinado. Um sistema procedural de representao um know-how,
utilizados por exemplo na execuo de determinadas aes (como chutar
uma bola ou andar de bicicleta).
Em Inteligncia Artificial Simblica, a representao do conhecimento proposicional,
feita principalmente atravs de uma coleo estruturada de smbolos e com procedimentos de
interpretao.
1.3 Representao simblica do conhecimento
Diferentes tcnicas de representao simblica do conhecimento foram propostas,
atendendo a necessidades e aplicaes especficas. Estas tcnicas so usadas para expressar o
conhecimento de forma que possa ser tratado computacionalmente.
1.3.1 Lgica
O desenvolvimento da lgica tem origem na Grcia antiga. Buscava-se uma coerncia entre
a estrutura de sentenas ou conjuntos de sentenas e a verdade. No final do sculo XVII Leibniz
prope a criao de uma linguagem lgica formal procurando reduzir a inferncia lgica a um
processo mecnico. Neste processo de formalizao da lgica participaram nomes conhecidos
como: Boole, Frege e Gedel. O desenvolvimento da lgica foi fundamental para o
desenvolvimento da Inteligncia Artificial Simblica. Uma linguagem precisa com um processo
de inferncia bem definido pode ser utilizada para representar conhecimento sobre fatos e
derivar mecanicamente suas conseqncias. Por outro lado, ao fazer uso da lgica para
desafios e estimulou o desenvolvimento de lgicas que pudessem tratar excees,
inconsistncias, conhecimento incerto e incompleto, as lgicas no-clssicas. As lgicas para a
representao do conhecimento incluem: lgica modal, lgicas no monotnica (lgica default,
situao, lgica temporal), raciocnio sobre estados mentais (crenas, obrigaes, objetivos).
Uma linguagem lgica definida por sua sintaxe e semntica. A sintaxe descreve as
configuraes possveis das sentenas da linguagem e a semntica descreve a relao das
sentenas com fatos no mundo. Alm da linguagem necessrio definir um conjunto de regras
usadas para derivar novas sentenas a partir de sentenas dadas, estas regras definem o
mecanismo de inferncia.
1. Mtodos Simblicos R. Vieira ENIA99 Pg.5
Atravs de uma linguagem lgica clssica de primeira ordem pode-se representar um
domnio constitudo de objetos ou entidades, expressar propriedades destes objetos (especficos
= constantes da linguagem; genricos = variveis da lgica) e relaes entre eles. Estas
propriedades e relaes podem ser quantificadas (valer para todos ou para alguns ). As
relaes entre diferentes fatos ou proposies so expressas por conetivos lgicos (conjuno ,
disjuno , conseqncia e negao ). A seguinte sentena lgica pode ser usada para para tratar unidades maiores do conhecimento, exemplos so os Frames (ou Quadros) [Minsky,
expressar o fato de que pssaros so animais:
x passaro(x) animal(x)
Geralmente a representao de um domnio um pouco mais complexo em lgica de
primeira ordem no pode ser lido e interpretado de uma maneira natural e intuitiva. Isto
motivou o desenvolvimento de outros mtodos de representao de conhecimento, que sero
descritos a seguir. Estes outros mtodos oferecem um formato que mais claro ao leitor humano
e facilitam o processo de traduzir o conhecimento, usualmente expresso em linguagem natural,
para uma linguagem mais formal e estruturada. Estes mtodos, porm, podem ser traduzidos
em uma notao lgica. Basicamente eles apresentam uma sintaxe diferente, preservando
semntica e teoria da prova.
1.3.2 Redes semnticas
Em 1968, Quillian introduz as redes semnticas, uma estrutura de representao de
conhecimento na forma de grafo estruturado formado por um conjunto de ns interligados por
relaes (Figura 1).
faz
animal comer
subclasse subclasse
tem
asas pssaro pessoa
um um
piupiu joao
Figura 1. Redes semnticas
As redes semnticas procuram representar os significados das palavras, tidos como
conceitos inter-relacionados na memria. Os ns da rede representam os conceitos, a relao
uma associao entre estes. A relao um entre dois ns indica pertinncia de uma instncia a
uma classe, a relao subclasse representa relao de pertinncia entre classes.
As redes semnticas introduziram a idia de herana de atributos, cada instncia ou
subclasse herda os atributos vlidos para a classe. Outras relaes podem ser representadas, tais
como, tem, faz, parte, etc.
A ativao de uma rede uma busca por uma relao entre ns, atravs das relaes.
Esta busca pode ser utilizada para extrair informaes. Por exemplo, a proposio piupiu tem
asas pode ser encontrada na rede, atravs do caminho: piupiu um pssaro, pssaros tm asas.
Todas as informaes sobre piupiu podem ser fornecidas a partir de uma busca exaustiva na
rede.
1. Mtodos Simblicos R. Vieira ENIA99 Pg.6
A notao apresenta uma representao visual intuitiva, e proporciona flexibilidade de
manuteno (modificao). Apesar de ter sido muito influente no desenvolvimento da
representao do conhecimento e largamente usada para especificar conhecimento de domnios
mais restrito, torna-se confusa para redes mais abrangentes e complexas.
Enquanto as redes semnticas relacionam palavras e conceitos, outras tcnicas surgiram
1975]; Scripts [Schank, 1977].
1.3.3 Frames
Frames (ou quadros) so um mtodo de representao no qual uma classe definida por
um conjunto de atributos (slots) com determinados valores. Os valores dos atributos podem ser
eles mesmos outros frames. So tambm referenciados como estruturas de escaninho e
preenchimento (slot-and-filler). So equivalentes a redes semnticas, porm so mais
estruturados. Assim como as redes, frames so organizados em uma hierarquia de
especializao que fornece uma estrutura natural para herana de atributos. Relaes to tipo
um e subclasse ligam objetos e classes a outras classes e propriedades dos objetos ou subclasses
podem ser determinadas no nvel do objeto, da subclasse ou da superclasse. Esta estrutura
adequada para representar a idia de valores default. Os frames podem indicar valores
especficos para os atributos, ou ento indicar valores default. Isto til para representar valores
vlidos na maioria dos casos em uma classe, mas que podem assumir um valor diferente em
uma especializao da classe. Por exemplo a classe pssaro pode ter com valor default a
habilidade de voar, uma subclasse especfica (avestruz) podem ter esta habilidade cancelada.
Animal Pssaro Avestruz
animado: Verdadeiro superclasse: animal superclasse: pssaro
voa: Verdadeiro voa: Falso
Figura 2. Frames
Frames so eficientes em domnios que apresentam uma taxonomia natural de
conceitos, como por exemplo, a biologia. Os atributos principais de um frame so nome e a
especificao de classe (relao um ou subclasse). Os atributos podem ser procedimentos a
serem executados para a obteno de algum valor, quando necessrio.
1.3.4 Scripts
Um script um esquema para uma seqncia de eventos que compem uma situao
prototpica como ir ao restaurante, ir ao mdico, viajar de trem. O script representa o
conhecimento sobre determinadas situaes usuais, uma vez representado, um script pode ser
utilizado para auxiliar no entendimento da ordem de eventos. Em um segmento de discurso do
tipo:
Maria foi ao restaurante. Pediu uma torta, pagou e saiu.
Podemos inferir atravs do conhecimento tipo script que ela estava com fome, tinha
algum dinheiro, comeu a torta antes de pagar e que um garom l estava e a atendeu. O script
Restaurante um exemplo clssico da literatura de Inteligncia Artificial, e est exemplificado
na Figura 3. Scripts so compostos de objetos, agentes, condies de entrada, resultados e uma
seqncia de cenas.
1. Mtodos Simblicos R. Vieira ENIA99 Pg.7 1. Mtodos Simblicos R. Vieira ENIA99 Pg.8
A construo de sistemas de resoluo de problemas baseia-se na descrio formal e
manipulvel do problema, onde estados possveis e operaes de mudanas de estados so
Nome: Restaurante especificados. Apresentaremos como exemplo o problema das jarras de gua. O enunciado do
Objetos: mesas, menu, comida, conta, dinheiro problema seguinte: Voc tem 2 jarras, uma de 4 litros, outra de 3 litros. Voc no pode ver o
Agentes: cliente, garom, cozinheiro, caixa, dono
Condies de entrada: o cliente tem fome, o cliente tem dinheiro contedo das jarras e tem que encontrar uma maneira de colocar 2 litros na jarra de 4 litros. A
Resultados: o cliente tem menos dinheiro, o dono tem mais dinheiro, cliente no tem fome Figura 4 apresenta um exemplo de especificao para este problema.
Cena 1: Entrada
O cliente entra no restaurante Estados: { ( 0,0) , (0,...) , (0,3) , ... (4,3) }
O cliente procura por uma mesa Estado inicial: (0,0)
O cliente decide onde sentar Objetivo: (2,n)
O cliente vai para a mesa
O cliente senta Operaes: ( aes ): pr-condio efeito
Cena 2: Pedido 1. Encher J4 (x,y) (x<4) (4,y)
O cliente pega o menu 2. Encher J3 (x,y) (y<3) (x,3)
O cliente olha o menu 3. Esvaziar J4 no cho (x,y) (x>0) (0,y)
O cliente decide o que vai comer 4. Esvaziar J3 no cho (x,y) (y>0) (x,0)
O cliente chama o garom 5.Despejar J3 em J4 e encher J4 (x,y) (x+y>4, y>0) (4,y-(4-x))
O garom vem at a mesa 6.Despejar J4 em J3 e encher J3 (x,y) (x+y>3, x>0) (x-(3-y),3)
O cliente pede a comida 7.Despejar toda J3 em J4 (x,y) (x+y<3,x>0) (0,x+y)
O garom vai at a cozinheiro
O garom entrega o pedido para o cozinheiro
O cozinheiro prepara a comida
Figura 4. Especificao do problema das jarras de gua
Cena 3: Refeio
O cozinheiro d a comida ao garom
.... A partir desta especificao, encontrar a soluo de um problema buscar uma
seqncia finita de operaes que levem ao estado final. Para a busca de solues em espaos de
Cena 4: Sada estados foram desenvolvidas estratgias de navegao em estruturas do tipo rvore, onde os
.... estados so representados por ns, a raiz o estado inicial e o desdobramento da rvore
representa o caminho j trilhado na busca da soluo.
Figura 3. Script Restaurante
1.4.2 Planejamento
Algoritmos de planejamento so descritos por formalismos lgicos. Estados e objetivos so
1.3.5 Sistemas simblicos hbridos representados por um conjunto de sentenas e aes so representadas por uma descrio lgica
de suas pr-condies e efeitos. Uma soluo um plano de aes que garantem a realizao de
As vezes, diferentes mtodos de representao so mais ou menos adequados dependendo um objetivo.
da aplicao. Regras e frames, por exemplo, so dois esquemas bem distintos. Regras so Um exemplo clssico de planejamento dado atravs do mundo dos blocos. O domnio do
apropriadas para a representao de implicao lgica e associao de aes com condies problema um conjunto de blocos sobre uma mesa. Os blocos so representados por constantes
sobre as quais aes deveriam ser aplicadas. Frames e redes semnticas so apropriadas para e a posio relativa dos blocos dado pela relao Sobre(x,y). Os blocos podem ser
definir termos e descrever objetos e relaes taxonmicas entre eles (membro/classe). Por serem empilhados, e um brao de rob pode mover estes blocos sobre a mesa distribuindo-os em
muitas vezes complementares, alguns sistemas empregam uma combinao de mtodos de pilhas. Um objetivo uma disposio de blocos sobre a mesa e uns sobre outros, por exemplo,
representao. formar duas pilhas, uma com o bloco A sobre o B e outra com bloco C sobre D. Um plano
uma seqncia de aes a serem realizadas para atingir o objetivo.
A realizao de aes deve respeitar pr-condies e produzir efeitos. Por exemplo, a ao
1.4 Sistemas simblicos inteligentes mover um bloco s pode ocorrer quando no h nenhum bloco sobre o bloco a ser movimentado
e o efeito uma nova relao Sobre(x,z).
A evoluo da Inteligncia Artificial simblica passou por propostas de diferentes sistemas.
Uma breve apresentao desta evoluo dada nesta seo. Os problemas e as tcnicas
1.4.3 Jogos
desenvolvidas para trat-los crescem em complexidade, mas todas adotam a perspectiva de
representao simblica do conhecimento: operao sobre smbolos e produo de um
Jogos de tabuleiro so constitudos por um conjunto especfico de aes, relativamente
resultado simblico significativo e interpretvel pelos usurios destes sistemas.
fceis de serem representadas, e so, portanto, uma aplicao natural para as tcnicas
Alguns destes sistemas foram comercialmente viveis e possibilitaram uma popularizao
desenvolvidas pela Inteligncia Artificial. Podem ser representados como um problema com
da rea de Inteligncia Artificial. O desenvolvimento destes sistemas paralelo ao
estado inicial, um conjunto de operadores e estado final. Aes do adversrio devem ser
desenvolvimento das tcnicas de representao de conhecimento apresentadas na seo anterior.
consideradas e o melhor movimento deve ser calculado a fim de garantir a vitria.
1.4.1 Resoluo de problemas
1. Mtodos Simblicos R. Vieira ENIA99 Pg.9
1.4.4 Sistemas de produo
Sistemas de produo caracterizam uma arquitetura genrica que pode ser adotada por
diferentes sistemas (jogador de xadrez, solucionador do problema das jarras de gua, etc.). Esta
arquitetura formada por
um conjunto de regras (se LE ento LR) com lado esquerdo (LE) e direito (LR),
indicando respectivamente aplicabilidade e operacionalidade da regra;
uma base de conhecimento (conhecimentos permanentes ou temporrios)
uma estratgia de controle que especifica a ordem de aplicao das regras (ou motor de
inferncia)
1.4.5 Sistemas especialistas
Os sistemas especialistas so responsveis pela re-descoberta e popularizao da
Inteligncia Artificial, obtiveram grande xito em domnios especficos onde o conhecimento
pudesse ser traduzido em regras do tipo causa e conseqncia, ou sintomas e diagnstico.
Uma vez estruturado e formalizado, o conhecimento de uma rea especfica pode ser
manipulado e reutilizado. Uma determinada situao observada pelo usurio e informada ao
sistema, pode ser indicadora de uma nova situao e informada ao usurio pelo sistema. Por
exemplo, uma determinada doena pode ser diagnosticada a partir da informao de certos
sintomas observados. As razes para a concluso apresentada podem ser explicadas ao usurio.
Um sistema especialista possui a mesma arquitetura bsica de um sistema de produo.
A construo da base de conhecimento bastante elaborada e passa pelas fases de aquisio,
representao, formalizao, codificao, refinamento e validao. A base de conhecimento Sistemas CBR - Case Based Reasoning; b) aprendizado por induo em ILP - Inductive Logic
possui conhecimento ontolgico (tipo de conhecimento descrito pelas redes semnticas), regras
e fatos. A memria temporria registra informaes a respeito de um caso particular sendo
operado pelo sistema. O motor de inferncia responsvel pela gerao das concluses.
Os sistemas especialistas so geralmente aplicados em domnios sem qualquer teoria
geral, suscetveis a descries incompletas ou incertas. Alguns mtodos para tratamento da
incerteza foram propostos, tais como: mtodo dos fatores de certeza, teoria dos conjuntos
nebulosos, teoria de probabilidades e de possibilidades. Geralmente estes mtodos atribuem
uma medida numrica que representa a confiana do especialista nos fatos.
No mtodo de fatores de certeza, por exemplo, cada regra e cada elemento da memria
de trabalho so associados a um coeficiente de certeza, este que pode variar entre -1 (totalmente
falso) e 1 (totalmente verdadeiro). Estes coeficientes so utilizados para propagar a incerteza
inicial de uma informao atravs da cadeia de inferncias
Existem sistemas que deixam o usurio optar pelo mtodo que deseja ser aplicado, pois
cada mtodo tem uma aplicabilidade melhor ou pior de acordo com os problemas ou domnios.
Uma caracterstica comum a todos os mtodos a existncia de um limite mnimo para a
incerteza, abaixo deste a regra desconsiderada.
Existem sistemas especialistas que, no caso de atingir um estgio de raciocnio incerto,
interagem com o usurio solicitando informaes para continuar o raciocnio. Alm de se
utilizarem das informaes fornecidas pelo usurio para elaborar uma resposta ao problema, os
sistemas especialistas devem ser capaz de adquirir novos conhecimentos ou modificar os
antigos, podendo utilizar a mesma interface com o usurio.
Apesar de aplicarem bons mtodos de tratamento de incerteza, nem sempre os sistemas
especialistas conseguem encontrar as mesmas solues que poderiam ser encontradas pelos
especialistas humanos, pois muitas vezes as solues humanas tm base intuitivas. Dificilmente
os motivos da intuio dos humanos so colocados em regras na base de conhecimento.
1.4.6 Raciocnio baseado em casos
1. Mtodos Simblicos R. Vieira ENIA99 Pg.10
O mtodo de raciocnio baseado em casos baseado na idia de que humanos usam o
raciocnio analgico, baseado em experincias para aprender e resolver problemas. Este mtodo
particularmente til quando h informao incompleta. Casos consistem de
a) informao sobre situaes,
b) as solues adotadas para cada uma das situaes,
c) os resultados da utilizao de determinada soluo, e
d) atributos utilizados para auxiliar na busca por casos semelhantes.
Os elementos de um sistema baseado em raciocnio so:
a base de casos
ndice (usado para otimizar a procura e recuperao de casos apropriados ao problema
sendo tratado)
mtricas de similaridade - utilizadas para medir a semelhana entre casos
mdulo de adaptao - responsvel pela criao da soluo do problema em questo
atravs da modificao de soluo adotada em problema semelhante (adaptao
estrutural) ou criando uma soluo nova utilizando o mesmo processo utilizado em
casos anteriores (adaptao derivada).
1.4.7 Aprendizado
Existem diversas tcnicas de aprendizagem simblica. Alguns tipos sero citados, e o
aprendizado indutivo, mais conhecido, ser brevemente apresentado. A idia geral em
aprendizagem simblica de gerar um conjunto de regras ou um procedimento classificatrio a
partir de uma amostra de casos. Tipos de aprendizado so: a) aprendizado por analogia em
Programming; c) aprendizado baseado em explicao EBL - Explanation-Based Learning; d)
aprendizado por evoluo/seleo em GA e GP - Genetic Algorithms / Genetic Programming;
e) o mais difundido, aprendizado indutivo a partir de exemplos ou rvores de Deciso IDT -
Induction of Decision Tree.
As rvores de deciso (decision trees) propostas por Quinlan [Quinlan 92] so um
exemplo clssico de aprendizado indutivo. Neste mtodo, um conjunto de casos, combinando
uma srie de caractersticas com determinada classificao fornecido a um algoritmo que
produz uma rvore de deciso a ser utilizada em novos casos. A rvore de deciso resultante
dispe as caractersticas observadas nos exemplos de maneira a otimizar as classificaes
futuras. O nodo inicial da rvore representa a primeira caracterstica a ser analisada. A presena
ou ausncia da caracterstica determina o nodo seguinte (esquerdo ou direito de uma rvore) que
pode representar uma nova caracterstica a ser analisada ou uma classificao resultante.
Uma outra rea em Cincia da Computao relacionada ao aprendizado, que est em
expanso, a pesquisa em extrao de informao. Esta tem por objetivo o desenvolvimento de
mtodos e sistemas para a aquisio automtica de bases de conhecimento. A partir da leitura de
textos em linguagem natural, deve ser produzida uma representao mais formal do
conhecimento de um domnio especfico.
1.4.8 Recentes desenvolvimentos: sistemas multi-agentes
Uma rea mais recente da Inteligncia Artificial Simblica a de especificao formal e
projeto de agentes autnomos. Programas ou sistemas so entendidos como agentes que
raciocinam logicamente, constrem e executam planos, so capazes de aprender e podem agir
com autonomia (sem interferncia ou solicitao direta do usurio).
Alm da modelagem de um nico agente, expande-se a pesquisa sobre times de agentes
(dois ou mais cooperando em uma tarefa complexa). Para tarefas como esta preciso no s
lidar com a representao, mas com o reconhecimento e antecipao de estados mentais. Estes
sistemas integram representao de crenas, planos, objetivos, desejos e intenes. A
representao da emoo tambm tem sido considerada por pesquisadores da rea.
1. Mtodos Simblicos R. Vieira ENIA99 Pg.11 1. Mtodos Simblicos R. Vieira ENIA99 Pg.12
[Davis 93] DAVIS, R., SHROBE, H. and SZOLOVITS P. What is a Knowledge
1.5 Problemas da Inteligncia Artificial Simblica Representation? AI Magazine, 14(1):17-33, 1993. http://medg.lcs.mit.edu/ftp/psz/k-
rep.html
Programar um conjunto de critrios para abranger os membros de uma categoria uma
tarefa extremamente complexa. A definio de solteiro, por exemplo, pode ser dada por: um [Green 96] GREEN, David et al. Cognitive Science: an introduction. Cambridge,
homem de idade adulta que no casado. No entanto, se um amiga pede para voc convidar Blackwell Publishers, 1996.
alguns solteiros para ir a sua festa, a definio acima provavelmente no seria adequada o
suficiente para saber quem convidar das pessoas abaixo:
[Minsky 75] MINSKY, Marvin. A framework for representing knowledge. In P.
um amigo no casado oficialmente mas que tem uma companheira e filhos,
Winston (Ed.) The psychology of computer vision. New York: McGraw Hill.
um amigo que casou para no ser convocado pelo exrcito, mas que nunca viveu
com a esposa,
um amigo homossexual. [Minsky 91] MINSKY, Marvin. Logical vs. Analogical or Symbolic vs Connectionis or
Neat vs. Scruffy, in Artificial Intelligence Magazine, 1991.
Um sistema inteligente alimentado com representaes de fatos e regras, mas as regras
do senso comum so muito difceis de estabelecer. Sabe-se que quando o cachorro vai para o [Pinker 97] PINKER, Steven. How the mind works. W.W. Norton & Company. 1997.
carro, ele no est mais no quintal; se algum vai ao supermercado, sua cabea vai junto; se
algum est dentro de casa deve ter entrado por alguma porta; abrir um pote de manteiga no [Quinlan 92] QUINLAN, J. R. C 4.5 : Programs for Machine Learning (Morgan
encher a casa de vapor; se h uma sacola em seu carro e um litro de leite na sacola ento h Kaufmann Series in Machine Learning). Academic Press/Morgan Kaufmann,1992.
um litro de leite em seu carro. Note porm que de saber que h uma pessoa em seu carro e saber
que h um litro de sangue em uma pessoa seria estranho concluir que h um litro de sangue em [Quillian 68] QUILLIAN, M. R. Semantic memory. In Minsky, M. L. Editor, Semantic
seu carro.
Information Processing, pages 216-270. MIT Press, Cambridge, Massachusetts.
O problema de saber distinguir as implicaes relevantes entre um conjunto
potencialmente infinito de implicaes denominado frame problem (problema de
enquadramento), e dificulta principalmente a formalizao de raciocnios sobre aes. [Rich & Knight] RICH, Elaine; KNIGHT, Kevin. Inteligncia Artificial. Segunda
Edio. Editora McGraw-Hill Ltda., 1993.
1.6 Concluso [Russel 95] RUSSEL, Stuart; NORVIG, Peter. Artificial Intelligence. A Modern
Approach. Prentice-Hall Inc, 1995.
A Inteligncia Artificial Simblica sempre esteve intimamente ligada aos estudos da
mente humana. Seus avanos foram sucintamente esboados neste captulo. Esbarrou em [Rumelhart 84] RUMELHART, David & NORMAN, Donald. Representation of
problemas relacionados ao conhecimento intuitivo, incerto e incompleto. Encontrou maiores knowledge. In Aitkenhead M., Editor, Issues in Cognitive Modelling, 1984.
dificuldades em representar o senso comum. Est longe a possibilidade de se apresentar um
sistema para competir com a habilidade humana de lidar com a ambigidade e fazer dela fonte [Schank, 1977] SHANK R. C. & ABELSON R. P. Scripts, Plans, Goals and
de graa, ironia ou poesia.
Understanding. Lawrence Erlbaum Associates, Potomac, Maryland. 1977.
Inicialmente a IA Simblica mostrou relaes mais fortes com a psicologia.
Ultimamente, a rea tem avanado suas relaes com outras reas ligadas compreenso do
comportamento humano e seu contexto (tais como a sociologia e a antropologia). Recentes [Wermter 96] WERMTER, Stefan; RILOFF, Ellen and SCHELER, Gabriele.
avanos trazidos pelo paradigma multi-agente tm mostrado grande potencial para auxiliar nos Connectionist, statistical and symbolic approaches to natural language processing.
estudos dos processos scio-cognitivos. Ao mesmo tempo esta inter-relao com as reas Springer, Heidelberg, 1996.
humanas inspira o trabalho da Inteligncia Artificial Simblica rumo a um novo patamar de
competncia dos sistemas computacionais.
Bibliografia
[Bittencourt 98] BITTENCOURT, Guilherme. Inteligncia Artificial, Ferramentas e
Teorias. Editora da UFSC, 1998.
[Bower 79] BOWER, G. H., BLACK, J. B. and TURNER, T. J. Scripts in memory for
text. Cognitive Psychology, 11, 177-220. 1979.
2. Mtodos Conexionistas F.Osrio ENIA99 Pg.13 2. Mtodos Conexionistas F.Osrio ENIA99 Pg.14
A representao de conhecimentos nas redes conexionistas, como diz o prprio nome,
fortemente ligada a noo de conexo entre neurnios (elementos processadores de informao)
2. INTELIGNCIA ARTIFICIAL : que interagem uns com os outros atravs destas ligaes. O modelo conexionista possui sua
Mtodos Conexionistas - Redes Neurais Artificiais origem nos estudos feitos sobre as estruturas de nosso crebro sofrendo uma grande
simplificao do modelo original onde encontramos no modelo artificial, que simulado,
2.1. Introduo elementos como os neurnios e as suas conexes, chamadas de sinapses. A proximidade e
fidelidade dos modelos artificiais em relao ao modelo real um tema polmico que no vamos
nos aventurar a discutir aqui, deixando apenas o registro da origem dos conceitos bsicos que
As Redes Neurais Artificiais (RNA), tambm conhecidas como mtodos conexionistas, so norteiam este campo de pesquisas.
inspiradas nos estudos da maneira como se organiza e como funciona o crebro humano. Este tipo de
mtodo possui caractersticas peculiares de representao e de aquisio de conhecimentos, sendo O conhecimento de uma RNA est codificado na estrutura da rede, onde se destacam as
considerado um mtodo de nvel sub-simblico (em oposio aos mtodos simblicos, descritos no conexes (sinapses) entre as unidades (neurnios) que a compe. Nestas redes artificiais obtidas
captulo anterior: rvores de deciso, CBR, KBS, etc).
por simulao em computadores, associamos a cada conexo um peso sinptico (valor numrico)
Inicialmente vamos discutir sobre a representao de conhecimentos utilizada pelas Redes que caracteriza a fora da conexo entre dois neurnios. O aprendizado em uma RNA realizado
Neurais, para depois analisarmos a parte referente ao aprendizado destas. importante salientar que por um processo de adaptao dos seus pesos sinpticos. As figuras 2.2 e 2.3 mostram a relao
existem diferentes tipos de RNAs e que cada um destes modelos diferentes possui suas caractersticas entre os neurnios naturais e o modelo de neurnio artificial.
prprias quanto a forma de representar e de adquirir conhecimentos. Em funo disto vamos
primeiramente apresentar uma viso geral, classificando os diferentes modelos de RNAs para em seguida
nos concentrarmos em um modelo mais especfico: as redes neurais artificiais do tipo multi-nvel baseada
em Perceptrons (conhecidas como Multi-Layer Perceptron Nets ou Back-Propagation Nets). A figura 2.1
apresenta um exemplo deste modelo de rede conexionista.
Unit j
Sada Sinapse
Pesos Ncleo
Wij Corpo
Celular
Segmento Inicial
Dendrito
Camada Unit i Axnio
Oculta
Sinapse
Entradas
Figura 2.2. Exemplo de Neurnio Natural
Uma vez que os conhecimentos da rede esto codificados na estrutura de interconexes entre os
neurnios e nos pesos associados a estas conexes, fica muito difcil para um ser humano realizar uma
Figura 2.1. Exemplo de Rede Neural Artificial do tipo Multi-Nvel anlise e interpretao dos conhecimentos adquiridos por uma RNA. Os conhecimentos das redes se
resumem a um conjunto de valores numricos descrevendo as conexes, e por conseqncia, estes valores
descrevem tambm o comportamento da rede. Entretanto, para um ser humano estes dados no fazem
2.2. Representao de Conhecimento muito sentido. Na seo 2.3 vamos apresentar mais em detalhes os diferentes tipo de redes, onde a escolha
do tipo de neurnio artificial utilizado fundamental para se definir como ser a representao interna dos
conhecimentos da rede.
2. Mtodos Conexionistas F.Osrio ENIA99 Pg.15 2. Mtodos Conexionistas F.Osrio ENIA99 Pg.16
sinpticos. A regra que determina a ativao de um neurnio em funo da influncia vinda de suas
X1 X2 XN Entradas
(Dendritos)
entradas, ponderadas pelos seus respectivos pesos, se chama regra de ativao ou funo de ativao.
... As mudanas realizadas nos valores dos pesos sinpticos ou na estrutura de interconexo das
unidades de uma rede, so responsveis pelas alteraes no comportamento de ativao desta rede. Estas
alteraes nas conexes e na estrutura da rede o que nos permite realizar o aprendizado de um novo
W1 W2 ... WN
Pesos Sinpticos
(Tem efeito de inibio ou de excitao comportamento. Desta maneira vamos poder modificar o estado de ativao na sada da rede em resposta a
sobre os sinais de entrada, resultando uma certa configurao de entradas. Portanto, a rede capaz de estabelecer associaes de entrada-sada
na ativao ou no do neurnio ) (estmulo e resposta) a fim de se adaptar a uma situao proposta. No caso de uma rede com aprendizado
N
Ativao supervisionado (vide item sobre tipos de aprendizado), a rede deve adaptar os seus pesos de maneira
Net = Wi.Xi + Biais (Considera o conjunto de valores passar a responder de acordo com o exemplo dado, ou seja, gerando na sua sada um estado de ativao
i
de entradas e os seus respectivos compatvel para com o esperado. O mtodo utilizado para modificar o comportamento de uma rede
pesos sinpticos)
denominado de regra de aprendizado.
Fct (Net) A grande quantidade de modelos de redes conexionistas existentes torna difcil para ns a
Funo de Ativao descrio exaustiva de todos eles. Se o leitor assim desejar, poder se aprofundar em maiores detalhes
(Regula o valor final obtido na sada) sobre os diferentes modelos de RNAs em obras como o Handbook of Neural Computation[Fiesler 97].
Ns iremos nos concentrar aqui em diferenciar estes modelos, tomando como base as suas principais
caractersticas.
2.3.2. Classificao e Propriedades
Sada
(Axonio/Sinapses: conectam-se s outras unidades)
A grande quantidade de modelos existentes nos leva uma anlise de suas principais propriedades
e diferenas em detrimento de uma anlise caso caso mais detalhada. Este estudo das principais
Figura 2.3. Exemplo de Neurnio Artificial propriedades das redes neurais nos permite compreender melhor as vantagens e/ou inconvenientes da
escolha de um modelo em detrimento de um outro. Consideramos que no existe apenas uma maneira de
Apesar dos estudos sobre as redes neurais artificiais serem considerados como pertencentes uma classificar todos os modelos, mas de um modo geral devem ser considerados grupos de atributos, tais
rea jovem1 de pesquisa, encontramos atualmente uma srie de referncias e exemplos de importantes como: tipo de aprendizado, arquitetura de interconexes, forma interna de representao das informaes,
aplicaes prticas deste tipo de mtodo de aprendizado, onde podemos citar alguns exemplos de obras tipo de aplicao da rede, etc. Caso o leitor tenha o interesse de buscar uma proposta mais formal de
relevantes na rea, como por exemplo [Fiesler 97, Ripley 96, Bishop 95, Arbib 95, Krose 93, Freeman 92, classificao das redes neurais, esta pode ser encontrada em [Fiesler 97].
Simpson 90, Faq 99a].
2.3.2.1. Aprendizado Conexionista
2.3. Modelos Conexionistas O aprendizado conexionista em geral um processo gradual e iterado, onde os pesos so
modificados vrias vezes, pouco pouco, seguindo-se uma regra de aprendizado que estabelece a forma
2.3.1. Definio de uma Rede Neural Artificial como estes pesos so alterados. O aprendizado realizado utilizando-se um conjunto de dados de
aprendizado disponvel (base de exemplos). Cada iterao deste processo gradativo de adaptao dos
As redes conexionistas so formadas por um conjunto de unidades elementares de processamento pesos de uma rede neural , sendo feita uma apresentao completa do conjunto de dados, chamada de
de informaes fortemente conectadas, que denominamos de neurnios artificiais. Uma RNA constituda poca de aprendizado. Os mtodos de aprendizado neural podem ser divididos em trs grandes classes,
por um grafo orientado e ponderado. Os ns deste grafo so autmatos simples, os chamados neurnios segundo o grau de controle dado ao usurio
artificiais, que formam atravs de suas conexes um autmato mais complexo, a rede neural, tambm
conhecida como rede conexionista. Aprendizado supervisionado: o usurio dispe de um comportamento de referncia preciso
que ele deseja ensinar a rede. Sendo assim, a rede deve ser capaz de medir a diferena entre
Cada unidade da rede dotada de um estado interno, que ns vamos denominar de estado de seu comportamento atual e o comportamento de referncia, e ento corrigir os pesos de
ativao. As unidades podem propagar seu estado de ativao para as outras unidades do grafo, passando maneira a reduzir este erro (desvio de comportamento em relao aos exemplos de referncia).
pelos arcos ponderados, que ns chamamos de conexes, ligaes sinpticas ou simplesmente de pesos O aprendizado supervisionado utiliza conhecimentos empricos, habitualmente representados
por um conjunto de exemplos etiquetados, ou seja, exemplos com pares de dados de entrada
com a respectiva sada associada. A tabela verdade de uma operao booleana do tipo AND
poderia ser considerada como um conjunto de exemplo de aprendizado, pois indica os valores
1
Os primeiros estudos sobre as redes neurais artificiais remontam aos anos 40 (McCulloch-Pitts), mas foi somente de entrada e tambm a sada desejada. Nos casos de problemas de classificao, a sada a
na dcada de 80 que houve um grande desenvolvimento nesta rea (Back-Propagation, Hopfield, Kohonen SOFM,
...)
2. Mtodos Conexionistas F.Osrio ENIA99 Pg.17
classe qual cada exemplo est associado. Exemplo de aplicao: reconhecimento de
caracteres em uma aplicao do tipo OCR (Optical Character Recognition) [Osrio 91].
Aprendizado semi-supervisionado: o usurio possui apenas indicaes imprecisas (por
exemplo: sucesso/insucesso da rede) sobre o comportamento final desejado. As tcnicas de
aprendizado semi-supervisionado so chamadas tambm de aprendizado por reforo
(reinforcement learning) [Sutton 98]. Para ser mais exato, neste tipo de aprendizado ns
dispomos apenas de uma avaliao qualitativa do comportamento do sistema, sem no entanto
poder medir quantitativamente o erro (desvio do comportamento em relao ao
comportamento de referncia desejado). Exemplo: aplicaes em robtica autnoma, onde
supondo uma situao hipottica, sabemos que seguir em frente no possvel pois existe um
obstculo, mas em compensao no temos uma medida numrica que indique para que lado
seguir e exatamente como devemos proceder para desviar deste obstculo.
Aprendizado no-supervisionado: os pesos da rede so modificados em funo de critrios
internos, tais como, por exemplo, a repetio de padres de ativao em paralelo de vrios
neurnios. O comportamento resultante deste tipo de aprendizado usualmente comparado
com tcnicas de anlise de dados empregadas na estatstica (e.g. clustering). Exemplo:
diferenciar tomates de laranjas, sem no entanto ter os exemplos com a sua respectiva classe
etiquetada (e.g. self-organizing feature maps [Kohonen 87]).
O aprendizado conexionista em geral precisa de uma grande quantidade de dados, que ns
agrupamos em uma base de aprendizado. De acordo com a tcnica de aprendizado utilizada, outros
conjuntos de dados podem tambm ser necessrios, principalmente para que se possa medir a validade do
aprendizado realizado pela rede (e.g. cross-validation [Krogh 95]). Este conjunto de dados complementar
usualmente chamado de conjunto de teste de generalizao. A figura 2.4 apresenta um grfico tpico da
evoluo do erro durante o aprendizado de uma rede neural, comparando a curva do erro (aprendizado
supervisionado) referente base de aprendizado com a curva do erro da base de teste de generalizao.
Ns chamamos de generalizao a capacidade de um modelo de aprendizado responder
corretamente aos exemplos que lhe so apresentados, sendo que estes exemplos NO devem estar
presentes na base de aprendizado. Um modelo que tem uma boa generalizao aquele modelo que
responde corretamente aos exemplos contidos na base de aprendizado, mas tambm a outros exemplos
diferentes daqueles da base de aprendizado, e que esto contidos em uma base de teste. A capacidade de
generalizar a principal capacidade buscada nas tarefas que envolvem aprendizado.
2. Mtodos Conexionistas F.Osrio ENIA99 Pg.18
E r ro n a S a d a
d a R e de
A p re n d iza d o :
P a ra d a ta rd ia
D a d o s de T e ste
D a d o s d e A p re n d iz a d o
N m er o
d e p o ca s
E r ro n a S a da
d a R e de
P a ra d a u sa n d o a V a lid a o C ru za d a
(p o n to tim o d e g e n er a liza o )
D ad o s d e T es te
D a do s d e A pr e nd iz ad o
N m e ro
d e po c a s
Figura 2.4. Aprendizado: Erro em relao ao conjunto de aprendizado e de teste
Uma rede pode se especializar demasiadamente em relao aos exemplos contidos na base de
aprendizado. Este tipo de comportamento vai nos levar um problema de aprendizado conhecido como
super-aprendizado (over-training / over-fitting). Normalmente o over-fitting pode ser detectado/evitado
atravs do uso de um teste de generalizao por validao cruzada (cross-validation).
O aprendizado de um conjunto de dados pode ser realizado de diferentes formas, se considerarmos
a maneira pela qual a rede alimentada por estes dados:
Aprendizado instantneo: o conjunto de dados de aprendizado analisado uma nica vez e
com isto o conjunto de pesos da rede determinado de maneira imediata em uma nica
passagem da base de exemplos. Este modo de aprendizado tambm conhecido como: one
single epoch learning / one shot learning.
Aprendizado por pacotes: o conjunto de dados de aprendizado apresentado rede vrias
vezes, de modo que possamos otimizar a resposta da rede, reduzindo os erros da rede e
minimizando o erro obtido na sada desta. Este modo de aprendizado caracterizado por
trabalhar com uma alterao dos pesos para cada poca, ou seja, para cada passagem completa
de todos os exemplos base de aprendizado. O algoritmo de aprendizado deve reduzir pouco
pouco o erro de sada, o que feito ao final de cada passagem (anlise) da base de exemplos
de aprendizado. Neste tipo de processo, podemos apresentar os exemplos na ordem em que se
encontram, ou de modo mais usual, apresentar os dados em uma ordem aleatria. Outros tipos
de seleo de exemplos para anlise pelo algoritmo de aprendizado nos levam a mtodos
como a aprendizagem ativa (vide mais abaixo). Este mtodo conhecido pelo nome de batch-
learning e constitui-se de um dos mtodos mais utilizados.
Aprendizado contnuo: o algoritmo de aprendizado leva em considerao continuamente os
exemplos que lhe so repassados. Se o conjunto de dados bem delimitado, chamamos este
mtodo de aprendizado on-line, e caso o conjunto de dados possa ir aumentando (sendo
adicionados novos exemplos no decorrer do tempo), ento chamamos este mtodo de
aprendizado incremental. O aprendizado on-line se ope ao aprendizado por pacotes, pois ao
contrrio deste, para cada novo exemplo analisado j se realiza uma adaptao dos pesos da
rede, com o objetivo de convergir na direo da soluo do problema. O aprendizado contnuo
2. Mtodos Conexionistas F.Osrio ENIA99 Pg.19 2. Mtodos Conexionistas F.Osrio ENIA99 Pg.20
incremental deve ser analisado sob o ponto de vista da aquisio dos dados (adio de novos tipo de funo de ativao utilizada (e.g. linear, sigmode assimtrica (exp), sigmode simtrica (tanh),
exemplos na base de aprendizado), onde devemos prestar ateno para no confundir este tipo gaussiana, etc) [Jodoin 94a, Jodoin 94b]. Outro elemento importante diz respeito a forma como os
de aprendizado com o aprendizado incremental em relao a estrutura da rede (adio de neurnios armazenam as informaes: unidades baseadas em prottipos, unidades do tipo Perceptron.
novos neurnios no decorrer da simulao). O principal problema do aprendizado contnuo a Vamos diferenciar aqui estes dois tipos de maneiras de representar o conhecimento nas unidades de uma
dificuldade de achar um bom compromisso entre a plasticidade e a estabilidade da rede. Uma rede.
rede com uma grande facilidade de adaptao pode esquecer rapidamente os conhecimentos
anteriormente adquiridos e uma rede com uma grande estabilidade pode ser incapaz de Redes base de prottipos: este tipo de rede utiliza neurnios que servem para representar
incorporar novos conhecimentos. prottipos dos exemplos aprendidos as unidades tem uma representao interna que agrupa
as caractersticas comuns e tpicas de um grupo de exemplos [Orsier 95]. As redes baseadas
Aprendizado ativo: este modo de aprendizado assume que o algoritmo de adaptao da rede em prottipos tem normalmente um aprendizado no supervisionado (com um ou mais
pode passar de uma posio passiva (apenas recebendo os dados do jeito como lhe so prottipos associados cada classe). Uma das vantagens deste tipo de redes a possibilidade
passados), para uma posio ativa. Sendo assim, assumimos que este algoritmo poder vir a de fazer um aprendizado contnuo e incremental, uma vez que no muito difcil de conceber
intervir sobre a forma como os dados lhe so repassados. Neste caso, a rede pode intervir e um algoritmo capaz de aumentar a rede neural atravs da adio de novos prottipos. Os
determinar assim quais dados que sero considerados e/ou desconsiderados, alm tambm de prottipos so tambm denominados de clusters, onde apresentamos um exemplo de rede a
determinar a ordem em que estes dados devero ser considerados. A rede pode tambm vir a base de prottipos na figura 2.5. Este tipo de redes vo gerar uma representao dita localista
solicitar novos dados que julgue necessrios para o bom aprendizado do problema proposto. de conhecimentos.
Esta uma rea que vem sendo investigada com mais destaque recentemente.
A adaptao/otimizao dos pesos tambm pode ser implementada por diferentes mtodos, segundo
o tipo de regra de aprendizado que for empregado. As regras de aprendizado mais usadas so [Jodoin 94,
Caudill 92, Simpson 90, Faq 99]: Redes base de Prottipos
:
Y Entradas - X,Y Sada - Classes (A, B ou C)
Mtodos de correo do erro, tais como a descida de uma superfcie de erro baseada no gradiente. A: Exemplos da classe A
B: Exemplos da classe B
Exemplos de modelos deste tipo: Adaline, Perceptron, Back-Propagation, Cascade-Correlation; A A C: Exemplos da classe C
Y2 A A A
X1,Y1 - Prottipo da classe B
A A X2,Y2 - Prottipo da classe A
Mtodos de aprendizado por reforo. Exemplos: Driver-Reinforcement Learning, AHC; B B X3,Y3 - Prottipo da classe A
B B B B C C
Y1 B B B C CC Prottipos:
C C C
B CC C * Centro de Gravidade
Mtodos de aprendizado por competio ou por auto-organizao. Exemplos: Kohonen Self- B B
B
C * Raio de influncia (x,y)
B
Organizing Feature Maps, ART1; A A A Teste de similaridade:
* Distncia Euclidiana
A A
Y3 A A
Mtodos de aprendizado atravs da criao de prottipos ou clusters. Exemplos: RBF, ART1, A
A A
A
ARN2;
X
Mtodos de aprendizado baseados em memrias associativas (auto-associativas ou hetero- X1 X2 X3
associativas). Exemplos: Modelo de Hopfield, BAM.
Mtodos de aprendizado de seqncias temporais (redes recorrentes). Exemplos: SRN, BPTT, Figura 2.5. Prottipos de uma rede neural com duas entradas
RTRL.
Redes base de Perceptrons: as unidades do tipo Perceptron foram criadas por Frank
Existem alguns mtodos que podem pertencer a duas categorias ao mesmo tempo, por exemplo, as Rosenblatt em 1950. Este um dos modelos de neurnios mais utilizados na atualidade. Ele
redes com aprendizado do tipo ARN2 [Giacometti 95] que inclui neste modelo tcnicas de aprendizado a base de diversos tipos de RNA com aprendizado supervisionado utilizando uma adaptao
no-supervisionado, aprendizado supervisionado, adaptao por competio, e tambm atravs do uso de por correo de erros (usualmente baseada na descida da superfcie de erro usando o
um mtodo de criao de prottipos. Nas sees seguintes, ns vamos enfocar com mais ateno os gradiente). O modelo do Perceptron de mltiplas camadas (MLP Multi-Layer Perceptron)
modelos baseados no Perceptron: que possuem aprendizado supervisionado com descida do gradiente. tornou-se muito conhecido e aplicado, sendo na maior parte das vezes associado a regra de
aprendizado do Back-Propagation [Jodoin 94, Widrow 90, Rumelhart 86]. A figura 2.6
apresenta um esquema da representao de conhecimentos nas redes baseadas em Perceptrons,
e como este tipo de redes capaz de classificar padres, gerando planos (ou hiper-planos) de
2.3.2.2. Tipos de Unidades diviso do espao em que se situam os exemplos.
As unidade de uma rede os neurnios artificiais podem ser de diferentes tipos, de acordo com
a funo interna utilizada para calcular o seu estado de ativao. As principais diferenas so relativas ao
2. Mtodos Conexionistas F.Osrio ENIA99 Pg.21 2. Mtodos Conexionistas F.Osrio ENIA99 Pg.22
Reta, Plano ou Hiper-plano Entrada Y
mente conexes laterais (entre os neurnios de uma mesma camada). Um exemplo deste tipo
de separao das classes
+1
- Classe A de arquitetura de redes so as redes do tipo Self-Organizing Feature Maps [Kohonen 87].
- Classe B
A
A A
A P(X1,Y1) = Classe A
Redes com camadas uni-direcionais: as unidades so organizadas em vrios nveis bem
Y1 P(X 1,Y1)
Classe A:
definidos, que so chamados de camadas ou layers. Cada unidade de uma camada recebe suas
B
A
A
A A A
X*W1+Y*W2 > 0 entradas vindas partir de uma camada precedente, e envia seus sinais de sadas em direo a
B B A
A A camada seguinte. Estas redes so conhecidas como redes feed-forward. A Figura 2.7(a) mostra
-1 Entrada X
A A
um exemplo de uma rede de trs camadas uni-direcionais. Esta arquitetura de trs camadas
A X1
B B A +1 (entrada, camada oculta e sada) muito usada em aplicaes prticas das redes neurais. O
B
B B
B
A modelo MLP [Widrow 90, Rumelhart 86] composto em geral de uma arquitetura deste tipo,
B B
B
Entradas:
X, Y
ou seja, com apenas uma camada oculta (hidden layer), mas nada nos impede de colocar mais
B B
B A de uma camada oculta entre a camada de entrada e a camada de sada de uma rede. Um outro
Reta:
Classe B: B
B X*W1+Y*W2=0 tipo de interconexo utilizado em redes uni-direcionais so os atalhos (short-cuts) que
X*W1+Y*W2 < 0 -1
permitem a conexo de uma unidade outra em uma camada posterior, passando por cima de
. outras camadas intermedirias. O uso desta tcnica vai nos permitir saltar por cima de uma
camada at uma outra camada (vide figura 2.7(b)), condio de no introduzir uma
Figura 2.6. Separao de classes (classificao) atravs do uso de um Perceptron recorrncia na rede, o que descaracterizaria esta rede como sendo do tipo feed-forward.
Redes recorrentes: as redes recorrentes podem ter uma ou mais camadas, mas a sua
particularidade reside no fato de que temos conexes que partem da sada de uma unidade em
2.3.2.3. Tipos de Arquiteturas de Conexo das Redes direo a uma outra unidade da mesma camada ou de uma camada anterior esta. Este tipo de
conexes permitem a criao de modelos que levam em considerao aspectos temporais e
As unidades de uma rede neural podem se conectar de diferentes modos, resultando em diferentes comportamentos dinmicos, onde a sada de uma unidade depende de seu estado em um
arquiteturas de interconexo de neurnios. A figura 2.7 apresenta alguns exemplos de possveis maneiras tempo anterior. Os laos internos ao mesmo tempo que do caractersticas interessantes de
de conectar os componentes de uma RNA. As arquiteturas de redes mais importantes so: memria e temporalidade as redes, tornam este tipo de redes muito instveis, o que nos obriga
a usar algoritmos especficos (e usualmente mais complexos) para o aprendizado destas redes.
Sada
Sada Um tipo particular de redes recorrentes so as redes totalmente conectadas, e um exemplo de
modelo recorrente de uma nica camada e totalmente conectado so as redes de Hopfield,
Camada representadas na figura 2.7(d).
Oculta
Camadas
Ocultas Redes de ordem superior: as unidades deste tipo de rede permitem a conexo direta entre
duas ou mais de suas entradas, antes mesmo de aplicar a funo de clculo da ativao da
unidade [Fiesler 94a]. Este tipo de rede serve para modelar sinapses de modulao , ou seja,
Entradas
quando uma entrada pode modular (agir sobre) o sinal que vem de uma outra entrada. Um
B A B C
A B A modelo particular de rede de ordem superior so as redes tipo Sigma-Pi que foram
(a) Rede com trs camadas (b) Rede com atalhos (c) Rede multi-camadas
apresentadas no livro PDP Parallel Distributed Processing [Rumelhart 86], e que so
representadas na figura 2.7(e).
Act = W1A+W2B+W3 AB
W3 A arquitetura de uma rede tambm pode ser classificada de acordo com a evoluo desta no decorrer
W1
W2 X de sua utilizao e desenvolvimento do aprendizado. Em funo deste critrio podemos ter os seguintes
grupos:
A B Redes com estrutura esttica: a rede tem a sua estrutura definida antes do incio do aprendizado.
(d) Rede recorrente (e) Rede de ordem superior A quantidade de neurnios, assim como a sua estrutura de interconexes, no sofrem alteraes
durante a adaptao da rede. As nicas mudanas se realizam nvel dos pesos sinpticos, que
so modificados durante o processo de aprendizado. Este tipo de modelo impe uma dificuldade
Figura 2.7. Arquiteturas de interconexo de neurnios em redes
maior ao usurio: a determinao do nmero ideal de neurnios e de conexes a ser utilizado em
uma determinada aplicao. Uma rede com poucas unidades e conexes tem forte chance de no
Redes com uma nica camada: as unidades esto todas em um mesmo nvel. Neste tipo de
ter sucesso em uma tarefa de aprendizado, no tendo condies de alcanar o melhor
arquitetura, as unidades so conectadas diretamente s entradas externas e estas unidades
desempenho possvel por falta de capacidade de representao de todos os conhecimentos
servem tambm de sadas finais da rede. As redes de uma nica camada possuem normal-
envolvidos no problema tratado. Uma rede com muitas unidades pode ter tambm problemas de
2. Mtodos Conexionistas F.Osrio ENIA99 Pg.23 2. Mtodos Conexionistas F.Osrio ENIA99 Pg.24
convergncia e principalmente de generalizao, pois quando se tem muita capacidade de temporais, como as cotaes da bolsa de valores, ou tambm, uso para o diagnstico mdico), o controle
armazenamento de informaes em uma rede, esta tem uma tendncia a decorar os exemplos no de processos e a aproximao de funes (e.g. aplicaes na rea da robtica). Todas estas tarefas podem
lugar de aprend-los (generalizar os conhecimentos sobre o problema) [Fiesler 97, Krogh 95]. ser reagrupadas em dois grupos principais, segundo o tipo de sada fornecido pela rede neural e o
No caso deste tipo especfico de redes, no existe um mtodo formal que permita determinar o comportamento que buscado. Estes dois grupos so:
nmero exato e timo de unidades e conexes serem empregadas no aprendizado de um
Redes para a aproximao de funes: este tipo de redes devem ter uma sada com valores
determinado problema. As redes do tipo MLP com Back-Propagation, de acordo com o modelo
contnuos e usualmente so empregadas para realizar aproximaes de funes (interpolao)
proposto por Rumelhart, so redes do tipo esttico.
[Chentouf 97]. Neste tipo de aplicaes, as funes so representada por um conjunto de
pontos-exemplo desta. Este tipo de redes capaz de aprender uma funo de transformao
Redes com estrutura dinmica: as redes que possuem uma estrutura dinmica so redes onde o
(ou de associao) de valores de entrada em valores de sada, usualmente estimando por
nmero de unidades e conexes pode variar no decorrer do tempo. Estas redes so tambm
interpolao as respostas para os casos que no aparecem na base de exemplos. Este tipo de
chamadas de ontognicas [Fiesler 94b]. As modificaes na estrutura da rede podem ser do tipo
problemas de aprendizado neural de funes conhecido por ser uma aplicao de um
generativo (incremental) ou do tipo destrutivo (redutor por eliminao/simplificao). A escolha
problema de regresso [Bishop 97]. Em geral as funes serem aprendidas pelas redes
entre estes dois tipos de mtodos bastante polmica: devemos comear com uma rede pequena
possuem tanto as entradas como as sadas indicadas atravs de valores contnuos (variveis
e ir aumentando ela, ou devemos comear com uma rede bastante grande e ir reduzindo o seu
no discretas).
tamanho posteriormente? Alguns autores defendem a idia de uma criao construtiva de
conhecimentos[Elman 93, Osrio 98]. Do ponto de vista relacionado carga de processamento
Redes para a classificao de padres: este tipo de redes deve atribuir para cada exemplo
de dados necessria para as simulaes neurais, a opo por uma rede pequena que adiciona
que lhe fornecido uma classe ao qual este exemplo pertence. Portanto, a sada da rede a
pouco pouco novas unidades e conexes sem dvida a de melhor performance, pois nas
classe associada ao exemplo e por conseqncia, as classes so valores discretos e no
redes do tipo destrutivo uma grande parte do esforo de aprendizado acaba sendo depois
contnuos. A classificao um caso particular da aproximao de funes onde o valor de
destrudo ao ser realizada a simplificao da rede. Apesar desta discusso, sobre qual dos dois
sada da rede discretizado e pertence a um conjunto finito de classes. No caso do
tipos de redes com estrutura dinmica que seria melhor usar, no possuir um consenso, podemos
aprendizado supervisionado, o conjunto de classes bem definido e conhecido antes de ser
dizer que uma grande parte dos pesquisadores concorda que as redes ontognicas em geral so
iniciado o processo de aprendizado. Uma rede utilizada para fins de classificao deve possuir
um dos melhores mtodos que existem para se escolher uma boa arquitetura para uma rede
sadas discretas, ou ento, deve implementar mtodos de discretizao de suas sadas (e.g.
neural e assim resolver melhor um certo problema proposto. As redes do tipo Cascade-
aplicao de um limiar de discriminao activation threshold). As entradas da rede podem
Correlation (CasCor [Fahlman 90]) so redes do tipo dinmico e incremental.
ser tanto contnuas, como tambm podem ser discretas, o que no deve interferir no fato desta
O ltimo ponto relevante que vamos abordar em relao a arquitetura das redes neurais est rede ser usada para uma aplicao classificao.
relacionado modularidade [Ronco 96, Ronco 95, Amy 96, Rouzier 98, Jacobs 91]. As redes neurais
Seria muita pretenso de nossa parte se tentssemos classificar todos os diferentes modelos de redes
podem trabalhar com arquiteturas modulares: elas podem ser constitudas por blocos com uma maior ou
neurais em apenas uma destas duas classes descritas acima. A maioria dos modelos pode ser adaptado para
menor dependencia entre eles. Existem diferentes maneiras de integrar e fazer cooperar os diferentes
ser utilizado em um ou em outro tipo de aplicao, entretanto, alguns modelos so claramente mais
mdulos de uma rede neural. Um primeiro mtodo consiste em decompor o problema e obter assim
adaptados a um tipo de tarefa que ao outro, como o caso do Cascade-Correlation que foi desenvolvido
mdulos especializados para cada sub-problema. Um exemplo de aplicao deste tipo de mtodo o caso
basicamente apenas para tarefas de classificao.
das aplicaes de classificao em mltiplas classes, onde o problema de identificao de cada classe pode
ser tratado por mdulos separados, e ento no lugar de ter um nico classificador para os N exemplos em
M classes, temos um classificador para cada uma das M classes. Outro tipo de mtodo usado pelas redes
modulares, mas mais complexo de ser implementado, aquele onde os diferentes mdulos vo tentar
cooperar entre si a fim de juntos resolverem um problema. Neste tipo de mtodo no so impostas tarefas 2.2. Discusso sobre as Redes Conexionistas
particulares mdulos pr-especificados, deixando para a rede a tarefa de distribuir os conhecimentos e
gerenciar a interao entre os mdulos. As redes conexionistas utilizam mtodos de aprendizado partir de exemplos que possibilitam o
ajuste dos pesos de suas conexes, resultando em um comportamento prximo ou at mesmo exatamente
A modularidade um problema relativo escolha de uma arquitetura de rede, mas ela tambm pode igual ao esperado. Esta modificao dos pesos da rede feita de forma que a rede generalize os
ser ligada ao problema de particionamento dos dados de aprendizado (em um esquema semelhante ao conhecimentos contidos na base de exemplos de aprendizado.
usado na aprendizagem ativa, onde cada mdulo poderia escolher que informaes iria tratar). Para
concluir, devemos salientar que a modularidade pode se tornar um aspecto muito importante a ser Uma boa definio das redes conexionistas dada por Giacommetti [Giacometti 92]: as redes so
considerado segundo o tipo e a complexidade do problema ser tratado. capazes de aprender e representar o saber fazer algo (savoir-faire), que se traduz pelo seu
comportamento aps o processo de aprendizado de uma tarefa; este saber fazer, representado pelos
conhecimentos prticos (empirical knowledge ~ practical examples) adquiridos pela rede, aparece aqui
2.3.2.4. Tipos de Aplicaes das Redes Neurais
em oposio ao saber sobre algo (savoir-que) que representa os conhecimentos tericos sobre um
As RNA podem ser aplicadas diferentes tipos de tarefas, tais como: o reconhecimento de determinado assunto (theorical knowledge ~ symbolic rules). Esta distino entre o saber fazer uma tarefa
padres (e.g. reconhecimento de faces humanas), a classificao (e.g. reconhecimento de caracteres - e o conhecimento sobre a tarefa, um dos pontos mais importantes de nossa discusso sobre os sistemas
OCR), a transformao de dados (e.g. compresso de informaes), a predio (e.g. previso de sries hbridos, pois como veremos mais adiante, ambos os conhecimentos se completam um ao outro.
2. Mtodos Conexionistas F.Osrio ENIA99 Pg.25
Antes de prosseguir em nossa anlise sobre as redes conexionistas, cabe ressaltar que no seria
possvel fazer aqui uma anlise relativa a todos os modelos de redes neurais, por isso nosso estudo se
concentra principalmente em dois tipos principais de redes: as redes base de prottipos com aprendizado
supervisionado e as redes base de Perceptrons (MLP) com aprendizado supervisionado. Nosso objetivo
fazer uma discusso orientada principalmente para estes dois tipos de redes, para posteriormente analisar o
uso destes modelos junto aos sistemas hbridos inteligentes. Devemos ressaltar tambm que nosso
interesse voltado s redes usadas para aplicaes de classificao, visto que nosso estudo aborda
aplicaes do tipo sistemas especialistas, onde a aproximao de funes no uma caracterstica tpica
deste tipo de sistemas.
As redes conexionistas, em particular aquelas que tem sido aplicadas na construo de sistemas
inteligentes, possuem as seguintes vantagens:
- Conhecimento emprico: o aprendizado partir de exemplos feito de uma maneira bastante
simples e permite uma aquisio de conhecimentos de forma automtica, muitas vezes de
maneira bem mais fcil e confivel do que atravs de outros mtodos de aquisio de
conhecimentos (ajuda a resolver em parte o problema do gargalo da aquisio de
conhecimentos bem conhecido dos sistema especialistas);
- Degradao progressiva: as respostas dadas por uma rede se degradam progressivamente na
presena de perturbaes e distores dos dados de entradas. Em geral, as redes obtm uma
boa generalizao dos conhecimentos presentes na base de aprendizado e sendo assim so
menos sensveis a perturbaes do que os sistemas simblicos;
- Manipulao de dados quantitativos: o fato de se trabalhar com uma representao
numrica dos conhecimentos implica que as redes so melhor adaptadas para a manipulao
de dados quantitativos (valores contnuos). Grande parte dos problemas de nosso mundo real,
necessitam do tratamento de informaes medidas de forma quantitativa, onde uma
representao qualitativa muitas vezes implica na perda de informaes. As redes neurais so
menos vulnerveis aos dados aproximativos e a presena de dados distorcidos ou incorretos
que possam estar presentes na base de aprendizado. Esta capacidade de manipular dados
aproximados e at mesmo inexatos mais difcil de ser encontrada em outros mtodos de
aprendizado do tipo simblico;
- Paralelismo em larga escala: as redes neurais so compostas de um conjunto de unidade de
processamento de informaes que podem trabalhar em paralelo. Apesar da maioria das
implementaes de RNAs serem feitas atravs de simulaes em mquinas seqenciais,
possvel de se implementar (softwares e hardwares) que possam explorar esta possibilidade de
ativao simultnea das unidades de uma rede. A maior parte das implementaes de redes
neurais simuladas em mquinas seqenciais pode ser facilmente adaptada em uma verso
paralela deste sistema.
As redes conexionistas apresentam um certo nmero de inconvenientes, do mesmos modo que os
outros tipos de mtodos de aprendizado. No caso especfico das redes, temos limitaes tais como:
- Arquitetura e parmetros: no existe um mtodo totalmente automtico para que se possa
escolher a melhor arquitetura possvel para um problema qualquer. bastante difcil de se
encontrar uma boa topologia de uma rede, assim como os bons parmetros de regulagem do
algoritmo de aprendizado. A evoluo do processo de aprendizado bastante influenciada por
estes dois elementos: a arquitetura da rede e os parmetros de regulagem do algoritmo. O
sucesso da rede depende bastante de uma boa escolha destes elementos, que variam muito de
2. Mtodos Conexionistas F.Osrio ENIA99 Pg.26
um problema para outro. Uma simples troca do conjunto de exemplos de uma base de
aprendizado pode nos obrigar a reconfigurar toda a rede;
- Inicializao e codificao: os algoritmos de aprendizado conexionista so em geral muito
dependentes do estado inicial da rede (devido a inicializao aleatria dos pesos) e da
codificao dos dados da base de aprendizado. Uma m escolha dos pesos iniciais da rede, do
mtodo de codificao dos dados de entrada, ou mesmo, a ordem de apresentao destes
dados, pode levar ao bloqueio do processo de aprendizado (e seu conseqente fracasso), ou
ento, pode dificultar bastante o processo de convergncia da rede na direo de uma boa
soluo;
- Caixa preta: os conhecimentos adquiridos por uma rede esto codificados no conjunto de
valores dos pesos sinpticos, assim como pela maneira pela qual estas unidades se conectam.
extremamente difcil para um ser humano conseguir interpretar diretamentes estes
conhecimentos. As redes conexionistas so caixas pretas onde os conhecimentos ficam
codificados de tal forma que estes so ininteligveis para o utilizador ou at mesmo para um
especialista. Uma rede no possui a capacidade de explicitar o tipo de raciocnio que lhe levou
a obter uma certa resposta, ao contrrio dos sistemas baseados em regras, que por sua vez
podem facilmente mostras a seqncia de regras aplicadas na resoluo de um problema;
- Conhecimentos tericos: as redes neurais clssicas no permitem que se utilize os
conhecimentos tericos que possam estar disponveis sobre um determinado problema que
estejamos tratando. Como as rvores de deciso, as redes neurais so orientadas para a
aquisio de conhecimentos empricos (baseados em exemplos). Um modo simplista de se
aproveitar algum conhecimento terico pr-existente, consiste em se converter regras em
exemplos (prottipos representativos destas regras). Entretanto, este tipo de mtodo no nos
garante que a rede ser capaz de aprender corretamente estes exemplos, sendo assim, no
podemos garantir que ao final do aprendizado todos os conhecimentos tericos disponveis
estaro bem representados internamente na rede.
Estes tpicos listados acima no cobrem exaustivamente todas vantagens e desvantagens das redes
conexionistas, mas permitem que se tenha uma idia das principais caractersticas deste tipo de sistemas.
Podemos encontrar uma anlise complementar a citada acima em outras obras da rea, como por exemplo
[Orsier 95, Towell 91, Fahlman 88]. No que diz respeito mais especificamente ao aprendizado usando
redes neurais baseadas em MLP com Back-Propagation (um dos modelos de redes neurais mais utilizados
na atualidade), podemos listar alguns dos pontos inconvenientes deste modelo:
- Paralisia do aprendizado: as redes do tipo MLP com Back-Propagation, devido maneira
como o algoritmo ajusta os pesos, tem a tendncia no mais corrigir estes pesos uma vez que
a sada das unidades da rede forneam valores prximos 0 ou 1 (isto se deve ao uso da
aplicao da sigmode e de sua derivada pelo algoritmo Back-Propagation). Este
comportamento do algoritmo de aprendizado permite dar uma maior estabilidade ao processo
de adaptao dos pesos, mas em compensao pode paralisar o aprendizado da rede. Este
problema tambm conhecido como o flat spot problem.
- Instabilidade e esquecimento catastrfico: de maneira inversa ao problema da paralisia, as
redes tambm podem sofrer de um problema de instabilidade com a conseqente perda dos
conhecimentos anteriormente adquiridos. Uma vez que as redes realizam a minimizao do
erro de uma maneira no coordenada, ou seja, as unidades competem entre si a fim de reduzir
o erro, isto pode levar a uma constante concorrncia entre as unidades. No importa se uma
unidade se adaptou a fim de realizar uma pequena, mas importante tarefa, esta unidade vai
2. Mtodos Conexionistas F.Osrio ENIA99 Pg.27
continuar sempre tentando alterar os seus pesos a fim de minimizar o erro global ao mximo
possvel. Este tipo de comportamento competitivo pode nos levar duas situaes: (1) as
unidades mudam constantemente de opinio durante o aprendizado (conhecido como o
moving targer problem) , ou, (2) a rede perde grande parte dos conhecimentos j adquiridos
ao tentarmos aprender um novo conjunto de exemplos de aprendizado (conhecido como o
esquecimento catastrfico). Portanto este problema envolve a busca de um ponto de equilbrio
entre a grande plasticidade (capacidade de se adaptar) e a estabilidade (necessidade de manter
as informaes) das redes neurais. Redes neurais com uma grande plasticidade esto sujeitas a
ficarem alterando indefinidamente os seus pesos, ou ento, destruir uma boa configurao de
pesos ao tentar adquirir novos conhecimentos.
- Escolha dos parmetros do algoritmo de aprendizado e a velocidade de convergncia: na
maior parte das aplicaes, a velocidade de convergncia de uma rede em direo um
mnimo (local ou global) de erro realizada de maneira muito lenta. As alteraes dos pesos
da rede devem ser feitas pouco pouco de modo a garantir que no se ultrapasse o ponto
timo de mnimo da curva de erro. O algortimo de Back-Propagation dotado de dois
parmetros e que controlam respectivamente a velocidade de aprendizado (learning
speed) e a inrcia na descida da curva de erro (momentum). Estes dois parmetros permitem
que o processo de adaptao dos pesos da rede seja acelerado ou retardado, mas preciso que
eles sejam ajustados precisamente para que se obtenha bons resultados. Estes dois parmetros,
que devem ser fornecidos pelo usurio, so essenciais para o bom desempenho do processo de
aprendizagem. O problema que no possumos mtodos precisos de estimar estes valores.
Alm disso, os valores de e so bastante dependentes do tipo de aplicao e da base de
exemplos de aprendizado utilizada, devendo ser reconfigurados novamente caso o problema
tratado seja alterado. Um valor de ou que no seja muito bem escolhido pode levar ao
fracasso toda a tentativa de se aprender uma base de dados. por isso que normalmente o
aprendizado de uma base de exemplos feito com o uso de N conjuntos de configuraes de
parmetros do algoritmo, para que se possa ter uma melhor chance de encontrar os valores
adequados destes parmetros.
Para concluir sobre as redes MLP, o algoritmo de Back-Propagation no um algoritmo
incremental, nem ao nvel da base de exemplos, e muito menos ao nvel da estrutura da rede. A
arquitetura da rede esttica e consequentemente este continua ser um problema a mais no que se
refere ao aprendizado: como fazer para estimar o nmero ideal de neurnios para uma dada aplicao?
Apesar de todos estes problema, o algoritmo Back-Propagation ainda um dos mtodos mais
usados junto as redes neurais. Alguns pesquisadores, conscientes dos problemas deste algoritmo,
propuseram tcnicas para resolver ou reduzir estes problemas [Schiffmann 93, 94]. Podemos citar aqui
alguns destes mtodos aperfeioados de aprendizado: o RPROP [Riedmiller 93], o QuickProp [Fahlman
88], o Gradiente Conjugado (Scaled Conjugated Gradient) [Moller 90] e o Cascade-Correlation
[Fahlman 90], bem como as tcnicas ontognicas de aprendizado [Fiesler 94].
2.3. Redes Neurais: A busca de uma soluo tima
As redes neurais possuem algumas limitaes e problemas que citamos na seo anterior. Vamos
listar aqui alguns pontos que devem ser considerados e discutidos no que se refere as redes neurais e a
busca de uma soluo ou melhoria do aprendizado neural:
- Aprendizado incremental: a rede neural deve ser capaz de adquirir novos conhecimentos, sem
no entanto destruir os conhecimentos anteriormente adquiridos. A rede neural deve ser
2. Mtodos Conexionistas F.Osrio ENIA99 Pg.28
tambm capaz de adequar a sua estrutura aos requisitos do problema, sendo que esta deveria
poder aumentar de tamanho (quantidade de neurnios) medida que fosse aumentando a
complexidade do problema tratado;
- Estimativa da topologia: deve-se buscar mtodos que permitam ao usurio criar uma
topologia de rede adequada para tratar um determinado problema. O ideal seria dotar as redes
neurais de mecanismos que possibilitem que esta ajuste automaticamente a sua estrutura em
funo do problema tratado;
- Estimativa dos parmetros de aprendizado: um bom algoritmo de aprendizado no deve ser
muito dependente de parmetros externos, e idealmente, a rede deveria poder de maneira
automtica ajustar todos os seus parmetros para conseguir um resultado timo no
aprendizado;
- Introduo de conhecimentos a priori: as redes neurais devem permitir que conhecimentos a
priori sobre o problema possam ser inseridos de maneira a facilitar e adiantar o aprendizado
de um determinado problema;
- Instabilidade e velocidade: um bom algoritmo de aprendizado deve ser o menos instvel
possvel, com timas chances de adaptar os pesos da rede e convergir em direo a uma boa
soluo, minimizando o mais possvel o erro na sada da rede. Este algoritmo deve permitir
um aprendizado rpido e eficiente;
- Abrir a caixa preta: devemos buscar uma soluo para o problema da falta de mecanismos
para analisar os conhecimentos adquiridos pela rede. Devemos ser capazes de representar os
conhecimentos adquiridos pela rede em um formato mais compreensvel para os seres
humanos;
- Aprendizado ativo: a rede neural deve ser capaz de dar um retorno sobre o processo de
aprendizado, indicando quais os exemplos que devem ser tratados com uma maior prioridade,
ou at mesmo, indicando a necessidade de mais exemplos de uma categoria especfica para
que o problema possa ser corretamente tratado;
- Tratamento de informaes temporais e contexto: as redes neurais devem ser capazes de
considerar o contexto (possuir memria) e assim poder tambm tratar informaes que
evoluem no decorrer do tempo, como por exemplo as sries temporais. As redes recorrentes
parecem ser um caminho importante a seguir nesta direo, mas ainda restam problemas a
serem resolvidos no que se refere a instabilidade e confiabilidade deste tipo de redes.
Estes itens citados acima seguem sendo pesquisados atualmente, e muitas propostas tem sido
apresentadas a fim de solucionar (ou minimizar) os problemas ainda enfrentados pelas redes neurais.
Apesar de termos problemas relacionados ao aprendizado neural sem serem completamente solucionados,
este tipo de tcnica tem adquirido uma importncia cada vez maior junto aplicaes que necessitem de
uma aquisio automtica de conhecimentos. As redes neurais superam em muitos casos os demais
mtodos automticos de aquisio de conhecimentos.
BIBLIOGRAFIA
2. Mtodos Conexionistas F.Osrio ENIA99 Pg.29
[Amy 96] AMY, Bernard. Recherches et Perspectives dans le Domaine des Rseaux Connexionnistes.
Rapport de Recherche - DRET, Octobre 1996. Web: http://www-leibniz.imag.fr/RESEAUX/public.html
Ftp: ftp://ftp.imag.fr/pub/LEIBNIZ/RESEAUX-D-AUTOMATES/
[Arbib 95] ARBIB, Michael A. (Editor) The Handbook of Brain Theory and Neural Networks. MIT Press,
1995.
[Bishop 97] BISHOP, Christopher. Classification and Regression. In: Handbook of Neural Computation
(section B6.2). E. Fiesler and R. Beale (Eds.) Institute of Physics and Oxford University Press. New York,
NY - U.S.A., 1997. Web: http://www.idiap.ch/publications/fiesler-96.1.bib.abs.html or http://www.oup-
usa.org/acadref/nc_accs.html
[Bishop 95] BISHOP, C.M. Neural Networks for Pattern Recognition, Oxford: Oxford University Press.
ISBN 0-19-853849-9. 482 pages.1995.
[Caudill 92] CAUDILL, Maureen & BUTLER, Charles. Understanding Neural Networks - Vol.1: Basic
Networks, Vol.2: Advanced Networks. Bradford Books, MIT Press, 1992.
[Chentouf 97] CHENTOUF, Rachida. Construction de Rseaux de Neurones Multicouches pour
l'Approximation. Thse de Doctorat en Sciences Cognitives, Laboratoire TIRF - INPG, Grenoble - France,
Mars 1997.
[Elman 93] ELMAN, Jeffrey L. Learning and Development in Neural Networks: The Importance of
Starting Small. Cognition, 48(1993), pp.71-99. 1993. Web: http://crl.ucsd.edu/~elman/
Ftp: ftp://crl.ucsd.edu/pub/neuralnets/cognition.ps.Z
[Fahlman 88] FAHLMAN, Scott E. An Empirical Study of Learning Speed in Back-Propagation
Networks. Carnegie Mellon University - CMU. Computer Science Technical Report CMU-CS-88-162.
September 1988. Web: http://www.cs.cmu.edu/Reports/index.html
[Fahlman 90] FAHLMAN, S. E.; LEBIERE, C. The Cascade-Correlation Learning Architecture.
Carnegie Mellon University - CMU, Computer Science Technical Report - CMU-CS-90-100. February
1990. Web: http://www.cs.cmu.edu/Reports/index.html
Ftp: ftp://archive.cis.ohio-state.edu/ pub/neuroprose/fahlman.cascor-tr.ps.Z
[Faq 99] FAQ. Faq ANN - Comp.ai.neural-nets 1999.
Web: http://www.cis.ohio-state.edu/hypertext/faq/usenet/ai-faq/neural-nets/
[Faq 99a] FAQ. Faq ANN - Comp.ai.neural-nets FAQ, Part 4 of 7: Books, data, etc. 1999.
Web: http://www.cis.ohio-state.edu/hypertext/faq/usenet/ai-faq/neural-nets/part4/faq-doc-1.html
[Fiesler 94a] FIESLER, E. Neural Networks Formalization and Classification. Computer Standard &
Interfaces, Special Issue on Neural Networks Standards, John Fulcher (Ed.). V.16, N.3. Elsevier Sciences
Publishers, Amsterdam, June, 1994. Web: http://www.idiap.ch/idiap-networks.html .
Ftp: ftp://ftp.idiap.ch/pub/papers/neural/fiesler.formalization.ps.Z
[Fiesler 94b] FIESLER, Emile. Comparative Bibliography of Ontogenic Neural Networks. Proceedings of
the International Conference on Artificial Neural Nets - ICANN' 94. Sorrento, Italy, May 1994. Web:
http://www.idiap.ch/idiap-networks.html .
Ftp: ftp://ftp.idiap.ch/pub/papers/neural/fiesler.ontogenic-summary.ps.Z
2. Mtodos Conexionistas F.Osrio ENIA99 Pg.30
[Fiesler 97] FIESLER, E. & BEALE, R. Handbook of Neural Computation. Institute of Physics and
Oxford University Press. New York, NY - U.S.A., 1997. Web: http://www.idiap.ch/ publications/fiesler-
96.1.bib.abs.html or http://www.oup-usa.org/acadref/nc_accs.html
[Freeman 92] FREEMAN, James A., SKAPURA, David M.. Neural Networks: Algorithms, Applications,
and Programming Techniques.1. ed., Reading: Addison-wesley, 1992. 401 p. il.
[Giacometti 95] GIACOMETTI, Arnaud. ARN2 - A Prototype-Based Incremental Neural Network.
WNNDA - Workshop on Neural Network Design and Analysis. University of Geneva. January 1995.
[Jacobs 91] JACOBS, R. A., JORDAN, M. I., NOWLAN, S., and HINTON, G. E. (1991). Adaptive
mixtures of local experts. In Neural Computation, (3), 1-12.
Web: http://www.ai.mit.edu/projects/cbcl/people/jordan/jordan-hp.html
[Jodouin 94a] JODOUIN, Jean-Franois. Les Rseaux de neurones : Principes et dfinitions. Editions
Herms, Paris, 1994.
[Jodouin 94b] JODOUIN, Jean-Franois. Les Rseaux Neuromimtiques : Modles et applications.
Editions Herms, Paris, 1994.
[Kohonen 87] KOHONEN, Teuvo. Self-Organization and Associative Memory. Springer-Verlag Series in
Information Science. 1987.
[Krogh 95] KROGH, Anders & VEDELSBY, Jesper. Neural Network Ensembles, Cross Validation and
Active Learning in NIPS - Advances in Neural Information Processing Systems, Vol. 7, pp. 231-238, The
MIT Press, 1995), also available in the neuroprose archive as krogh.ensemble.ps.Z.
[Krose 93] KRSE, Ben J. & VAN DER SMAGT, Patrick. An Introduction to Neural Networks.
University of Amsterdam, 1993. Web: http://www.fwi.uva.nl/research/ias/ ou
ftp://ftp.wins.uva.nl/pub/computer-systems/aut-sys/reports/neuro-intro/
[Moller 90] MOLLER, Martin F. A Scaled Conjugate Gradient Algorithm for Fast Supervised Learning.
Technical Report PB-339 - Compter Science Dept., University of Aarhus, Denmark. November 1990.
Ftp: ftp://archive.cis.ohio-state.edu/pub/neuroprose/moller.conjugate-gradient.ps.Z
[Orsier 94] ORSIER, Bruno; AMY, Bernard; RIALLE, Vincent & GIACOMETTI, Arnaud. A study of the
hybrid system SYNHESYS. Workshop ECAI-94 (European Conference on Artificial Intelligence) -
Combining Connectionist and Symbolic Processing. Amsterdam, Agosto1994.
[Orsier 95] ORSIER, Bruno. Etude et Application de Systmes Hybrides NeuroSymboliques. Thse en
Informatique, Laboratoire LIFIA-IMAG, UJF - Grenoble, 1995.
Web: http://www-leibniz.imag.fr/RESEAUX/public.html .
Ftp: ftp://ftp.imag.fr/pub/LEIBNIZ/RESEAUX-D-AUTOMATES/orsier.these.ps.gz
[Osrio 91] OSORIO, Fernando Santos. Um Estudo sobre Reconhecimento Visual de Caracteres atravs
de Redes Neurais. Dissertao de Mestrado, CPGCC, UFRGS, Porto Alegre - Brasil. Outubro 1991.
[Osrio 98] OSORIO, Fernando Santos. INSS: Un Systme Hybride Neuro-Symbolique pour
lApprentissage Automatique Constructif. Thse de Doctorat (Ph.D.) en Informatique. Laboratoire Leibniz
IMAG / INPG. Grenoble, France. 1998.
2. Mtodos Conexionistas F.Osrio ENIA99 Pg.31
Web: http://www-leibniz.imag.fr/RESEAUX/osorio/These/
[Riedmiller 93] RIEDMILLER, Martin & BRAUN, Heinrich. A Direct Adaptative Method for Faster
Backpropagation Learning: The RPROP Algorithm. Proceedings of the IEEE International Conference on
Neural Networks. San Francisco - CA - USA. 1993. Web: http://i11www.ira. uka.de/~riedml/ (or ~neuro)
[Ripley 96] RIPLEY, B.D. Pattern Recognition and Neural Networks, Cambridge: Cambridge University
Press, ISBN 0-521-46086-7. 403 pages. 1996.
[Ronco 95] RONCO, Eric & GAWTHROP, Peter J., 1995. Modular Neural Networks: a state of the art.
Tech. rep CSC-95026. University of Glasgow.
Web: http://www.ee.usyd.edu.au/~ericr/pub/techrep.html
[Ronco 96] RONCO, Eric; GOELLE, Henrik & GAWTHROP, Peter J., 1996. Modular Neural Network
and Self-Decomposition. Tech. Rep CSC-96012. University of Glasgow.
Web: http://www.ee.usyd.edu.au/~ericr/pub/techrep.html
[Rouzier 98] ROUZIER, Sophie. Rseaux Modulaires. Thse de Doctorat en Sciences Cognitives, Eq.
Rseaux d'Automates - Lab. LEIBNIZ - IMAG, Grenoble - France, 1998.
[Rumelhart 86] RUMELHART, D.; HINTON, G. & WILLIANS, R. Learning Internal Representations by
Error Propagation. In : Rumelhart & McClelland: Parallel Distributed Processing - Explorations in the
Microstructure of Cognition - Vol.1: Foundations. Cambridge: MIT Press, 1986.
[Schiffmann 93] SCHIFFMANN, W.; JOOST, M. & WERNER, R. Comparison of Optimized
Backpropagation Algorithms. Proceedings of the European Symposium on Artificial Neural Networks,
ESANN' 93, Brussels, p.97-104, 1993. Web: http://www.uni-koblenz.de/~schiff/ publications.html
[Schiffmann 94] SCHIFFMANN, W.; JOOST, M. & WERNER, R. Optimization of the Backpropagation
Algorithm for Training Multilayer Perceptrons. Technical Report, University of Koblenz, Deutschland.
September 1995. Web: http://www.uni-koblenz.de/~schiff/publications.html
[Simpson 90] SIMPSON, Patrick K. Artificial Neural Systems: Foundations, Paradigms, Applications and
Implementations. Pergamon Press, 1990.
[Sutton 98] SUTTON, Richard S. & BARTO, Andrew G. Reinforcement Learning: An Introduction. MIT
Press (A Bradford Book), Cambridge, MA, 1998.
[Towell 91] TOWELL, Geoffrey. Symbolic Knowledge and Neural Networks: Insertion, Refinement and
Extraction. Ph.D. Thesis, Computer Science Dept., University of Wisconsin-Madison, U.S.A. 1991.
Web: http://www.cs.wisc.edu/~shavlik/uwml.html
Ftp: ftp://ftp.cs.wisc.edu/machine-learning/shavlik-group/ (towell.thesis.*.ps)
[Widrow 90] WIDROW, Bernard & LEHR, M. 30 Years of Adaptive Neural Networks : Perceptron,
Madaline, and Back-Propagation. Proceedings of the IEEE, New York, Vol.78, N.9, pp.1415-1441.
September 1990.
2. Mtodos Conexionistas F.Osrio ENIA99 Pg.32
3. Sistemas Hbridos F.Osrio ENIA99 Pg.32
3. Sistemas Hbridos Inteligentes
3.1. Conceitos Bsicos
O conceito de sistema hbrido inteligente ou de mtodo hbrido de aquisio de conhecimentos
bastante amplo e pode englobar diferentes tipos de abordagens. De uma maneira mais geral, podemos
dizer que todo o sistema que integre dois ou mais mtodos diferentes para a soluo de um problema um
sistema hbrido. Ns iremos nos concentrar aqui principalmente em relao aos mtodos de aquisio
automtica de conhecimentos (aprendizado automtico / machine learning), que permitem a integrao
dos diferentes mtodos de processamento de conhecimentos simblico e conexionista que foram
apresentados anteriormente. Nossa idia no de traar uma lista minuciosa de todas as possibilidades de
combinaes entre os diferentes mtodos, o que dificilmente seria possvel dada a enorme quantidade de
variaes sobre este tema. Nosso objetivo o de apresentar uma viso mais geral sobre os tipos de
sistemas hbridos inteligentes mais comuns, apresentando tambm exemplos prticos do que feito
atualmente em termos de mtodos e sistemas hbridos.
Uma questo importante que devemos responder : quais as principais motivaes que nos
levariam utilizao deste tipo de sistemas ?. Apesar dos sistemas hbridos serem mais complexos e
difceis de serem implementados, devido ao simples fato de serem compostos por mltiplos mdulos e
tambm porque precisamos fazer estes mdulos interagirem, mesmos assim estes sistemas tem sido muito
estudados e aplicados. Primeiramente vamos nos concentrar nas principais vantagens advindas de sua
utilizao:
- A integrao de duas tcnicas complementares permite que uma complete as deficincias da
outra de forma a obter um melhor desempenho.
- Ao usarmos diferentes tcnicas de aquisio e de representao de conhecimentos ampliamos a
capacidade do sistema de adquirir novas informaes, e tambm, fazemos com que este sistema
no tenha apenas uma viso parcial, limitada pelas imposies e restries de um nico mtodo,
dificultando a obteno de uma soluo para um determinado problema tratado.
- Algumas tarefas muito complexas que usualmente no podem ser abordadas atravs da
utilizao de uma nica tcnica para a sua soluo, podem ser quebradas em sub-problemas, e
estes sim podem ser tratados individualmente, chegando-se a uma soluo global do problema.
- O processamento em paralelo de informaes pelos diferentes mdulos ir usualmente nos
permitir que tenhamos sistemas com uma maior performance, mais robustos, e com uma maior
tolerncia a falhas.
Em relao aos sistemas hbridos inteligentes, podemos considerar tambm que estes, em seu
objetivo maior que a reproduo do comportamento inteligente humano, se caracterizam por:
- Os seres humanos no empregam um nico mtodo de soluo de problemas, usando diferentes
tcnicas, como por exemplo, solues baseadas: em experincias passadas; em conhecimentos
tericos adquiridos; em diferentes mtodos de raciocnio por inferncia, por probabilidades,
por deduo, por analogia; etc. Assim como os seres humanos, os sistemas inteligentes
procuram atravs da integrao de diferentes mtodos automticos imitar a inteligncia
humana.
3. Sistemas Hbridos F.Osrio ENIA99 Pg.33
- Integrar diferentes tipos de representao de conhecimentos: exemplos (casos tpicos), contra-
exemplos (casos atpicos), regras e predicados lgicos, regras difusas (fuzzy), probabilidades,
etc.
- Trocar informaes e conhecimentos entre os seus mdulos, o que usualmente, lhe confere uma
caracterstica de um sistema que evolui no tempo, construindo o conhecimento atravs de
interaes entre o usurio e o sistema e entre os diferentes mdulos do sistema.
- Muitas vezes, ao combinar mltiplos mdulos, teremos assim um sistema que deve ser mais
robusto, e que aceite certas contradies e conflitos cognitivos entre os seus diferentes
mdulos. Isto at pode vir a ser um problema, mas se for bem explorado poder nos trazer
grandes vantagens.
De maneira bastante informal, podemos concluir esta introduo aos sistemas hbridos
citando aqui um ditado popular que diz que vrias cabeas pensam melhor do que uma nica, e
adicionando uma pequena observao no que diz respeito ao comportamento humano, que
felizmente, difere de uma pessoa para a outra. Portanto o que buscamos com o uso dos sistemas
hbridos a integrao de mltiplos mdulos que cooperam entre si, cada um com suas
especificidades, visando em conjunto o tratamento de um objetivo comum.
3.2. Tipos de Integrao em Sistemas Inteligentes
Vamos analisar aqui algumas possibilidades de integrao de diferentes tipos de mtodos e
sistemas de aquisio e representao de conhecimentos empregados nos sistemas inteligentes. Nas sees
anteriores, vimos alguns mtodos automticos de aquisio de conhecimento que se destacaram:
- rvores de deciso (IDT - Induction of Decision Trees);
- Sistemas baseados em conhecimentos (KBS - Knowledge Based Systems), sistemas especialistas
(Expert Systems) e sistemas baseados em regras (Rule Based/Production Systems);
- Sistemas baseados em regras de lgica difusa ou nebulosa (Fuzzy Logic rules);
- Sistemas baseados em conhecimentos
- Sistemas de aquisio de conhecimentos do tipo ILP (Inductive Logic Programming);
- Sistemas baseados em casos/exemplos (CBR Case Based Reasoning);
- Algoritmos Genticos (GA Genetic Algorithms);
- Redes Neurais Artificiais (ANN Artificial Neural Networks);
Estes mtodos tem sido usados de forma combinada, dando origem a mltiplos sistemas hbridos
que esto relacionados na bibliografia especfica desta rea de estudos [Osorio 99]. Vamos tentar dar uma
idia de algumas destas possveis combinaes entre os referidos mtodos citados acima.
3.2.1. Sistemas Simblico-Difusos:
Os sistemas simblico-difusos integram a lgica nebulosa (fuzzy logic [Faq 99b]) e os sistemas
especialistas baseados em conhecimentos e/ou regras (sistemas simblicos tradicionais). Este tipo de
sistemas na realidade uma extenso dos sistemas simblicos, nos quais adicionamos a possibilidade de
se representar e manipular regras difusas (fuzzy rules). Com isso estes sistemas passam a trabalhar no
3. Sistemas Hbridos F.Osrio ENIA99 Pg.34
apenas com regras que manipulam proposies lgicas, baseadas em valores binrios do tipo
verdadeiro/falso, passando a manipular tambm valores numricos e intervalos (fuzzy sets). A principal
vantagem deste tipo de sistemas hbridos a extenso da capacidade de representao e de manipulao
de conhecimentos, que podem assim incluir a incerteza associada lgica nebulosa, gerando sistemas
mais robustos.
Um exemplo deste tipo de sistemas o Fuzzy-CLIPS [ITT 96], uma verso adaptada criada
partir da linguagem CLIPS C Language Integrated Production System [Giarratano 93]. Um outro
sistema bastante conhecido que se utiliza deste tipo de tcnicas o FLIE [Vestli 93]. Podemos mesmo
questionar se estes sistemas so realmente hbridos, uma vez que em muitos casos acabam sendo apenas
uma extenso de um sistema especialista que incorpora ao seu mecanismo de inferncia o tratamento de
regras nebulosas.
3.2.2. Sistemas Simblico-Genticos:
Estes sistemas so normalmente compostos de um mdulo gentico responsvel pela aquisio de
conhecimentos partir dos dados disponveis sobre um problema (exemplos de aprendizado), e de um
mdulo simblico responsvel pela implementao do mecanismo de inferncia simblica (inference
engine). O algoritmo gentico vai fazer uma busca evolutiva partir de uma base de regras, visando
otimizar estas regras em relao a uma base de exemplos disponvel. A base final de regras obtidas ento
manipulada por um mdulo simblico do tipo convencional.
Podemos citar como exemplos deste tipo de sistemas, as seguintes implementaes: DELVAUX
[Eick 96], COGIN [Greene 93] e GABIL [DeJong 93]. Alguns autores utilizam o nome programao
gentica para denominar o emprego de algoritmos genticos que geram automaticamente programas,
representados por um conjunto de regras, ou mais usualmente, resultando em programas em LISP.
3.2.3. Sistemas Neuro-Genticos:
A maior parte dos sistemas neuro-genticos so concebidos a fim de contornar os problemas
relativos escolha de uma arquitetura de rede neural adequada para um determinado problema, bem como
para estimar (otimizar a escolha) os parmetros de configurao do algoritmo de aprendizado utilizado
pela rede neural. As redes que se utilizam de algoritmos genticos para modificar a sua estrutura, so
denominadas de redes evolutivas (evolutionary ANN) [Balakrishnan 95, Nolfi 94, Patel 97, Porto 97 ].
Dentro do conjunto de sistemas neuro-genticos que utilizam os algoritmos genticos para adaptar
os parmetros da rede, podemos destacar um sistema que utilizou esta tcnica para acelerar o aprendizado,
adaptando os parmetro de velocidade de aprendizado e da inrcia ou momentum ( e ) [Salomon 96].
Existem inclusive sistemas que utilizam o algoritmo gentico como processo de otimizao dos pesos
sinpticos, substituindo em parte o algoritmo de aprendizado na adaptao dos pesos da rede [Potter 92].
importante salientar que os algoritmos genticos so algoritmos de otimizao, que utilizam um
mtodo baseado na recombinao e seleo de populaes. Sendo assim, podemos considerar ento
populaes de redes neurais, populaes de parmetros de configurao de uma rede, ou mesmo
populaes de peso. Este tipo de mtodo exige usualmente uma grande quantidade de processamento de
dados, visto que se considerarmos uma populao de redes neurais com diferentes topologias, isto
significa que teremos que testar (simular) cada elemento da populao, avaliar seu desempenho, e depois
modific-lo para ento recomear o processo de avaliao e seleo. Em termos computacionais, este tipo
de processamento pode ser muito pesado, mas tende a ser mais eficiente (desde que a funo de mutao e
seleo sejam bem definidas) do que se este mesmos processo fosse realizado de maneira manual na base
da tentativa e erro.
3. Sistemas Hbridos F.Osrio ENIA99 Pg.35
3.2.4. Sistemas Neuro-CBR:
A integrao de uma rede conexionista e de um sistema baseado em casos permite que se faa
generalizaes sobre um conjunto de exemplos de um problema, mas sem no entanto deixar de preservar
certas particularidades (casos especficos) relacionados a este problema. Um exemplo deste tipo de tcnica
hbrida de aquisio de conhecimentos o sistema ProBis [Malek 95, 96, 96a]. Este sistema permite a
obteno de uma rede com prottipos (generalizao) dos casos aprendidos, e tambm permite que seja
criada uma coleo de casos atpicos (casos particulares) e de casos fronteira (localizado entre dois
prottipos ou nas extremidades destes), que so armazenados em na memria de casos do sistema CBR.
Os sistemas neuro-CBR nos permitem ento buscar um compromisso intermedirio entre a
generalizao total e a especializao individual em relao a uma base de exemplos. Esta proposta vem
de encontro uma das principais idias de suporte do uso de sistemas hbridos: a complementaridade entre
os mtodos que compem o sistema, e que permite que ambos ajudem a suprir as deficincias de um
mtodo em relao ao outro. Os sistemas neuro-CBR, de acordo com a sua forma de implementao
podem vir a ser classificados dentro da categoria de sistemas neuro-simblicos, que descreveremos no
item seguinte.
3.2.5. Sistemas Neuro-Simblicos:
Este tipo de sistemas hbridos sem dvida alguma o mais estudado entre todos os mtodos
hbridos que foram descritos neste captulo. Nesta categoria esto todos os sistemas hbridos que
combinam a representao de conhecimentos em uma forma simblica (representao de ato nvel,
compreensvel para o ser humano) e a representao de conhecimentos em uma forma conexionista, ou
como tambm conhecida, representao sub-simblica (representao de baixo nvel, de compreenso
extremamente difcil para um ser humano). Podemos subdividir esta categoria dos sistemas neuro-
simblicos nos seguintes subgrupos:
3.2.5.1. Sistemas Neuro-Fuzzy:
Os sistemas hbridos neuro-fuzzy so uma das categorias de sistemas hbridos que mais se
desenvolveram, pois a lgica nebulosa e as redes conexionistas possuem muitos pontos em comum.
Podemos encontrar na literatura um nmero significativo de referncias sobre este tipo de sistemas
[Machado 92, Jang 96, Krzysztof 97, Kasabov 95, Gonzalez 96, Nauuck 95, Hayashi 94, Alche 93, Cox
92, Posey 92, Rocha 92]. Os sistemas neuro-fuzzy so divididos basicamente em trs grupos principais:
- Sistemas que integram regras nebulosas dentro das redes neurais, onde o modelo neural do tipo
RBF um dos mais usados neste tipo de integrao. Neste tipo de sistemas, um conjunto de
regras nebulosas do origem a uma rede neural (processo chamado de compilao de regras em
redes neurais), que pode vir a substituir o mecanismo de inferncia usado em conjunto com estas
regras nebulosas;
- Sistemas que fazem a extrao de regras nebulosas partir das redes neurais. Estes sistemas
permitem extrair automaticamente os conhecimentos adquiridos por uma rede neural,
representando estes conhecimentos sob a forma de regras da lgica difusa. Um exemplo deste
tipo de mtodo de extrao implementado pelo sistema Fagnis [Cechin 98].
- Sistemas que implementam neurnios com processamento difuso (fuzzy-neurons). Cada
neurnio da rede pode ser transformado em um elemento de processamento capaz de realizar
operaes da lgica difusa.
3. Sistemas Hbridos F.Osrio ENIA99 Pg.36
Podemos citar aqui uma lista de alguns dos principais sistemas neuro-fuzzy (no entanto esta lista
resta bastante simplista e incompleta) citados na literatura sobre este tipo de mtodos hbridos:
FuzzyARTMAP [Carpenter 92], FUN [Sulzberger 93], FuzzyCOPE [Kilgour 97, Kasabov 96], NEFCON-
NEFCLASS-NEFPROX [Nauck 97], ANFIS [Jang 93] e FUNEGEN [Halgamuge 94].
3.2.5.2. Sistemas Neuro-IDT:
Os sistemas hbridos que combinam redes neurais com as rvores de deciso (IDT) podem ser
classificados em trs grupos principais:
- Sistemas onde a construo e inicializao das redes feita partir de uma rvore de deciso
[Lee 95, Sahami 95]. A insero de uma rvore de deciso dentro de uma rede neural nos
permite simplificar o problema da escolha de uma topologia e pesos inicias para uma rede;
- Sistemas onde feita a extrao de conhecimentos da rede neural aps o aprendizado,
permitindo assim a obteno de uma rvore de deciso [Boz 97b, Craven 96 e 96b, Medsker 95].
Este problema tenta resolver o problema da dificuldade de compreenso dos conhecimentos
adquiridos por uma rede neural. A extrao de uma rvore de deciso nos permite que
obtenhamos explicaes mais concretas sobre a forma como chegamos a uma certa soluo para
um problema proposto. Toda rvore de deciso pode ser re-escrita sob a forma de um conjunto
de regras, logo, ao representarmos o conhecimento da rede sob a forma de uma rvore de
deciso, estaremos abrindo esta caixa preta que uma rede conexionista;
- Sistemas neuro-IDT realmente mistos, onde cada nodo da rvore de deciso substitudo por
uma unidade de uma rede conexionista. Neste caso, ao invs de termos uma regra de seleo nos
nodos da rvore, teremos neurnios que so treinados para realizar uma funo equivalente a
esta seleo [Alche 93, Utgoff 88].
Este ltimo tipo de sistema neuro-IDT apresenta algumas caractersticas interessantes do ponto de
vista da combinao dos dois mtodos de base que o compem, visto que a capacidade de escolha e
representao de uma deciso contida em um nodo de uma rvore um fator importante que pode limitar
bastante a capacidade do sistema no tratamento de um problema mais complexo.
3.2.5.3. Sistemas Neuro-KBS:
Os sistemas que integram as redes conexionistas aos sistemas baseados em conhecimentos (KBS)
so usualmente chamados de Sistemas Hbridos Neuro-Simblicos (SHNS), ou tambm, de Sistemas
Hbridos Simboli-Conexionistas. Estes sistemas permitem a integrao de um sistema baseado em regras
simblicas (conhecimentos simblicos, em geral) juntamente com um sistema baseado em uma rede
conexionista (conhecimentos sub-simblicos), onde importante salientar a complementaridade existente
entre estas duas formas de representao e manipulao de conhecimentos.
O nmero de publicaes recentes ligadas a este tema bastante impressionante, onde podemos
citar uma lista extensa, composta de obras importantes desta rea, com referncias sobre este tipo de
sistemas hbridos elaborada por F. Osrio [Osorio 99].
Em relao as implementaes de sistemas do tipo SHNS, podemos citar alguns dos mais
conhecidos sistemas deste tipo:
- Sistema SYNHESYS: KBS + RNA com prottipos [Giacometti 92, Orsier 95];
3. Sistemas Hbridos F.Osrio ENIA99 Pg.37
- Sistema KBANN: Regras simblicas + RNA tipo MLP [Towell 91];
- Sistema INSS: KBS + RNA tipo MLP incremental [Osrio 98, Osrio 99a];
- Redes KBCNN: Regras simblicas + RNA tipo MLP [Fu 94];
- Sistema SCANDAL: KBS + RNA tipo MLP [Stckelberg 96];
- Sistema RAPTURE: Regras + RNA tipo CFBP (probabilista) [Mahoney 96, 93];
- Sistema MACIE: Sistema especialista baseado em redes MLP [Galant 93, 88];
- Sistema RUBICON: Codificao de base de regras em uma rede sem aprendizado [Samad 92];
- Sistema CONSYDERR: Processamento baseado em regras e similaridades [Sun 95a];
- Sistema CORE: Interao entre dois mdulos KBS + RNA [Kasabov 90].
Neste trabalho foi feita uma opo pelo estudo mais aprofundado sobre este tipo de sistemas
hbridos, os sistemas hbridos neuro-simblicos, entre os diversos tipos de sistemas hbridos que
descrevemos anteriormente. O principal motivo desta escolha que optamos por uma forma de integrao
que privilegie a explorao da complementaridade entre os mtodos simblicos e conexionista, dadas as
diferentes maneiras como estes representam e manipulam os conhecimentos adquiridos. Nos itens
seguintes deste trabalho, vamos nos concentrar de uma maneira quase exclusiva sobre este tipo especfico
de integrao dos SHNS.
3.3. Sistemas Hbridos Neuro-Simblicos
O uso dos sistemas hbridos, independentemente do tipo de opo feita, busca explorar as
vantagens particulares de cada mtodo a fim de vencer as dificuldades e limitaes caractersticas
de cada um destes. Alem desta caracterstica, a nossa opo pelos sistemas hbridos neuro-
simblicos se deve tambm ao fato de buscarmos alcanar os seguintes objetivos descritos
abaixo:
Possibilidade de explorar todos os conhecimentos disponveis sobre o problema ser
tratado, ou seja, desejamos explorar tanto os conhecimentos tericos, quanto os
conhecimentos empricos (exemplos prticos). O sistema de aquisio automtica de
conhecimentos deve ser capaz de tratar tanto bases de regras simblicas (conhecimen-
to de alto nvel, j assimilado e tratado) bem como bases de exemplos (conhecimento
de baixo nvel, na sua forma simples pouco tratada);
Possibilidade de abordar problemas onde os conhecimentos disponveis no so nem
completos, nem perfeitamente exatos/corretos. Os conhecimentos disponveis sobre
um problema so, na maioria das vezes, conhecimentos imperfeitos que iro evoluir e
serem aperfeioados (pois usualmente no contm verdades absolutas) no decorrer do
passar do tempo;
Possibilidade de tratar e explorar os dados simblicos de maneira conveniente, assim
como os dados numricos. O uso de conhecimentos representados por informaes
que contm variveis qualitativas e bem como variveis quantitativas, no deve em
3. Sistemas Hbridos F.Osrio ENIA99 Pg.38 3. Sistemas Hbridos F.Osrio ENIA99 Pg.39
hiptese alguma prejudicar o desempenho do sistema, ou limit-lo de alguma maneira. por explicitao de regras por parte do sendo a principal justificativa de sua
Um sistema inteligente deve ser capaz de manipular dados vindos do mundo real especialista, e em conseqncia disto temos o existncia. As redes neurais no dependem
compostos por valores contnuos, usualmente inexatos e/ou aproximados; famoso problema dos sistemas especialistas tanto do especialista, e portando podem
que o gargalo da aquisio de automatizar o processo de aquisio de
conhecimentos. conhecimentos, ajudando a contornar o
Possibilidade de representar os conhecimentos de baixo nvel e de alto nvel. Os problema do gargalo da aquisio de
conhecimentos devem ser representados de tal maneira que possamos trabalhar tanto conhecimentos.
ao nvel simblico quanto ao nvel sub-simblico. Por exemplo: para tratarmos um - Os mtodos simblicos permitem que sejam - As redes so caixas pretas onde os
problema da robtica autnoma, devemos ser capazes de trabalhar tanto com

obtidas explicaes sobre as respostas
informaes ao novo sensorial-motor (sub-simblico = baixo nvel), como ao nvel de fornecidas pelo sistema. Atravs do uso destes
planificao de tarefas e trajetrias (simblico = alto-nvel). O formalismo de mtodos podemos justificar as respostas
representao de conhecimentos deve ser robusto o bastante para que possamos fornecidas, baseando-se no mecanismo de
codificar diferentes tipos de relaes e associaes entre as informaes disponveis. resoluo do problema empregado e nos
conhecimentos de alto nvel codificados na
base de conhecimentos deste. Os
Concluindo sobre estes requisitos, podemos afirmar que em particular os sistemas hbridos conhecimentos do sistema so codificados em
neuro-simblicos possuem caractersticas que vem de encontro com as propriedades que se uma linguagem prxima da linguagem natural,
deseja obter em um sistema hbrido. A complementaridade entre estes dois mtodos permite e portando mais facilmente interpretveis.
suprir as deficincias encontradas nos mtodos tradicionais quando confrontados com problemas - Normalmente, os sistemas simblicos
como os citados acima. A tabela que segue abaixo (baseada em dados extrados de Lallement 96,

conhecimentos esto codificados em um
conjunto de pesos e de interconexes entre os
neurnios. Ns no temos acesso a uma forma
mais compreensvel destes conhecimentos
que foram adquiridos pela rede. Portanto,
muito difcil para um ser humano que este
possa interpretar diretamente os
conhecimentos de uma rede, e por
conseqncia fica difcil de justificar as suas
respostas.
- As respostas do sistema se degradam lenta e


pressupem o uso de conhecimentos tericos progressivamente em presena de uma entrada
Boz 95, Osorio 95, Giacometti 92 e Towell 91) reala justamente esta complementaridade entre que sejam ao mesmo tempo corretos e com distores. As redes so muito bem
os modelos simblico e o conexionista: completos sobre o problema tratado. A maior adaptadas ao tratamento de informaes
parte dos sistemas simblicos no adaptada aproximadas, incompletas ou expressas atravs
ao tratamento de informaes aproximadas, de variveis numricas contnuas.
I.A. Simblica I.A. Conexionista incompletas ou expressas atravs de variveis
- Insero de conhecimentos tericos sobre o - Normalmente no possvel que se aproveite numricas contnuas.

problema pode ser feita de uma maneira direta. diretamente os conhecimentos tericos - Os conhecimentos so representados por regras - Os conhecimentos so codificados nas redes e
Para isso, basta explicitar os conhecimentos


disponveis sobre um problema tratado.

do expert e convert-los em um formalismo de
representao de conhecimentos adequado ao
sistema.
necessrio que passemos por uma fase de
aprendizado partir de exemplos, para que
possamos adquirir novos conhecimentos.

e por estruturas de dados. Os conhecimentos representam relaes de baixo nvel
so ditos de alto nvel. estabelecidas entre as entradas das redes.
- O desenvolvimento de um sistema especialista - A especificao da arquitetura e dos parmetros


uma tarefa rdua e longa. Os sistemas de aprendizado da rede podem se constituir em
- O processamento das informaes seqencial, - As redes neurais so compostas de uma srie de especialistas devem ser bem estudados e uma tarefa rdua e longa, onde nem sempre a

o tempo de resposta do sistema em uma
consulta normalmente longo e cresce
consideravelmente com o aumento da base de
conhecimentos.
- A insero de conhecimentos (e.g. regras) pode
unidade de processamento de informaes que
podem operar em paralelo, com um tempo de
resposta muito rpido (na fase de consulta aos
conhecimentos adquiridos).
- O processo de aprendizado pode ser muito
estruturados. rede funciona bem.
Tabela 3.1. Propriedades do modelo simblico e do modelo conexionista
Esperamos que esta tabela tenha servido para demonstrar claramente a
complementaridade entre os mdulos simblico e neural, e que ela tambm tenha servido para

ser feita muito fcil e rapidamente uma vez que longo pois a adaptao dos pesos da rede se d justificar este nosso grande interesse em nos voltarmos para os SHNS.
estas regras j foram tratadas pelos por um processo de otimizao dos pesos, que
especialistas e/ou engenheiros de so alterados pouco pouco de maneira
conhecimento. manter estvel o processo de otimizao. 3.3.1. Tipos de Integrao e Classificao dos SHNS
- O aprendizado no um processo fundamental - O aprendizado e a generalizao de Existem vrios tipos de classificao dos modos de integrao dos sistemas hbridos neuro-

de sustentao deste tipo de sistemas, que conhecimentos partir do tratamento de um simblicos [Lallement 96, Hilario 96, Orisier 95, Medsker 95]. Estas classificaes so mais ou menos
inclusive s incluram processos de aquisio conjunto de exemplos so os pontos fortes dos parecidas, onde cada autor tenta colocar em evidncia um determinado aspecto em relao aos demais. Em
automtica de conhecimentos mais mtodos conexionistas. O processo de vez de tentar criar uma classificao hierrquica e global dos SHNS, ns preferimos considerar um
recentemente. A aquisio normalmente feita aprendizado a base deste tipo de mtodo,
por explicitao de regras por parte do
3. Sistemas Hbridos F.Osrio ENIA99 Pg.40 3. Sistemas Hbridos F.Osrio ENIA99 Pg.41
aspecto de cada vez, fazendo com que um mesmo sistema possa ser classificado em vrias categorias ao
mesmo tempo. Os critrios de classificao so os seguintes: Sistema Hbrido Neuro-Simblico
Puramente Puramente
- Tipo de integrao: mtodo unificado, semi-hbrido ou hbrido; Mdulo

Conexionista
Conexionista Simblico

Simblico
Simblico
- Modo de integrao: processamento em cadeia, sub-processamento, meta-processamento, ou = =

Puro

Puro
+
Mdulo Mdulo
co-processamento; Mdulo
Conexionista Simblico
Conexionista
- Transferncia de conhecimentos: do mdulo simblico para o conexionista, ou do mdulo simblico extendido
conexionista para o simblico, ou nos dois sentidos;
Sistemas Hbridos
- Grau de acoplamento dos mdulos: acoplamento fraco, acoplamento mdio e acoplamento
forte;
Mtodo Mtodo Mtodo
- Tipo de representao dos conhecimentos: localista, distribuda ou combinada; Unificado Hbrido Unificado
- Tipo e poder de codificao dos conhecimentos: proposies lgicas de ordem 0, proposies de
ordem 0+ (incluem a manipulao de intervalos de valores), predicados, regras nebulosas, regras Hbrido Hbrido Hbrido
probabilistas, rvores de deciso, redes tipo MLP (Perceptron com mltiplas camadas), redes no sentido no sentido no sentido
tipo prottipos, etc;
amplo restrito amplo
- Tipo de mecanismo de inferncia e de resoluo do problema: forward chain, backward
chain, propagao de ativaes neurais, por analogia, por unificao, etc;
- Modo de aquisio de conhecimentos: aprendizado contnuo, aprendizado no contnuo,
aprendizado supervisionado, aprendizado no supervisionado.
Figura 3.1. Tipos de integrao Neuro-Simblica
Uma boa parte das classificaes apresentadas aqui tem a sua origem em trabalhos desenvolvidos
dentro do projeto Europeu MIX [Hilario 93, 94, 96], destacando-se o trabalho dos seguintes 2. Mtodo Semi-Hbrido: Estes so os mtodos onde encontramos os trabalhos relativos a
pesquisadores: B. Orsier, Y. Lallement e M. Hilrio. Ns vamos detalhar aqui os trs primeiros grupos, tradues de conhecimentos de um tipo de modelo para outro, sem necessariamente ter uma
onde o leitor poder encontrar mais informaes sobre os demais grupos nas obras referenciadas acima, ou co-existncia e cooperao de ambos na soluo dos problemas. Neste grupo aparece a
em [Osorio 98]. compilao de bases de regras dentro de redes neurais (insero de conhecimentos) e a
explicitao de regras partir de redes neurais (extrao de conhecimentos). Justamente
devido ao fato de serem apenas semi-hbridos, muitos destes sistemas possuem implementado
apenas um tipo de transferncia de conhecimentos, ou a compilao de regras, ou ento a
3.3.1.1. Tipos de Integrao: extrao de regras. Para ns, vamos considerar justamente que partir do momento que o
sistema oferece a possibilidade de inserir e tambm extrair regras (transferncia bi-direcional)
Os tipos de integrao dos sistemas hbridos neuro-simblicos (ver a Figura 3.1) so os seguintes: este sistema passar a ser considerado como um mtodo hbrido completo (hibridizao no
sentido amplo). Ns vamos retomar esta discusso mais abaixo, no que se refere as
1. Mtodo Unificado: Este tipo de mtodo conhecido como um mtodo puro ou como uma transferncias de conhecimentos.
hibridizao no sentido amplo. A idia de base deste tipo de integrao a de que podemos
integrar todas as funcionalidades do nvel simblico e conexionista em um nico mdulo, seja 3. Mtodo Hbrido: Este tipo de mtodo baseado em uma verdadeira integrao de no mnimo
este unicamente conexionista ou unicamente simblico. Este mtodo unificado se prope dois mdulos, um mdulo simblico e um mdulo conexionista. Entretanto nada nos impede
integrar as propriedades dos sistemas simblicos + conexionistas em uma nica soluo de realizar uma integrao de mltiplos mdulos simblicos e conexionistas. Em resumo,
unificada, atravs da ampliao/extenso das capacidades de um dos dois mdulos (aquele neste tipo de mtodo iremos encontrar um mecanismo de inferncia simblica (ou outro
que for escolhido para unificar tudo). Os sistemas puramente conexionistas tentam mecanismo de tratamento simblico da informao) que ir trabalhar em cooperao com um
implementar atravs de uma rede neural os processos que seriam realizados por um mtodo mecanismo de tratamento conexionista das informaes. Este tipo de mtodo tambm
simblico, ou seja, a rede neural usada para implementar mecanismos de inferncia chamado de hibridizao no sentido restrito.
simblica, de unificao, etc. Estes sistemas puramente conexionistas tambm so chamados
de CSP Connectionist Symbolic Processing. Os sistemas puramente simblicos tentam
implementar extenses ao processo de inferncia simblica de maneira a permitir a
manipulao de incertezas, de valores contnuos e aproximados, de probabilidades, etc.
3. Sistemas Hbridos F.Osrio ENIA99 Pg.42
X um aspecto particular do problema em questo, enquanto que o outro mdulo se concentra nos
X
X Y Y atravs de um comportamento concorrente, quando os dois mdulos tratam o mesmo
Ambiente / Usurio Ambiente / Usurio
(a) Processamento em Srie (b) Sub-Processamento
X
MC MS
Y
Ambiente / Usurio Ambiente / Usurio
(c) Meta-Processamento (d) Co-Processamento
MC : Mdulo Conexionista - MS: Mdulo Simblico - X,Y: MC ou MS - X diferente de Y
Figura 3.2. Modos de integrao Neuro-Simblica
3.3.1.2. Modos de Integrao:
Os modos de integrao podem ser classificados nos seguintes grupos (ver Figura 3.2):
1. Processamento em Srie: O processamento feito seqencialmente por um mdulo e depois
pelo outro (chainprocessing). Por exemplo, um mdulo conexionista pode realizar um pr-
processamento de dados destinados um mdulo simblico, ou vice-versa. Este modo de
integrao constitudo por interaes do tipo pr-processamento ou ps-processamento,
onde os dois sub-sistemas so ligados por uma simples relao de entrada e sada.
2. Sub-Processamento: O processamento principal realizado por um dos dois mdulos, que
utiliza o outro mdulo apenas como um prestador de servios para resolver problemas
especficos. Por exemplo, um mdulo principal simblico pode disparar a execuo de um
mdulo neural para tratar apenas uma etapa especfica do processamento de um problema.
Neste tipo de interaes, um dos dois mdulos completamente subordinado ao outro, sendo
que o processo de controle decide quando e como ir utilizar os resultados obtidos pelo sub-
processo por ele executado.
3. Meta-Processamento: Um dos dois mdulo possui o papel de tratar os problemas em questo,
enquanto que o outro mdulo assume um papel de nvel superior (meta-processamento),
podendo ser responsvel por intervir em tarefas de controle, observao, gerncia ou mesmo
melhoria da performance do outro mdulo. Um mdulo simblico poderia, por exemplo,
controlar e otimizar o funcionamento de uma rede neural.
4. Co-Processamento: Os dois mdulos so parceiros iguais no processo de tratamento de um
problema. Neste modo de integrao, a palavra-chave cooperao, onde podemos ter
diferentes maneiras de fazer um mdulo cooperar com o outro, sem no entanto ser
estabelecida uma relao maior de importncia ou dependncia entre os dois mdulos. Uma
3. Sistemas Hbridos F.Osrio ENIA99 Pg.43
maneira de fazer cooperar dois mdulos pode ser estabelecida se um mdulo se concentra em
outros aspectos distintos deste mesmo problema. Uma outra maneira de cooperar pode ser
problema, mas ao final as duas (ou mais) solues propostas so avaliadas por um outro
mdulo a fim de decidir qual a melhor soluo. No modo de co-processamento as trocas de
conhecimentos entre os mdulos tambm pode ser importante para que ambos possam
cooperar entre si, alm tambm de que normalmente ambos devem tambm poder interagir
com o ambiente externo (usurio/expert).
Este tipo de classificao por modos de integrao pressupe a existncia de ao menos dois mdulos
distintos, um ou mais mdulos simblicos (MS) e um ou mais mdulos conexionistas (MC). A figura 3.2
apresenta um esquema a respeito da caracterizao dos SHNS em relao ao seu modo de integrao.
3.3.1.3. Transferncia de Conhecimentos:
As transferncias de conhecimentos entre os mdulos simblico e conexionista (ver item sobre
3.3.1.1) podem ser classificadas segundo o sentido (de qual mdulo, para qual mdulo) das trocas de
conhecimentos realizadas:
1. Do simblico para o conexionista (S C): Os conhecimentos so transferidos do mdulo

simblico e integrados no mdulo conexionista [Boz 95, 97], de modo a permitir a aquisio
de conhecimentos por parte do mdulo conexionista sem ter que obrigatoriamente recorrer ao
aprendizado de uma base de exemplos. Na nossa opinio, os mtodos de compilao de regras
diretamente sobre a forma de pesos de uma rede neural so os mais interessantes. Existem
outras formas de se trocar conhecimentos entre o mdulo simblico e o conexionista, uma
destas formas alternativas a gerao automtica de exemplos partir de uma base de regras.
Este tipo de procedimento permite que se represente os conhecimentos simblicos de alto
nvel atravs de uma coleo de exemplos que esto de acordo com os conhecimentos
representados no sistema simblico. Um dos inconvenientes desta ltima tcnica a incerteza
de que o mdulo conexionista v conseguir adquirir integralmente todos os conhecimentos
que esto sendo repassados atravs dos exemplos, pois como a rede depende do processo de
aprendizado, no h uma garantia que este processo alcance um sucesso 100% de acordo com
os exemplos.
2. Do conexionista para o simblico (S C): Os conhecimentos adquiridos atravs de um
processo de aprendizado de uma rede neural, devem ser explicitados sob a forma de
conhecimentos simblicos relativos ao problema que est sendo tratado. A extrao de regras
partir de uma rede neural [Andrews 95, 96] permitir que se utilize estas regras (os
conhecimentos adquiridos pelo mdulo conexionista) junto ao mdulo simblico. As regras
obtidas partir de uma rede podem ser classificadas de acordo com o tipo de representao
simblica empregado: regras de produo, regras nebulosas, regras probabilistas, etc. O
processo de extrao de regras pode ser executado considerando-se que podemos tentar extrair
todo o conhecimento (o que muito difcil), ou ento, podemos tentar extrair uma parte dos
conhecimentos adquiridos pela rede (o que mais usado extrao dos conhecimentos mais
importantes).
3. Transferncias bilaterais (S C): Os conhecimentos podem ser transferidos nos dois sentidos
entre os mdulos simblico e neural. Os sistemas hbridos com transferncias de
3. Sistemas Hbridos F.Osrio ENIA99 Pg.44
conhecimentos bilaterais incluem normalmente mecanismos tanto de compilao de regras
dentro de redes neurais, como de extrao de conhecimentos destas. Neste caso, podemos ter
um mdulo simblico e um mdulo conexionista que operam realmente em co-
processamento, enquanto que nos demais tipos de transferncias, usualmente um dos dois
mdulos ser o principal e o outro atuar apenas como auxiliar. Sempre bom lembrar a
importncia que tem o tipo de regras e conhecimentos que sero transferidas de um mdulo ao
outro, pois isto pode ser um fator de limitao (ou melhoria) importante para o sistema.
Concluindo, um sistema com um acoplamento forte e do tipo que usa co-processamento deve
obrigatoriamente permitir transferncias bilaterais de conhecimentos, onde ambos os mdulos
devem ser capazes de manipular um tipo compatvel de representao de conhecimentos 3.4.1. SYNHESYS Symbolic and Neural Hybrid Expert System Shell
usados na transferncia.
Aquisio de Conhecimentos
Sistema Hbrido Neuro-Simblico
Neuro-Simblico
Conhecimentos Tericos
Mdulo MS
"Regras"
Simblico
Aquisio de Conhecimentos
Transferncia de
Conhecimentos
Mdulo MC
"Exemplos"
Conexionista
Conhecimentos Empricos
Figura 3.3 Aquisio e Transferncia de Conhecimentos nos SHNS
A capacidade de fazer transferncias de conhecimentos entre os mdulos de um sistema hbrido
uma das propriedades mais interessantes dos SHNS, pois atravs deste tipo de mecanismo que vamos
poder fazer interagir e cooperar melhor os mdulos simblicos e conexionistas. Muitas vezes, o processo
de insero de conhecimentos iniciais em uma rede neural vai tambm contribuir para que o processo de
aprendizado seja otimizado (mais rpido e com resultados melhores). A extrao de regras partir das
redes neurais vai nos permitir explicitar os conhecimentos adquiridos por esta, e sendo assim poderemos
resolver em parte o problema da caixa preta que so as redes. As regras extradas vo permitir tambm
que se compreenda melhor as repostas dadas pelas redes neurais. O mdulo simblico tambm poder
aproveitar as regras obtidas partir de uma rede neural, para aumentar a sua base de conhecimentos, onde
o processo de extrao de regras acaba constituindo-se como mais uma fonte de conhecimentos para o
mdulo simblico. Assim esta tcnica pode contribuir para minimizar um pouco o problema do gargalo de
aquisio de conhecimentos dos sistemas especialistas.
3.4. SHNS: Estudo de Casos
3. Sistemas Hbridos F.Osrio ENIA99 Pg.45
Vamos descrever aqui de maneira bastante sucinta trs sistemas hbridos neuro-simblicos que
servem para nos dar uma idia geral e bastante representativa de como so e como funcionam os SHNS.
Os sistemas que escolhemos so: SYNHESYS [Giacometti 92], KBANN [Towell 91] e INSS [Osorio 98].
Existem outros sistemas to ou talvez mais importantes que estes (e.g. KBCNN [Fu 94], RAPTURE
[Mahoney 96], MACIE [Galant 93], CONSYDERR [Sun 95], entre outros), mas ns optamos por discutir
apenas sobre estes trs, dadas as caractersticas que eles possuem, que acreditamos so importantes para
que o leitor possa fazer uma anlise final do que foi apresentado neste trabalho.
O sistema SYNHESYS foi desenvolvido no Laboratoire LEIBNIZ2 em Grenoble-Frana por
Arnaud Giacometti [Giacometti 92]. Este sistema possui um tipo de integrao hbrida no sentido estrito,
ou seja, ele realmente composto por dois mdulos: um simblico e outro conexionista. Estes dois
mdulos operam de maneira cooperativa, permitindo transferncias de conhecimentos entre os dois, nos
dois sentidos. Portanto este sistema classificado como um sistema hbrido com transferncia de
conhecimentos bilaterais e modo de integrao por co-processamento. A figura 3.4 apresenta um esquema
geral da estrutura de funcionamento do sistema SYNHESYS.
Situao
Expert
Mdulo Transferncia Mdulo
Simblico de Conhecimentos Conexionista
Gestionrio
Deciso Deciso
de interaes
Expert
Figura 3.4 Arquitetura do Sistema SYNHESYS
O mdulo simblico implementa um mecanismo de inferncia baseada em regras de produo, com
possibilidade de inferncia usando forward chaining ou backward chaining. As regras usadas junto ao
mdulo simblico so regras do seguinte tipo:
IF <atributo> IN [<valor_inicial_intervalo>,<valor_final_intervalo>] THEN <concluso>/<aco>
IF <atributo>/<concluso> AND/OR <atributo>/<concluso> THEN <concluso>/<aco>
IF NOT <atributo>/<concluso> THEN <concluso>/<ao>
O mdulo conexionista trabalha com um modelo de rede neural baseado em prottipos de
representao localista de conhecimentos (rede do tipo ARN2 desenvolvida por Giacometti e similar em
2
Laboratoire LEIBNIZ Web : http://www-leibniz.imag.fr/ (Equipe Reseaux dAutomates)
3. Sistemas Hbridos F.Osrio ENIA99 Pg.46 3. Sistemas Hbridos F.Osrio ENIA99 Pg.47
certos aspectos ao modelo ART). Os prottipos criados so hiper-retngulos, o que permite que se caractersticas e potenciais, foram encontrados alguns problemas e limitaes no que se refere ao
codifique as regras descritas acima de maneira bastante simples e direta sob a forma de prottipos da rede. tratamento de problemas onde se tenha o uso de dados do tipo qualitativo [Orsier 94, 95]. Estes problemas
A extrao de regras tambm feita diretamente partir dos hiper-retngulos que representam os so relativos as mtricas para o clculo de similaridade entre exemplos e prottipos, que funcionam
conhecimentos adquiridos pela rede. Uma outra caracterstica importante deste modelo de rede o fato melhor com dados quantitativos do que com dados qualitativos. Apesar disto, acreditamos que o sistema
que podemos ter um aprendizado contnuo (incremental), pois possvel adicionar novos prottipos rede SYNHESYS continua sendo um dos melhores exemplos de integrao neuro-simblica existentes.
sem maiores problemas.
Y Entradas: 3.4.2. KBANN Knowledge Based Artificial Neural Networks
20 X = [0..30]
Y = [0..20] O sistema KBANN foi desenvolvido no UWM-MLRG3 da Universidade de Wisconsin-Madison
18 por Geoffrey Towell e Jude Shavlik [Towell 91]. Este sistema possui apenas um mdulo conexionista,
Sadas (Aes):
16 Ao2 que como diz o seu nome, uma rede neural baseada em conhecimentos. O sistema KBANN possui uma
Ao1 , Ao2 , Ao3
Ao3 Ao3 rede neural capaz de adquirir conhecimentos simblicos expressos atravs de regras, realizar o
14 Regras: aprendizado neural e depois extrair regras que representam o conhecimento que foi refinado pelo
R1: Se Y in [0..10] ento Y_Fraco aprendizado de exemplos. A proposta original do sistema KBANN no previa outros modos de interao
12 R2: Se Y in [10..20] ento Y_Forte com mdulos simblicos externos rede, que fossem adicionais troca de conhecimentos realizada
R3: Se X in [0..10] ento X_Fraco atravs da insero e extrao de regras partir destas redes neurais. A figura 3.6 mostra um esquema da
10 R4: Se X in [10..20] ento X_Mdio
forma de funcionamento do sistema KBANN.
8 R5: Se X in [20..30] ento X_Forte
R6: Se Y_Fraco ento Ao1
6 R7: Se Y_Forte e X_Fraco
Ao1 ento Ao3 Conhecimentos Rede Rede
Neural aps Conhecimentos
4 R8: Se Y_Forte e X_Forte
simblicos Neural simblicos
ento Ao3 inicial o aprendizado
iniciais refinados
2 R9: Se Y in [14..20] e X_Mdio
ento Ao2
3 6 9 12 15 18 21 24 27 30 X Extrao
Compilao Aprendizado
Figura 3.5 Prottipos do Tipo Hiper-Retngulos e as Regras Correspondentes de regras de regras partir
Conexionista de uma rede
dentro de uma rede
O sistema funciona de maneira cooperativa, ou seja, os conhecimentos podem ser adquiridos tanto
pelo mdulo simblico (explicitao de regras obtidas junto ao especialista), como tambm pelo mdulo Figura 3.6 - Arquitetura do Sistema KBANN
conexionista atravs do aprendizado partir de exemplos (criao dos prottipos atravs de um algoritmo
de aprendizado neural). Estes conhecimentos podem ser ento compartilhados entre os dois mdulos, visto
que podemos transferir os conhecimentos adquiridos pelo mdulo simblico para o mdulo conexionista,
Sendo assim, as transferncias de conhecimentos entre os dois podem ser realizadas nos dois
e tambm no sentido inverso, transferir os conhecimentos adquiridos pelo mdulo conexionista para o
sentidos, apesar de apenas o mdulo conexionista ter sido definido. Portanto este sistema pode ser
mdulo simblico.
classificado como um sistema hbrido com transferncia de conhecimentos bilaterais e modo de integrao
Ambos os mdulos podem compartilhar exatamente os mesmos conhecimentos, ou trabalharem de por co-processamento,. Ele tambm pode ser considerado como um sistema puramente conexionista
forma independente. Ao ser realizada uma consulta ao sistema, cada um dos dois mdulos vai gerar, (hbrido no sentido amplo), pois prev que todo o tratamento de informaes centralizado e realizado
independentemente um do outro, uma resposta (deciso). Se ambos os mdulos estiverem de acordo em pelo mdulo conexionista. Os conhecimentos simblicos, obtidos usualmente partir da explicitao de
relao a resposta fornecida, esta repassada para o usurio, e caso no haja um acordo, ento disparado regras realizada por um especialista, so integrados na rede neural, sem termos a necessidade de utilizar
um processo de reviso da base de conhecimentos de ambos os mdulos. Inicialmente procura-se um mdulo simblico de processamento. A extrao de regras tem como objetivo a explicitao dos
identificar a regra/prottipo que est em conflito, e fazendo uso de um processo de interao com o conhecimentos adquiridos pela rede, permitindo que se compreenda como a rede vai gerar suas respostas.
usurio, de transferncias de conhecimentos e de identificao de erros, tenta-se desta forma melhorar a Estas regras at poderiam ser usadas por um mdulo simblico, mas no entanto esta no a principal
base de conhecimentos daquele mdulo que apresentou problemas (ou mesmo melhorar ambos os funo das regras simblicas neste sistema.
mdulos).
Os princpios que regem o funcionamento deste sistema so um exemplo extremamente significativo
de como pode ser explorada esta integrao neuro-simblica em um sistema hbrido. O sistema 3
UWM-MLRG University of Winsconsin-Madison / Machine Learning Research Group.
SYNHESYS foi usado com sucesso em diversas aplicaes, mas no entanto, apesar de suas excelentes
Web: http://www.cs.wisc.edu/~shavlik/uwml.html
3. Sistemas Hbridos F.Osrio ENIA99 Pg.48 3. Sistemas Hbridos F.Osrio ENIA99 Pg.49
O sistema KBANN utiliza redes neurais do tipo MLP (Multi-Layer Perceptron) com aprendizado a forma de regras simblicas (conhecimentos tericos) ou sob a forma de exemplos (conhecimentos
atravs do uso do algoritmo do Back-Propagation com mnimas modificaes. Este modelo de rede neural empricos).
muito usado atualmente, mas possui algumas limitaes bem conhecidas em relao velocidade do
aprendizado e a otimizao dos pesos da rede (discutido no captulo anterior, seo2.2). Os aspectos mais Uma vez que a rede passou por esta etapa de adaptao, podemos ento realizar a extrao de
interessantes do modelo proposto por Towell dizem respeito as tcnicas de insero e extrao de regras, regras simblicas partir de uma anlise dos pesos da rede. O processo de extrao de regras vai nos
usando como elemento de base redes do tipo MLP. permitir a obteno de regras do mesmo tipo daquelas que foram inseridas na rede, mas que usualmente
devem refletir as melhorias feitas durante o processo de aprendizado de uma base de exemplos. O
processo de extrao de regras necessita de um grande processamento de informaes, tendo um alto custo
Operador OU - Disjuno:
Operador E - Conjuno: computacional, mas por outro lado, trazendo grandes vantagens devido a traduo do conhecimento neural
X :- A. X :- B. sob uma forma de representao bem mais compreensvel ao ser humano. Towell apresenta basicamente
X :- A, B, Not(C), Not(D).
X :- C. X :- D. dois mtodos de extrao de regras partir das redes KBANN, o SubSet e o NofM [Towell 91, 93], onde
X X representamos o primeiro deles de maneira esquemtica na figura 3.8.
W>0 W>0
P =2 Algoritmo SUBSET
Bias: Bias:
(-P+0.5)*W -0.5*W
X X := A, B, C.
W W -W W W W X := A, B, not(D).
-W W Bias: X := A, C, not(D).
= -5.0
X := B, C, not(D).
A B C D A B C D +3.0
+3.0 +3.0 -3.0 IF (A and B and C) or
(A and B and Not(D)) or
(A and C and Not(D)) or
Figura 3.7 Compilao de Regras: Insero de Conhecimentos Simblicos em Redes MLP
(B and C and Not(D))
A compilao de regras [Towell 91, 94] permite que se obtenha uma rede neural que vai dar A B C D THEN X
respostas exatamente iguais aquelas que ns poderamos obter caso fosse utilizado um mecanismo de
inferncia simblica com este mesmo conjunto de regras. Desta maneira vamos poder criar a estrutura
bsica e especificar os pesos iniciais da rede de forma automtica, dotando assim a rede de conhecimentos
Figura 3.8 Extrao de Regras partir de uma Rede KBANN
iniciais, sem no entanto termos que recorrer aos procedimentos tradicionais de aprendizado de exemplos
por adaptao dos pesos da rede. A figura 3.7 mostra um exemplo de compilao de regras em uma rede
As redes KBANN possuem uma caracterstica interessante que a possibilidade de fechar o ciclo
neural.
de refinamento de regras, com a re-insero da regras extradas dentro da rede neural, o que permitiria um
processamento evolutivo dos conhecimentos sobre o problema. Entretanto, este tipo de procedimento no
As regras inseridas nas redes do tipo KBANN so basicamente regras de produo que manipulam
foi estudado em profundidade e os testes e estudos sobre este tema que foram realizados so muito
valores binrios relativos aos atributos de entrada (antecedentes) e gerando tambm concluses
superficiais. Por outro lado, as redes KBANN possuem algumas importante limitaes relativas ao tipo de
(conseqentes) binrias do tipo verdadeiro/falso. As regras usadas so portanto do seguinte tipo:
algoritmos de aprendizado, compilao e extrao de regras que estas utilizam [Osorio 98, 98a, 99]. Outro
IF <antecedente> THEN <conseqente> ponto importante a ser considerado, referente ao tipo de regras manipuladas pelas redes KBANN, que
no so adequadas ao tratamento de dados quantitativos, ficando muito restritas aos dados qualitativos. E
IF <antecedente> AND / OR <antecedente> THEN <conseqente>
finalmente, bom ressaltar que as redes KBANN no so redes do tipo incremental.
IF NOT <antecedente> THEN <conseqente>
Este conhecimento inicial que foi introduzido na rede passa por uma fase de refinamento, que 3.4.3. INSS Incremental Neuro-Symbolic System
realizada atravs da utilizao do algoritmo de aprendizado neural. A rede KBANN passa por um
processo de adaptao dos pesos da rede atravs do uso de uma base de exemplos de aprendizado, da O sistema INSS foi desenvolvido no Laboratoire LEIBNIZ4 em Grenoble-Frana por Fernando
mesma forma como feito com outros modelos de redes neurais, mas a principal diferena que a rede Osrio e Bernad Amy [Osorio 98, 99a]. Este sistema possui um tipo de integrao hbrida no sentido
utilizada foi inicializada com a insero de conhecimentos a priori disponveis sobre o problema. Esta estrito, ou seja, ele pressupe a utilizao de dois mdulos: um simblico e outro conexionista. Estes dois
insero de conhecimentos permite uma otimizao do processo de aprendizado, bem como o
aproveitamento dos diferentes conhecimentos disponveis sobre o problema, sejam eles representados sob 4
Laboratoire LEIBNIZ Web : http://www-leibniz.imag.fr/ (Equipe Reseaux dAutomates)
3. Sistemas Hbridos F.Osrio ENIA99 Pg.50 3. Sistemas Hbridos F.Osrio ENIA99 Pg.51
mdulos operam de maneira cooperativa, permitindo transferncias de conhecimentos entre os dois, nos O mdulo conexionista possui muitas semelhanas ao modelo adotado pelas redes KBANN, pois
dois sentidos. Portanto este sistema classificado como um sistema hbrido com transferncia de adotamos um modelo de rede do tipo MLP (Multi-Layer Perceptron), mas no lugar do algoritmo de
conhecimentos bilaterais e modo de integrao por co-processamento. A figura 3.4 apresenta um esquema aprendizado do tipo Back-Propagation das redes KBANN, foi utilizado o algoritmo Cascade-Correlation.
geral da estrutura de funcionamento do sistema INSS. Este algoritmo confere ao sistema INSS alguma de suas principais caractersticas:
Conhecimentos Tericos Conhecimentos Empricos - O algoritmo de aprendizado tem um timo desempenho (velocidade, capacidade de
aprendizado);
- Este algoritmo permite a insero de novos neurnios na rede durante o aprendizado, o que
Aquisio de Conhecimentos permite um aprendizado incremental (ao nvel dos dados e da estrutura da rede);
(Expert / Engenheiro de Conhecimentos) - Permite a insero de conhecimentos a priori na rede que permanecem inalterados, onde as
novas unidades adicionadas na rede que tero por funo melhorar ou corrigir o
comportamento desta;
Mdulo de - Como os conhecimentos previamente adquiridos no so modificados, e apenas inserimos novos
Regras Validao
Exemplos
conhecimentos complementares a estes, ao realizar a extrao de regras, podemos nos
concentrar apenas nos novos conhecimentos adquiridos. No necessrio re-extrair todas as
regras que j haviam sido inseridas anteriormente na rede.
Insero
MS de Regras
MC O mdulo simblico do sistema INSS utiliza o motor de inferncia CLIPS como base para o
Mdulo Mdulo processamento simblico. Este sistema vem sendo substitudo pelo conceito de que a prpria rede neural
Simblico Conexionista pode implementar um motor de inferncia uma vez que as regras simblica foram inseridas nela. O
Extrao [RNA] mecanismo de inferncia permite apenas o forward chaining, mas existe a possibilidade de expandir
de Regras este tipo de inferncia, permitindo tambm o backward chaining.
O sistema INSS est organizado em mdulos que realizam as diferentes tarefas necessrias para o
bom funcionamento do sistema. Os mdulos que compem este sistema so: CLIPS (Mdulo Simblico),
Transfrencia de Conhecimentos
NeuSim (Mdulo Neural Simulador / Aprendizado), NeuComp (Compilador de regras simblicas em
INSS - Incremental Neuro-
Neuro-Symbolic System redes), Extract (Extrao de regras partir das redes neurais) e Valid (Mdulo de verificao e validao
dos conhecimentos do sistemas, representados pelos exemplos e regras). A figura 3.10 mostra um
Figura 3.9 Esquema de Integrao Neuro-Simblica do Sistema INSS diagrama esquemtico dos componentes do sistema.
O desenvolvimento do sistema INSS foi bastante influenciado pelos dois outros sistemas que Regras Simblicas M
descrevemos anteriormente, o sistema SYNHESYS e o sistema KBANN. O modo de operar bastante
similar ao sistema SYNHESYS, ou seja, temos dois mdulos que podem trocar conhecimentos entre si, Conversor D
Regras > Rede U
atravs da insero de regras simblicas no mdulo conexionista e atravs da extrao de regras deste Clips Regras
L
mesmo mdulo. Alm disto, foi implementada uma aquisio incremental de conhecimentos que permite NeuComp Refinadas
O
MDULO
adicionar novos conhecimentos na rede (aprendizado contnuo), alterar a estrutura da rede neural SIMBLICO
adicionando novos neurnios (estrutura incremental), extrair apenas os novos conhecimentos adquiridos D
(extrao incremental) e validar os resultados e conhecimentos. O tipo de regras usadas junto ao sistema Rede E
Inicial Conversor
INSS tambm mais prximo s regras simblicas usadas pelo sistema SYNHESYS, onde podemos Rede > Regras V
inserir regras nas redes que contm operadores como: MDULO A
CONEXIONISTA Extract L
I
Greater_Than (Entrada, Valor_Constante); Rede D
NeuSim
Greater_Than (Entrada1, Entrada2) Refinada A
Less_Than (Entrada, Valor_Constante)
Less_Than (Entrada1, Entrada2)
Exemplos O
In_Range (Entrada, Valor_Constante1, Valor_Constante2)
Equal (Entrada, Valor_Constante).
Figura 3.10 Mdulos do Sistema INSS
3. Sistemas Hbridos F.Osrio ENIA99 Pg.52 3. Sistemas Hbridos F.Osrio ENIA99 Pg.53
O mdulo compilador de regras NeuComp utiliza o mesmo algoritmo de insero de regras usado (conhecimentos anteriores versus conhecimentos novos) que podem surgir novas melhorias dos
nas redes KBANN, mas porm este possui uma extenso prpria, que foi desenvolvida especificamente conhecimentos. Quando constatado que uma certa teoria entra em conflito com a prtica,
para este sistema a fim de lhe permitir o tratamento das regras tipo Greater_Than, Less_Than, In_Range e justamente baseado neste conflito que um pesquisador ir buscar uma nova reformulao desta.
Equal. O mdulo de extrao de regras Extract baseado tambm nos algoritmos usados nas redes As teorias devem estar sendo constantemente questionadas e revisadas perante os fatos e
KBANN, o SubSet e o NofM. Esta uma das principais limitaes do sistema INSS, pois no devido ao experincias do nosso dia--dia. Os conhecimentos esto sempre evoluindo.
uso destes algoritmo no podemos extrair regras com o mesmo poder de representao de conhecimentos
das regras que podemos inserir no sistema. Estudos vem sendo desenvolvidos no sentido de resolver esta Concluindo, os sistemas hbridos so uma tendncia atual nos estudos referentes a Inteligncia
deficincia. Artificial, sejam eles denominados simplesmente Sistemas Hbridos Inteligentes, ou de Sistemas Multi-
Agentes, ou ainda de Inteligncia Artificial Distribuda. Acreditamos que a base de tais sistemas, que deve
O sistema INSS foi aplicado em diferentes tipos de problemas, com resultados muito satisfatrios estar sempre no centro das pesquisas realizadas nesta rea, relativa a alguns pontos que abordamos de
[Osorio 98]. Os problemas tratados foram: Monks Problem (Benchmark de algoritmos de aprendizado de forma insistente neste trabalho: a capacidade de representao de conhecimentos (preferencialmente
mquinas), Diagnstico mdico (Identificao da causa de comas txicos Projeto Europeu Esprit MIX), mltiplos), a realizao de trocas de conhecimentos entre componentes do sistema (onde a representao
Robtica Autnoma (Comportamento Sensorial-Motor Evitar obstculos, acompanhar uma parede) e volta a ser um item central), e a evoluo dos conhecimentos (aquisio e refinamento progressivos).
Modelagem Cognitiva usando o problema da balana (Balance Scale Problem).
HYBRID MACHINE LEARNING TOOLS
3.5. Consideraes Finais
Este trabalho teve por objetivo mostrar a importncia da utilizao de sistemas hbridos quando se
deseja implementar um sistema inteligente. Vamos resumir aqui os pontos principais que gostaramos que
fossem salientados em relao a este tipo de sistemas.
Para que um sistema possa ser dotado de propriedades que permitam que ele possa ser classificado
como inteligente, existem alguns itens importantes que devem ser levados em considerao:
- Aquisio de conhecimentos: O processo de aquisio de conhecimentos vital para um sistema
inteligente. A aquisio de conhecimentos deve permitir que se use todos os conhecimentos
disponveis, sejam eles conhecimentos bsicos e empricos (casos prticos e exemplos), sejam
eles conhecimentos tericos j tratados e estruturados (regras e outros conhecimentos
simblicos), ou mesmo conhecimentos que possam vir de outros agentes.
- Representao de conhecimentos: O poder de representao e manipulao de conhecimentos
ir definir as principais limitaes de um sistema. Uma das mais poderosas ferramentas de BIBLIOGRAFIA
representao de conhecimentos a linguagem natural humana, associada a fala e a escrita (com
todas as suas extenses, tal como a simbologia matemtica). Assim como a comunicao [Alche 93] d' ALCH-BUC, Florence. Modles Neuronaux et Algorithmes Constructifs pour
humana rica e pluralista, os conhecimentos representados em um sistema inteligente tambm l'Apprentissage de Rgles de Dcision. Thse de Doctorat en Sciences. Loratoire LEP, Universit de
devero ser. Conhecimentos devem poder ser aproximados, inexatos e mesmo contraditrios. Paris-Sud XI - Centre d'
Orsay, France. Dcembre 1993.
- Mltiplos mecanismos de tratamento dos conhecimentos (hybrid reasoning) e modularidade: A [Andrews 95] ANDREWS, R.; DIEDERICH, J.; TICKLE, A.B. A Survey And Critique of Techniques For
cooperao entre sistemas onde cada um pode complementar o que o outro faz, ou onde as Extracting Rules From Trained ANN. Technical Report - Neurocomputing Research Centre, Queensland
tarefas podem ser divididas e distribudas segundo as especificidades de cada mdulo, so a University of Technology - Brisbane, Australia. January 1995 (To appear in : Knowledge-Based Systems).
chave para o desenvolvimento de sistemas capazes de tratar problemas muito complexos. Web: http://www.fit.qut.edu.au/NRC/
Ftp: ftp://ftp.fit.qut. edu.au/pub/NRC/tr/ps/QUTNRC-95-01-02.ps.Z
- Transferncia de conhecimentos e interao entre mdulos: Para que sistemas possam interagir e
cooperar importante que tenhamos uma poderosa forma de transferncia de conhecimentos. O [Andrews 96] ANDREWS, Robert & DIEDERICH, Joachim. (Eds.) Rules and Networks - Proceedings of
ser humano tem evoludo suas capacidades intelectuais e produtivas de maneira espantosa, onde the Rule Extraction From Trained Artificial Neural Networks Workshop. SSAISB-AISB' 96, University of
indiscutivelmente um elemento de suma importncia neste processo a sua capacidade de trocar Sussex, Brighton, UK. 2nd April. Published by QUT - Queensland Univ. of Technology, Australia. 1996.
conhecimentos e interagir com os demais seres humanos.
[Balakrishnan 95] BALAKRISHNAN, Karthik & HONAVAR, Vasant. Evolutionary Design of Neural
- Validao e evoluo dos conhecimentos: Os conhecimentos adquiridos devem ser constante- Architectures - A Preliminary Taxonomy and Guide to Literature. Technical Report: ISU CS-TR-95-01,
mente validados, pois justamente do conflito cognitivo oriundo desta validao
3. Sistemas Hbridos F.Osrio ENIA99 Pg.54 3. Sistemas Hbridos F.Osrio ENIA99 Pg.55
AI group - Dept. Computer Science, Iowa State University. 1995. Web:
http://www.cs.iastate.edu/~honavar/publist.html [Giacometti 92] GIACOMETTI, Arnaud. Modles Hybrides de l'Expertise. Thse de Doctorat en
Informatique et Rseaux, Lab. LIFIA - IMAG, Grenoble / ENST Paris - France, Novembre 1992. Web:
[Boz 95] BOZ, Olcay. Knowledge Integration and Rule Extraction in Neural Networks. Technical Report, http://www-leibniz.imag.fr/RESEAUX/public.html .
EECS, Lehigh University. October 1995. Ftp: ftp://ftp.imag.fr/ pub/LEIBNIZ/ESEAUX-D-AUTOMATES/giacometti.these.ps.tar.gz
Web: http://www.lehigh.edu/~ob00/integrated.html
[Gonzalez 96] GINZALEZ, J.C.; VELASCO, J.R.; IGLESIAS, C.A. Prototype of a Fuzzy-Neural Hybrid
[Boz 97] BOZ, Olcay. Converting a Trained Neural Net to a Decision Tree - DECEXT (Decision Tree Model. Evaluation report. Rapport Technique MIX/WP2/UPM/3.0, UPM, MIX Project deliverable D7.
Extractor). Technical Report - University of Lehigh, U.S.A. 1996.
Web: http://www.lehigh.edu/~ob00/integrated.html
[Greene 93] GREENE, David P. & SMITH, Stephen, F. Competition-Based Induction of Decision Models
[Carpenter 92] CARPENTER, G. et al. Fuzzy ARTMAP: A Neural Network Architecture for Incremental from Examples. Machine Learning, 13, pp.229-258. Kluwer Academic Publishers, Boston, MA - U.S.A.
Supervised Learning of Analog Multidimensional Maps. IEEE Transactions on Neural Networks 3(5), 1993.
pp.698-713. September 1992.
Web: http://www.cs.cmu.edu/afs/cs/project/ai-repository/ai/ areas/fuzzy/systems/artmap/ [Halgamuge 94] HALGAMUGE, S.K. FuNeGen - Fuzzy Neural System. Publicado na Internet. Web:
http://www.cs.cmu.edu/afs/cs/project/ai-repository/ai/areas/fuzzy/systems/funegen/
[Cechin 98] CECHIN, Adelmo. The Extraction of Fuzzy Rules from Neural Networks. Shaker Verlag,
Berlin. Tese de doutorado Universidade de Tbingen. 1998. [Hayashi 94] HAYASHI, Y. & BUCKLEY, J. J. Approximations Between Fuzzy Expert Systems and
Neural Networks. International Journal of Approximate Reasoning, Vol.10, pp.63-73. 1994
[Cox 92] COX, Earl. Integrating Fuzzy Logic into Neural Nets. AI Expert, June 1992.
[Hilario 93] HILARIO, Melanie. MIX: Modular Integration of Connectionist and Symbolic Processing in
[Craven 96] CRAVEN, M. & SHAVLIK, J. Extracting Tree-Structured Representations of Trained Knowledge-Based Systems. Proposal for Basic Research Project - Esprit BRA, EEC, n 09119.
Networks. Advances in Neural Information Processing Systems, MIT Press, Denver. pp.24-30. 1996.
[Hilario 94] HILARIO, M.; PELLEGRINI, C.; ALEXANDRE, F. Modular Integration of Connectionist
[Craven 96a] CRAVEN, Mark W. Extracting Comprehensible Models from Trained Neural Networks. and Symbolic Processing. In : Knowledge-Based Systems - Proceedings of the ISIKNH' 94: International
Ph.D. Thesis - Dept. of Computer Science, Univ. of Wisconsin-Madison, U.S.A. 1996. Web: Symposium on Integrating Knowledge and Neural Heuristics, pp. 123-132. Pensacola, Florida: May 1994.
http://www.cs.wisc.edu/~shavlik/mlrg/publications.html Ftp: ftp://cui.unige.ch/AI/mix/isiknh-94.ps
[DeJong 93b] DE JONG, K.; SPEARS, W.; GORDON, D. Usign Genetic Algorithms for Concept [Hilario 96] HILARIO, M. An Overview of Strategies for Neurosymbolic Integration. In: Connectionist-
Learning. Machine Learning, 13, pp.161-187. Kluwer Academic Publishers, Boston, MA - U.S.A. 1993. Symbolic Integration: From Unified to Hybrid Approaches. Ron Sun (Ed.) - Chapter 2. Kluwer Academic
Publishers, 1996. Ftp: ftp://cui.unige.ch/AI/
[Eick 96] EICK, Christoph F. ; KIM, Yeong-Joon ; SECOMANDI, Nicola ; TOTO, Ema. DELVAUX - An
Environment that Learns Bayesian Rule-Sets with Genetic Algorithms. In : The Third World Congress on [IIT 96] ITI - Institute for Information Technology. Fuzzy CLIPS. Publi dans le WEB-Internet. IIT -
Expert Systems. Seoul, Korea, February, 1996. Web: http://www.cs.uh.edu/ ~yjkim/ or NRC, Canada. Web: http://ai.iit.nrc.ca/fuzzy/fuzzy.html
http://www.cs.uh.edu/~ceick/ceick.html Ftp: ftp://ftp.cs.cmu.edu/afs/cs/project/ ai-repository/ai/areas/expert/systems/clips/0.html
[Faq 99b] FAQ. Faq Fuzzy Logic & Fuzzy Systems - Comp.ai.fuzzy.. 1999. [Jang 93] JANG, Jyh-Shing. ANFIS: Adaptive-Network-Based Fuzzy Inference Systems. IEEE
Web: http://www.cis.ohio-state.edu/hypertext/faq/usenet/fuzzy-logic/part1/faq.html Transactions on Systems, Man and Cybernetics. May 1993.
Web: http://www.cs.cmu.edu/afs/cs/project/ai-repository/ai/areas/fuzzy/systems/anfis/
[Fu 94] FU. LiMin. Neural Networks in Computer Intelligence. McGraw-Hill Publishing Inc., 1994.
[Jang 96] JANG, J.-S. R.; SUN, C.-T.; MIZUTANI, E. Neuro-Fuzzy and Soft Computing. Prentice Hall,
[Gallant 88] GALLANT, S. I. Connectionist Expert Systems. Communications of the ACM, 31(2), 1997.
pp.152-169. February 1988.
[Kasabov 90] KASABOV, Nikola K. Hybrid Connectionist Rule-Based Systems. In: Artificial Intelligence
[Gallant 93] GALLANT, S. I. Neural Network Learning and Expert Systems. MIT Press, Cambridge, MA. IV: Methodology, Systems, Applications. Proceedings of AIMSA' 90 - Albena, Bulgaria. P. Jorrand and V.
1993. Sgurev (Eds.). Amsterdam, APIA - Elsevier Science Publishers. September 1990.
[Giarratano 93] GIARRATANO, Joseph C. CLIPS User's Guide - Version 6.0. Lyndon B. Johnson Space [Kasabov 95] KASABOV, N. Learning Fuzzy Rules and Approximate Reasoning in Fuzzy Neural
Center, Software Technology Branch, NASA - U.S.A. 1993. Web: Networks and Hybrid Systems. Fuzzy Sets and Systems. Special Issue, pp.1-19. 1995. Web:
http://www.cs.cmu.edu/afs/cs/project/ai-repository/ai/areas/expert/systems/clips/ or http://divcom.otago.ac.nz:800/COM/INFOSCI/KEL/
http://home.haley.com/clips.html
3. Sistemas Hbridos F.Osrio ENIA99 Pg.56
[Kasabov 96] KASABOV, N.K. Foundations of Neural Networks, Fuzzy Systems and Knowledge
Engeneering. Cambridge, Massachussets, MIT Press. 1996.
Web: http://divcom.otago.ac.nz:800/COM/INFOSCI/KEL/
[Kilgour 97] KILGOUR, Richard. FuzzyCOPE 1, FuzzyCOPE2 and FuNN. Publi dans le WEB-Internet.
Web: http://divcom.otago.ac.nz:800/COM/INFOSCI/KEL/software.htm
[Krzysztof 97] KRZYSZTOF, J. C. & PEDRYCZ, W. Neuro-Fuzzy Systems. In: Handbook of Neural
Computation (section D1). E. Fiesler and R. Beale (Eds.) Institute of Physics and Oxford University Press.
New York, NY - U.S.A., 1997. Web: http://www.idiap.ch/publications/fiesler-96.1.bib.abs.html or
http://www.oup-usa.org/acadref/nc_accs.html
[Lee 95] LEE, S.-J. & JONE, M.-T. A Symbolic Logic Approach of Deriving Initial Neural Network
Configurations for Supervised Classification. Computers and Artificial Intelligence, vol.14(4), pp.317-
337. 1995.
[Machado 92] MACHADO, Ricardo J. & ROCHA, A.F. A hybrid Architecture for Fuzzy Connectionist
Expert System. In: Hybrid Architectures for Intelligent Systems. A. Kandel and G. Langholz (Eds.). CRC
Press, Boca Raton - Florida, 1992.
[Mahoney 93] MAHONEY, J. & Mooney, R. Combining Connectionist and Symbolic Learning to Refine
Certainty-Factor Rule-Bases. Connection Science, 5(1993), pp.339-364. 1993.
Web: http://net.cs.utexas.edu/users/ml/ . Ftp: ftp://ftp.cs.utexas.edu/pub/mooney/papers
[Mahoney 96] MAHONEY, J. Jeffrey. Combining Symbolic and Connectionist Learning Methods to
Refine Certainty-Factor Rule Bases. Ph.D. Thesis, Dept. of Computer Science, Univ. of Texas at Austin,
May 1996. Web: http://net.cs.utexas.edu/users/ml/ . Ftp: ftp://ftp.cs.utexas.edu/pub/ mooney/papers
(rapture-dissertation-96.ps.Z)
[Malek 95] MALEK, Maria & LABBI, A. Integration of Case-Based Reasoning and Neural Approaches
for Classification. Rapport Technique - RT 131, LIFIA, IMAG. Grenoble, France. 1995. Web:
http://www-leibniz.imag.fr/RESEAUX/public.html
[Malek 96] MALEK, Maria, AMY B. A Preprocessing Model for Integrating Case-Based Reasoning and
Prototype-Based Neural Network. Connectionist Symbolic Integration, Lawrence, Erlbaum Associates.
1996. Web: http://www-leibniz.imag.fr/RESEAUX/public.html
[Malek 96a] MALEK, Maria. Un modle hybride de mmoire pour le raisonnement partir de cas. Thse
de Doctorat en Informatique, Lab. LEIBNIZ - Universit Joseph Fourier, IMAG, Grenoble - France,
Octobre 1996. Web: http://www-leibniz.imag.fr/RESEAUX/public.html . Ftp:
ftp://ftp.imag.fr/pub/LEIBNIZ/RESEAUX-D-AUTOMATES/malek.these.ps.gz
[Medsker 95] MEDSKER, L.R. Hybrid Intelligent Systems. Kluwer Academic Publishers, Boston. 1995.
[Mitchell 97] MITCHELL, Tom M. Machine Learning. McGraw-Hill Publishing Company, McGraw-Hill
Series in Computer Science (Artificial Intelligence). 1997.
[Nauck 95] NAUCK, Detlef. Beyond Neuro-Fuzzy: Perspectives and Directions. In: Proceedings of the
Third European Congress on Intelligent Techniques and Soft Computing - EUFIT'
95, Aachen, pp.1159-
1164. August 1995. Web: http://www.cs.tu-bs.de/~nauk
3. Sistemas Hbridos F.Osrio ENIA99 Pg.57
[Nauck 97] NAUCK, D.; NRNBERGER, A.; KRUSE, R. NEFCON, NEFCLASS and NEFPROX. Publi
dans le WEB-Internet. Web: http://fuzzy.cs.uni-magdeburg.de/nnfuz.html or http://www.cs.
cmu.edu/afs/cs/project/ai-repository/ai/areas/fuzzy/systems/nefcon
[Nolfi 94] NOLFI, Stefano; PARISI, Domenico; ELMAN, Jeffrey L. Learning and Evolution in Neural
Networks. Adaptive Behavior, 3(1), pp.5-28. 1994. Web: http://crl.ucsd.edu/~elman/
[Orsier 94] ORSIER, B.; Amy, B.; Rialle, V.; Giacometti, A. A Study of the Hybrid System SYNHESYS.
In: Proceedings of the ECAI-94 Workshop - Combining Symbolic and Connectionnist Processing, August
1994 - Amsterdam. 1994.
Web: http://cuiwww.unige.ch/AI-group/staff/orsier.html
[Orsier 95] ORSIER, Bruno. Etude et Application de Systmes Hybrides NeuroSymboliques. Thse en
Informatique, Laboratoire LIFIA-IMAG, UJF - Grenoble, 1995.
Web: http://www-leibniz.imag.fr/RESEAUX/public.html
Ftp: ftp://ftp.imag.fr/pub/LEIBNIZ/RESEAUX-D-AUTOMATES/orsier.these.ps.gz
[Osrio 95] OSORIO, F.S. e AMY, Bernard. INSS: Um Sistema Hbrido Simboli-Connexionista com
Aprendizado partir de Regras e de Exemplos. Panel' 95 - XXI Conferencia Latino-Americana de
Informtica, Canela, Brasil. August 1995.
Web: http://www-leibniz.imag.fr/RESEAUX/osorio/articles/diret.html
[Osorio 98] OSORIO, F. S. INSS : Un Systme Hybride Neuro-Symbolique pour lApprentissage
Automatique Constructif. Tese de Doutorado (Ph.D. Thesis). Laboratoire LEIBNIZ IMAG / INPG,
Grenoble Frana, 1998. Web: http://www-leibniz.imag.fr/RESEAUX/public.html
ou http://www-leibniz.imag.fr/RESEAUX/osorio.html.
Ftp: ftp://ftp.imag.fr/pub/LEIBNIZ/RESEAUX-D-AUTOMATES/osorio.these.ps.gz
[Osorio 98a] OSORIO, F. S., AMY, Bernard ; DECLOEDT, Loc. Rule-Out: Um novo mtodo de
extrao incremental de regras partir de redes neurais construtivas do tipo KBANN. SBRN98
Simpsio Brasileiro de Redes Neurais. Belo Horizonte, 1998.
[Osrio 99] OSORIO, F. S. Bibliografia SHNS: Sistemas Hbridos Neuro-Simblicos. Material
disponvel na Internet. Web: http://www.inf.unisinos.br/~osorio/shns-refs.html
[Osrio 99a] OSORIO, F. S. e AMY, Bernard. INSS : A Hybrid System for Constructive Machine
Learning. Neurocomputing, 26 (1999). Elsevier Publishing. ( ser publicado).
[Patel 97] PATEL, M. & HONAVAR, V. (Eds.) Advances in Evolutionary Synthesis of Neural Systems.
Boston, MA - U.S.A. MIT Press, 1997.
[Porto 97] PORTO, V. W. Neural-Evolutionary Systems. In: Handbook of Neural Computation (section
D2). E. Fiesler and R. Beale (Eds.) Institute of Physics and Oxford University Press. New York, NY -
U.S.A., 1997. Web: http://www.idiap.ch/publications/fiesler-96.1.bib.abs.html or http://www.oup-
usa.org/acadref/nc_accs.html
[Posey 92] POSEY, C.; KANDEL, A.; LANGHOLZ, G. Fuzzy Hybrid Systems. In: Hybrid Architectures
for Intelligent Systems. A. Kandel and G. Langholz (Eds.). CRC Press, Boca Raton - Florida, 1992.
3. Sistemas Hbridos F.Osrio ENIA99 Pg.58 3. Sistemas Hbridos F.Osrio ENIA99 Pg.59
[Potter 92] POTTER, Michell. A Genetic Cascade-Correlation Learning Algorithm. In: Proceedings of the [Vestli 93] VESTLI, Sjur. FLIE - Fuzzy-Logic Inference Engine. Publi dans le WEB-Internet. Web:
COGANN-92 Internetional Workshop on Combinations of Genetic Algorithms and Neural Networks, http://www.cs.cmu.edu/afs/cs/project/ai-repository/ai/areas/fuzzy/systems/flie/
pp.123-133, IEEE Computer Society Press, 1992. Ftp: ftp://ftp. hiof.no/pub/Fuzzy/flie/ (fliefort.docu)
[Rocha 92] ROCHA, A.F. & YAGER, R.R. Neural Nets and Fuzzy Logic. In: Hybrid Architectures for
Intelligent Systems. A. Kandel and G. Langholz (Eds.). CRC Press, Boca Raton - Florida, 1992.
[Sahami 95] SAHAMI, Mehran. Generating Neural Networks Through the Induction of Threshold Logic
Uni Trees. In: Proceedings of the First International IEEE Symposium on Intelligence in Neural and
Biological Systems. Washington, DC. May 1995.
[Salomon 96] SALOMON, Ralf & VAN HEMMEN, Leo. Accelerating Backpropagation through
Dynamic Self-Adaptation. Neural Networks, vol.9(4), pp.589-601, Pergamon Press. 1996.
[Samad 92] SAMAD, T. Hybrid Distributed/Local Connectionist Architectures. In: Hybrid Architectures
For Intelligent Systems, A. Kandel and G. Langholz (Eds.), Boca Raton - CRC Press. 1992.
[Stuckelberg 96] STCKELBERG, M. & HILARIO, M. Declarative Heuristics for Neural Network
Design. In:. Proceedings of the ECAI'
96 Workshop - Neural Networks & Structured Knowledge.
Budapest, Hungary, August 1996.
[Sulzberger 93] SULZBERGER, S.; Tschichold-Gurman, N.; VESTLI, S. FUN: Optimization of Fuzzy
Rule Based Systems Using Neural Networks. IEEE Conference on Neural Networks, San Francisco,
U.S.A. April 1993.
Web: http://www.cs.cmu.edu/afs/cs/project/ai-repository/ai/areas/fuzzy/ systems/flie/
[Sun 95] SUN, Ron. (Ed.) Integrating Rules and Connectionism for Robust Commonsense Reasoning.
John Wiley and Sons, 1995.
[Sun 95a] SUN, Ron. Robust Reasoning: Integrating Rule-Based and Similarity-Based Reasoning.
Artificial Intelligence Journal. June 1995. Web: http://www.cs.ua.edu/sun/
[Towell 91] TOWELL, Geoffrey. Symbolic Knowledge and Neural Networks: Insertion, Refinement and
Extraction. Ph.D. Thesis, Computer Science Dept., University of Wisconsin-Madison, U.S.A. 1991. Web:
http://www.cs.wisc.edu/~shavlik/uwml.html
Ftp: ftp://ftp.cs.wisc.edu/ machine-learning/shavlik-group/ (towell.thesis.*.ps)
[Towell 93] TOWELL, G. & SHAVLIK, J. Extracting Refined Rules From Knowledge-Based Neural
Nets. Machine Learning, Kluwer Academic Publishers, Boston, pp.71-101, 13 (1993).
Web: http://www.cs.wisc.edu/~shavlik/uwml.html .
Ftp: ftp://ftp.cs.wisc.edu/machine-learning/shavlik-group/towell.mlj93.ps
[Towell 94] TOWELL, G. & SHAVLIK, J. Knowledge-Based Artificial Neural Networks. Artificial
Intelligence Journal, 70, pp.119-165. Elsevier Publishing, 1994.
Web: http://www.cs.wisc.edu/~shavlik/uwml.html
Ftp: ftp://ftp.cs.wisc.edu/machine-learning/shavlik-group/towell.aij93.ps
[Utgoff 88] UTGOFF, Paul. Perceptron Trees: A case study in hybrid concept representations. In:
Proceedings of the Seventh National Conference on Artificial Intelligence, St. Paul, MN. Morgan
Kaufmann Publishing. 1988.
3. Sistemas Hbridos F.Osrio ENIA99 Pg.60