Universidade Federal de Minas Gerais

Instituto de Cincias Exatas Departamento de Cincia da Computao

Projeto Orientado em Computao I Medidas de interesse para avaliao de padres em sistemas de minerao de dados: um estudo comparativo

Luiz Henrique Valle Xavier loius@dcc.ufmg.br

Orientador: Wagner Meira Jnior meira@dcc.ufmg.br

Belo Horizonte MG 14 de dezembro de 2004

Resumo Este trabalho faz um estudo das medidas de interesse utilizadas na avaliao de regras de associao em sistemas de minerao de dados. Devido ao enorme nmero de padres descobertos pelos algoritmos de minerao de regras de associao fundamental que se adote algum mecanismo automtico que auxilie os usurios desses sistemas a encontrar os padres realmente interessantes e descartar o que redundante, bvio ou desinteressante. As medidas de interesse atuam nesse contexto. Neste trabalho so descritas dez medidas largamente conhecidas na literatura. Estas so comparadas em termos de oito propriedades intrnsecas s medidas de interesse. As principais contribuies deste trabalho so: levantamento de 10 medidas de interesse que obedecem diferentes propriedades e que, no conjunto, podem ser adequadas a um grande leque aplicaes; identificao de propriedades que permitam classificar as medidas; produo de um material que poder ser utilizado como base para auxiliar a implantao de medidas de interesse em sistemas de minerao de dados.

1. Introduo
A popularizao dos sistemas de tecnologia da informao tem contribudo bastante com o gerenciamento das organizaes. Uma das vantagens desses sistemas a facilidade de coleta e armazenagem de dados utilizando tecnologias de bancos de dados. A existncia de uma enorme quantidade de dados armazenados tornou natural que se desejasse utilizar um sistema computacional para analisar esses dados de forma a encontrar informaes implcitas, o que permitiria a descoberta de conhecimentos no triviais. A esse modelo de anlise chamamos de descoberta do conhecimento em bases de dados tambm conhecido como minerao de dados. Numa arquitetura tpica desses sistemas, um dos principais componentes o que cuida da avaliao de padres. O processo de minerao de dados propriamente dito consiste em utilizar tcnicas para extrair padres de uma massa de dados e esses padres devem ser classificados como interessantes ou no interessantes. Os padres interessantes so denominados conhecimento e os padres no interessantes so desprezados. Com isso, uma rea de pesquisa bastante ativa em minerao de dados a que trata das medidas de interesse para a classificao dos padres.

Neste trabalho so estudadas 10 medidas de interesse. Essas medidas so apresentadas, descritas e em seguida comparadas, analisando suas caractersticas e algumas propriedades intrnsecas s medidas de interesse. Esse documento est organizado da seguinte forma: a seo 2 descreve a arquitetura de um sistema de minerao de dados, localizando os mdulos onde as medidas de interesse so utilizadas. A seo 3 apresenta as medidas de interesse estudadas, mostra como so utilizadas e por que, numa tarefa de minerao de dados, importante escolher medidas de interesse adequadas. Na seo 4.1 as medidas estudadas so apresentadas e descritas. Na 4.2, so definidas as propriedades bsicas que uma medida deve apresentar alm de outras propriedades que sero utilizadas nesse estudo. A seo 4.3 apresenta um quadro comparativo entre as medidas. A seo 5 mostra alguns trabalhos relacionados. As concluses e trabalhos futuros so discutidos na seo 6. Finalmente a seo 7 apresenta as referncias utilizadas na elaborao deste texto.

2. Descoberta do Conhecimento em Bases de Dados

Minerao de dados lembra a atividade clssica de minerao de metais e pedras preciosas. O minerador trabalha exaustivamente com uma grande quantidade de terra e cascalho e, aps aplicar diversas tcnicas, extrai materiais que podem ou no ser valiosos. Da mesma forma, na minerao de dados, uma enorme quantidade de dados analisada na tentativa de encontrar automaticamente padres, mudanas, associaes, seqncias e anomalias. Na minerao clssica o minerador, utilizando de sua experincia e conhecimento tcnico, sabe com alguma preciso quando encontrou um material valioso ou no. A minerao de dados tambm se utiliza de tcnicas para avaliar os padres que so interessantes e os que no so. Um padro classificado como interessante constitui um conhecimento. A arquitetura tpica dos sistemas de minerao de dados tem os seguintes componentes:

Banco de Dados, armazm de dados ou outro repositrio de informao: algum local onde ficam armazenados os dados, que devem ser tratados com tcnicas como limpeza e integrao de dados.

Servidor de armazm de dados ou de banco de dados: o servidor de banco de dados ou armazm de dados responsvel pela recuperao de dados relevantes baseada na requisio do usurio de minerao de dados.

Base de conhecimentos: a base de conhecimentos que usada para guiar a pesquisa e avaliar o interesse dos padres resultantes. Dessa forma, conhecimento pode incluir noo de hierarquia, utilizada para organizar atributos ou valores de atributos em diferentes nveis de abstrao. Conhecimento como opinies de usurios que podem ser utilizadas para avaliar o interesse dos padres tambm pode ser includo. Outros exemplos de base de conhecimentos so os limites e restries das medidas de interesse e metadados.

Mecanismo de minerao de dados: o elemento principal do sistema de minerao de dados e idealmente consiste de um conjunto mdulos funcionais para tarefas como caracterizao, associao, classificao, anlise de

agrupamentos e anlises de desenvolvimento e divergncia. Mdulo de avaliao de padres: esse componente tipicamente emprega as medidas de interesse e interage com o mecanismo de minerao de dados de forma a focar a pesquisa em direo aos padres interessantes. Pode usar princpios de avaliao do interesse para filtrar os pades descobertos. Para uma minerao de dados eficiente, altamente recomendvel aprofundar a avaliao de padres o mximo possvel, de forma a confinar a pesquisa apenas aos padres interessantes. Apresentao Grfica: neste mdulo os usurios podem interagir com o sistema de minerao de dados, especificando tarefas ou consultas de minerao de dados e provendo informaes para focar a pesquisa nos padres interessantes. Este componente tambm permite ao usurio acessar esquemas do banco de dados, avaliar padres minerados e visualizar os padres de diferentes formas. Essa arquitetura um modelo de referncia. Com isso, a implementao de um sistema de minerao de dados no segue necessariamente esse modelo. Por exemplo, pode ser que um determinado sistema apresente o mdulo de avaliao de padres 4

integrado ao mecanismo de minerao de dados. De qualquer forma, o foco desse trabalho no mdulo ou na funco de avaliao de padres, pois onde as medidas de interesse atuam. A figura 1 representa esquematicamente a arquitetura de um sistema de descoberta do conhecimento em bases de dados.

Apresentao grfica para o usurio

Avaliao de padres

Mecanismo de minerao de Dados

Base de conhecimentos

Servidor de banco de dados e de armazns de dados Limpeza e Integrao dos Dados Filtragem

Bases de Dados

Armazns de Dados

Figura 1: Arquitetura tpica de um sistema de descoberta do conhecimento em bases de dados.

3. Medidas de interesse
Para determinar a funo de minerao de dados a ser executada, importante especificar o tipo de conhecimento a ser minerado. Os tipos de conhecimentos incluem: descrio conceitual, associao, classificao, previso, agrupamento e anlise evolutiva. O escopo desse trabalho se limita s associaes.

A minerao de regras de associao encontra relacionamentos correlacionados em conjuntos muito grandes de dados. As regras de associaes so sentenas de implicaes que relacionam conjuntos de itens de uma base de dados. A minerao de regras de associao produz os padres. As medidas de interesse avaliam os padres encontrados, classificando-os como interessantes ou no, de acordo com a tarefa sendo realizada. Os padres descobertos podem ser apresentados na forma de tabelas de contingncia (tabela 1). Essa tabela representa a regra de associao A B em termos da contagem de elementos dos conjuntos de itens A e B e suas ausncias. Alm disso, essa representao mostra os somatrios de cada linha e coluna e o total de elementos. Com isso, diversas informaes so apresentadas de forma sinttica e de fcil compreenso. Esse o tipo de representao de regras de associao adotado neste trabalho.
B A

f11 : suporte de A e B f1+

f 0+ f10 : suporte de A e B f 01 : suporte de A e B f 00 : suporte de A e B

f11
f 01

f10 f 00 f +0

f +1

Tabela 1: Tabela de contingncia para as variveis A e B.

3.1.

Classificao de medidas de interesse

As medidas de interesse podem ser objetivas ou subjetivas. As medidas objetivas avaliam o grau de interesse de um padro em termos de sua estrutura e dos dados utilizados no processo de descoberta, sendo independentes do domnio. Em grande parte so frmulas estatsticas bem conhecidas e so utilizadas como filtros que classificam padres potencialmente interessantes descobertos pelos algoritmos de minerao de dados. As medidas subjetivas no dependem apenas da estrutura da regra descoberta ou dos dados utilizados no processo, mas tambm do usurio que a examina, ou seja, uma regra pode ser interessante para uma pessoa e para outra no. Essas medidas esto fortemente ligadas dependncia do domnio. Silberchatz [6] identifica duas razes principais para considerar um padro como interessante do ponto de vista

subjetivo do usurio: a aplicabilidade e a surpresa. A funcionabilidade diz que um padro ser interessante se o usurio pode fazer algo com ele em seu benefcio. A surpresa diz que um padro ser interessante se for surpreendente para o usurio. Este trabalho est focado nas medidas de interesse objetivas.

3.2.

Avaliao de padres

O processo de minerao de dados geralmente produz um enorme nmero de padres. Tipicamente, apenas uma pequena frao desses padres ser realmente interessante a um dado usurio. Com isso ele precisa limitar o nmero de padres desinteressantes retornados pelo processo. Essa limitao pode ser atingida atravs da especificao de medidas de interesse que avaliam a clareza, a exatido, a utilidade e a novidade dos padres. A seguir, para ilustrar como as medidas de interesse funcionam, so apresentadas duas que so muito utilizadas: confiana e suporte. Essas medidas para regras de associao so da forma A B, onde A e B so conjuntos de itens. Dado um conjunto de tuplas de dados minerados, confiana e suporte so assim definidos: confiana (A B) = nmero de tuplas que contm ambos, A e B nmero de tuplas que contm A suporte (A B) = nmero de tuplas que contm ambos, A e B nmero total de tuplas O exemplo a seguir ilustra uma utilizao dessas medidas:
Suponha que um conjunto de dados minerados consista de itens vendidos pelo setor de informtica de uma grande loja. Considerando a regra de associao e as medidas de interesse abaixo: compra (X, computador) compra (X, software) confiana 85% suporte 30%

analisamos esses resultados da seguinte forma: uma confiana de 85% significa que 85% de todos os consumidores que compraram computador tambm adquiriram software. Para a mesma regra de associao, uma medida de suporte de 30% significa que 30% de todos os consumidores da empresa compraram tanto computador quanto software.

Regras de associao que satisfazem limites mnimos especificados pelo usurio das medidas suporte e confiana so reconhecidas como regras de associao fortes e podem ser consideradas interessantes. Regras onde a medida suporte baixa provavelmente representa rudo ou casos raros ou excepecionais. Na literatura so descritas vrias medidas de interesse alm dessas. A escolha da medida mais indicada para um determinado caso de minerao de dados vai determinar uma maior eficincia do processo, uma vez que possibilitar que o mecanismo de minerao de dados avalie apenas os padres potencialmente interessantes descartando os demais.

4. Anlise das medidas de interesse

Neste trabalho foram analisadas 10 medidas objetivas de interesse para regras de associao bem conhecidas na literatura. O mtodo de anlise adotado inclui a definio das medidas em termos de suas formulaes matemticas, explicao sumria das caractersticas avaliadas por cada medida e as propriedades que elas atendem. A importncia da pesquisa envolvendo as vrias medidas conhecidas na literatura pode ser percebida pelo fato de que muitas medidas produzem informao conflitante em relao ao grau de interesse de um dado padro. Dessa forma, a melhor mtrica a ser utilizada raramente conhecida. Isso ocorre porque nem todas medidas atuam da mesma forma ao capturar as relaes de dependncia entre as variveis. Com isso, nao existe uma medida de interesse que seja sempre melhor que as outras para todos os domnios de aplicaes. A seleo da medida mais indicada para um dado domnio pode ser um problema bastante complexo. Cada medida possui propriedades intrnsecas e essas propriedades devem ser consideradas ao analis-la, sendo responsveis pela forma como os padres so classificados.

4.1.

Definies das medidas estudadas

A tabela 2 apresenta as medidas de interesse estudadas juntamente com as frmulas que as definem.
N 1 2 3 Medida Suporte Confiana Fator de Interesse Cosseno Frmula

P ( A, B ) P ( B | A)

P( A, B) P( A) P( B)

P( A, B) P( A) P( B)
P ( A, B ) P ( A) P ( B )

5 6

PiatetskyShapiro Convico

P( A) P( B) P( A, B)

Coeficiente

P( A, B) P( A) P( B) P( A) P( B )(1 P( A))(1 P( B))

Coeficiente (GoodmanKruskal) Informao Mtua

max
j

P( A j , Bk ) + k max j P( A j , Bk ) max j P ( A j ) max k P( Bk ) 2 max j P( A j ) max k P( Bk )

P( Ai , B j ) P( Ai , B j ) log P ( A ) P( B ) i j i j P( Ai ) log(P( Ai ) )
i

10 Razo de Desigualdade

P( A, B) P( A, B) P( A, B) P( A, B)

Tabela 2: Definies das medidas de de interesse estudadas.

As caractersticas de cada medida so as seguintes: Suporte a medida mais importante. Sua caracterstica principal a medida da significncia de um padro em relao ao total de dados do domnio. Limites apropriados do suporte devem ser escolhidos cuidadosamente para que a poda baseada em suporte no remova muitos padres interessantes. Suporte obedece uma importante propriedade conhecida como anti-monotonia, que significa que o suporte de um

conjunto de itens nunca maior que o suporte de seus subconjuntos. Devido a essa propriedade o suporte utilizado para desenvolver eficientes algoritmos de minerao de padres.

Confiana Outra medida largamente utilizada. Uma vez que mede a probabilidade condicional de uma varivel, o valor dessa medida quantifica a fora de uma regra de associao. A confiana pode produzir regras enganosas, especialmente quando associada a um alto suporte do conjunto de itens. Isso ocorre numa regra em que a confiana, dada por P(B|A) alta, mas P(B) consideravelmente maior do que P(A), com isso, o alto valor da confiana no significa uma informao relevante e sim uma distoro matemtica.

Fator de Interesse Essa medida relaciona a probabilidade conjunta das variveis avaliadas com as suas probabilidades independentes. A contribuio principal dessa medida avaliar o quanto a presena do antecedente influencia na ocorrncia do conseqente numa implicao do tipo A B.

Cosseno uma medida que possui vrias propriedades desejveis de uma medida de interesse (seo 4.2). Devido a sua derivao das medidas fator de interesse e suporte, uma medida que leva em conta o grau de interesse e a significncia de um padro.

Piatetsky-Shapiro Proposta por Piatetsky-Shapiro em [7], essa medida avalia o quanto a ocorrncia efetiva das variveis difere do valor esperado.

10

Convico uma verso assimtrica do fator de interesse. Com isso sua frmula prov um meio assimtrico de testar a independncia entre A e B. Convico diferente de confiana porque no sofre do mesmo problema de produo de regras enganosas.

Coeficiente muito utilizada para testar o grau da correlao entre as variveis. Se o valor da medida for igual a zero, as variveis so independentes. Se for menor do que zero, a correlao negativa e se for maior do que zero a correlao ser positiva.

Coeficiente Essa medida desenvolvida por Goodman e Kruskal baseada na seguinte observao: se duas variveis so altamente dependentes, ento o erro na previso de uma varivel deve ser pequeno sempre que a outra varivel conhecida.

Informao mtua Derivada da teoria da informao, est relacionada entropia de uma varivel. Essa medida anloga varincia estatstica. Quando as probabilidades so igualmente espalhadas entre os valores de uma varivel, ento a entropia ser alta e vice-versa. Da extenso desse conceito deriva-se a fmula dessa medida que quantifica a reduo na inexatido de uma varivel quando uma segunda varivel B conhecida. Essa medida simtrica em relao tanto a A quanto a B.

Razo de desigualdade importante pois observa quase todas propriedades apresentadas nesse trabalho.

11

4.2.

Propriedades de uma medida de interesse

Piatetsky-Shapiro props em [7] que uma boa medida de interesse M deve satisfazer a trs propriedades fundamentais: 1 Propriedade Fundamental (PF-1) M=0 se A e B so estatisticamente independentes, ou seja, P(A,B)=P(A)P(B). 2 Propriedade Fundamental (PF-2) M cresce monotonicamente com P(A,B) quando todos os outros parmetros, P(A) e P(B), permanecem os mesmos. 3 Propriedade Fundamental (PF-3) M decresce monotonicamente com P(A) (ou P(B)) quando o restante dos parmetros, P(A,B) e P(B) (or P(A)) permenecem os mesmos.

A primeira propriedade garante que os padres que ocorrem nessa possibilidade no tm nenhum valor em termos de interesse. A segunda propriedade diz que o interesse deve ser maior para padres que possuem maior significncia estatstica. A terceira propriedade utilizada para comparar o interesse de padres com significncia estatstica equivalente. O padro que precisa de maior cobertura (P(A) ou P(B)) para alcanar o mesmo grau de significncia menos interessante que o padro com menor cobertura. Outras propriedades so encontradas na literatura. Para efeito de estudo, nesse trabalho adotamos ainda as seguintes propriedades adicionais:

Simetria sob permutao varivel (PA-1) Uma medida simtrica sob permutao varivel se e somente se a matriz M definida pela tabela de contingncia for igual sua transposta, caso contrrio a medida dita assimtrica.
B A

p r

B q

p q

A r

Tabela 3: Operao de permutao varivel.

12

Medidas assimtricas so utilizadas em regras de implicao em que necessrio distinguir a fora da regra A B da regra B A.

Invarincia sob mudana de escala de linha e/ou coluna (PA-2) O exemplo abaixo proposto por Mosteller mostra essa propriedade no caso do relacionamento entre homens ou mulheres e o nvel de notas numa escola. Nesse caso as duas tabelas so equivalentes, pois a associao implcita entre as variveis permanece a mesma, apesar da diferena relativa entre a contagem das variveis.
Homem Mulher Alta Baixa Homem Mulher

2 1 3

3 4 7

5 5 10

Homem x2 Mulher x10

Alta Baixa

4 2 6

30 40 70

34 42 76

Tabela 4: Operao de mudana de escala em linha e/ou coluna.

Antissimetria sob permutao de linha e/ou coluna (PA-3) Uma medida M antissimtrica sob permutao de linha e/ou coluna se M = M qunado ocorrer uma permutao de linha ou de coluna.
B A

p r

B q

r p

B s

Tabela 5: Operao de permutao de linha.

Medidas simtricas sob a operao permutao de linha e coluna no so capazes de distinguir entre correlaes positivas e negativas e deve-se ter cuidado ao utiliz-las na avaliao do interesse de um padro.

13

Invarincia sob Inverso (PA-4) Uma medida M invariante sob operao de inverso quando M = Mi.
B A

p r

B q

s q

B r

Tabela 6: Operao de inverso.

Se o valor da medida for o mesmo para as duas matrizes em todas as tabelas de contingncia, ento a medida invariante sob a operao de inverso. Essa propriedade permite distinguir entre medidas binrias simtricas, que so invariantes sob a operao de inverso, das medidas binrias assimtricas.

Invarincia sob adio nula (PA-5) Uma medida invariante sob a operao de adico nula se M = M.
B A

p r

B q

p r

B q

k uma constante positiva.

s+k

Tabela 7: Operao de adio nula.

No caso de variveis binrias, essa operao corresponde adio de mais registros que no contm as duas variveis analisadas. Essa propriedade til em domnios que contm conjuntos de dados esparsos, onde a co-presena de itens mais importante que a co-ausncia.

4.3.

Anlise das medidas em relao s propriedades

A tabela 8, extrada de [2], mostra o comportamento de cada medida estudada em relao s propriedades descritas anteriormente. Nessa tabela as propriedades fundamentais e as propriedades adicionais descritas na seo 4.2 so representadas pelas colunas PF-1 a PF-3 e PA-1 a PA-5, respectivamente. Os valores sim indicam que a medida atende propriedade e os valores no indicam que a medida no atende propriedade.

14

Medida
Suporte Confiana Fator de Interesse Cosseno Piatetsky-Shapiro Convico Coeficiente Coeficiente Informao Mtua Razo de Desigualdade

PF-1 PF-2 PF-3 PA-1 PA-2 PA-3 PA-4 PA-5 NO SIM NO SIM SIM SIM NO SIM NO NO NO NO

NO NO NO NO NO SIM SIM SIM SIM SIM SIM SIM NO NO NO NO NO NO NO SIM NO SIM SIM NO NO NO NO NO NO

NO SIM SIM SIM

NO SIM SIM SIM SIM SIM SIM

NO NO NO NO SIM SIM SIM NO SIM SIM

NO NO SIM SIM SIM SIM SIM

NO NO SIM

NO NO NO SIM SIM SIM SIM SIM

Tabela 8: Comportamento das medidas em relao s propriedades

5. Trabalhos relacionados
Uma referncia muito citada pelos pesquisadores o artigo [2] onde feita uma anlise de medidas de interesse, uma descrio de dois cenrios em que vrias medidas concordam entre si e a proposta de um algoritmo que seleciona, dentro de uma base muito maior, um pequeno conjunto de padres que podem ser classificados por um especialista de forma a classific-los e permitir a escolha de uma medida ao comparar com as diversas classificaes produzidas por cada medida de interesse disponvel. Em [3], Tan e Kumar apresentam uma comparao quantitativa utilizando algumas das medidas aqui analisadas. Os grficos apresentados mostram as correlaes das medidas em relao a uma medida adotada como base, no caso o coeficiente .

15

6. Concluses e trabalhos futuros

Este trabalho procurou estudar as medidas de interesse para avaliao de regras de associao. O mtodo adotado consistiu de reunir 10 medidas bem conhecida na literatura, identificar suas principais caractersticas e aplicaes e compar-las atravs do comportamento de cada uma em relao a um conjunto de propriedades bem conhecido e aceito pelos pesquisadores da rea de minerao de dados. A anlise dos resultados mostra que medidas diferentes apresentam caractersticas e propriedades diferentes. Com isso, no existe uma medida de interesse que seja mais indicada para todos os domnios de aplicao. Isso j era esperado, uma vez que o funcionamento das medidas objetivas dependente dos dados e da estrutura dos padres e dependente do domnio da aplicao. Dessa forma, algumas medidas se tornam mais desejveis para algumas aplicaes mas no para outras. Portanto, para determinar a medida de interesse correta, importante encontrar a melhor combinao de propriedades desejadas pela aplicao em relao s medidas oferecidas pela ferramenta de anlise.

6.1.

Trabalhos futuros

Este trabalho pode ser estendido atravs de uma anlise quantitativa, comparando os resultados de cada medida entre si e tambm com resultados histricos obtidos anteriormente. Uma forma de fazer isso seria a incorporao das medidas de interesse estudadas aqui no sistema de minerao de dados do projeto Tamandu desenvolvido no Departamento de Cincia da Computao da UFMG, onde seria possvel avaliar com dados reais em experimentos controlados.

16

7. Referncia Bibliogrfica
[1] [2] J. Han and M. Kamber. Data mining: concepts and techniques, Morgan Kaufmann, San Francisco, CA, 2001 P. Tan, V. Kumar, and J. Srivastava. Selecting the right interestingness measure for association patterns. In Proceedings of the Eight A CM SIGKDD International Conference on Knowledge Discovery and Data Mining, July 2002. P. Tan and V. Kumar. Interestingness Measures for Association Patterns: a Perspective. Technical Report # TR00-036, Department of Computer Science, University of Minnesota, 2000. R.J. Hilderman, H.J. Hamilton, and B. Barber. Ranking the interestingness of summaries from data mining systems. In Proceedings of the 12th International Florida Artificial Intelligence Research Symposium (FLAIRS'99), pages 100--106, Orlando, Florida, May 1999. A. A. Freitas. On rule interestingness measures. Knowledge Based Systems, vol. 12, no. 5-6, pp. 309-315, 1999. A. Silberschatz and A. Tuzhilin. What makes patterns interesting in knowledge discovery systems. Ieee Trans. On Knowledge And Data Engineering, 8:970--974, 1996. Gregory Piatetsky-Shapiro. Discovery, analysis and presentation of strong rules. In Gregory Piatetsky-Shapiro and William Frawley, editors, Knowledge Discovery in Databases, pages 229-248. MIT Press, Cambridge, MA, 1991. Marcos J. Brusso. Access Miner: uma proposta para a extrao de regras de associao aplicada minerao do uso da Web. PPGCC da UFRGS, Porto Alegre, 2000.

[3]

[4]

[5] [6]

[7]

[8]

Belo Horizonte, 14 de dezembro de 2004. _______________________________________ Luiz Henrique Valle Xavier _______________________________________ Wagner Meira Jnior

17