27/1/2014

Armazm de dados Wikipdia, a enciclopdia livre

Armazm de dados
Origem: Wikipdia, a enciclopdia livre.

(Redirecionado de Data warehouse ) Um armazm de dados, ou ainda depsito de dados , um sistema de computao utilizado para armazenar informaes relativas s atividades de uma organizao em bancos de dados, de forma consolidada. O desenho da base de dados favorece os relatrios, a anlise de grandes volumes de dados e a obteno de informaes estratgicas que podem facilitar a tomada de deciso. O data warehouse possibilita a anlise de grandes volumes de dados, coletados dos sistemas transacionais (OLTP). So as chamadas sries histricas que possibilitam uma melhor anlise de eventos passados, oferecendo suporte s tomadas de decises presentes e a previso de eventos futuros. Por definio, os dados em um data warehouse no so volteis, ou seja, eles no mudam, salvo quando necessrio fazer correes de dados previamente carregados. Os dados esto disponveis somente para leitura e no podem ser alterados. A ferramenta mais popular para explorao de um data warehouse a Online Analytical Processing OLAP ou Processo Analtico em Tempo Real, mas muitas outras podem ser usadas. Os data warehouse surgiram como conceito acadmico na dcada de 80. Com o amadurecimento dos sistemas de informao empresariais, as necessidades de anlise dos dados cresceram paralelamente. Os sistemas OLTP no conseguiam cumprir a tarefa de anlise com a simples gerao de relatrios. Nesse contexto, a implementao do data warehouse passou a se tornar realidade nas grandes corporaes. O mercado de ferramentas de data warehouse, que faz parte do mercado de Business Intelligence, cresceu ento, e ferramentas melhores e mais sofisticadas foram desenvolvidas para apoiar a estrutura do data warehouse e sua utilizao. Atualmente, por sua capacidade de sumarizar e analisar grandes volumes de dados,o data warehouse o ncleo dos sistemas de informaes gerenciais e apoio deciso das principais solues de business intelligence do mercado.

ndice
1 Arquitetura data warehouse 1.1 O armazenamento 1.2 Modelagem multidimensional 1.3 Metadado
http://pt.wikipedia.org/wiki/Data_warehouse 1/7

27/1/2014

Armazm de dados Wikipdia, a enciclopdia livre

2 Extrao de dados 3 Ferramentas 3.1 OLTP 3.2 OLAP 3.3 Data mining 4 Exemplo terico 5 Notas 6 Referncias 7 Ver tambm 8 Ligaes externas

Arquitetura data warehouse

O armazenamento
O armazenamento se d num depsito nico, que seja de rpido acesso para as anlises. Tal armazenamento conter dados histricos advindos de bancos de dados transacionais que servem como backend de sistemas como ERPs e CRMs. Quanto mais dados do histrico das operaes da empresa, melhor ser para que a anlise destas informaes reflita o momento da empresa.

Modelagem multidimensional
Os sistemas de base de dados tradicionais utilizam a normalizao 1 do formato de dados para garantir consistncia dos dados, minimizao do espao de armazenamento necessrio e diminuio (reduo) de redundncias, que devem ser verificadas antes da concluso do modelo de dados. Entretanto, algumas transaes e consultas em bases de dados normalizadas podem se tornar lentas devido s operaes de juno entre tabelas (JOIN). Um data warehouse utiliza dados em formato de-normalizados2 . Isto aumenta o desempenho das consultas e como benefcio adicional, o processo torna-se mais intuitivo para os utilizadores 3 comuns. Essa maneira de reordenar os dados chama-se Modelagem Dimensional, e o resultado da modelagem o Modelo Dimensional, ou MD.

Metadado
http://pt.wikipedia.org/wiki/Data_warehouse 2/7

27/1/2014

Armazm de dados Wikipdia, a enciclopdia livre

O conceito metadado considerado como sendo os "dados sobre dados", isto , os dados sobre os sistemas que operam com estes dados. Um repositrio de metadados uma ferramenta essencial para o gerenciamento de um Data Warehouse no momento de converter dados em informaes para o negcio. Entre outras coisas, um repositrio de metadados bem construdo deve conter informaes sobre a origem dos dados, regras de transformao, nomes e alias, formatos de dados, etc. Ou seja, esse "dicionrio" deve conter muito mais do que as descries de colunas e tabelas: deve conter informaes que adicionem valor aos dados. Tipo de informao considerada metadado Os metadados so utilizados normalmente como um dicionrio de informaes e, sendo assim, devem incluir: origem dos dados - todo elemento de dado precisa de identificao, sua origem ou o processo que o gera; esta identificao muito importante no caso da necessidade de saber informaes sobre a fonte geradora do dado; esta informao deve ser nica, ou seja, cada dado deve ter uma e somente uma fonte de origem; fluxo de dados - todo elemento de dado precisa ter identificado os fluxos nos quais sofre transformaes; importante saber que dados servem de base para que processos sejam executados; formato dos dados - todo elemento de dados deve ter identificado seu tamanho e tipo de dado; nomes e alias - todo elemento de dados deve ser identificado por um nome; este nome pode ser da rea de negcios ou um nome tcnico; no caso de serem usados alias para os nomes, pode-se ter os dois; devem existir padres para criao de nomes e alias (ex.: convenes para abreviaes), evitando assim ambiguidades; definies de negcio - estas definies so as informaes mais importantes contidas nos metadados; cada elemento de dado deve ser suportado por uma definio do mesmo no contexto da rea de negcio; o mtodo de manuteno destas informaes tambm deve ser muito consistente, de forma que o usurio possa obter facilmente definies para as informaes desejadas; nestas definies devem ser evitadas referncias a outros metadados que necessitem de uma segunda pesquisa para melhor entendimento; regras de transformao - so consideradas como sendo as regras de negcio codificadas; estas regras so geradas no momento da extrao, limpeza e agrupamento dos dados dos sistemas operacionais; cada regra de transformao codificada deve estar associada a um elemento de metadado; se mais de uma aplicao contiver a mesma regra de transformao, dever ser garantido que estas sejam idnticas; atualizao de dados - o histrico das atualizaes normalmente mantido pelo prprio banco de dados, mas definir um elemento de metadado, indicando as datas de atualizao dos dados, pode ajudar o usurio no momento de verificar a atualidade dos dados e a consistncia da dimenso tempo do data warehouse; requisitos de teste - identifica os critrios de julgamento de cada elemento de dado; valores possveis e intervalos de atuao; deve conter tambm padres para procedimentos de teste destes dados; indicadores de qualidade de dados - podem ser criados ndices de qualidade baseados na origem do dado, nmero de processamentos feito sobre este dado, valores atmicos X valores sumariados 4 , nvel de utilizao do dado, etc; triggers automticos - podem existir processos automticos associados aos metadados definidos; estes processos ou triggers devem estar definidos de
http://pt.wikipedia.org/wiki/Data_warehouse 3/7

27/1/2014

Armazm de dados Wikipdia, a enciclopdia livre

forma que possam ser consultados por usurio e desenvolvedores, para que os mesmos no venham a criar situaes conflitantes entre as regras definidas nestes processos; responsabilidade sobre informaes - deve ser identificado o responsvel por cada elemento de dados do data warehouse e tambm o responsvel pela entrada de metadados; acesso e segurana - os metadados devem conter informao suficiente para que sejam determinados os perfis de acesso aos dados; deve-se poder identificar que usurios podem ler, atualizar, excluir ou inserir dados na base; deve haver, tambm, informaes sobre quem gerencia estes perfis de acesso e como se fazer contato com o administrador da base de dados. Data marts O data warehouse normalmente acedido 5 atravs de data marts, que so pontos especficos de acesso a subconjuntos do data warehouse. Os data marts so construdos para responder provveis perguntas de um tipo especfico de usurio 6 . Por exemplo: um data mart financeiro poderia armazenar informaes consolidadas dia a dia para um usurio gerencial e em periodicidades maiores (semana, ms, ano) para um usurio no nvel da diretoria. Um data mart pode ser composto por um ou mais cubos de dados. Hoje em dia, os conceitos de data warehouse e data mart fazem parte de um conceito muito maior chamado de Corporate Performance Management .

Extrao de dados
Os dados introduzidos num data warehouse geralmente passam por uma rea conhecida como rea de stage. O stage de dados ocorre quando existem processos peridicos de leitura de dados de fontes como sistemas OLTP. Os dados podem passar ento por um processo de qualidade, de normalizao 7 e gravao dos dados no data warehouse. Esse processo geralmente realizado por ferramentas ETL e outras ferramentas.

Ferramentas
OLTP
Sistemas OLTP (do ingls,on-line transaction processing): so sistemas que tm a tarefa de monitorar e processar as funes bsicas e rotineiras de uma organizao, tais como processamento da folha de pagamento, faturamento, estoque, etc. Os fatores crticos de sucesso para este tipo de sistema so: alto grau de preciso, integridade a nvel transacional e produo de documentos em tempo hbil. Os dados transacionais OLTP so usados pelos usurios em geral no dia-a-dia em seus processos e transaes, gravao e leitura.Ex: consulta de estoque, registro de vendas.8
http://pt.wikipedia.org/wiki/Data_warehouse 4/7

27/1/2014

Armazm de dados Wikipdia, a enciclopdia livre

O principal objetivo da modelagem relacional em um sistema OLTP eliminar ao mximo a redundncia, de tal forma que uma transao que promova mudanas no estado do banco de dados, atue o mais pontualmente possvel. Com isso, nas metodologias de projeto usuais, os dados so fragmentados por diversas tabelas (normalizados), o que traz uma considervel complexidade formulao de uma consulta por um usurio final. Por isso, esta abordagem no parece ser a mais adequada para o projeto de um data warehouse, onde estruturas mais simples, com menor grau de normalizao devem ser buscadas. (KIMBALL,2002)9 .

OLAP
As ferramentas OLAP (do ingls, Online Analytical Processing) so geralmente desenvolvidas para trabalhar com banco de dados normalizados10 , embora existam ferramentas que trabalham com esquemas especiais de armazenamento, com dados (informaes) normalizados. Essas ferramentas so capazes de navegar pelos dados de um Data Warehouse, possuindo uma estrutura adequada tanto para a realizao de pesquisas como para a apresentao de informaes. Nas ferramentas de navegao OLAP, possvel navegar entre diferentes nveis de granularidades (detalhamento) de um cubo de dados. Atravs de um processo chamado Drill o usurio pode diminuir (Drill up11 ) ou aumentar (Drill down12 ) o nvel de detalhamento dos dados. Por exemplo, se um relatrio estiver consolidado por pases, fazendo um Drill down12 , os dados passaro a ser apresentados por estados, cidades, bairros e assim sucessivamente at o maior nvel de detalhamento possvel. O processo contrrio, o Drill up11 , faz com que os dados sejam consolidados em nveis superiores de informao. Outra possibilidade apresentada pela maioria das ferramentas de navegao OLAP o recurso chamado Slice and dice. Esse recurso usado para criar vises dos dados por meio de sua reorganizao, de forma que eles possam ser examinados sob diferentes perspectivas. O uso de recursos para manipular, formatar e apresentar os dados de modo rpido e flexvel um dos pontos fortes de um data warehouse. Essa caracterstica faz com que a apresentao de relatrios na tela13 seja mais comum do que imprimi-los. Alm disso, o usurio14 tem liberdade para examinar as informaes que quiser de diversas maneiras e, ao final, pode imprimir e at mesmo salvar as vises mais importantes para uma futura consulta.

Data mining
Data mining, ou minerao de dados, o processo de descoberta de padres existentes em grandes massas de dados. Apesar de existirem ferramentas que ajudam na execuo do processo, o data mining no tem automatizao simples (muitos discutem se sequer factvel) e precisa ser conduzido por uma pessoa, preferencialmente com formao em Estatstica ou reas afins.

Exemplo terico
Um site de vendas quer que o seu cliente, ao entrar no site, veja produtos similares aos que ele j havia comprado ou olhado. Ento ele dever armazenar a trajetria do cliente pelo site para que consiga traar o perfil do cliente.
http://pt.wikipedia.org/wiki/Data_warehouse 5/7

27/1/2014

Armazm de dados Wikipdia, a enciclopdia livre

Notas
1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. Pode-se usar tambm o termo "padronizao" Formato livre, sem padro definido. No Brasil, comum usar o termo "desnormalizados" No Brasil,usa-se o termo "usurio" No Brasil, o termo equivale a "sintetizados". No Brasil, esse termo no usado. O termo usado "acessado"(do verbo acessar). Em Portugal, o termo usado "utilizador". Mudana de padro ou norma de organizao. Fonte: Vaisman (1998, p. 5) KIMBALL, 2002 Erro de citao: Tag < r e f >invlida; no foi fornecido texto para as refs chamadas n o r m a l i z a d o s a b Detalhar, expor minuciosamente a b sumarizar, condensar, resumir em Portugal:Ecran em Portugal: utilizador

Referncias
Kimball, Ross. "The Data Warehouse Toolkit: The Complete Guide to Dimensional Modeling (Second Edition)", Wiley, 2002. ISBN 0471200247. Kimball, et al. "The Data Warehouse Lifecycle Toolkit", Wiley, 1998. ISBN 0471255475. Kimball, Caserta. "The Data Warehouse ETL Toolkit", Wiley. 2004. ISBN 0764567578.

Ver tambm
Sistemas de informao Banco de Dados Business intelligence OLAP Arquitetura de dados Administrao de dados Modelagem de dados
http://pt.wikipedia.org/wiki/Data_warehouse 6/7

27/1/2014

Armazm de dados Wikipdia, a enciclopdia livre

Apache Hive Data mining Cincia da Computao Planejamento de recursos empresariais ou ERP

Ligaes externas
Implementao de Data Warehouse para Pequenas Empresas: Estudo de Caso para o Setor de Distribuio de Medicamentos (http://www.scribd.com/doc/36506952/IMPLEMENTACAO-DE-DATA-WAREHOUSE-PARA-PEQUENAS-EMPRESAS-ESTUDO-DE-CASOPARA-O-SETOR-DE-DISTRIBUICAO-DE-MEDICAMENTOS) Obtida de "http://pt.wikipedia.org/w/index.php?title=Armazm_de_dados&oldid=37849022" Categorias: Engenharia de software Administrao de dados Data warehouse Inteligncia empresarial CRM Esta pgina foi modificada pela ltima vez (s) 02h54min de 6 de janeiro de 2014. Este texto disponibilizado nos termos da licena Atribuio-Partilha nos Mesmos Termos 3.0 no Adaptada (CC BY-SA 3.0); pode estar sujeito a condies adicionais. Consulte as condies de uso para mais detalhes.

http://pt.wikipedia.org/wiki/Data_warehouse

7/7