Journal
idias para melhores resultados
Pensando em BI global: princpios de data-warehouse para apoio de aplicativos de BI preparados para empresa Integrao BI e LOB: fechando o ciclo
Aumentar a produtividade capacitando os usurios do negcio com BI para uso sem ajuda. Insight do negcio = infraestrutura do negcio = plataforma de inteligncia do negcio
Otimizador semntico da empresa e coexistncia de modelos de dados SOAs leves: explorando padres e princpios de uma nova gerao de solues de SOA
Sumrio
Apresentao
por Diego Dagum 1
22
Pensando em BI global: princpios de depsitos de dados para apoio de aplicativos de BI preparados para empresa
por Charles Fichter
Princpios de design para suporte de uma arquitetura global de depsito de dados (DW, data-warehouse).
Aumentar a produtividade capacitando os usurios do negcio com BI para uso sem ajuda
por Ken Withee
Anlise das mais recentes ferramentas e tecnologias lanadas pela Microsoft que permitem ao usurio final usar BI sem ajuda.
15
23
31
Proposta de uma arquitetura semntica de modelo de dados corporativos dirigida a ontologia para interoperabilidade, integrao e adaptabilidade para evoluo.
SOAs leves: explorando padres e princpios de uma nova gerao de solues de SOA
por Jesus Rodriguez e Don Demsak
Uma investigao sobre como enfrentar desafios comuns das SOAs tradicionais utilizando alternativas mais escalonveis, interoperveis e geis.
36
www.architecturejournal.net
Fundador Arvindra Sehmi Diretor Lucinda Rowley Editor-Chefe Diego Dagum, Matt Valentine (editor convidado) Conselho editorial Martin Sykes, Gustavo Gattass Ayub, Gunther Lenz, Reeza Ali, Lou Carbone, Alejandro Miguel, Charles Fichter, Danny Tambs, Bob Pfeiff, Jay Gore, Bruno Aziza, Roger Toren, Alejandro Pacheco Editorial e servios de produo WASSER Studios Dionne Malatesta, Gerente de programao Ismael Marrero, Editor Dennis Thompson, Diretor de projetos Diagramao, finalizao e impresso (BR) Arthria Comunicao & Multimdia www.artheria.com.br
Apresentao
Caro Arquiteto,
esta edio, a 22 do The Architecture Journal, voc ter a nossa cobertura sobre aspectos da inteligncia de negcios (BI) dos quais, arquitetos como voc e eu, precisamos estar cientes todos os dias. Como fizemos em edies anteriores, para garantir exatido, relevncia e qualidade, convocamos um conselho de especialistas no assunto em questo para analisar o espao do problema - coletando as principais preocupaes sobre este tema de hoje. Os artigos que voc vai ler foram escolhidos com base nessas preocupaes. Vejamos quais so eles:
" Estratgia de BI corporativa: Dinesh Kumar (Microsoft) apresenta a noo de
infraestrutura do negcio a qual, com os modelos de capacidade descritos em edies anteriores do The Architecture Journal, ajudam as organizaes a no apenas obter insight do negcio, mas agir.
" Alm disso, Sundararajan PA et al. (Infosys) prope um modelo semntico de dados
resultados finais de BI so considerados scorecards e relatrios utilizados como suporte de deciso estratgica. Utilizando exemplos de implementao, Razvan Grigoroiu (Epicor) nos diz como colocar esses resultados ao alcance dos aplicativos de linha de negcio (LOB).
" Infraestrutura e desempenho: Charles Fichter (Microsoft) explica os princpios do
As informaes contidas neste Jornal de Arquitetura (Jornal) tm finalidade informativa, apenas. As matrias do Jornal no constituem a opinio da Microsoft Corporation (Microsoft) e, tampouco, so recomendaes da Microsoft; assim sendo, voc no deve confiar em nenhuma das matrias deste Jornal sem solicitar o aval de um consultor independente. A Microsoft no faz declaraes nem oferece garantias quanto exatido ou adequao para determinada finalidade de qualquer matria deste Jornal e, em nenhuma circunstncia, a Microsoft aceitar responsabilidade de qualquer tipo, inclusive responsabilidade por negligncia (salvo em caso de danos fsicos ou morte) com relao a quaisquer tipos de perdas ou danos (incluindo, limitao, os casos de perda de negcios, de receita, de lucros ou prejuzo imprevisto) resultantes do uso das informaes deste Jornal. O Jornal pode ter imprecises tcnicas e erros tipogrficos. O Jornal pode ser atualizado periodicamente e, s vezes, poder estar desatualizado. A Microsoft no se responsabiliza pela atualizao das informaes deste Jornal nem por deixar de faz-lo. Este Jornal contm matrias encaminhadas e criadas por terceiros. At o mximo permitido pela lei aplicvel, a Microsoft isenta-se de todas as responsabilidades por qualquer ilegalidade decorrente de erro, omisso ou impreciso deste Jornal ; alm disso, a Microsoft no se responsabiliza pelas matrias recebidas de terceiros. Uma lista das marcas comerciais da Microsoft Corporation pode ser encontrada neste endereo: http://www.microsoft.com/library/toolbar/3.0/trademarks/enus.mspx. Outras marcas ou nomes comerciais aqui mencionados so de propriedade de seus respectivos proprietrios. Todos os direitos autorais e outros direitos de propriedade intelectual das matrias publicadas no Jornal pertencem Microsoft Corporation ou esto a ela licenciados. Copiar, reproduzir, transmitir, adaptar ou modificar o layout do contedo deste Jornal so aes proibidas sem que haja autorizao prvia, e por escrito, da Microsoft Corporation e de cada um dos seus autores. Copyright 2010 Microsoft Corporation. Todos os direitos reservados.
design para dar suporte a uma arquitetura global de Data-Warehouse, tendo em mente eficcia e desempenho.
" Usurio final e BI de autoatendimento: em geral, os projetos de BI ficam a desejar no
quesito permitir aos usurios com experincia bsica manipular a forma com que os resultados so expostos, sem nenhuma dependncia de especialistas de TI. Ken Withee (Hitachi Consulting) apresenta vrias formas de enfrentar essa questo utilizando instalaes j disponveis em toda a plataforma da Microsoft.
Como um tpico paralelo, fora do tema da capa, esta edio apresenta um artigo de Jesus Rodriguez (Tellago), MVP, em implementaes de SOA leve e respectivos padres e princpios. O leitor tambm encontrar mais contribuies valiosas sobre BI nas colunas laterais, assim como a segunda srie complementar de vdeos curtos, disponveis no site http://msdn.microsoft.com/en-us/architecture/bb380180.aspx. Gostaria de terminar agradecendo a equipe de especialistas no tema principal, que me ajudou a realizar este desafio. Em primeiro lugar, desejo agradecer ao editor convidado Matt Valentine pela direo na composio desta edio. Alm disso, por sua orientao e sugestes para o formato final das ideias do Matt, quero agradecer ao conselho editorial reunido para esta edio. Aproveite este nmero! Lembre-se: voc pode enviar qualquer feedback para archjrnl@microsoft.com.
Pensando em BI global: princpios de data-warehouse para suporte de aplicativos de BI preparados para empresa
por Charles Fichter
Resumo Este artigo concentra-se nos princpios de design para dar suporte a uma arquitetura global de data-warehouse (DW), o triunfo dourado de qualquer histria bem-sucedida de aplicativo de inteligncia de negcios (BI). Ele extrai a experincia dos parceiros fornecedores independentes de software (ISV, independent software-vendor) da Microsoft Global em projetar aplicativos de BI corporativos usando tecnologias de plataforma da Microsoft; alm disso, ele contm ligaes externas e as referncias ao contedo pblico que investigam mais a fundo os temas de design aqui cobertos. Este artigo presume que o leitor tenha algumas noes bsicas de DW como armazenamento dimensional, tabelas de fatos subjacentes nas quais as colunas so conhecidas como medidas, tabelas de dimenso, nas quais as colunas so conhecidas como atributos, e de como esquemas assumem padres de estrela e floco de neve. H muitos recursos disponveis para fornecer esta viso geral; no entanto, se necessrio, uma viso sinttica pode ser encontrada aqui: http://www.simple-talk.com/sql/learn-sqlserver/sql-server-data-warehouse-cribsheet. Este artigo concentra-se tambm em estratgias bem-sucedidas de projeto de DW e tpicos avanados de design eficaz de desempenho.
Introduo
Os arquitetos que desejam resolver solues corporativas de BI so frequentemente atrados por aplicativos de software comerciais capazes de atender s solicitaes executivas de relatrios eficazes que revelam anlise profunda do desempenho do negcio. A Microsoft e a sua vasta gama de parceiros ISV fizeram progressos significativos para satisfazer uma viso que aliviasse a carga de gerar os painis de BI com a qual sonham com todos os executivos, fornecendo-lhes resultados atualizados de suas estratgias do negcio, com capacidade de desdobramento de reas especficas. Entretanto, muitas vezes no mencionado que mais de 90% do esforo deixado para o arquiteto de suporte e a fora de TI, que ficam por trs da IU glamorosa: como obter os dados, limp-los e agreg-los eficazmente e projetar armazenamentos apropriados, gerenciveis e dimensionais de alto desempenho, incluindo suporte a consultas especficas, replicao para regio remota e at mesmo data marts para suporte mvel ao tomador de decises, com volumes sempre crescentes de dados dimensionais.
Pensando em BI global
2. Ser que algum realmente conhece os dados? Isso pode parecer uma pergunta bvia; mas, como j realizamos muitas dessas atividades, nunca deixamos de nos surpreender como os clientes corporativos, quase sempre, sabem muito pouco sobre os seus prprios dados. Muitos projetos ambiciosos de BI so interrompidos logo no incio, ao concluir que, primeiramente, a equipe de projeto deveria realizar uma anlise completa de todos os armazenamentos de dados corporativos, e isso, muitas vezes, pode levar meses. Olhar simplesmente para tabelas pode confundir arquitetos pouco familiarizados com fonte de dados, pois nomes de coluna no descrevem por si os dados que contm. Muitas vezes, aplicativos e armazenamentos foram apenas atualizados e no aprimorados ao longo dos anos, e a inteno e o design dos armazenamentos de dados representam o conhecimento tribal, h muito perdido. Voc pode efetivamente olhar para um banco de dados com mais de 500 tabelas e compreender cada relacionamento sem
compreender as mincias de cada aplicativo que utiliza o armazenamento? Usando ferramentas avanadas de fornecedor e bastante tempo, talvez. O demnio est nos detalhes, e a fora das suas dimenses e atributos depende, mais tarde, da sua compreenso das fontes de dados brutos que formam a base da sua agregao. 3. Entender as prioridades locais e consolidar. As maiores exigncias para a emisso de relatrios de BI so geralmente de natureza local/regional (por domnio de pas/comrcio), que levanta a questo: Voc realmente precisa, imediatamente, de um armazenamento DW gigante e agregado? Ou ser que voc poderia construir de modo mais eficaz uma estratgia de BI e DW distribudo, concentrando-se nas necessidades locais/regionais com os dados corporativos? Isso ser explorado com mais detalhes na prxima seo, pois pode haver reduo significativa dos custos, menor saturao da rede e benefcios de desempenho se a abordagem for descentralizada.
Abrangncia/capacidades de BI
Custo
Prazo de entrega
Fase 1
Dinmica, sem armazenamento MOLAP publicado: Mostre-me o que acontece no meu negcio, agora."
Fase 2
Geografia local, armazenamento MOLAP publicado: Mostre-me o desempenho histrico do meu negcio."
Fase 3
DW global (convencional, modelo centrado em DW) Mostre-me as tendncias e o futuro preditivo."
ou Servidor de aplicativos e DW MOLAP; geografia local (como o Office SharePoint com SSRS & SSAS) OLTP * Extrato agregado extrado para construir armazenamento dimensional MOLAP.
MOLAP MOLAP
OLTP *
Data marts publicados de acordo com as regies
Outra agregao resumida publicada para atender a empresa global; DW centralizado (possveis fases 2 e 3 futuras)
OLTP *
OLTP *
* Para simplificao visual, OLTP representa todas as fontes de dados de aplicativos distintos.
Pensando em BI global
para oferecer rapidamente um subconjunto de solues de negcios. Voc consegue consultar com eficincia utilizando ferramentas avanadas de fornecedor nos armazenamentos existentes dos aplicativos, mesmo em plataformas da concorrncia? Este um ponto de deciso importante, que voc ir enfrentar desde o incio. Esta abordagem pode resolver preocupaes de BI, tais como, "Diga-me o que acontece no meu negcio, agora". Essa estratgia pode ser mais eficaz com tecnologias de fornecedor incompatveis ou quando houver rgidas fronteiras divisionais entre armazenamentos de dados. muito mais eficiente (em termos de empenho homem-hora de sua equipe), e voc ser capaz de fornecer solues mais rpidas para as unidades de negcios. Embora isso possa resultar em maior tempo de espera para os usurios, ferramentas como o SSIS podero ajud-lo a construir pacotes para recuperar grandes quantidades de dados, agregados e limpos, (mesmo a partir de armazenamentos de tecnologia noMicrosoft), construir as relaes dimensionais em memria cache, e apresent-los aos aplicativos solicitantes via Microsoft SQL Server Analysis Services (SSAS). No passado, isso poderia ser prtico apenas para quantidades de dados relativamente pequenas; no entanto, otimizaes de fornecedor de banco de dados esto fazendo com que este cenrio se torne uma verdadeira escolha.
A estrutura de banco de dados deve ser abstrada usando um padro de integrao empresarial conhecido como o modelo de dados cannico. Este modelo requer todos os dados de entrada para atender a um padro definido pelo usurio. Por exemplo, o sistema de BI da empresa pode exigir os seguintes campos: Nome, sobrenome Endereo Cidade, Estado, CEP Telefone Email Aplicativos de origem provavelmente armazenem outras informaes, como nmero de celular, sexo e idade. O BizTalk Server pode ser aproveitado para receber mensagens de vrios aplicativos e escrever as informaes nas tabelas apropriadas do banco de dados. Depois de coletados os dados, eles podem ser armazenados em um cubo de processamento analtico online (OLAP) e, ento, apresentado aos usurios do negcio para a tomada de decises. O processo de carregamento e adio de clculos em um cubo permite que todos do negcio aproveitem o trabalho feito para criar valor a partir dos dados. Na medida em que os usurios tm acesso ao cubo, obtm respostas uniformes para consultas e, quando novos clculos so solicitados, todos se beneficiam com os acrscimos. Ao identificar, integrando e criando armazenamentos centrais OLAP, a organizao pode utilizar os dados como um ativo em toda a empresa. Derek E. Wilson arquiteto e gerente de BI em Nashville, TN - EUA. Visite o seu site no endereo www.derekewilson.com.
Pensando em BI global
Fase 2 Sempre que possvel, construa e mantenha os armazenamentos dimensionais no local. Com grandes volumes de dados agregados, as empresas podem comear uma extrao mais intensa para resolver problemas de BI, como "Mostre-me o desempenho histrico". Comeando por aqui, essencial que voc analise de modo crtico qual volume de replicao de dados agregados realmente necessrio para o armazenamento centralizado. Voc pode preencher mais eficazmente os armazenamentos MOLAP locais para representar as necessidades regionais de anlise do negcio? Quando voc examina as necessidades regionais vs necessidades corporativas de maior envergadura, provavelmente descobrir que a maior parte das necessidades de emisso de relatrios de BI detalhados so de natureza local/regional. Consultas de BI de toda a empresa tendem a ser mais amplas, como anlises com base em tendncia, que pode ser suportada por agregaes resumidas de armazenamentos dimensionais menores. Armazenamentos MOLAP mais baratos, de baixo custo, podem ser mantidos de modo eficiente por recursos locais e reduzem em muito a complexidade de um design de warehouse central, bem como minimizam potencialmente as necessidades de congestionamento e replicao das redes de grande porte. Considere a possibilidade de iniciar os seus esforos em uma diviso menor, menos estratgica da empresa ou da regio, para testar a capacidade da sua equipe. Esta abordagem de design quase o inverso do DW convencional e da abordagem data mart de downstream: em vez disso, os armazenamentos MOLAP menores,
The Architecture Journal #22
regionalizados tornam-se feeds de agregao em um armazenamento maior, posteriormente agregado, resumo do armazenamento DW para uma anlise de tendncias mais ampla. Embora as tendncias do negcio sejam padres ativos altamente globalizados, a necessidade de extrao regional profunda tambm vem crescendo; e, depender exclusivamente de um padro de DW centralizado, pode exigir grande investimento fsico e em recursos de pessoal para atualizar, o que pode revelar-se excessivamente oneroso, cheio de desafios de desempenho e demasiado pesado para melhorar ou mudar. Fase 3 Construa e popule o DW dos seus sonhos, convencional, independente e centralizado, para realizar todas as necessidades de BI mais ambiciosas da sua empresa. Esta abordagem resolver os problemas de BI mais difceis, como a sempre ilusria mina de ouro do BI, "Predizer resultados futuros", os quais podem ser realizados somente pela anlise de tendncias em dados histricos de toda a empresa, muitas vezes volumosos. Embora as tendncias histricas e a extrao de dados possam ser feitas entre regies (leitura, utilizao ou agregao maior dos repositrios da Fase 2 [ou mesmo da Fase 1]), para obter o relatrio bruto e a experincia de um painel que suporte o drilldown dos dados histricos de toda a empresa, muito volumosos, uma implementao centralizada de DW ser, provavelmente, a escolha mais eficaz. No entanto, muitos projetos de BI bem-sucedidos provavelmente encontraro um mix entre as abordagens de Fase 2 e Fase 3.
5
Pensando em BI global
O design de armazenamento dimensional eficaz, de alto desempenho e fcil de atualizar Como o DW evoluiu, o que antes era uma estratgia esttica para replicar armazenamentos grandes, de leitura apenas, para emisso de relatrios, tornou-se um ambiente muito mais dinmico, no qual os usurios recebem poderes amplos, como construir consultas prprias e especficas, emisso de relatrios em regime de autoservio (usando ferramentas como o PowerPivot, anteriormente conhecido pelo codinome "Gemini" e uma extenso do Office Excel 2010, que estar disponvel no primeiro semestre de 2010, que permite aos usurios abrir grande volume de dados dimensionais para o ajuste de mais de 100 milhes de linhas para dinamizao (pivoting) em cache, em tempo real), e at mesmo capacidades de write-back (escrever de volta) diretamente nos armazenamentos dimensionais. O poder das ferramentas sua disposio no momento do design pode afetar muito a fora dos seus modelos, auxiliar visualmente na superao da complexidade das relaes e revelar possveis gargalos, estrutura de consulta fraca e semntica de extrao ineficaz. Utilizando o SSAS Designer dentro do Business Intelligence Design Studio (BIDS), o arquiteto recebe um conjunto abrangente de ferramentas para criar e otimizar armazenamentos e consultas dimensionais em relao a esses armazenamentos (consulte a Figura 2). Aqui mencionados esto alguns princpios-chave de DW, a serem lembrados quando voc estiver criando os seus modelos dimensionais para, mais tarde, maximizar o desempenho (artigos mais completos sobre este tema e design SSAS avanado podem ser encontrados em
http://technet.microsoft.com/enus/magazine/2008.04.dwperformance.aspx e http://www.ssasinfo.com/analysis-services-papers/1216-sql-server-2008-white-paperanalysis-services-performance-guide): 1. A esmagadora maioria de dados MOLAP crescer em suas tabelas de fatos. Reduza o nmero de medidas em suas tabelas de fatos, pois o processamento da consulta mais eficiente se as tabelas tiverem menos colunas. Amplie os detalhes dos atributos nas tabelas de dimenso usadas como suporte. A vantagem de desdobrar tabelas de dimenso em outras tabelas subdimensionais, quando possvel (padro floco de neve), muito discutida, ainda que esta abordagem geralmente d maior flexibilidade quando se analisa modelos de reduo de escala, utilizando tecnologias de indexao e de aprimoramento do desempenho, como o particionamento. 2. Implemente chaves substitutas para manter o principal relacionamento entre as tabelas de fatos e de dimenso, em vez de impor restries de chave externa, que muitas vezes podem se manifestar como chaves compostas que abrangem vrias colunas. Uma chave substituta uma coluna digitada como um nmero inteiro que serve como uma chave primria artificial da tabela de dimenso. Esta abordagem pode minimizar as exigncias de armazenamento e economizar custos indiretos com armazenamento e processamento para atualizao dos ndices.
Pensando em BI global
das consultas e proporcionando benefcios de manuteno para o armazenamento de dados de grande porte. Entretanto, a estratgia geral permanece a de implementar a compactao dos dados menos utilizados. A compactao pode ser aplicada de muitas formas, inclusive na partio, pgina, linha e outras. De acordo com o item 4, o padro mais eficiente exigir extensa prototipagem do seu modelo.
3. Embora os armazenamentos OLTP sejam, tradicionalmente, extremamente normalizados, isso muito menos importante para os armazenamentos dimensionais. Dados no normalizados tm determinadas vantagens em armazenamentos extremamente grande, como a reduo das junes exigidas nas consultas. Alm disso, produtos de banco de dados, como o SQL Server 2008, utilizam filtros de bitmap bastante otimizados, tambm conhecidos como filtros de Bloom (consulte Bloom filter, Wikipedia 2007, http://en.wikipedia.org/wiki/Bloom_filter), que eliminam em grande medida dados redundantes e irrelevantes do processamento de consulta durante junes em estrela. 4. Faa prottipos, prottipos, prottipos. O seu design fsico pode funcionar bem para as necessidades iniciais de emisso de relatrios estticos; no entanto, como os usurios se habituaram aos novos dados que lhes foram disponibilizados, e na medida em que os seus conhecimentos crescem, voc precisar dar suporte s consultas especficas de forma substancial. Consultas especficas tm a capacidade de criar conjuntos de dados explosivos, dependendo da estrutura da sua modelagem histrica no mbito de suas dimenses. A maioria dos produtos de banco de dados suporta o particionamento de teste/modelagem. Passe bastante tempo para compreender o impacto global para seu ambiente (incluindo indexao/atualizao) quando for analisar o suporte a consultas especficas. Implementar produtos de BI de autoatendimento, como o PowerPivot, em vez de suporte a consulta especfica aberta, pode facilitar bastante demandas no servidor, oferecendo diretamente para o cliente grandes blocos de dados dimensionais que facilitam a manipulao dos dados pelo usurio para o drilldown. 5. Implemente um ndice agrupado para as chaves substitutas (surrogate keys) da tabela de fatos mais comuns, e ndices no agrupados em cada uma das chaves substitutas restantes. Conforme o item 4, anterior, a adio de suporte a consultas especficas pode afetar consideravelmente a sua estratgia de indexao; no entanto, para os padres comuns de uso geral, esta estratgia de indexao comprovou-se eficiente. 6. Use paralelismo de tabela particionada. Com o tempo, devido ao crescimento das tabelas de fatos, a maior parte dos arquitetos de DW implementa uma estratgia de partio (dividindo a tabela de fatos nos dispositivos de armazenamento fsico). Isso normalmente feito com uma coluna de data, mas tambm pode ser feito como um intervalo baseado nos padres de uso (suportado pelo SQL Server 2008). O SQL Server 2008 implementa um novo recurso, paralelismo de tabela particionada (PTP, partitioned-table parallelism) que otimiza extremamente as consultas nas tabelas particionadas executando as consultas em paralelo, atravs de todos os processadores de vrios ncleos disponveis. Para informaes mais detalhadas sobre PTP e outros novos aprimoramentos de DW no SQL Server 2008, visite http://technet.microsoft.com/enus/library/cc278097.aspx. 7. Implemente uma estratgia de compactao. Com o tempo, os DWs podem ficar enormes. A sobrecarga para compactao quase sempre pode ser resolvida pela reduo de dados redundantes e, assim, diminuindo o tempo de processamento
Dados extremamente distribudos, geografia global, data marts de usurio mvel, consulta especfica e consideraes sobre a sincronizao de dados
O desafio mais intimidante para arquitetos corporativos que estejam projetando uma soluo de DW compatvel com aplicativos de BI talvez seja compreender o possvel impacto de um design nos ativos da rede fsica. Ser que o ambiente conseguir sustentar a replicao de volumes macios de dados dimensionais em dados histricos cada vez maiores? Uma sada para o sucesso utilizar a replicao instantnea efetiva s de leitura de subconjuntos agregados predeterminados. Isso significa uma anlise cuidadosa das necessidades de cada geografia
Pensando em BI global
independente, e o uso de recursos avanados no mbito de produtos de banco de dados, como compactao de dados sistemtica e atributos "esparsos" (sparse) nas colunas. SPARSE um novo atributo de coluna disponvel no SQL Server 2008 que remove qualquer tamanho de dados fsicos para valores nulos. Como os DWs esto, em geral, repletos de enormes quantidades de valores de campo nulos (nem todos os sapatos de cada loja em cada regio so adquiridos diariamente), a compactao e remoo do tamanho fsico de campos de valor nulo so essenciais. Muitos produtos de DW convencionais no tm essa capacidade, e o SQL Server 2008 tem muitas vantagens de desempenho para a replicao de grandes volumes de dados dimensionais. Outra estratgia efetiva permitir de modo criterioso as capacidades de write-back e consulta especfica. Esses recursos por necessidade criam maior sobrecarga no design para suportar geografias de downstream e podem aumentar significativamente os requisitos de replicao e a eventual reconstituio dos armazenamentos dimensionais agregados (uma operao muito cara, uma vez que os volumes de dados aumentam em tamanho). Felizmente, a replicao de dados tornou-se uma arte transparente, graas s melhorias dos fornecedores de bancos de dados. O gerenciamento de parcerias de replicao, reverso de falhas e regras sobre violaes de consistncia de dados, todos podem ser tratados efetivamente no mbito do console de gerenciamento de replicao. Em conjunto com melhorias significativas no desempenho do mecanismo de replicao e do tamanho dos dados fsicos, empresas globais podem confiar no conjunto de ferramentas do SQL Server 2008 para atender at mesmo as mais exigentes estratgias de DW e data mart de downstream. Mas e quanto queles usurios avanados que exigem anlise de BI offline de modo mvel? Com a plataforma da Microsoft, voc pode colocar disposio uma BI poderosa em um paradigma desconectado utilizando o SQL Server CE ou a Express Edition no cliente. A Microsoft tem trabalhado com dezenas de ISVs globais que projetaram conjuntos de aplicativos que utilizam grande volume de dados do cubo dimensional no cliente de modo desconectado. Voc pode estabelecer estratgias de replicao dentro do banco de dados do lado do cliente para quando o usurio mvel estiver conectado, ou designers de aplicativos podem implementar servios de sincronizao do ADO.NET e gerenciar a replicao de dados especfica para as necessidades de fluxo de trabalho dentro do aplicativo. Para mais informaes, visite http://msdn.microsoft.com/enus/sync/default.aspx.
Sobre o autor
Charles Fichter (cfichter@microsoft.com) arquiteto-snior de solues do setor Developer Evangelism, equipe Global ISV (fornecedor independentes de software) da Microsoft Corporation. Um veterano de 20 anos na arquitetura de software e banco de dados, Charles se especializou em inteligncia do negcio, Microsoft SQL Server e Microsoft BizTalk Server, assim como em design geral de banco de dados e aplicativo de camada de dados e camada intermediria do .NET. Nos ltimos quatro anos e meio, Charles se concentrou em auxiliar Global ISVs com suas estratgias de design de aplicativos. Outras publicaes recentes de Charles so:
" Business Intelligence, Data Warehousing and the ISV (artigo) " Microsoft Manufacturing Toolkit (vdeo) " Emery Forwarding: Freight Forwarder Realizes a 102 Percent ROI
with BizTalk Server (estudo de caso)
Concluso
Viabilizar solues de BI para a sua empresa exige, primeiramente, um investimento significativo para se ter uma compreenso avanada dos dados corporativos ao seu alcance. Para consultar volumes de dados muito grandes, que provavelmente incluem referncias histricas (dados ao longo do tempo), os modelos de armazenamento dimensional, tais como padres de design de DW (incluindo MOLAP e outros), comprovaram-se como a estratgia mais eficiente. Para uma orientao mais detalhada sobre como implementar as suas solues de DW e BI utilizando o SQL Server 2008, visite http://www.microsoft.com/sqlserver/2008/en/us/white-papers.aspx. Alm disso, para experincias em escala do mundo real, visite o trabalho conforme melhores prticas realizado pela equipe SQL CAT em http://sqlcat.com/.
retorno aos aplicativos LOB. As informaes devem estar presentes de modo interativo e acionvel para permitir aos usurios tomarem as providncias. Este artigo sustenta que para a informao de BI ter valor para o negcio, o resultado final de BI tem que ser uma ao que desencadeie uma operao comercial nos aplicativos LOB. Para atingir tal meta, as solues de BI devem ser projetadas com informaes acionveis em mente, e devem oferecer melhor integrao com aplicativos LOB que iro executar a ao.
Integrao BI e LOB
Operaes
Aofechando o ciclo
Carga de dados
ETLSSIS
A fim de simplificar os processos de tomada de deciso, diminuir o tempo de resposta e rastrear o nexo causal dessas operaes, esta ao pode ser iniciada no mbito do contexto de suporte deciso e acionada na ferramenta de anlise (Office Excel, neste exemplo). Esta etapa fecha o ciclo de dados de BI para os aplicativos LOB (veja a Figura 1) e sintetiza a lgica da tomada de deciso. As prximas geraes de aplicativos BI sero projetados de tal forma, que os usurios podero agir sobre as informaes com facilidade. Isso cobrir a lacuna entre anlise de BI e processos operacionais, o que resultar em solues corporativas mais coesas. A utilizao das informaes fica maximizada, e a BI pode tornar-se assim um acionador da otimizao do processo do negcio. As aes so tomadas com base nas informaes de BI e podem ser melhor rastreadas; os efeitos melhor analisados e, em ltima anlise, isso resulta em melhor desempenho do negcio. As solues de BI que fornecem informaes acionveis permitem s empresas permanecerem geis, apesar das mudanas do negcio pois reduzem o tempo entre o momento em que ocorre o evento comercial e aquele em que a ao tomada. As informaes acionveis nesse sentido devem se compor de duas partes:
Transaes
Integrao BI e LOB
armazenar informaes acionveis nos metadados do cubo OLAP. As condies em que a ao fica disponvel podem ser expressas utilizando a linguagem de consulta MDX, e o URL fornece o ponto final do servio. Tais capacidades em tecnologias OLAP podem ser utilizadas para implementar uma integrao ponta a ponta com o retorno aos aplicativos LOB em uma SOA. Em uma empresa SOA, operaes em aplicativos LOB podem ficar expostas como Web Services, que ocultam a complexidade dos programas subjacentes e, com qualquer nuvem externa ou servios B2B, podem representar componentes bsicos em uma infraestrutura que modele as necessidades do negcio. O Office Excel tem a capacidade intrnseca de consumir as informaes acionveis, exibindo ao usurio quaisquer aes disponveis em clulas nas quais esto reunidas condies predefinidas. A legenda que ser exibida tambm pode ser definida dinamicamente usando expresses MDX. Cada clula do cubo analisado definida por um membro (denominado membro atual) de cada dimenso.
de implantao. Objetivos claros e implantaes curtas trazem objetividade. Alm disso, as equipes devem colaborar com executivos a partir de cada funo do negcio para garantir que os esforos de GBI se alinhem com a estratgia global do negcio. 4. Aproveitar e estender o uso das ferramentas de BI existentes. Aproveitar as tecnologias de BI com tcnicas de implementao geis para produzir valor rapidamente. Depois, expandir com base nas ferramentas de BI convencionais (DW, ODS, painis, analticas, etc.) com ferramentas que monitoram e otimizam a produtividade. Um pequeno investimento nesses ativos permitir sua equipe GBI analisar e aprimorar os processos, alm de dar suporte s metas de reduo de custos. "Estratgia sem ttica o caminho mais lento para a vitria. Ttica sem estratgia o estardalhao antes da derrota". SUN TZU Implementar uma estratgia GBI pode representar uma vantagem importante na instvel economia de hoje. Entretanto, no perca a viso do longo prazo. Investir na BI empresarial continua sendo essencial. Quando os sinais de crescimento resurgirem, analise a sua estratgia de BI, inclusive as tticas de guerrilha, para obter o sucesso e o retorno sobre o investimento (ROI) ideais. "Conhea-te a ti mesmo e os seus inimigos. Mil batalhas, mil vitrias". SUN TZU Andre Michel Vargas (andre.michel.vargas@paconsulting.com) consultor administrativo do setor de Consultoria de TI da PA Consulting Group. Especializou-se em resolver questes complexas relativas s informaes, inclusive migrao e integrao de sistemas legados, automao do processo do negcio e gerao de BI empresarial. Para outras informaes sobre o pensamento da PA sobre BI, visite www.paconsulting.com/our-thinking/business-intelligencesolutions.
11
Integrao BI e LOB
negcio e isso, em ltima anlise, conduz a um melhor alinhamento da TI com o negcio. Uma soluo arquitetural (veja a Figura 2) que aproveita a pinha de tecnologia baseada no SQL Server Analysis Services 2008, com aes de URL definidas no cubo (plataforma BI), Office Excel 2007 (ferramenta de anlise de BI) e Silverlight RIA (ligao BI-SOA), pode exemplificar a utilizao da SOA empresarial como um facilitador da integrao BI-LOB. As aes URL representam um modo simples e efetivo para implementar informaes acionveis para solues de BU construdas em SSAS. O URL pode apontar para um aplicativo Silverlight RIA, que agir como uma ligao BISOA e chamar Web Services usando WCF.
Servios na nuvem
SOAP
Microsoft Internet Information Services Ligao BI-SOA Silverlight RIA Suporte WCF out-of-the-box
Consideraes da implementao
Anlise e deciso Ferramenta de anlise Office Excel
SQL Server Analysis Services Cubos OLAP com aes URL Inteligncia do negcio (BI) SQL Server Data warehouse
A integrao do fluxo de dados de BI de volta para os aplicativos LOB ser benfica para os processos operacionais. Entretanto, assim que a BI torna-se uma parte essencial desse mundo, o seu design tambm estar sobrecarregado com a natureza de misso crtica das operaes. Consideraes e requisitos especiais de implementao devem ser considerados, se comparados aos aplicativos clssicos de BI, destinados exclusivamente para o suporte de deciso estratgica. A soluo de BI integrada com aplicativos LOB se destinar a um pblico mais amplo e a um maior nmero de usurios operacionais. A BI precisar ser escalonada de um nmero limitado de consumidores de relatrios, para um nmero maior de usurios operacionais em nveis diferentes da hierarquia corporativa. Neste caso, a escalabilidade desempenhar um papel muito mais importante, e pode ser um fator principal no momento em que se escolhe o design do hardware e software. Assumir uma funo mais operacional tambm resultar em mais exigncias de disponibilidade da BI. As informaes precisam estar disponveis, independentemente das possveis interrupes de hardware ou software que possam afetar o servidor. As atualizaes de dados durante o processamento ETL tero um impacto mais pronunciado neste caso, pois podem afetar as consultas do usurio e retardar os processos operacionais. Portanto, estratgias de failover precisaro estar em posio mais elevada na lista de propriedades do que durante o design de solues clssicas de BI. Usar o Windows Network Load Balance (NLB) para distribuir solicitaes do usurio implementadas em vrios hosts em cluster uma soluo para aumentar a escalabilidade e disponibilidade. O NLB detectar uma falha de host e, assim, redirecionar o trfego para outros hosts. Paradas programadas como para processos ETL podem ser minimizadas utilizando sistemas de preparao em larga escala, para manter a contnua disponibilidade dos dados OLAP. O volume de dados aumentar, porque as operaes do negcio so realizadas em um nvel inferior de agregao de informaes do que a anlise estratgica. Nesse caso, os dados precisaro ser armazenados e entregues com maior granularidade aos consumidores das informaes.
The Architecture Journal #22
O URL pode ser definido no cubo para incluir os membros atuais como um string de consulta. Quando o usurio executa a ao sugerida em uma clula, o Office Excel chamar o aplicativo da Web que o URL localizou. Se necessrio, o aplicativo Web pode coletar mais informaes do usurio, dependendo da ao. Essa soluo pode aproveitar os avanos em tecnologias ricas de aplicativo de internet (RIA, Rich Internet Application) application como AJAX ou o Microsoft Silverlight. Um front-end do Silverlight tem vantagem sobre os aplicativos de Web clssicos: O cdigo escrito em uma linguagem CLI, como C#, ser executado no cliente, no aplicativo de navegador, que minimiza as chamadas entre computadores para o servidor. O Silverlight construdo sobre o framework do .NET e pode utilizar o Windows Communication Foundation (WCF) como um framework de uso geral para integrao da SOA. O WCF oferece uma API flexvel para implementar as chamadas Web Service de SOAP, a partir do processo de cliente. Assim, o Silverlight pode ser utilizado como uma ponte entre SOA e BI. As informaes da clula (membros atuais), com qualquer informao adicional coletada do usurio, podem ser enviadas para o Web Service que implementa a ao do negcio; e, no final, todos os feedbacks do servio podem ser exibidos para o usurio. O fluxo de dados entre esses servios pode ser coordenado e personalizado para atender s necessidades operacionais do negcio. Usar Web Services para expor as operaes dos aplicativos LOB em uma SOA uma forma de utilizar melhor os ativos de software existentes, e aumentar a sua participao no fluxo de informaes da empresa. Esse procedimento tambm flexibiliza a colaborao dos componentes, facilitando a adaptao s mudanas dos processos do
12
Integrao BI e LOB
Concluso
As arquiteturas de BI corporativas podem maximizar o valor das informaes oferecendo maior integrao com os aplicativos LOB. Assumindo uma funo maior na tomada de decises operacionais capacitar os usurios do negcio a interagirem com informaes acionveis em BI. Assim, as solues de BI podero fechar o ciclo de dados e aprimorar o desempenho dos processos operacionais. A pilha de tecnologia baseada no Office Excel 2007, servios WCF e SSAS, com aes de URL definidas no cubo, podem ser aproveitadas para implementar facilmente a integrao de dados da BI para os aplicativos LOB em um cenrio SOA.
Sobre o autor
Razvan Grigoroiu (rgrigoroiu@epicor.com) arquiteto de software que, nos ltimos 10 anos tem se envolvido com solues LOB e BI para o setor de varejo especializado.
warehouse (DW) que possibilitar essa capacidade para as organizaes que precisam fazer previses para vencer a concorrncia. Tecnologias de processamento de fluxo permitem monitoramento em tempo real pela deteco de eventos ou padres de eventos como fluxos de dados por meio de sistemas transacionais e redes ou de sensores. As plataformas de processamento de eventos complexos (CEP, Complex Event Processing) esto capacitando novos aplicativos, de controle da poluio a negociao algortmica. A CEP est se tornando uma capacidade obrigatria para qualquer plataforma de BI, na medida em que surgem novos aplicativos e, tambm, porque o paradigma da integrao de dados reais pode mudar, em futuro prximo, dos ciclos repetveis do processo ETL tradicional para o paradigma de processamento de eventos. Juntas, essas tecnologias emergentes esto desempenhando um papel-chave para permitir que algumas empresas evoluam do DW convencional para modernas plataformas de BI que j chegaram para mudar o jogo, fornecendo monitoramento em tempo real e anlise muito mais rpida. Gustavo Gattass Ayub (ggattass@microsoft.com) consultor snior da Microsoft Consulting Services, Brasil.
13
Dados desnecessrios para consulta foram capturados como dados suplementares (coletor de dados). Alguns dados da camada secundria poderiam passar para a primria, se houver necessidade de dados adicionais. Da mesma forma, um elemento de dados primrios seria retirado, passando para a camada secundria. Relevncia da natureza dos dados Um ato de balanceamento cuidadoso necessrio para controlar o crescimento de difcil manejo dos volumes de dados no banco de dados do DW e, ainda assim, fornecer informaes relevantes. Um arquivo de reteno offline baseado em poltica ajuda a atualizar as informaes relevantes. Relevncia das atualizaes A atualizao das informaes exige a adoo de um mecanismo adequado de captura de mudana dos dados para que as vrias partes interessadas obtenham o que precisam. Isto, em princpio, dependeria da natureza dos dados-fonte. Utilizando um CDC dirigido a metadados e outro, normalizado, os dados so atualizados conforme exigido. Relevncia da entrega A entrega das informaes foi um mix entre tirar e por para manter a relevncia do tempo. Relatrios-padro foram gerados pelo mtodo push e os especficos, pelo mtodo pull. Alguns dos estudos de caso em que usamos esses princpios de modo efetivo, podem ser vistos aqui. Usha Venkatasubramanian (usha.v@lntinfotech.com) chefe adjunto de Business Analytics Practice na L&T Infotech.
14
PowerPivot
Quando se trata de BI, a batalha entre os usurios do negcio e a TI constante. Os usurios do negcio conhecem os componentes funcionais do negcio: eles sabem perfeitamente o que desejam analisar e as perguntas que desejam ver respondidas. A equipe de TI conhece a estrutura dos dados, os modelos, os cubos, o fluxo de dados dos sistemas operacionais, o DW e os mecanismos de controle dos dados. Os usurios do negcio, na maioria das vezes, sentem que o pessoal de TI est sempre dizendo "No" quando solicitam um cubo de dados, relatrio, tabela, grfico ou at mesmo dados brutos. Os membros da equipe de TI, na maior parte do tempo, sentem que os usurios fazem solicitaes absurdas, com prazos que equivalem ter
15
A tecnologia que d ao Office Excel a capacidade de analisar milhes e milhes de linhas de dados de acordo com o que os usurios do negcio esperam pode ser encontrado na memria. Em especial, os dados so carregados na memria, no que conhecido como armazenamento e processamento em memria e baseado em coluna. No fundo, os usurios criam o prprio cubo de dados na memria para anlise no Office Excel. Para obter as capacidades dos volumes de dados fornecidos pelo PowerPivot, a estrutura de dados na memria fica extremamente compactada e de leitura, apenas. O motor responsvel pela compactao e gerenciamento dessa estrutura de dados na memria denominada VertiPaq. PowerPivot e Office SharePoint Server 2010
Figura 1: A tecnologia BCS permite interao de leitura/escrita do Office SharePoint 2010 com sistemas externos.
ERP
Office SharePoint
Text
CRM
XML
O PowerPivot for Office SharePoint realiza duas tarefas importantes. Fornece uma residncia para os documentos do PowerPivot criados pelo usurio em um ambiente controlado pela TI, e fornece aos usurios de toda a organizao a capacidade de visualizar e interagir com documentos do PowerPivot utilizando nada mais do que o seu navegador de Web thin-client. Para os usurios do negcio, consumir um documento do PowerPivot to simples quanto acessar o site da intranet e clicar em um documento. Com esse comando, o documento processado no navegador e o usurio pode interagir com o documento e realizar a anlise que desejar. Na verdade, os consumidores nem precisam ter o Office Excel instalado nos computadores locais para interagirem com o documento do PowerPivot. Como resultado, os usurios do negcio podem se concentrar em suas anlises e nem percebem a tecnologia que permite a interao. Controle e governana do PowerPivot Um dos maiores desafios da TI diz respeito s planilhas que tornam-se essenciais aos usurios do negcio, cuja existncia a TI desconhece. O Office SharePoint oferece uma funcionalidade que d TI a capacidade de rastrear os padres de uso do PowerPivot. Como os documentos do PowerPivot (Office Excel) crescem em importncia, a TI pode monitorar e identificar os dados fonte e a funcionalidade do negcio. Ter visibilidade sobre quais documentos do PowerPivot so usados com mais frequncia pelos usurios do negcio essencial para o desenvolvimento de planos de gerenciamento e recuperao de desastres. Por exemplo, se um documento do PowerPivot, bastante utilizado, estiver extraindo dados de um sistema operacional considerado de importncia mnima, o pessoal de TI passa a ter visibilidade do que realmente importante para os usurios do negcio. Assim, o departamento de TI poder acomodar as necessidades de seus usurios no futuro.
APP
Dynamics, Lawson, Siebel e Sage, citando apenas alguns. O acesso a esses sistemas muitas vezes complicado e demorado. Uma interao tpica envolve usar aplicativos e telas especializados para ter acesso ou atualizar as informaes que residem no sistema ERP. A BCS uma tecnologia que faz parte do Office SharePoint Server 2010 e oferece integrao e interao (leitura/escrita) com as informaes contidas em sistemas externos, como ilustrado na Figura 1. Integrar um portal front-end de interface com o usurio com sistemas externos oferece um nico ponto de acesso de autoatendimento, sem a necessidade de instalar software especializado nos desktops dos usurios finais. Por exemplo, imagine um representante de suporte ao cliente, recebendo um pedido do cliente. Precisaria haver um aplicativo para receber o pedido, outro para anotar os dados da chamada e, ainda um outro, para pesquisar perguntas que o cliente possa ter sobre os produtos. Se o cliente notificar ao representante do suporte de uma mudana de endereo, este precisaria ainda acessar o sistema que armazena as informaes do cliente para fazer a atualizao. Os usurios do negcio no precisam nem desejam compreender onde residem os dados e as informaes: eles apenas desejam interagir com as informaes corretas, no momento certo, do modo mais fcil possvel. A tecnologia BCS fornece um mecanismo para a consolidao dos pontos de acesso a sistemas externos em um nico local de portal conveniente. A consolidao reduz imensamente a complexidade das funes do trabalho do usurio final, fornecendo um s destino para realizar as tarefas e localizar as informaes do negcio. Reduzir a complexidade para os usurios tambm reduz o nmero de solicitaes bem diferentes que a TI deve atender. Em lugar de o pessoal de TI ter de atender a conexes, segurana, auditorias e projetos nicos para vrios sistemas, passa a apenas configurar a conexo no portal uma vez e, depois, dar suporte estrutura do portal nico. Alm disso, transferir tudo para uma nica estrutura devolve o controle sobre os sistemas externos ao setor de TI ao transferir os usurios para um ambiente nico.
Figura 2: O Report Builder foi projetado para fornecer aos usurios do negcio um ambiente de desenvolvimento de relatrios amigvel.
Report Builder
O Report Builder um aplicativo projetado para fornecer aos usurios finais a capacidade de criar e publicar os prprios relatrios do SQL Server Reporting Services (SSRS). O Report Builder foi projetado para o usurio final, com a aparncia e o comportamento confortvel de outros produtos do Microsoft Office. Em particular, o Report Builder inclui o Office Ribbon no topo da superfcie do design de relatrio, como ilustrado na Figura 2. A base de cdigo do motor de relatrios subjacente compartilhada com o ambiente de design de relatrios Business Intelligence Development Studio (BIDS). Esta base nica de cdigo subjacente foi projetada para proporcionar funcionalidade aos usurios finais para criar relatrios utilizando o Report Builder e para que desenvolvedores possam projetar relatrios utilizando o BIDS com paridade funcional, devido base de cdigo subjacente compartilhada. A implantao do Report Builder feita com a tecnologia ClickOnce. O ClickOnce permite aos usurios clicar no link do Report Manager ou Office SharePoint e fazer o download do aplicativo para os respectivos computadores desktops. O ClickOnce modera a necessidade de uma instalao em massa pelo departamento de TI. Sempre que o Report Builder precisar de aprimoramento ou atualizao, o sistema faz o download automtico dos bits no desktop do usurio, sem necessidade de atualizaes manuais. Servios de relatrio do SQL Server O SQL Server Reporting Services (SSRS) o componente que emite relatrios do produto SQL Server. A arquitetura SSRS consiste em um Windows Service projetado para processar relatrios e dois bancos de
Arquitetura BCS A tecnologia BCS uma evoluo do catlogo de dados do negcio (BDC, Business Data Catalog) do Office SharePoint 2007 e faz parte da plataforma do Office SharePoint 2010 e dos clientes Office 2010. A BCS usa trs componentes primrios que habilitam a conexo com sistemas externos, ou seja: Business Data Connectivity, um repositrio do tipo de contedo externo (External Content Type Repository) e listas externas. Alm disso, o cliente BCS tambm faz parte dos aplicativos do Office 2010. O Repositrio do Tipo de Contedo Externo e as Listas Externas permitem aos arquitetos de solues no apenas descrever o modelo de dados externo, mas tambm definir como os dados devem se comportar no mbito do Office SharePoint e Office.
Figura 3: fazer a conexo com um cubo SSAS OLAP na guia Data (dados) do Office Excel.
17
dados do SQL Server projetados para armazenar contedo, configurao, metadados e informaes temporrias de processamento. Os relatrios SSRS compreendem um formato baseado em XML denominado linguagem de definio de relatrio (RDL, Report Definition Language). Os relatrios SSRS, ou arquivos RDL, em outras palavras, podem ser criados utilizando o BIDS (Visual Studio) ou o Report Builder. Um banco de dados SSRS pode ser instalado no modo independente ou integrado. Se for instalado no modo independente, um aplicativo da Web, denominado Report Manager, responsvel pelo armazenamento, gerenciamento e fornecendo o ambiente de emisso de relatrios para usurios finais. Se instalado no modo integrado, o Office SharePoint assume a funcionalidade e o Report Manager j no mais usado. Embora o SSRS seja um componente do produto SQL Server, no fica restrito extrao de dados de apenas um banco de dados do SQL Server. Usando o Report Builder, os usurios finais podem extrair dados de vrios tipos de conexo, inclusive OLE DB, ODBC, Analysis Services, Oracle, XML, Report Models, SAP Netweaver BI, Hyperion Essbase e TERADATA. Como emitir relatrios de modo independente
Figura 4: Navegar em um cubo SSAS OLAP como em uma tabela dinmica no Office Excel.
Os usurios do negcio ativam o Report Builder clicando em um link do Report Manager ou Office SharePoint. Assim que ativado o Report Builder, os usurios do negcio criam conexes com fontes de dados e criam relatrios. Esses relatrios podem ser gravados em uma biblioteca do Report Manager ou do Office SharePoint Document. Outros usurios podem conectar-se ao site do Report Manager ou Office SharePoint para visualizar os relatrios disponveis. A equipe de TI pode manter o controle fornecendo relatrios "aprovados", monitorando o uso e limitando o acesso aos servidores que contm os dados-fonte. Quando o SSRS for instalado no modo integrado, os relatrios podem aproveitar os recursos do Office SharePoint Enterprise Content Management (ECM), como o controle de verses, segurana, checkin/check-out e workflow. Alm disso, as responsabilidades da TI so reduzidas, pois apenas um nico sistema de administrao de contedo deve ser atualizada e gerenciada. No ambiente do Office SharePoint, um SSRS relatrio nada mais que um tipo de contedo, como um documento do Office Word ou uma planilha do Office Excel.
Figura 5: A guia Data Mining fornece aos usurios finais a possibilidade de interagir com as capacidades de extrao de dados
18
Office Excel para navegar cubos SSAS Quando conectado para analisar um cubo SSAS OLAP, a experincia do usurio do negcio praticamente idntica anlise de uma tabela dinmica local do Office Excel. O usurio faz a conexo selecionando a opo From Analysis Services (do servios de anlises) no menu Get From Other Sources (obter de outras fontes) da guia Data (dados), como ilustrado pela Figura 3. Depois de feita a conexo, os usurios podem navegar o cubo e realizar uma anlise, da mesma forma que fariam uma tabela dinmica local, como ilustrado pela Figura 4. Office Excel e extrao de dados SSAS
Figura 6: Documento do Office Excel enviado por email a usurios que os modificam e re-enviam novamente por email, criando mutaes mltiplas do documento.
ERP
Office Excel Office Excel
Text
CRM
Office Excel
XML
O add-in para extrao de dados do Office Excel est disponvel para proporcionar acesso aos algoritmos de extrao de dados contidos no mbito de SSAS. A instalao do add-in guarnece a barra do Office Excel com a guia Data Mining atravs da qual os usurios podem acessar os algoritmos contidos no
APP
Existem vantagens substanciais de se usar a ltima opo, se a sua empresa estiver preparada para algum custo indireto decorrente de desenvolvimento e manuteno. Ferramentas de anlise, como a nova gerao do Report Builder do Microsoft SQL Server 2008, e o prximo lanamento do SQL Server 2008 R2, Microsoft Office Excel e o Office PerformancePoint Services for SharePoint, precisam ser entregues aos usurios, mas a camada semntica deve ser gerenciada centralmente pela TI. Bibliotecas separadas para emisso de relatrios de usurios e produo Os relatrios de usurios podem ser usados para a tomada de importantes decises e podem at tornar-se de misso crtica, mas os relatrios, scorecards e painis cujas preciso e confiabilidade so "garantidas", devem passar pelos mesmos critrios de design, desenvolvimento e testes rigorosos gerenciados pela TI como qualquer aplicativo de negcio pronto para produo. Deve-se designar uma biblioteca para relatrios especficos, separada dos relatrios de produo. O Office SharePoint um excelente meio para essa finalidade. Conduzir ciclos formais de reviso, validar relatrios e consolid-los na produo Aproveitar os relatrios criados pelos usurios um dos mtodos mais efetivos para que os designers de TI compreendam as necessidades do negcio para emitir relatrios. Para processos de misso crtica, use-os como provas de conceito e, depois, trabalhe com o negcio para projetar "super relatrios" consolidados, flexveis, no modo de produo. Aprenda como implementar essas ferramentas para construir uma soluo abrangente para emisso de relatrios de modo independente lendo o artigo completo no blog do Paul: http://www.sqlserverbiblog.com. Paul Turley (pturley@hitachiconsulting.com) arquiteto e gerente de BI da Hitachi Consulting e MVP da Microsoft.
Figura 7: Documento do Office Excel gravado no Office SharePoint e acessado por usurios de toda a empresa utilizando apenas um thin-client (navegador de Web).
CRM
Office Excel
XML
Office SharePoint
APP
" Modelos de extrao de dados para OfficeVisio Alm da funcionalidade do Office Excel, o add in tambm fornece a capacidade de processar e distribuir modelos de extrao de dados como documentos do Office Visio. Office SharePoint 2010 e Excel Services O Office Excel um dos aplicativos de anlise de dados mais populares e conhecidos. Os usurios do negcio criam planilhas do Office Excel que realizam tudo: de anlises para fins especficos a calculadores de lucros e perdas com todas as funcionalidades. Quando esses aplicativos estiverem sob o radar, no ser possvel voltar atrs, tampouco serem suportadas pela TI. Como resultado os usurios do negcio ficam frustrados com a TI porque no tm condies de darlhes suporte; por sua vez, a TI fica frustrada com os usurios que trabalham fora do sistema fornecido. Os usurios do negcio sentem que o pessoal de TI no lhes fornece as ferramentas corretas, para que eles possam ir adiante e criar suas prprias ferramentas com o Office Excel. Os membros da equipe de TI sentem que os usurios do negcio vivem volta da TI e no tm direito de reclamar quando aquilo que criaram sozinhos no funciona. Para complicar ainda mais as coisas, os usurios enviam por email documentos do Office Excel a outros usurios que, por sua vez, reenviam esses documentos novamente por email. Essas aes criam mutaes mltiplas da funcionalidade essencial do negcio, como mostra a Figura 6. O Excel Services do Office SharePoint 2010 tenta resolver os problemas com o Office Excel fornecendo uma residncia para os documentos do Office Excel no ambiente do Office SharePoint controlado e governado pela TI. Quando os documentos do Office Excel so gravados em uma biblioteca de documentos do Office SharePoint, existe uma verso do documento e os usurios podem se conectar e usar o documento sem gerar mltiplas mutaes, como ilustrado na Figura 7. O documento tambm pode aproveitar os recursos ECM do Office SharePoint, inclusive controle de verses, segurana, check-in/check-out e workflow. Alm disso, o departamento de TI pode ter visibilidade, exercer superviso e ter controle dos aplicativos do Office Excel com os quais os usurios esto realizando as suas tarefas do negcio.
20
Os documentos do Office Excel no Office SharePoint podem usar arquivos de conexo gerenciados pelo departamento de TI. Por exemplo, a TI pode criar arquivos de conexo para sistemas-fonte e, depois, basta apontar os usurios finais para esses arquivos de conexo aprovados. Esse procedimento alivia o encargo da TI de atender inmeras solicitaes de informaes sobre conexo para cada arquivo do Office Excel criado para um problema do negcio. Um dos recursos mais poderosos do Office SharePoint chama-se Excel Services. O Excel Services representa a capacidade de processar documentos do Office Excel em um thin client (navegador Web). Um documento importante do Office Excel pode ser gravado em uma biblioteca de documentos e toda a organizao poder, assim, visualizar e interagir com o documento do Office Excel sem ter de sair do seu navegador. Basta aos consumidores do documento navegarem at a intranet da empresa e clicar no documento do Office Excel. Esta funcionalidade especialmente poderosa quando se pensa em implementar o Office Excel 2010 para proporcionar a funcionalidade PowerPivot. Na verdade, apenas um nmero limitado de usurios do negcio produz contedo, e os demais so consumidores. Utilizando o Excel Services, os nicos usurios que precisaro ter o Office Excel 2010 sero os produtores de contedo. Os consumidores podem interagir com os documentos do PowerPivot sem jamais sarem do seus navegadores nem terem de instalar a mais recente verso do Office Excel.
Concluso
O Report Builder uma ferramenta para desenvolvimento de relatrio de usurio final que lhes fornece a capacidade de criar os prprios relatrios SSRS, sem a necessidade de um especialista SSRS. O aplicativo Report Builder usa a mesma base de cdigo subjacente do Business Intelligence Developer Studio (BIDS), projetado para desenvolvedores profissionais. Permitir aos usurios construir os seus prprios relatrios exige enorme volume de carga de trabalho dos recursos da equipe tcnica, permitindo-lhes dar enfoque no datawarehouse subjacente, em lugar do processo entediante de desenhar um relatrio.
Sobre o autor
Ken Withee (KWithee@hitachiconsulting.com) consultor da Hitachi Consulting e se especializa em tecnologias da Microsoft em Seattle, WA. Ele o autor de Microsoft Business Intelligence for Dummies (Hoboken, NJ: For Dummies; Chichester: Wiley Press, 2009) e, com Paul Turley, Thiago Silva e Bryan C. Smith, coautor de Professional Microsoft SQL Server 2008 Reporting Services (Indianpolis, IN: Wiley Publishing, Inc., 2008).
Referncias
Donald Farmer: Foraging in the Data Forest. Blog. Disponvel em http://www.beyeblogs.com/donaldfarmer/. Molnar, Sheila e Michael Otey. Donald Farmer Discusses the Benefits of Managed Self-Service. SQL Server Magazine, outubro de 2009.
21
insights coletados dos usurios avanados ao grupo maior, e evoluir para uma configurao de BI mais madura. Tecnologia: Se os dois aspectos anteriores estiverem resolvidos de modo adequado, a demanda por autoatendimento da maior parte dos consumidores de informaes pode ser atingida utilizando uma configurao de BI padro para toda a empresa. Considerando que a maior parte desses servios predefinida, a carga sobre a plataforma de BU pode ser, em grande parte, previsvel. Mas, para os usurios avanados, em geral sintetizadores, dados adicionais (internos/externos, estruturados/no estruturados) e as exigncias de informaes demandam tecnologia de ltima gerao e taxa de transferncia mais elevada do "espao de trabalho de BI". Para atender s necessidades dos usurios avanados, as decises sobre a tecnologia tornam-se crticas e o financiamento, um desafio. Um ndice (entre outros provveis) para medir o grau de autoatendimento monitorar a taxa de uso da anlise do utilitrio pelos usurios normais e realizar uma pesquisa de satisfao qualitativa para monitorar a aceitao pelos usurios avanados. O fundo "pagar-pelo-uso" que ficar acumulado dar a medida quantitativa. Uttama Mukherjee (Uttama.mukherjee@hcl.in) diretor de prtica da HCL Technologies. Ele lidera os servios de consultoria e gerao de BI estratgica em muitos setores.
22
Resumo Para fazer as coisas de modo diferente, preciso olhar as coisas de modo diferente. Este artigo introduz a noo da infraestrutura do negcio, fornecendo a ponte necessria entre o insight do negcio (contextual) e uma plataforma de inteligncia do negcio (BI) (comum). Utilizando os modelos de infraestrutura e capacidade do negcio, o artigo fornece uma abordagem precisa para o planejamento e gerao de servios de BI.
Mudana de cenrio
Atualmente, o setor de TI est na fase de transio, da era de capacidade limitada para emisso de relatrio e anlise individual/funcional para a definida por um mundo conectado, colaborativo e contextual de BI. O insight obtido no apenas pela anlise do passado, mas tambm pela antecipao e entendimento do futuro. O insight tem valor apenas se as pessoas puderem agir sobre ele, de modo oportuno. Na medida em que aumenta a necessidade da coleta de dados, anlise e tomada de deciso em tempo real, tambm aumenta a necessidade de realizar aes por meio de sistemas transacionais. O insight no individual. Em um mundo de BI colaborativa, as pessoas querem localizar, compartilhar, comentar e revisar dados da mesma forma que lidam com documentos. O insight ser uma competncia bsica apenas se acontecer naturalmente para as pessoas. Como resultado, custo, capacidade e consistncia tornam-se igualmente importante. A Tabela 1 fornece uma lista de caractersticas para insight do negcio em uma organizao.
Exigncia
Colaborao atravs de toda organizao.
Implicao
Experincia do usurio: abordagem consistente para gerar, analisar, localizar e compartilhar informaes para tomar decises informadas. Colaborao: capacidade para compartilhar, anotar e realizar aes como aquelas com um documento. Velocidade e integrao: coleta de dados, anlise e tomada de deciso em tempo real e, subsequentemente, agindo por meio de sistemas transacionais. Orientado a servio: adicionar, integrar e gerar dados adicionais na medida em que se tornem disponveis ou forem pertinentes.
Decises de transaes.
Essas abordagens de planejamento e construo de capacidades de BI no so suficientes para suportar novos processos e modelos organizacionais do negcio dirigidos a informao . Para obter insight do negcio e sobre ele capitalizar, precisamos pensar de outro modo sobre como avaliamos, planejamos, comunicamos e implementamos capacidades de BI na organizao.
Prxima prtica
De modo compreensvel, as pessoas so dirigidas pelas suas necessidades. O planejamento e a gerao da capacidade de BI deve respeitar a individualidade e, ao mesmo tempo, gerar pensamento consistente e capacidades comuns para o negcio e TI. Este artigo apresenta a prxima prtica, com um modelo de capacidade e uma abordagem metdica para o planejamento de capacidades de BI para o insight do negcio. Conceito No.1: Infraestrutura do negcio Assim como a TI, o negcio tambm tem uma infraestrutura. Com base no trabalho realizado em grande variedade de setores e cenrios de soluo, o autor concluiu que quase todo o processo ou atividade do negcio depende de conjuntos semelhantes de capacidades. Por exemplo, ao descontar um cheque em uma agncia bancria, o cliente pergunta ao caixa sobre uma nova promoo de hipoteca. O caixa chama uma pessoa do departamento de hipotecas para perguntar sobre a nova promoo. O mesmo cliente pensa em reequilibrar o portflio financeiro e pergunta a um consultor financeiro, do mesmo banco, sobre ttulos do tesouro. O consultor chama um especialista em ttulos para dar essa informao.
Prticas atuais
Atualmente, existem duas abordagens dominantes para gerar capacidades de BI. Algumas organizaes utilizam a abordagem "feita sob encomenda" para gerar uma soluo especfica, para uma necessidade especfica do negcio. Por exemplo, quando uma equipe de vendas tem como objetivo clientes para atualizaes e produtos novos, o grupo de TI cria um data mart ou relatrio de cliente, extraindo e resumindo os dados dos sistemas CRM. Quando a produo deseja analisar os estoques ou a cadeia de suprimento, a TI cria um data mar de produo e resume as informaes de um sistema ERP. Para resolver novas exigncias, essas organizaes continuam a acrescentar camadas para sistemas de emisso de relatrios e anlises individuais, funcionais e unidirecionais, introduzindo duplicao, atrasos, complexidade e custo. Outras organizaes adotaram a abordagem "construa e eles viro", construindo DWs empresariais de grande porte, centralizados, com a expectativa de que grupos diferentes queiram acessar e analisar os dados algum dia. preciso esforo e tambm gastos significativos para construir qualquer coisa; depois, esforo e custo igualmente enormes so necessrios para atualizar e ampliar.
The Architecture Journal #22
23
Insight do negcio
Essas duas atividades do negcio so bastante diferentes e realizadas em dois departamentos diferentes, mas as duas dependem de uma capacidade semelhante, ou seja, ter acesso a um especialista. Da mesma forma, vrios processos e funes do negcio precisam ou usam capacidades de BI semelhantes, diferentes apenas em contedo e contexto. Por exemplo, o enfoque do financeiro so os dados financeiros, enquanto a produo se concentra nos dados de produo e qualidade. Entretanto, ambos precisam da mesma capacidade de BI: emitir relatrios e analisar as informaes que valorizam. Em outras palavras, aprimorar a capacidade de BI comum, como a de emitir relatrios e anlises do exemplo anterior, aprimorar ou habilitar vrias atividades do negcio. Como com a infraestrutura de TI, a infraestrutura do negcio representa um conjunto de capacidades do negcio comuns e horizontais que suportam vrios processos e funes do negcio especializadas e verticais. Da mesma forma que na infraestrutura de TI, o aprimoramento da infraestrutura do negcio reduzir a complexidade do processo, estender a agilidade organizacional e determinar a maturidade do negcio. Assim como a arquitetura de TI inclui aplicativos e capacidades de infraestrutura, a arquitetura do negcio inclui capacidades de processos e infraestrutura do negcio. No contexto de BI, organizamos as capacidades horizontais do negcio em trs domnios de valor.. Os domnios de valor representam o tipo de resultado ou impacto esperado no contexto de um processo ou atividade do negcio em que a capacidade subjacente aproveitada.
Consulte a Tabela 2 que apresenta uma lista das capacidades do negcio que compem a infraestrutura para obteno do insight do negcio. Seria possvel argumentar que poderia haver outras capacidades do negcio no domnio de valor do gerenciamento do negcio. Finanas, clientes e gerenciamento de produto so consideradas capacidades essenciais de qualquer organizao, independentemente do porte e setor, inclusive o pblico. Outras reas do gerenciamento do negcio so extenses dessas reas essenciais ou especficas de um setor ou organizao. Por exemplo, em uma empresa de servios pblicos, o gerenciamento da logstica e da carga de trabalho devem fazer parte, pois so muito importantes e reas distintas da organizao. Em uma instituio financeira, os atendimentos bancrios individual e institucional so atributos do cliente e do gerenciamento de produto, mas os servios de consultoria financeira so adicionados como uma capacidade bsica para outro foco. Essas capacidades so claramente independentes do setor ou processo; assim, podem ser caracterizadas de acordo com um modelo de maturidade de valor. O modelo de maturidade ajuda as organizaes a avaliarem o estado atual e articularem o estado desejado, rpida e facilmente. A Tabela 3 fornece exemplos de nvel de maturidade de algumas das capacidades de infraestrutura do negcio. O modelo detalhado enumera a maturidade de cada capacidade quanto a pessoas, processos, informaes, mtodos de acesso, segurana e conformidade, disponibilidade e atributos de desempenho.
Consenso e decises Comunicao de informaes pertinentes e em tempo hbil Perceber e responder Fonte de informaes autorizada Planejar e gerar excelncia Orquestrao das informaes Governana e conformidade Emisso e anlise de relatrios Medio de desempenho
24
Insight do negcio
Nvel de maturidade-valor Domnio de valor Capacidade do negcio Gerenciamento do negcio Gerenciamento de clientes Nvel 1 Funes de vendas e corporativas podem resumir e emitir relatrios sobre o desempenho de vendas. Nvel 2 Qualquer pessoa ou funo do negcio pode entender e monitorar dados de vendas e marketing em seus prprios contextos. Nvel empresarial; 24/7; dados do cliente. Nvel 3 Uma organizao estendida (parceiros) pode acessar os dados de vendas e suporte para anlises prprias. As pessoas podem estabelecer tendncias e desenvolver previses. Inclui parceiros e locais remotos.. Monitorar, consolidar e analisar. Orquestrar informaes de parceiros (cadeia de suprimento): analisadas e disponveis em vrios tipos de dispositivos ou redes. Nvel 4 O acesso e a anlise podem ser realizados com esforo simblico a qualquer momento, em qualquer lugar e por qualquer pessoa, inclusive os clientes. Nvel mundial. As informaes incluem pesquisa de setor e mercado. Orquestrar informaes do setor: permitindo cenrios what-if, e disponibilizando-os no ponto de interesse de qualquer dispositivo ou rede
Inovao e transformao
Perceber e responder
Orquestrar informaes em nvel funcional: com base em dados operacionais internos e entregues em forma de relatrio na rede interna
Orquestrar informaes em nvel empresarial, inclusive informaes de clientes: consolidadas e disponvel por acesso remoto, sites de equipes, portais e aplicativos COTS.
Conceito No.2: plataforma BI BI transfuncional, para vrias pessoas e dados. Assim como existem capacidades comuns do negcio que possibilitam o insight do negcio, existe tambm uma coleo de servios de BI que articulam as capacidades tcnicas de BI subjacentes. Uma abordagem orientada a servio para definir capacidades de BI minimiza a complexidade e o custo, ao mesmo tempo que gera consistncia e maturidade para as capacidades. Os servios de BI so organizados em quatro domnios, e cada qual aborda um segmento diferente do fluxo de informaes. A Tabela 4 relaciona quatro domnios e as capacidades pertinentes includas em cada domnio. A Figura 1 articula a coleo de servios de BI sob cada domnio que usa interfaces para outros servios de entrada, sada e dependentes.
O conceito de plataforma ou os servios de infraestrutura podem ser aplicados no mbito de todo o domnio de TI. Espera-se que os servios de BI aproveitaro e se integraro com outros servios da empresa como segurana, backup/recuperao e armazenamento. O portflio completo de servio de TI com modelos de capacidade est coberto em uma patente pendente em IT Service Architecture Planning and Management. Assim como existe um modelo de maturidade da capacidade para infraestrutura do negcio, os servios de BI tambm se caracterizam pelo uso de um modelo de maturidade da capacidade. O modelo de maturidade do servio de BI aproveita e estende o modelo do Microsoft Infrastructure Optimization (IO). A Tabela 5 fornece um exemplo de nveis de maturidade do servio de BI. O modelo inclui uma faixa de atributos, abordando a viso de 360 graus do servio. Conceito No.3: relaes e road map
No reinvente o que j conhecemos. Como as capacidades comuns e tcnicas independem de setor, organizao ou tecnologia, as relaes ou dependncias entre as capacidades tcnicas e do negcio so predefinidas. Isso permite s organizaes responderem rapidamente perguntas como "Para quais capacidades tcnicas precisamos habilitar um nvel de maturidade em uma capacidade de infraestrutura do negcio? e "Qual capacidade do negcio pode ser habilitada utilizando uma capacidade tcnica? As relaes ajudam a definir rapidamente o escopo, identificando as dependncias e comunicando valor para vrias partes interessadas. A Figura 2 ilustra um framework para aproveitar relaes e modelos de maturidade conhecidos para o desenvolvimento da viso geral e do road map da arquitetura.
25
Gerenciamento de dados
Insight do negcio
Servios e capacidades de BI
Entrega de informaes
Interfaces externas
Cliente de troca de mensagens Office Navegador Web Fone/PDA Web Services
Anlise de informaes Emisso de relatrios Analtica Visualizao Extrao de dados Scorecard Painel
Gerenciamento de dados Armazenamento de dados OLAP ETL Replicao Arquivamento Recursos humanos Faturamento Gerenciamento de clientes Financeiro
Servios de back-office
Cadeia de suprimento
Infraestrutura do negcio
Relaes predefinidas
Servios de BI
Dependncias de capacidades
Nveis de maturidade
Tecnologias
26
Insight do negcio
Informaes
Transaes Acesso
Integrao
Como as informaes so consolidadas, disseminadas ou integradas? Como essa capacidade implementada? Como as informaes so protegidas ou controladas por acesso?
Sites da web, APIs de banco de dados; programado Portais funcionais Acesso gerenciado pelo usurio
Infraestrutura
Segurana
Nenhuma
Tempo de resposta aceitvel nos principais Tempo de resposta aceitvel no local da filial; sites; disponibilidade interrupo imprevista imprevisvel ou sem monitoramento Backup/recuperao gerenciados pelo usurio; monitoramento e provisionamento manuais
Operaes
Como esta capacidade provisionada, Nenhum procedimento monitorada ou formal de backup/ gerenciada para dar recuperao continuidade ao negcio? Como gerenciado o ciclo de vida til da tecnologia? Nenhum padro nem diretrizes
Tecnologias
1. Compreender os objetivos estratgicos: o que ou poder ser o acionador da necessidade de mudar. Por meio de entrevistas, foram identificados 10 objetivos ou iniciativas significativas que resolveram as metas do negcio e as exigncias regulamentares e operacionais. Esses objetivos exigiram melhoria de pessoal, processo e das capacidades de informaes; como tal, o estudo de caso se deter nas capacidades relativas a BI. 2. Identificar a infraestrutura necessria ao negcio. Avaliar um processo individual do negcio pode ser bastante demorado. Alm disso, nem sempre esto claros o escopo e o objetivo de cada iniciativa estratgica. Por isso, em lugar de analisar os vrios processos do negcio, o ponto central compreender a maturidade das capacidades de infraestrutura do negcio para suportar as iniciativas estratgicas. A Figura 3 apresenta o nmero de iniciativas ou objetivos estratgicos habilitados pelas capacidades de infraestrutura do negcio. Este mapeamento identificou as principais capacidades do negcio que a organizao deve explorar e compreender para os nveis de maturidade atuais e desejados. 3. Identificar e avaliar as capacidades de infraestrutura do negcio necessrias. Utilizando o modelo de maturidade da capacidade, o estado atual foi avaliado, e articulado o estado
27
Insight do negcio
Domnio
Capacidade
Gerenciamento financeiro
Nvel de maturidade-valor
1 2 3 4
Estado atual Estado desejado
Gerenciamento do negcio
Inovao e transformao
Comunicao de informaes pertinentes e em tempo hbil Perceber e responder Fonte de informaes autorizada Orquestrao das informaes
Domnio
Presena Pesquisa Portal Entrega
Servio
Nvel de maturidade-valor 1 2 3 4
Acesso s informaes
Analtico Scorecards Gerenciamento de dados-mestre Integrao de dados Data warehouse Troca de dados Armazenamento de dados Gerenciamento OLAP de dados ETL Replicao
28 The Architecture Journal #22
Emisso de relatrios
Insight do negcio
desejado das capacidades de infraestrutura do negcio necessrias para alcanar os objetivos estratgicos declarados. (Consulte a Figura 3 para uma representao visual dos nveis de maturidade atual e desejado.) A anlise se concentrou nas capacidades que tinham o maior impacto sobre os objetivos estratgicos e nas maiores lacunas relativas entre os estados atual/desejado de maturidade da capacidade. 4. Identificar e avaliar as capacidades tcnicas de BI necessrias. Utilizando o road map de relaes predefinido entre capacidades de infraestrutura e tcnica do negcio, as capacidades tcnicas pertinentes foram identificadas e avaliadas. Utilizando o modelo de maturidade e conhecendo o estado desejado das capacidades do negcio, desenvolveu-se o road map de maturidade das capacidades tcnicas (consulte a Figura 4). 5. Desenvolver o road map para realizao da viso. Com base nas prioridades do negcio, projetos atuais e planejados e dependncias entre as vrias capacidades, definiu-se uma declarao de direo. Os projetos e as capacidades gerados por esses projetos foram organizados de acordo com os quatro domnios dos servios de BI em horizontes de curto, mdio e longo prazos. O road map no tratou de construir capacidades futuras, hoje. Deu nfase ao incio, tendo o final em mente, arquitetando capacidades atuais para que as novas capacidades possam ser introduzidas de modo econmico, quando necessrias. Utilizando o conhecimento do road map da maturidade do negcio e das capacidades de BI, os estados atual e desejado dessas capacidades, e a declarao de direo, a organizao tambm tem condies de planejar e executar cada nova iniciativa ou projeto, garantindo que cada investimento resulte em outro passo na direo certa. Sykes, Martin, and Brad Clayton. "Sobrevivendo em pocas turbulentas: como estabelecer prioridades para as iniciativas de TI via arquitetura corporativa." The Architecture Journal, Junho, 2009. http://msdn.microsoft.com/en-us/architecture/aa902621.aspx. Microsoft TechNet. Microsoft Infrastructure Optimization (IO) Model. Disponvel em http://www.microsoft.com/io. Microsoft Services. Microsoft Assessment and Road Map for Business Intelligence. Disponvel em http://www.microsoft.com/microsoftservices/en/us/bpio_bi.aspx.
Agradecimentos
Agradeo especialmente a Tom Freeman, Geoff Brock e Brant Zwiefel, Microsoft Services, pelo feedback franco e revises meticulosas da minuta do texto.
Sobre o autor
Dinesh Kumar (dineshk@microsoft.com) arquiteto principal e se dedica arquitetura corporativa e ao planejamento de TI. O seu mais recente campo de pesquisa est na compreenso das necessidades do negcio, no planejamento, otimizao e gerenciamento de TI como uma organizao prestadora de servios. Dinesh atua como presidente adjunto do grupo de trabalho de arquitetura empresarial no Innovation Value Institute. Ele tambm faz parte do conselho consultor do CIO da MISQ Executive, uma publicao SIM.
Acesso ao modelo
A Microsoft incorporou o modelo apresentado neste artigo, de acordo com uma abordagem estruturada para desenvolvimento da estratgia de BI, em uma oferta de servio denominada Assessment and Road Map for Business Intelligence (Avaliao e road map de BI). Utilizando este servio, a empresa pode ter acesso ao modelo, obter conhecimento adicional e desenvolver a sua primeira estratgia de BI utilizando o modelo.
Concluso
Se uma organizao de TI quiser criar possibilidades ou "uma feliz surpresa" para o negcio, precisa mudar a sua mentalidade e execuo do "pense localmente, aja localmente" para o "pense localmente, aja globalmente". A BI como um servio da plataforma ajudar as organizaes a gerarem uma experincia de BI uniforme, maximizando o ROI. A infraestrutura do negcio ajudar os usurios e as partes interessadas do negcio a compreenderem as caractersticas comuns do negcio e as organizaes de TI para antecipar as necessidades do negcio e planejar o road map de BI. Com a infraestrutura do negcio e a plataforma de BI, as organizao no apenas podem obter mas, tambm, agir sobre o insight do negcio.
Referncias
Kumar, Dinesh. IT Service Architecture Planning and Management. Patente nos EUA pendente. Dezembro, 2007. Ross, Jeanne W., Peter Weill, and David C. Robertson. Enterprise Architecture as Strategy: Creating a Foundation for Business Execution. Boston, MA: Harvard Business School Press, 2006.
29
know-how para usar as ferramentas; no informar-lhes os nveis de detalhes apropriados e, por certo, ultrapassar o oramento (e isso, por estranho que parea, acontece muitas vezes como decorrncia de um sucesso anterior) . Diz-se, com segurana, que bastante difcil ter uma BI certa e muito fcil ter a errada. Para resumir o quadro acima, o modo mais fcil de fazer com que o seu projeto de BI seja um fracasso , talvez, a abordagem "primeiro construir a fbrica e, depois, decidir o que fabricar". Ciprian Jichici participa do Microsoft Regional Directors Program como diretor regional da Romnia. Desde 2003, ele tem estado envolvido em muitos projetos, workshops e apresentao sobre o tema BI. Voc pode ler uma verso completa deste artigo em http://www.ciprianjichici.ro.
30
Resumo Os autores propem uma arquitetura semntica de modelo de dados corporativos dirigida a ontologia para interoperabilidade, integrao e adaptabilidade para evoluo, por meio de design autonmico inteligente dirigido a agente de modelos de dados lgicos bem como fsicos em uma empresa heterognea distribuda durante seu ciclo de vida. Exige-se uma ontologia de padro corporativo para dados (em OWL [Web Ontology Language] e SWRL [Semantic Web Rule Language]) para habilitar uma plataforma automatizada de dados que agregue atividades de ciclo de vida ao atual Enterprise Search da Microsoft e estenda o Microsoft SQL Server atravs de vrios motores para tipos de dados no estruturados, bem como para muitos tipos de domnios configurveis por usurios atravs de um otimizador de consulta semntico, usando o Microsoft Office SharePoint Server (MOSS) como repositrio de metadados e de contedo para amarrar todos esses componentes.
Introduo
Os modelos de dados tm diferentes organizaes estruturais para atender a diversas finalidades. Hierarquias de produto e organizao, por exemplo, apresentam bom rendimento com o modelo hierrquico, no tendo representao e acesso direto em um modelo relacional (ver Tabela 1). O modelo escolhido pelos seguintes fatores: 1. Facilidade de representao e compreenso da estrutura para a natureza dos dados 2. Flexibilidade ou capacidade de atualizao da representao 3. Facilidade de acesso e compreenso da recuperao, que envolve as etapas de consulta, navegao ou pesquisa e a linguagem 4. Facilidade de integrao, como subproduto da capacidade de atualizao e compreenso 5. Consideraes de desempenho 6. Consideraes de espao Dependendo da necessidade seja de uma busca exata estruturada ou de uma busca difusa, no estruturada podemos ter um mix de informaes heterogneas, estruturadas, semi-estruturadas e no estruturadas para proporcionar o contexto certo aos usurios corporativos.
The Architecture Journal #22
Rede
Relacional
Objeto
XML
Orientado a coluna
Entidade-atributo-valor
Se o banco de dados relacional ajudou no compartilhamento de dados, o compartilhamento de metadados , por si s, um desafio. Aqui, a ontologia corporativa uma possvel soluo para a integrao de metadados, alavancando tais avanos para a tecnologia de integrao de informaes corporativas (EII, Enterprise Information Integration) e interoperabilidade, apesar da natureza nebulosa de uma empresa. As ontologias so conceituais, compartilhveis, reutilizveis, genricas e aplicveis atravs de domnios tcnicos. Contm conhecimentos explcitos representados como regras e auxiliares para inferncia. Alm disso, melhoram a comunicao atravs de componentes heterogneos e dspares, ferramentas, tecnologias e participantes que integram uma empresa de domnio nico.
31
1. Compartilhamento de arquivos de dados em sistemas de arquivos 2. Bancos de dados 3. ERP, CRM e MDM 4. ETLdata warehouse 5. Integrao de informaes corporativas (EII, Enterprise Information Integration) 6. Integrao de aplicativo corporativo (EAI, Enterprise Application Integration) Arquitetura orientada a servio (SOA, ServiceOriented Architecture) 7. Web Services semnticos Tambm, com relao s informaes, as linhas divisrias entre fato e dimenso, dados e linguagem, estruturado e no estruturado vo desaparecendo, j que um tipo especfico de dado se transforma ao longo do tempo devido ao volume e sua importncia/relacionamento com o ambiente. Um modelo de dados de transao normal pode passar de BI e extrao de dados preditiva para machine learning em direo a um modelo de conhecimento e se tornar acionvel em forma de linguagem, podendo assim se comunicar com outros sistemas e humanos. Dados empresariais precisam de um vocabulrio comum e uma compreenso do significado das entidades de negcios e dos relacionamentos que guardam entre si. Graas variedade de fornecedores que se especializam nas funes de uma empresa, comum ver modelos de dados heterogneos de produtos, tecnologias e fornecedores diferentes que precisam interoperar. Dados como servio com SOA, barramento de servio corporativo (ESB, Enterprise Service Bus), e modelos de dados cannicos tentaram abordar essa diversidade de esquemas ou estruturas, mas no abordaram a interoperabilidade semntica transparente antes do advento dos Web Services semnticos. A integrao empresarial semntica atravs da linguagem de ontologia da Web (OWL) pode ser uma soluo para a interoperabilidade semntica transparente em uma empresa.
Participantes proeminentes abordaram dados no estruturados na forma de sistemas de gerenciamento de contedo que, mais uma vez, tm de ser acomodados no contexto adequado, com dados estruturados tradicionais, tanto metadados quanto em termos de contedo. Descarregando para unidades auxiliares Muitos sistemas de banco de dados suportam um armazenamento OLTP orientado a linhas para armazenamento compactado de linhas e colunas, para armazenamento de leitura apenas ou armazenamento baseado em disco s de escrita e armazenamento baseado em memria de leitura apenas, movendo-os com frequncia, de um para outro, de acordo com os estgios do ciclo de vida e caractersticas exibidas. Descarregar parte da carga para processadores auxiliares que se especializam em processamento SQL tambm uma das prticas que podemos observar em aparelhos de data-warehouse. Design autonmico inteligente Muitos sistemas produzem o design timo ou recomendam com base nos seguintes itens:
" Esquema lgico " Dados de amostragem " Carga de trabalho de consulta
Alguns sistemas abstraram as partes de gerenciamento de arquivos que precisam ser manipuladas no nvel do sistema operacional. O Query Advisor e o Access Advisor da Oracle oferecem os melhores planos, baseados em estatsticas. Descompasso de impedncia e interoperabilidade semntica O mapeamento relacional de objetos (ORM, Object-Relation mapping) um padro clssico com duas ferramentas diferentes, que gostariam de organizar os mesmos dados de duas formas diferentes. Aqui, os mesmos dados empresariais tm de ser representados usando uma hierarquia herdada em um design orientado a objeto, enquanto que em um banco de dados relacional podem ser uma ou mais tabelas. LINQ para SQL e LINQ para Entidades (Entity Framework) so algumas das ferramentas que abordam este espao. E se o banco de dados for um banco de dados hierrquico ou um simples modelo entidade-atributo-valor? Se a linguagem for um modelo de programao funcional e ocorrer de o banco de dados que usamos ser um banco de dados orientado a objeto, um tipo diferente de descompasso de impedncia poder surgir. Portanto, sempre que houver paradigmas diferentes que precisam se comunicar, melhor contar com um intermedirio. Neste caso, os autores propem que o modelo de domnio (no um modelo de objeto) seja representado em modelo ontolgico que abranja toda a empresa, completo com lgica de negcio, regras, restries e conhecimentos representados. Para cada sistema que precise de comunicao, usaremos este modelo ontolgico como denominador comum para conversar com os sistemas. Outra rea de descompasso de impedncia a que est entre o modelo SQL relacional e as Expresses Multidimensionais (MDX, Multidimensional Expressions) de cubo OLAP. MDX uma linguagem na qual os nveis de dimenses hierrquicas so semanticamente significativos, o que no o caso com SQL baseado em tuplas. Aqui, tambm, necessria uma converso.
Solicitao do usurio
Repositrio de regras do ciclo de vida e progresso de modelo de dados para dados Repositrio de workflow e regras corporativas de ontologia semntica
Consulta/pesquisa do usurio
Relacional
Distribudo
Em vez de buscar uma soluo ponto-a-ponto, poderamos nos beneficiar de uma ontologia comum. O aplicativo exige um provedor de dados de servios semnticos que converta a consulta adequadamente para o modelo de ontologia empresarial e, dependendo do modelo de fonte de dados, federar a consulta em um formulrio modificado, entendido pelo modelo de dados especfico da fonte de dados. O modelo de domnio conceitual e poderia substituir ou reutilizar os diagramas estruturais conceituais entidade-relacionamento ou classeobjeto de linguagem de modelagem unificada (UML, Unified Modeling Language).
ponto inicial. Aqui, a estrutura definida por uma triagem administrativa com parmetros, que toma a definio da estrutura do registro e armazena os metadados e dados por associao. Depois de um intervalo peridico, h um agente que supervisiona os tipos de registros por um perodo de tempo, bem como os dados reais nos valores de registro, para verificar se as mudanas foram estabelecidas e se a estrutura se tornou relativamente estvel. Quando a estrutura est estabilizada, o analisador qualifica o tipo de estrutura adequada para a entidade contabilizando as consultas, os dados e suas estatsticas, as mudanas para a estrutura e o seu relacionamento com outras entidades e seu estgio de ciclo de vida. Modelo de componente do otimizador semntico da empresa Otimizador semntico da empresa O otimizador semntico corporativo consulta o workflow e os repositrios de regras em caso de insero ou evento de mudana de estado para localizar qual modelo de dados deve acomodar o item de dados de entrada ou de mudana de estado. Em caso de pesquisa, ele consulta o navegador de instncia de linhagem de metadados para localizar os dados. De acordo com isso, federa a consulta para armazenamentos online ou arquivados e atravs de modelos e produtos heterogneos. Aqui, os dados baseados em SOA e a capacitao de metadados como servio so teis.
33
Servios de dados semnticos Os servios de dados semnticos (Semantic Data Services) estendem as caractersticas do objeto de servios de dados para habilitar a semntica dirigida a ontologia em seu servio. Os servios de interface consultam a ontologia da empresa para interao. Workflow e repositrio de regras empresariais de ontologia semntica Podemos definir a linhagem que cada tipo de dado classificado deve seguir. Podemos, por exemplo, dizer que um registro mestre de funcionrios da empresa ser inserido como dado mestre. O modelo a ser seguido o Framework de descrio de recursos (RDF, Resource Description Framework), onde so definidos os relacionamentos entre esse funcionrio e os outros, dentro da mesma organizao. Os registros mestre de funcionrios tambm sero distribudos para que se tenha os detalhes de frequncia no local do relatrio; contudo, os detalhes de salrio estaro no escritrio central, onde so feitos os pagamentos. O registro de funcionrios ser atualizado nos sistemas de transao online enquanto o funcionrio estiver na empresa. Depois que o funcionrio deixa a empresa, o registro permanece por um ano para o relatrio anual, antes de passar para um repositrio de gerenciamento de registros, onde mantido de forma plana, para consultas especficas. Depois de trs anos, esse registro transferido para armazenamentos de arquivos, mantidos em forma altamente compactada. Mas as informaes chave de identificao so mantidas online em repositrios de metadados, para permitir quaisquer verificaes offline/background/assncronas, que possam ser necessrias para tal funcionrio posteriormente, durante a vida da empresa. Todas essas modificaes, ocorridas nos estgios de ciclo de vida pertinentes, esto definidas no repositrio de workflow, juntamente com todas as regras aplicveis ao repositrio de regras. Agente gerador de eventos Com base nos workflows e regras acima, sempre que um item de dado se qualifique para mudar de estado, um evento ser gerado por esse componente para alertar o otimizador a invocar a rotina que determinar o modelo de dados apropriado para transferncia do item de dado depois da mudana de estado. Navegador de instncia de linhagem de metadados Todas as instncias de dados tm metadados associados a elas. Isso envolve atributos como data de criao, por quem foi criado, sistema de criao, o caminho tomado a cada estgio de mudana de ciclo de vida e assim por diante. Estaro tambm a contidas as vrias tradues necessrias para rastreamento de tais dados nos vrios sistemas. Este componente ajuda a localizar os dados. Universo de modelo de dados o conjunto heterogneo de modelos de dados disponveis para escolha do otimizador no momento da criao e, subsequentemente, da mudana de estado de um item de dado: 1. Dados mestre e de referncia: em grande parte estticos; gerenciamento de dados mestre (MDM, Master Data Management); hierarquia; relaes; grfico; rede; framework de descrio de recursos (RDF, Resource Description Framework) 2. Motor OLTP (Online transaction processing ou processamento de transaes em tempo real): transao; normalizado 3. Motor do cubo OLAP: analtico; transao de ciclo de vida completada; analtico RDF para relaes e relaes semnticas 4. Gesto de registros ou motor de arquivo: dados arquivados; para extrao de dados, relatrio de conformidade 5. Bancos de dados objeto-relacional e orientado a objetos para informaes no estruturadas: banco de dados de imagens;
34
recuperao de informaes baseadas em contedo 6. Bancos de dados de texto para anlises de texto, pesquisa de texto total e processamento de linguagem natural 7. Motores XML para integrao de processamento de transao distribuda 8. Processamento de fluxo: XML 9. Metadados: abrangem RDF, XML, hierarquia, integrao grfica de bancos de dados legados heterogneos em termos de fuses e aquisies (M&A) e parceria para fornecimento de solues colaborativas Aqui, a consulta precisa ser federada e o acesso em tempo real tem de ser habilitado com traduo semntica apropriada. Quando o ciclo de vida dos dados muda, h sensores ou sistemas de machine-learning programados para compreender o estado nas mudanas de estgio do ciclo de vida. Quando tais mudanas so detectadas, o registro adequadamente transferido do gerenciamento da transao para OLAP ou extrao de dados, ou para local de arquivamento, de acordo com a linhagem. Assim, quando surge um pedido de informao, baseado nas regras de negcio configuradas, o otimizador capaz de localizar o motor capaz de federar tal consulta de acordo com as propriedades da consulta de pesquisa e de traduzi-la, conforme o caso, para consulta hierrquica, OLAP ou de sistema de arquivo. Talvez no vejamos grandes vantagens para os aplicativos desenvolvidos regularmente, mas ocorrem alteraes nos fluxos atuais dos estados de ciclo de vida ou mudanas em novos tipos de dados.
Concluso
A nosso ver, o cenrio empresarial est dominado por um GRID de rede grfica distribuda de modelos heterogneos semanticamente integrados empresa. Vemos, tambm, que os dados empresariais evoluem continuamente atravs de seu design lgico e fsico, com base em suas caractersticas de uso, origem e ciclo de vida. Vrios modelos de dados considerados adequados ou quaisquer combinaes dos mesmos podero coexistir para decidir o modelo heterogneo de uma empresa. O modelo relacional enfatiza que o usurio no precisa conhecer a estrutura fsica ou a organizao dos dados. Nesse modelo, propomos que nem mesmo o modelo lgico precisa ser conhecido, e que qualquer recurso de dados da empresa deveria ser reutilizvel por diferentes sistemas operacionais, produtos de bancos de dados, modelos de dados e sistemas de arquivos. A arquitetura descreve um sistema adaptvel que pode escolher de forma inteligente o modelo de dados de acordo com o perfil dos dados de entrada. Os modelos, aplicativos e estgios de ciclo de vida reais suportados so ilustrativos por si. O importante que se trata de um sistema flexvel o suficiente para acomodar qualquer modelo que seja inventado no futuro. Adaptabilidade e extensibilidade so vantagens adicionais desta arquitetura. Alm disso, a integrao dinmica de limites empresariais proporciona mais agilidade e decises bem fundamentadas para negcios cada vez mais dinmicos.
Agradecimentos
Os dois primeiros autores so gratos ao terceiro autor, S. V. Subrahmanya, vice-presidente da E&R, Infosys Technologies Ltd., por plantar e nutrir esta ideia, e ao Dr. T.S. Mohan, pesquisador principal da E&R, Infosys Technologies Ltd., por sua reviso ampla e profunda. Os autores reconhecem e agradecem aos autores e editores dos trabalhos, livros e sites da Web listados na bibliografia. Todas as marcas comerciais e marcas comerciais registradas usadas neste artigo so de seus respectivos proprietrios/empresas.
Referncias
Larson, James A. e Saeed Rahimi. Tutorial: Distributed Database Management. Silver Spring, MD: IEEE Computer Society Press, 1985. Hebeler, John, Matthew Fisher, Ryan Blace, Andrew Perez-Lopez e Mike Dean (prefcio). Semantic Web Programming. Indianapolis, IN: Wiley Publishing, Inc., 2009. Powers, Shelley. Practical RDF. Beijing; Cambridge: O'Reilly & Associates, Inc., 2003. Chisholm, Malcolm. How to Build a Business Rules Engine: Extending Application Functionality Through Metadata Engineering. Boston: Morgan Kaufmann; Oxford: Elsevier Science, 2004. Vertica Systems. Pgina inicial. Disponvel em http://www.vertica.com (visitada em 16 de outubro de 2009). Microsoft Corporation. Enterprise Search for Microsoft. Disponvel em http://www.microsoft.com/enterprisesearch/en/us/default.aspx (visitada em 16 de outubro de 2009). G-SDAM. Grid-Enabled Semantic Data Access Middleware. Disponvel em http://gsdam.sourceforge.net/ (visitada em 18 de outubro de 2009). W3C. A Semantic Web Primer for Object-Oriented Software Developers. Disponvel em http://www.w3.org/TR/sw-oosd-primer/ (visitada em 18 de outubro de 2009).
Sobre os autores
P. A. Sundararajan (sundara_rajan@infosys.com) lder do departamento de educao e pesquisa do ECOM Research Lab na Infosys Technologies Ltd. Tem quase 14 anos de experincia em desenvolvimento de aplicativos e arquitetura de dados em fabricao discreta, hipotecas e domnios de garantia. Anupama Nithyanand (anupama_nithyanand@infosys.com) a principal lder do departamento de educao e pesquisa da Infosys Technologies Ltd. Tem quase 20 anos de experincia em educao, pesquisa, consultoria e desenvolvimento de pessoas. S. V. Subrahmanya (subrahmanyasv@infosys.com) atualmente vicepresidente da Infosys Technologies Ltd. e chefe do laboratrio ECOM de pesquisa do departamento de educao e pesquisa da Infosys. autor de trs livros e tem diversos trabalhos publicados em congressos internacionais. Tem quase 23 anos de experincia industrial e acadmica. Sua especialidade arquitetura de software.
SOAs leves: Explorando padres e princpios de uma nova gerao de solues de SOA
porJesus Rodriguez e Don Demsak
Resumo Este artigo explora alguns dos desafios mais comuns das arquiteturas tradicionais orientadas a servio (SOAs, Service-Oriented Architectures) e discute como abordar esses desafios usando alternativas mais escalonveis, interoperveis e geis, que aqui chamaremos de SOAs leves.
Introduo
Durante os ltimos anos, vimos como a abordagem tradicional da orientao a servio (SOA) frequentemente no conseguiu entregar o valor e a agilidade do negcio que constituam o elemento chave de sua proposta de valor. Pode-se dizer que as causas para essa situao esto na complexidade desnecessria intrnseca s tcnicas tradicionais de SOA, como protocolos SOAP, WS-* ou barramentos de servio corporativo (ESBs, Enterprise Service Buses). Assim sendo, implementaes alternativas de SOAs leves, impulsionadas por estilos de arquitetura como transferncia de estado representacional (REST, Representational State Transfer) e arquiteturas orientadas a web (WOA, Web-Oriented Architectures) esto, aos poucos, se mostrando mais geis do que a abordagem SOA tradicional. Todos concordam que a Figura 1, ao menos em teoria, representa a arquitetura ideal para aplicativos empresariais. Infelizmente, as grandes implementaes de SOA nos ensinaram que a arquitetura anterior apenas isto: um ideal permeado por enormes desafios em reas como controle de verses, interoperabilidade, desempenho, escalabilidade e governana. Esses desafios so consequncia direta da falta de restries nos sistemas SOA. Estilos de arquitetura que no impem restries no domnio subjacente costumam produzir sistemas complexos e impossveis de gerenciar. Em vez de simplificar as capacitaes de SOA e focar nos aspectos importantes (como interoperabilidade, desempenho e escalabilidade), decidimos abstrair a complexidade com mais padres e ferramentas. Assim, estamos construindo sistemas que apresentam limitaes semelhantes s originalmente impostas pelo movimento SOA. Uma coisa que aprendemos com o Ruby on Rails foi o mantra conveno sobre configurao ou essncia x cerimnia. Ao remover as opes e aderir s convenes (isto , formas padronizadas de fazer algo), possvel remover nveis adicionais de abstrao e, ao faz-lo, remover a complexidade desnecessria dos sistemas. As opes devem existir, sempre que necessrio, mas no devem ser sem necessidade, quando sero subutilizadas. Embora este artigo no procure apresentar uma anlise discutvel das iniciativas de SOA que falharam, acreditamos que vale a pena ressaltar alguns dos fatores que os desenvolvedores devem considerar ao implementar grandes solues de SOA. Em virtude da extenso deste artigo, decidimos nos concentrar nos seguintes tpicos:
" Nos ltimos anos, a SOA tem sido a pedra de toque dos sistemas
"
distribudos. A promessa fundamental da SOA, na sua essncia, era facilitar a agilidade de TI, implementando capacidades do negcio pelo uso de interfaces interoperveis, que podem ser compostas para habilitar novas capacidades do negcio. Do ponto de vista do estilo de arquitetura, os sistemas SOA tradicionais compartilham uma srie de caractersticas como: Figura 1: A SOA ideal Aproveitamento de protocolo simples de acesso a objeto (SOAP, Simple Object Access Protocol) e Servio linguagem de descrio dos Web Services (WSDL, Web Services Description Language) como padres fundamentais para interfaces de servio
Servio
Servio
B P M
Servio
Servio
Servio
LOB
LOB
LOB
SOAs leves
Servio
Nova verso
WSDL v1.0
Servio
WSDL v2.0
Cliente
Cliente
Cliente
Cliente
Cliente
Cliente
Cliente
" SOAP e abstrao de transporte " Abuso de linguagens descritivas " Complexidade ESB " Interoperabilidade WS-* " Governana SOA
A seguir, este artigo ir aprofundar cada um desses tpicos e explorar estilos alternativos de arquitetura que podem ajudar os desenvolvedores a implementar solues SOA mais robustas. SOAP e a iluso da abstrao de transporte A atual gerao de solues SOA evoluiu a partir de conceitos de protocolo simples de acesso a objeto (SOAP, Simple Object Access Protocol). Este protocolo foi originalmente projetado para abstrair servios do protocolo de transporte subjacente. Conceitualmente, os servios SOAP podem ser hospedados usando transportes completamente diferentes, como HTTP e MSMQ. Embora parea ser uma tima ideia em teoria, na prtica descobrimos que o SOAP paga um preo alto por sua confiana na neutralidade do transporte, um custo que pode ser reduzido quando tal neutralidade no necessria. Um dos melhores exemplos das limitaes imposta pela neutralidade do transporte o uso de HTTP com extremidades de servios baseados em SOAP. A grande maioria de servios baseados em SOAP depende do HTTP como protocolo de transporte. Contudo, a vinculao SOA HTTP usa apenas um pequeno subconjunto da especificao HTTP, restrito ao mtodo POST e alguns cabealhos. Assim sendo, os servios baseados em SOAP HTTP no aproveitam as vantagens oferecidas por muitos dos recursos que fizeram do HTTP o protocolo de transporte mais comum e escalonvel da histria dos sistemas de computao. Se herdamos algo de bom do SOAP, foi o uso do XML, que aumentou drasticamente a interoperabilidade dos aplicativos distribudos. Mas todos concordam que o SOAP falhou em relao s expectativas originais a seu respeito. Disso se trata: o SOAP foi originalmente criado como protocolo simples de acesso a objeto. Contudo, como depois descobrimos, no simples, no diz respeito a acesso a objeto e pode-se dizer que no um protocolo. Abuso de WSDL A linguagem de descrio dos Web Services (WSDL, Web Service Description Language) uma das especificaes fundamentais do
The Architecture Journal #22
Sem dvida, a ideia de gerar artefatos proxy baseados em uma linguagem WSDL pode facilitar as interaes cliente-servio em ambientes muito simples. O principal desafio desta abordagem, como no caso de suas antecessoras, que ela introduz um nvel de acoplamento entre o cliente e o servio. Em grandes cenrios de SOA, onde centenas de servios e clientes esto envolvidos, esse nvel de dependncia servio-cliente costuma ser a causa de srios desafios de gerenciamento de servio e controle de verses, como ilustra a Figura 2. ESB: sim ou no? Uma das promessas dos sistemas empresariais SOA era promover a integrao transparente de sistemas heterogneos de linha de negcios (LOB, Line-Of-Business) como parte dos processos do negcio. Essas capacidades de integrao so normalmente acionadas por uma srie de padres comuns que constituem a espinha dorsal o que o setor considerava ser uma das espinhas dorsais da SOA: o barramento de servio corporativo (ESB, Enterprise Service Bus). Embora no haja um padro formal do setor que defina o que o ESB, ao menos podemos encontrar uma srie de aspectos comuns em vrios produtos ESB. Normalmente, o ESB abstrai uma srie de capacidades fundamentais, como mapeamento de protocolo, coreografias de servio, adaptadores de linha de negcios (LOB, Lineof-business), distribuio de mensagens, transformaes e durabilidade. Teoricamente, podemos usar esse recurso sofisticado para abstrair a comunicao entre servios e sistema fazendo o ESB a espinha dorsal da empresa, como ilustra a Figura 3.
Cliente
portflio de SOA. A finalidade da WSDL descrever as capacidades de um servio, como as mensagens que ela pode enviar e receber ou como essas mensagens so codificadas usando o protocolo SOAP. Conceitualmente, a WSDL representa uma evoluo sobre as linguagens de descrio anteriores, como a linguagem de descrio de interface (IDL, Interface Description Language), que era o ncleo das tecnologias de programao distribuda como COM e CORBA. Seguindo um padro semelhante, a WSDL logo se tornou um artefato fundamental que os aplicativos cliente usavam para gerar representaes "proxy" que abstraem a comunicao com o servio.
Servio
Servio
Servio
ESB
Servio
Servio
37
SOAs leves
Como arquitetos, temos de admirar imensamente o diagrama da Figura 3. Ele representa, sem sombra de dvida, um modelo ideal no qual as mensagens so enviadas para um corretor de servios centralizado e, a partir da, distribudas para os servios finais. Infelizmente, porm, se estivermos trabalhando com uma SOA de grande porte, muito provvel que descubramos que a arquitetura de barramento central introduz limitaes srias em aspectos como gerenciamento, desempenho e escalabilidade, pois toda a infraestrutura de integrao agora fica dentro de um framework proprietrio. Em lugar de ser um facilitador, o ESB pode se tornar um gargalo para a agilidade, governana e escalabilidade da SOA. Dessa maneira, somos forados a comear a criar aplicativos que no aproveitam totalmente o ESB e a nossa arquitetura comea rapidamente a parecer-se com o diagrama da Figura 4. Loucos por WS-* Depois que a primeira onda de especificaes SOA foi criada, diversos fornecedores de tecnologia comearam um esforo colaborativo para incorporar algumas das principais capacidades empresariais como segurana, confiabilidade de mensagens e transaes no modelo SOAP/WSDL. O resultado desse esforo se materializou em uma srie de especificaes como WS-Security, WS-Trust e WSReliableMessaging, batizadas pelo setor como protocolos WS-*. Alm do inegvel valor acadmico das especificaes WS-*, elas no foram largamente adotadas em ambientes heterogneos. A adoo limitada do WS-* nas empresas pode, em ltima anlise, ser atribuda ao nmero incrivelmente grande de especificaes WS-* produzidas nos ltimos anos. Atualmente h mais de cem diferentes verses de protocolos WS-* das quais apenas um punhado chegou a ser adotado em solues reais de SOA. A interoperabilidade , de longe, o aspecto mais desafiador das solues baseadas em WS-*, j que diferentes conjuntos de ferramentas de Web Service implementam diferentes protocolos WS-*, diferentes verses dos mesmos protocolos, ou mesmo diferentes aspectos da mesma especificao. Alm disso, a adoo de WS-* foi fundamentalmente reduzida para os ecossistemas .NET e Java, tornando completamente impossvel aproveitar os paradigmas emergentes de programao como linguagens dinmicas ou funcionais em solues de SOA (veja a Figura 5). Governana da SOA ou Ditadura da SOA Gerenciamento e governana precisam estar no centro de cada SOA de mdio ou grande porte. Embora continuemos a habilitar
Servio
Servio
Servio
ESB
Servio
Servio
capacidades de negcios atravs de servios, importante considerar como fazer a verso, implantar, monitorar e gerenciar essas capacidades. Este grupo de funcionalidades tem sido o esteio das plataformas de governana SOA que, tradicionalmente, desenvolveram-se com base em conceitos das especificaes de descrio universal, descoberta e integrao (UDDI, Universal Description, Discovery and Integration). Dependendo da nossa implementao, podemos concluir que as plataformas de governana SOA so muitas vezes limitadas demais para gerenciar de fato Web Services complexos. Esses tipos de desafios so muito comuns em solues de governana SOA e so uma consequncia do fato de que as tecnologias Web Service evoluram relativamente mais rpido do que as respectivas plataformas de governana SOA. As tecnologias de governana SOA costumavam abordar essas limitaes fiando-se em um modelo centralizado no qual os servios so virtualizados em ambientes de hospedagem de governana e as polticas so aplicadas a partir de um local central. Embora este modelo possa certamente ser aplicvel a pequenos ambientes, ele apresenta srias limitaes em termos de interoperabilidade, desempenho e escalabilidade (veja Figura 6).
Cliente WCF Servio WCF (assegurado usando WS-Trust) Cliente Ruby Servio Apache Axis2 (hospedado usando o transporte JMS)
SOAs leves
" Aproveitamento de servios RESTful " Interoperabilidade WS-* " ESB federado " Governana SOA leve " Adoo da computao em nuvem
Adoo da Web: servios RESTful Nas sees anteriores, os autores exploraram vrias limitaes dos blocos de construo fundamentais de sistemas SOA tradicionais como XML, SOAP, WSDL e protocolos WS-*. Embora os Web Services sejam agnsticos do ponto de vista de transporte, muitas das implementaes do mundo real aproveitam o HTTP como protocolo subjacente. Esses servios hospedados em HTTP deveriam (pelo menos em teoria) trabalhar de forma semelhante aos sistemas baseados na Web. Contudo, as diferentes camadas de abstraes que construmos sobre o protocolo HTTP limitam esses servios e impedem que faam uso total das capacidades da Web.
Virtualizao
Autorizao
Monitorao
Autenticao
Aplicao da poltica
Servio
Cliente
Servio
Cliente
Servio
Para abordar alguns desses desafios, as tecnologias SOA comearam a adotar estilos de arquitetura mais amigveis para a Web, como o REST. O REST tem sua origem na dissertao de PH.D de Roy Thomas Fielding que estabelece os princpios que fazem da Web o sistema mais escalonvel e interopervel da histria do software de computao. Essencialmente, os sistemas habilitados para REST so modelados de acordo com recursos endereveis por identificador de recursos universal (URI, Uniform Resource Identifier), que podem ser acessados atravs de interaes HTTP sem manuteno de estado. Seguindo os princpios do REST podemos arquitetar servios altamente escalonveis que realmente aproveitam os princpios da Web. REST se tornou, indubitavelmente, uma alternativa muito atraente para Web Services SOAP/WS-*. O uso do REST aborda algumas das limitaes de Web Services tradicionais, como interoperabilidade e escalabilidade. As capacidades dos servios RESTful so:
Cliente
Servio
Servio
Interoperabilidade WS-* Apesar do trabalho acadmico notvel que suporta a famlia de protocolos WS-*, todos parecem concordar que a adoo e os benefcios no atingiram as expectativas iniciais. Interoperabilidade e complexidade permanecem como desafios importantes que se interpem adoo dos protocolos WS-* na empresa. No que toca interoperabilidade WS-*, a melhor prtica, de longe, identificar as capacidades dos consumidores potenciais de nossos servios. Com base nessas informaes, podemos determinar quais os protocolos WS-* mais adequados para nossos cenrios especficos. Em ambientes altamente heterogneos, devemos considerar habilitar diferentes extremidades de servio que suportem vrias capacidades WS-*. Esta abordagem pode melhorar drasticamente a interoperabilidade de nossos servios, j que clientes diferentes podem interagir com a extremidade de servio que melhor interopera com esses servios. Consideremos, por exemplo, um cenrio no qual precisemos garantir um Web Service que ser consumido por cliente .NET, Sun Metro, Oracle WebLogic e Ruby. Neste cenrio, podemos habilitar trs extremidades de servios com diferentes configuraes de segurana, baseadas em capacidades do consumidor, como ilustra a Figura 7. Mesmo nos cenrios nos quais decidimos usar protocolos WS-*, a tcnica ilustrada na Figura 7 nos ajuda a melhorar a interoperabilidade, habilitando vrias extremidades que captam os requisitos de interoperabilidade de diferentes consumidores de servios.
" Recursos endereveis por URI " Interaes baseadas em HTTP " Interoperabilidade " Interaes sem manuteno de estado " Aproveitamento de formatos de distribuio " Representao de mltiplos recursos " Relaes baseadas em link " Escalabilidade " Cache " Mtodos padronizados
A simplicidade do ponto de vista do consumidor e altos nveis de interoperabilidade de servios RESTful so alguns dos fatores que podem melhorar drasticamente a agilidade das solues SOA de prxima gerao.
The Architecture Journal #22
39
SOAs leves
ESBs federadas leves Como vimos nas sees anteriores, um ESB centralizado , muitas vezes, um dos principais motivos de falha das iniciativas de SOA. A capacidade de centralizar funcionalidades muito inteligentes, como roteamento de mensagem, transformao e workflows to atraente quanto irrealista em ambientes empresariais mdios a grandes. Essencialmente, ao apoiar-se no conceito limpo do barramento central de servio, restringimos drasticamente as opes de escalabilidade, especializao e gesto das solues empresariais que alavancam nossa infra-estrutura de SOA.
Extremidade WS-Trust
Depois de vrias tentativas falhas para Cliente implementao de ESBs centralizadas em grandes Ruby organizaes, a indstria passou para um padro mais gil, no qual a funcionalidade particionada em vrias ESBs fsicas leves que so agrupadas como entidade federada. Este padro comumente conhecido como ESB federado e representa um dos estilos de arquitetura emergentes para a criao de solues ESBs altamente escalonveis. O padro ESB federado aborda as limitaes fundamentais do modelo ESB centralizado pelo particionamento da infraestrutura em ESBs separados, que podem ser escalonados e configurados separadamente. Por exemplo, neste modelo podemos ter uma infraestrutura especfica de ESB para hospedar interfaces B2B, enquanto outro ESB se encarrega do processamento de transaes financeiras. Esta abordagem tambm centraliza certas capacidades, como segurana ou configurao do terminal, que no impem limite de escalabilidade infraestrutura de SOA.
mais leves e mais interoperveis, que aproveitam novos estilos de arquitetura como REST e Web 2.0. Essencialmente, esses novos modelos buscam remover algumas complexidades que fatalmente ocorrem em arquiteturas centralizadas baseadas em UDDI, substituindo-as por padres amplamente adotados como HTTP, Atom e JSON. Um dos novos modelos de governana SOA mais conhecidos a ideia de um Repositrio de Servio RESTful. Neste modelo, construtos tradicionais de SOA como servio, terminais, operaes e mensagens so representados como recursos que podem ser acessados atravs de um conjunto de interfaces RESTful. Especificamente, o uso de padres orientados a recurso como o Atom e o protocolo de publicao Atom (APP, Atom Publishing Protocol) muito atraente para representar e interagir com artefatos SOA (veja a Figura 9). Este modelo representa uma abordagem mais leve, mais flexvel, tanto para o design quanto para o runtime de governana. Por exemplo, aspectos de governana de runtime, como resoluo de terminal,
Governana leve
A adoo limitada da UDDI em ambientes SOA de grande escala tem sido catalisadora para a emergncia de modelos de governana SOA
ESB
Monitoramento da atividade do negcio (BAM, Business Activity Monitoring) Segurana Regras do negcio
ESB
ESB
Registro de servios
Monitorao operacional
Tratamento de erros
Servios
Servios
Servios
40
SOAs leves
esto reduzidos a uma simples solicitao HTTP GET contra interfaces RESTful. A principal vantagem desse tipo de governana provavelmente a interoperabilidade que se ganha pelo uso dos servios RESTful, o que nos permitir estender nossas prticas de governana SOA para alm de .NET e J2EE para tecnologias heterogneas, como linguagens dinmicas ou funcionais.
Registro RESTful
Trmino de servio-registro
Trmino de servio-registro
Servio
Cliente
Servio
Servio
Servios em nuvem
Servios de dados
Servio
Servio
Servio
Servio
41
SOAs leves
Barramento de servio corporativo ESB: sim ou no? Eis a questo. As comunicaes ponto a ponto esto fortemente acopladas e so de fcil implementao. Porm, a comunicao ponto a ponto por sua prpria natureza quebradia, tende a se estagnar e limita as oportunidades de BI inseridas nas mensagens. No confunda ESBs com sistemas de processamento de eventos. So semelhantes, porm tm escalas diferentes e diferentes requisitos de desempenho. Considere ESBs federados, pois eles abordam as limitaes de um ESB centralizado (spoke-and-hub). No reproduza os seus padres fortemente acoplados ponto a ponto no mbito do ESB apenas mudando o cdigo para fazer a ponte. Considere usar pub-sub (publicar/assinar) em lugar de solicitao-resposta quando estiver criando sistemas distribudos. Servios baseados em nuvem Tudo em nuvem: parece que por a que vamos. A Microsoft se antecipou um pouco com o conceito My Services, porm cada vez mais os servios esto indo na direo das nuvens. Considere servios de segurana baseados em nuvem, em lugar de servios locais, de segurana proprietria que fazem interface com o pblico. Pode-se argumentar que este o mais maduro dos servios baseados em nuvem. Considere a possibilidade de aprimoramentos futuros para aproveitar o armazenamento e o barramento de servio baseado em nuvem. O mais importante a se lembrar quando se constroem servios empresariais o mantra "conveno sobre configurao". Ao manter um nmero mnimo de opes e construir apenas o que necessrio para o negcio, podemos criar servios mais leves, mais fceis de manter e aprimorar.
Concluso
A abordagem tradicional para SOA apresenta desafios srios que a tornam impraticvel para implementaes de grande porte. Este artigo sugere uma srie de padres que podem ajudar os desenvolvedores a habilitar SOAs mais leves, interoperveis e escalonveis que podem proporcionar real agilidade de negcio em cenrios de grandes empresas. Abstrao de transporte Considere, em primeiro lugar, a padronizao do protocolo HTTP. O HTTP uma alternativa leve e pode interoperar com mais frameworks. Use SOAP e WS-* quando precisar de transaes, mensagens duradouras ou desempenho extremo (TCP/IP). SOAP & WSDL Se j tiver se decidido por uma padronizao HTTP, haver pouca necessidade de SOAP e WSDL. Aprenda a adotar tecnologias como REST, JSON e Atom Pub e use a Web em todo o seu potencial. No use SOAP e WSDL salvo se tiver certeza de que voc efetivamente precisa dos servios oferecidos. Considere o uso do REST, JSON e Atom Pub como alternativas leves. No caia na armadilha de gerar WSDLs como efeito colateral da criao de servios baseados em SOAP. Pense primeiro no contrato. Governana e capacidade de descoberta Sem WSDL, como controlar os seus servios corporativos? Usando um registro de servio, claro! A UDDI falhou, mas isso no significa que no seja necessrio um repositrio de servio, apenas que a UDDI era complexa demais e estava tentando resolver questes equivocadas. O uso de um registro de servio leve construdo sobre os servios RESTful permite fornecer tambm governana e capacidade de descoberta, sem a complexidade da UDDI. Armazene realmente seus artefatos de servios em uma espcie de repositrio, no apenas uma opo em um terminal. Use seu repositrio de servio para ajudar a controlar os servios de sua corporao. Considere usar um repositrio de servios RESTful para SOAP e servios RESTful para governana e capacidade de descoberta.
Sobre os autores
Jesus Rodriguez (Jesus.Rodriguez@tellago.com) arquiteto chefe da Tellago, Inc. , tambm, MVP do BizTalk Server da Microsoft, ACE da Oracle e um dos poucos arquitetos no mundo todo que integra a equipe de consultores de sistemas conectados da Microsoft (Microsoft Connected Systems Advisor). Don Demsak arquiteto de solues snior da Tellago, lotado em New Jersey, epecialista na criao de aplicativos empresariais usando .NET. autor de um blog muito conhecido (www.donxml.com) e MVP da Plataforma de Dados Microsoft e membro do INETA Speakers Bureau.
42
22
Assinatura em www.architecturejournal.net