DataOps, Data Mesh e Data Fabric. Melhores práticas para seu projeto de arqui...
Bi ferramentas olap 1
1. ESTUDO DE FERRAMENTAS LIVRES PARA OLAP E PROPOSIÇÃO DE UM
AMBIENTE DE DATA WAREHOUSING DE BAIXO CUSTO UTILIZANDO O SGBD
POSTGRESQL
Rodrigo Tripodi Calumby1; José Craveiro da Costa Neto2.
1Discente do curso de Ciência da Computação do DCET/UESC, bolsista do programa FAPESB/UESC e-mail:
rtripodi@gmail.com ;2Professor adjunto do DCET/UESC, e-mail: jccneto@uesc.br.
INTRODUÇÃO
Aplicações de business intelligence para análise de dados e apoio ao processo de tomada de
decisões são cada vez mais utilizadas por empresas e instituições de qualquer porte ou ramo de
atuação. Essa tecnologia é aplicada tanto em avaliações de desempenho quanto no planejamento
estratégico, utilizando informações armazenadas em bancos de dados.
Os bancos de dados têm sido muito úteis, permitindo a execução de uma enorme gama de
aplicações. Eles podem ser definidos como coleções de dados que precisam estar armazenados de
forma duradoura, para a solução de um problema do mundo real, apresentando significado
associado ao problema (ELMASRI et al., 2005). As informações contidas nos bancos de dados
podem ser exploradas de forma a se extrair algum tipo de conhecimento que auxilie no processo de
tomada de decisão. Essa exploração é realizada executando o processamento analítico, que é um
tipo de processamento que busca oferecer informações em forma de resumos para análise por parte
das gerências e diretorias das organizações (COSTA, 2001).
Com o objetivo de explorar as informações contidas nesses bancos de dados, são utilizadas, por
exemplo, ferramentas OLAP. Conceitualmente, OLAP (Online Analytical Processing -
Processamento Analítico On Line) é uma abordagem tecnológica para gerar respostas rápidas a
consultas analíticas em bases de dados.
Entretanto os procedimentos executados com esses propósitos são computacionalmente caros e
inviáveis de serem realizados sobre o banco de dados de produção. O requisito de desempenho é
um dos fatores que demonstram a necessidade de criação do data warehouse (DW). Este, por sua
vez, por constar de informações agregadas e isoladas do ambiente de produção, favorece o
processamento, por exemplo, de consultas OLAP ou operações de mineração de dados.
Neste trabalho foi realizada uma pesquisa sobre as ferramentas livres disponíveis de forma a se
oferecer um modelo de referência para construção e manutenção de data warehouses e exploração
de dados através de consultas analíticas (OLAP). Este modelo foi construído a partir de um conjunto
de ferramentas, dentre elas, o SGBD PostgreSQL, os utilitários pgAdmin (PGADMIN, 2007) e
pgAgent (PGAGENT, 2007) e o servidor Pentaho/Mondrian (PENTAHO, 2007).
MATERIAL E MÉTODOS
Com o objetivo de selecionar uma ferramenta OLAP para compor o ambiente proposto, foi
realizado um levantamento das ferramentas livres disponíveis. Foi desenvolvido um estudo
preliminar das documentações das ferramentas de maneira a avaliar a disponibilidade de
funcionalidades bem como avaliar o nível de qualidade de suas documentações. Após a escolha das
ferramentas foi realizada a instalação, configuração e testes com as mesmas, baseados na
utilização de exemplos disponíveis bem como na criação de pequenos exemplos que permitissem os
testes das funcionalidades.
RESULTADOS E DISCUSSÃO
XIII Seminário de Iniciação Científica e 9a
Semana de Pesquisa e Pós-Graduação da UESC
Ciências Exatas, da Terra e Engenharias
2. Neste estudo foi possível realizar um levantamento das ferramentas open source para OLAP
disponíveis. Isto serviu como fundamentação para a definição de um conjunto de ferramentas que
permitam a execução de atividades de business intelligence, principalmente em se tratando de
construção de data warehouses e execução de consultas sobre cubos OLAP.
Assim, temos o SGBD PostgreSQL provendo um meio de armazenamento das informações no
banco de produção e do data warehouse, que são definidas e administradas através do pgAdmin3. A
coleta e transporte periódicos de informações do banco de produção para o DW é controlada através
de agendamentos realizados pelo pgAgent. A construção dos cubos OLAP é feita com a utilização
da ferramenta Pentaho CubeDesigner e as consultas e navegações OLAP são executadas através
do servidor Mondrian em conjunto com o Jpivot. Vale ressaltar a construção de tabelas agregadas
que são dinamicamente utilizadas pelo Mondrian no momento em que o usuário navega sobre os
cubos OLAP do data warehouse.
CONCLUSÕES
Com este trabalho foi possível verificar que as ferramentas livres para construção de data
warehouses e consultas analíticas possuem um nível de usabilidade e transparência de processos
que ainda não é o ideal para usuários sem conhecimentos aprofundados, mas atuam definitivamente
fornecendo uma maior produtividade e eficiência nos processos de construção e consulta sobre data
warehouses.
Verificou-se que a utilização de tabelas agregadas é uma característica que permite a execução
de navegações OLAP com respostas em tempos melhores do que o que seria gasto realizando os
agrupamentos apenas no momento da navegação. Estas agregações podem ser construídas a partir
de visões materializadas derivadas das tabelas do data warehouse. Consequentemente, é
importante que se defina quais são os agrupamentos relevantes que devem estar presentes no DW
de forma a garantir uma melhor experiência de uso e produtividade ao usuário, seja ele um
administrador de dados ou gerencial.
REFERÊNCIAS BIBLIOGRÁFICAS
ELMASRI, R.; NAVATHE, S. R. Sistemas de Banco de Dados, 4ª ed., Pearson Addison Wesley,
São Paulo-SP, 2005.
COSTA, J. C. Considerações sobre a Integração de um Banco de Dados e um Data Warehouse
sobre um Sistema de Arquivos Paralelos. Tese de doutorado, Escola Politécnica da Universidade
de São Paulo, 2001.
PGADMIN – pgAdmin PostgreSQL tools. Disponível em: <http://www.pgadmin.org/> Acesso em:
23 de julho de 2007.
PGAGENT. pgAgent. Disponível em: <http://www.pgadmin.org/docs/1.4/pgagent.html> Acesso em:
18 de julho de 2007.
PENTAHO. Pentaho Server. Disponível em: <http://www.pentaho.com/> Acesso em: 25 de julho de
2007.
PALAVRAS-CHAVE: Data Warehousing, Ferramentas OLAP, SGBD PostgreSQL
AGÊNCIAS FINANCIADORAS: FAPESB