SlideShare uma empresa Scribd logo
1 de 2
Baixar para ler offline
ESTUDO DE FERRAMENTAS LIVRES PARA OLAP E PROPOSIÇÃO DE UM
AMBIENTE DE DATA WAREHOUSING DE BAIXO CUSTO UTILIZANDO O SGBD
POSTGRESQL
Rodrigo Tripodi Calumby1; José Craveiro da Costa Neto2.
1Discente do curso de Ciência da Computação do DCET/UESC, bolsista do programa FAPESB/UESC e-mail:
rtripodi@gmail.com ;2Professor adjunto do DCET/UESC, e-mail: jccneto@uesc.br.
INTRODUÇÃO
Aplicações de business intelligence para análise de dados e apoio ao processo de tomada de
decisões são cada vez mais utilizadas por empresas e instituições de qualquer porte ou ramo de
atuação. Essa tecnologia é aplicada tanto em avaliações de desempenho quanto no planejamento
estratégico, utilizando informações armazenadas em bancos de dados.
Os bancos de dados têm sido muito úteis, permitindo a execução de uma enorme gama de
aplicações. Eles podem ser definidos como coleções de dados que precisam estar armazenados de
forma duradoura, para a solução de um problema do mundo real, apresentando significado
associado ao problema (ELMASRI et al., 2005). As informações contidas nos bancos de dados
podem ser exploradas de forma a se extrair algum tipo de conhecimento que auxilie no processo de
tomada de decisão. Essa exploração é realizada executando o processamento analítico, que é um
tipo de processamento que busca oferecer informações em forma de resumos para análise por parte
das gerências e diretorias das organizações (COSTA, 2001).
Com o objetivo de explorar as informações contidas nesses bancos de dados, são utilizadas, por
exemplo, ferramentas OLAP. Conceitualmente, OLAP (Online Analytical Processing -
Processamento Analítico On Line) é uma abordagem tecnológica para gerar respostas rápidas a
consultas analíticas em bases de dados.
Entretanto os procedimentos executados com esses propósitos são computacionalmente caros e
inviáveis de serem realizados sobre o banco de dados de produção. O requisito de desempenho é
um dos fatores que demonstram a necessidade de criação do data warehouse (DW). Este, por sua
vez, por constar de informações agregadas e isoladas do ambiente de produção, favorece o
processamento, por exemplo, de consultas OLAP ou operações de mineração de dados.
Neste trabalho foi realizada uma pesquisa sobre as ferramentas livres disponíveis de forma a se
oferecer um modelo de referência para construção e manutenção de data warehouses e exploração
de dados através de consultas analíticas (OLAP). Este modelo foi construído a partir de um conjunto
de ferramentas, dentre elas, o SGBD PostgreSQL, os utilitários pgAdmin (PGADMIN, 2007) e
pgAgent (PGAGENT, 2007) e o servidor Pentaho/Mondrian (PENTAHO, 2007).
MATERIAL E MÉTODOS
Com o objetivo de selecionar uma ferramenta OLAP para compor o ambiente proposto, foi
realizado um levantamento das ferramentas livres disponíveis. Foi desenvolvido um estudo
preliminar das documentações das ferramentas de maneira a avaliar a disponibilidade de
funcionalidades bem como avaliar o nível de qualidade de suas documentações. Após a escolha das
ferramentas foi realizada a instalação, configuração e testes com as mesmas, baseados na
utilização de exemplos disponíveis bem como na criação de pequenos exemplos que permitissem os
testes das funcionalidades.
RESULTADOS E DISCUSSÃO
XIII Seminário de Iniciação Científica e 9a
Semana de Pesquisa e Pós-Graduação da UESC
Ciências Exatas, da Terra e Engenharias
Neste estudo foi possível realizar um levantamento das ferramentas open source para OLAP
disponíveis. Isto serviu como fundamentação para a definição de um conjunto de ferramentas que
permitam a execução de atividades de business intelligence, principalmente em se tratando de
construção de data warehouses e execução de consultas sobre cubos OLAP.
Assim, temos o SGBD PostgreSQL provendo um meio de armazenamento das informações no
banco de produção e do data warehouse, que são definidas e administradas através do pgAdmin3. A
coleta e transporte periódicos de informações do banco de produção para o DW é controlada através
de agendamentos realizados pelo pgAgent. A construção dos cubos OLAP é feita com a utilização
da ferramenta Pentaho CubeDesigner e as consultas e navegações OLAP são executadas através
do servidor Mondrian em conjunto com o Jpivot. Vale ressaltar a construção de tabelas agregadas
que são dinamicamente utilizadas pelo Mondrian no momento em que o usuário navega sobre os
cubos OLAP do data warehouse.
CONCLUSÕES
Com este trabalho foi possível verificar que as ferramentas livres para construção de data
warehouses e consultas analíticas possuem um nível de usabilidade e transparência de processos
que ainda não é o ideal para usuários sem conhecimentos aprofundados, mas atuam definitivamente
fornecendo uma maior produtividade e eficiência nos processos de construção e consulta sobre data
warehouses.
Verificou-se que a utilização de tabelas agregadas é uma característica que permite a execução
de navegações OLAP com respostas em tempos melhores do que o que seria gasto realizando os
agrupamentos apenas no momento da navegação. Estas agregações podem ser construídas a partir
de visões materializadas derivadas das tabelas do data warehouse. Consequentemente, é
importante que se defina quais são os agrupamentos relevantes que devem estar presentes no DW
de forma a garantir uma melhor experiência de uso e produtividade ao usuário, seja ele um
administrador de dados ou gerencial.
REFERÊNCIAS BIBLIOGRÁFICAS
ELMASRI, R.; NAVATHE, S. R. Sistemas de Banco de Dados, 4ª ed., Pearson Addison Wesley,
São Paulo-SP, 2005.
COSTA, J. C. Considerações sobre a Integração de um Banco de Dados e um Data Warehouse
sobre um Sistema de Arquivos Paralelos. Tese de doutorado, Escola Politécnica da Universidade
de São Paulo, 2001.
PGADMIN – pgAdmin PostgreSQL tools. Disponível em: <http://www.pgadmin.org/> Acesso em:
23 de julho de 2007.
PGAGENT. pgAgent. Disponível em: <http://www.pgadmin.org/docs/1.4/pgagent.html> Acesso em:
18 de julho de 2007.
PENTAHO. Pentaho Server. Disponível em: <http://www.pentaho.com/> Acesso em: 25 de julho de
2007.
PALAVRAS-CHAVE: Data Warehousing, Ferramentas OLAP, SGBD PostgreSQL
AGÊNCIAS FINANCIADORAS: FAPESB

Mais conteúdo relacionado

Mais procurados

Arquitetura para solução Big Data – open source
Arquitetura para solução Big Data – open sourceArquitetura para solução Big Data – open source
Arquitetura para solução Big Data – open sourceFelipe RENZ - MBA TI / Big
 
Hadoop - Primeiros passos
Hadoop - Primeiros passosHadoop - Primeiros passos
Hadoop - Primeiros passosSensedia
 
Artigo data warehouse bd ii - 2015-1 a
Artigo data warehouse   bd ii - 2015-1 aArtigo data warehouse   bd ii - 2015-1 a
Artigo data warehouse bd ii - 2015-1 aDarlene Coelho
 
Artigo data warehouse bd ii - 2015-1
Artigo data warehouse   bd ii - 2015-1Artigo data warehouse   bd ii - 2015-1
Artigo data warehouse bd ii - 2015-1Darlene Coelho
 
Uso de estatísticas pelo postgre sql
Uso de estatísticas pelo postgre sqlUso de estatísticas pelo postgre sql
Uso de estatísticas pelo postgre sqlLocaweb
 
MPOG 2008 TI - Resolução - Jaime Correia
MPOG 2008 TI - Resolução - Jaime CorreiaMPOG 2008 TI - Resolução - Jaime Correia
MPOG 2008 TI - Resolução - Jaime CorreiaWalter Cunha
 

Mais procurados (7)

Arquitetura para solução Big Data – open source
Arquitetura para solução Big Data – open sourceArquitetura para solução Big Data – open source
Arquitetura para solução Big Data – open source
 
Hadoop - Primeiros passos
Hadoop - Primeiros passosHadoop - Primeiros passos
Hadoop - Primeiros passos
 
Treinamento Hadoop - dia2
Treinamento Hadoop - dia2Treinamento Hadoop - dia2
Treinamento Hadoop - dia2
 
Artigo data warehouse bd ii - 2015-1 a
Artigo data warehouse   bd ii - 2015-1 aArtigo data warehouse   bd ii - 2015-1 a
Artigo data warehouse bd ii - 2015-1 a
 
Artigo data warehouse bd ii - 2015-1
Artigo data warehouse   bd ii - 2015-1Artigo data warehouse   bd ii - 2015-1
Artigo data warehouse bd ii - 2015-1
 
Uso de estatísticas pelo postgre sql
Uso de estatísticas pelo postgre sqlUso de estatísticas pelo postgre sql
Uso de estatísticas pelo postgre sql
 
MPOG 2008 TI - Resolução - Jaime Correia
MPOG 2008 TI - Resolução - Jaime CorreiaMPOG 2008 TI - Resolução - Jaime Correia
MPOG 2008 TI - Resolução - Jaime Correia
 

Semelhante a Bi ferramentas olap 1

Olap (PROCESSAMENTO ANALÍTICO ONLINE)
Olap (PROCESSAMENTO ANALÍTICO ONLINE)Olap (PROCESSAMENTO ANALÍTICO ONLINE)
Olap (PROCESSAMENTO ANALÍTICO ONLINE)EderPereira33
 
Uma Estratégia para Publicação dos Dados da Base do CEB-INEP/MEC no Padrão Li...
Uma Estratégia para Publicação dos Dados da Base do CEB-INEP/MEC no Padrão Li...Uma Estratégia para Publicação dos Dados da Base do CEB-INEP/MEC no Padrão Li...
Uma Estratégia para Publicação dos Dados da Base do CEB-INEP/MEC no Padrão Li...Fernando Maia da Mota
 
Sistemas de Informação (SAD / OLAP)
Sistemas de Informação (SAD / OLAP)Sistemas de Informação (SAD / OLAP)
Sistemas de Informação (SAD / OLAP)m4rkSpinelli
 
Tesi Dados Final
Tesi Dados FinalTesi Dados Final
Tesi Dados Finaljcaroso
 
Big data para programadores convencionais
Big data para programadores convencionaisBig data para programadores convencionais
Big data para programadores convencionaisRoberto Oliveira
 
Data warehousing
Data warehousingData warehousing
Data warehousingacistec
 
Cobo, Cristiane Brandão. Especialização Banco de Dados
Cobo, Cristiane Brandão. Especialização Banco de DadosCobo, Cristiane Brandão. Especialização Banco de Dados
Cobo, Cristiane Brandão. Especialização Banco de Dadoscris.finholdt
 
Projeto de Banco de Dados - Capítulo 1
Projeto de Banco de Dados - Capítulo 1Projeto de Banco de Dados - Capítulo 1
Projeto de Banco de Dados - Capítulo 1Januário Neto
 
Oltp artigo 1
Oltp artigo 1Oltp artigo 1
Oltp artigo 1kaze002
 
Administraçao de sistemas aula 8 16 set
Administraçao de sistemas  aula 8 16 setAdministraçao de sistemas  aula 8 16 set
Administraçao de sistemas aula 8 16 setVicente Willians Nunes
 
BIODATA: SOFTWARE WEB PARA GERENCIAMENTO DE COLETA DE DADOS BIOMÉDICOS
BIODATA: SOFTWARE WEB PARA GERENCIAMENTO DE COLETA DE DADOS BIOMÉDICOSBIODATA: SOFTWARE WEB PARA GERENCIAMENTO DE COLETA DE DADOS BIOMÉDICOS
BIODATA: SOFTWARE WEB PARA GERENCIAMENTO DE COLETA DE DADOS BIOMÉDICOSAdilmar Dantas
 
4 semestre trabalho individual analise e desenvolvimento de sistemas 2014
4 semestre trabalho individual analise e desenvolvimento de sistemas 20144 semestre trabalho individual analise e desenvolvimento de sistemas 2014
4 semestre trabalho individual analise e desenvolvimento de sistemas 2014WANDERSON JONER
 
Ver
VerVer
Vercsmp
 
Modeloestruturaçaoads
ModeloestruturaçaoadsModeloestruturaçaoads
Modeloestruturaçaoadscsmp
 
DataOps, Data Mesh e Data Fabric. Melhores práticas para seu projeto de arqui...
DataOps, Data Mesh e Data Fabric. Melhores práticas para seu projeto de arqui...DataOps, Data Mesh e Data Fabric. Melhores práticas para seu projeto de arqui...
DataOps, Data Mesh e Data Fabric. Melhores práticas para seu projeto de arqui...Eduardo Hahn
 

Semelhante a Bi ferramentas olap 1 (20)

Wperformance 2015 (2)
Wperformance   2015 (2)Wperformance   2015 (2)
Wperformance 2015 (2)
 
Olap (PROCESSAMENTO ANALÍTICO ONLINE)
Olap (PROCESSAMENTO ANALÍTICO ONLINE)Olap (PROCESSAMENTO ANALÍTICO ONLINE)
Olap (PROCESSAMENTO ANALÍTICO ONLINE)
 
Uma Estratégia para Publicação dos Dados da Base do CEB-INEP/MEC no Padrão Li...
Uma Estratégia para Publicação dos Dados da Base do CEB-INEP/MEC no Padrão Li...Uma Estratégia para Publicação dos Dados da Base do CEB-INEP/MEC no Padrão Li...
Uma Estratégia para Publicação dos Dados da Base do CEB-INEP/MEC no Padrão Li...
 
OLAP
OLAPOLAP
OLAP
 
Sistemas de Informação (SAD / OLAP)
Sistemas de Informação (SAD / OLAP)Sistemas de Informação (SAD / OLAP)
Sistemas de Informação (SAD / OLAP)
 
Tesi Dados Final
Tesi Dados FinalTesi Dados Final
Tesi Dados Final
 
Data warehouse
Data warehouseData warehouse
Data warehouse
 
Big data para programadores convencionais
Big data para programadores convencionaisBig data para programadores convencionais
Big data para programadores convencionais
 
Data warehousing
Data warehousingData warehousing
Data warehousing
 
Cobo, Cristiane Brandão. Especialização Banco de Dados
Cobo, Cristiane Brandão. Especialização Banco de DadosCobo, Cristiane Brandão. Especialização Banco de Dados
Cobo, Cristiane Brandão. Especialização Banco de Dados
 
NoSQL
NoSQLNoSQL
NoSQL
 
Projeto de Banco de Dados - Capítulo 1
Projeto de Banco de Dados - Capítulo 1Projeto de Banco de Dados - Capítulo 1
Projeto de Banco de Dados - Capítulo 1
 
Oltp artigo 1
Oltp artigo 1Oltp artigo 1
Oltp artigo 1
 
Administraçao de sistemas aula 8 16 set
Administraçao de sistemas  aula 8 16 setAdministraçao de sistemas  aula 8 16 set
Administraçao de sistemas aula 8 16 set
 
BIODATA: SOFTWARE WEB PARA GERENCIAMENTO DE COLETA DE DADOS BIOMÉDICOS
BIODATA: SOFTWARE WEB PARA GERENCIAMENTO DE COLETA DE DADOS BIOMÉDICOSBIODATA: SOFTWARE WEB PARA GERENCIAMENTO DE COLETA DE DADOS BIOMÉDICOS
BIODATA: SOFTWARE WEB PARA GERENCIAMENTO DE COLETA DE DADOS BIOMÉDICOS
 
Banco de dados_orientado_a_objetos
Banco de dados_orientado_a_objetosBanco de dados_orientado_a_objetos
Banco de dados_orientado_a_objetos
 
4 semestre trabalho individual analise e desenvolvimento de sistemas 2014
4 semestre trabalho individual analise e desenvolvimento de sistemas 20144 semestre trabalho individual analise e desenvolvimento de sistemas 2014
4 semestre trabalho individual analise e desenvolvimento de sistemas 2014
 
Ver
VerVer
Ver
 
Modeloestruturaçaoads
ModeloestruturaçaoadsModeloestruturaçaoads
Modeloestruturaçaoads
 
DataOps, Data Mesh e Data Fabric. Melhores práticas para seu projeto de arqui...
DataOps, Data Mesh e Data Fabric. Melhores práticas para seu projeto de arqui...DataOps, Data Mesh e Data Fabric. Melhores práticas para seu projeto de arqui...
DataOps, Data Mesh e Data Fabric. Melhores práticas para seu projeto de arqui...
 

Bi ferramentas olap 1

  • 1. ESTUDO DE FERRAMENTAS LIVRES PARA OLAP E PROPOSIÇÃO DE UM AMBIENTE DE DATA WAREHOUSING DE BAIXO CUSTO UTILIZANDO O SGBD POSTGRESQL Rodrigo Tripodi Calumby1; José Craveiro da Costa Neto2. 1Discente do curso de Ciência da Computação do DCET/UESC, bolsista do programa FAPESB/UESC e-mail: rtripodi@gmail.com ;2Professor adjunto do DCET/UESC, e-mail: jccneto@uesc.br. INTRODUÇÃO Aplicações de business intelligence para análise de dados e apoio ao processo de tomada de decisões são cada vez mais utilizadas por empresas e instituições de qualquer porte ou ramo de atuação. Essa tecnologia é aplicada tanto em avaliações de desempenho quanto no planejamento estratégico, utilizando informações armazenadas em bancos de dados. Os bancos de dados têm sido muito úteis, permitindo a execução de uma enorme gama de aplicações. Eles podem ser definidos como coleções de dados que precisam estar armazenados de forma duradoura, para a solução de um problema do mundo real, apresentando significado associado ao problema (ELMASRI et al., 2005). As informações contidas nos bancos de dados podem ser exploradas de forma a se extrair algum tipo de conhecimento que auxilie no processo de tomada de decisão. Essa exploração é realizada executando o processamento analítico, que é um tipo de processamento que busca oferecer informações em forma de resumos para análise por parte das gerências e diretorias das organizações (COSTA, 2001). Com o objetivo de explorar as informações contidas nesses bancos de dados, são utilizadas, por exemplo, ferramentas OLAP. Conceitualmente, OLAP (Online Analytical Processing - Processamento Analítico On Line) é uma abordagem tecnológica para gerar respostas rápidas a consultas analíticas em bases de dados. Entretanto os procedimentos executados com esses propósitos são computacionalmente caros e inviáveis de serem realizados sobre o banco de dados de produção. O requisito de desempenho é um dos fatores que demonstram a necessidade de criação do data warehouse (DW). Este, por sua vez, por constar de informações agregadas e isoladas do ambiente de produção, favorece o processamento, por exemplo, de consultas OLAP ou operações de mineração de dados. Neste trabalho foi realizada uma pesquisa sobre as ferramentas livres disponíveis de forma a se oferecer um modelo de referência para construção e manutenção de data warehouses e exploração de dados através de consultas analíticas (OLAP). Este modelo foi construído a partir de um conjunto de ferramentas, dentre elas, o SGBD PostgreSQL, os utilitários pgAdmin (PGADMIN, 2007) e pgAgent (PGAGENT, 2007) e o servidor Pentaho/Mondrian (PENTAHO, 2007). MATERIAL E MÉTODOS Com o objetivo de selecionar uma ferramenta OLAP para compor o ambiente proposto, foi realizado um levantamento das ferramentas livres disponíveis. Foi desenvolvido um estudo preliminar das documentações das ferramentas de maneira a avaliar a disponibilidade de funcionalidades bem como avaliar o nível de qualidade de suas documentações. Após a escolha das ferramentas foi realizada a instalação, configuração e testes com as mesmas, baseados na utilização de exemplos disponíveis bem como na criação de pequenos exemplos que permitissem os testes das funcionalidades. RESULTADOS E DISCUSSÃO XIII Seminário de Iniciação Científica e 9a Semana de Pesquisa e Pós-Graduação da UESC Ciências Exatas, da Terra e Engenharias
  • 2. Neste estudo foi possível realizar um levantamento das ferramentas open source para OLAP disponíveis. Isto serviu como fundamentação para a definição de um conjunto de ferramentas que permitam a execução de atividades de business intelligence, principalmente em se tratando de construção de data warehouses e execução de consultas sobre cubos OLAP. Assim, temos o SGBD PostgreSQL provendo um meio de armazenamento das informações no banco de produção e do data warehouse, que são definidas e administradas através do pgAdmin3. A coleta e transporte periódicos de informações do banco de produção para o DW é controlada através de agendamentos realizados pelo pgAgent. A construção dos cubos OLAP é feita com a utilização da ferramenta Pentaho CubeDesigner e as consultas e navegações OLAP são executadas através do servidor Mondrian em conjunto com o Jpivot. Vale ressaltar a construção de tabelas agregadas que são dinamicamente utilizadas pelo Mondrian no momento em que o usuário navega sobre os cubos OLAP do data warehouse. CONCLUSÕES Com este trabalho foi possível verificar que as ferramentas livres para construção de data warehouses e consultas analíticas possuem um nível de usabilidade e transparência de processos que ainda não é o ideal para usuários sem conhecimentos aprofundados, mas atuam definitivamente fornecendo uma maior produtividade e eficiência nos processos de construção e consulta sobre data warehouses. Verificou-se que a utilização de tabelas agregadas é uma característica que permite a execução de navegações OLAP com respostas em tempos melhores do que o que seria gasto realizando os agrupamentos apenas no momento da navegação. Estas agregações podem ser construídas a partir de visões materializadas derivadas das tabelas do data warehouse. Consequentemente, é importante que se defina quais são os agrupamentos relevantes que devem estar presentes no DW de forma a garantir uma melhor experiência de uso e produtividade ao usuário, seja ele um administrador de dados ou gerencial. REFERÊNCIAS BIBLIOGRÁFICAS ELMASRI, R.; NAVATHE, S. R. Sistemas de Banco de Dados, 4ª ed., Pearson Addison Wesley, São Paulo-SP, 2005. COSTA, J. C. Considerações sobre a Integração de um Banco de Dados e um Data Warehouse sobre um Sistema de Arquivos Paralelos. Tese de doutorado, Escola Politécnica da Universidade de São Paulo, 2001. PGADMIN – pgAdmin PostgreSQL tools. Disponível em: <http://www.pgadmin.org/> Acesso em: 23 de julho de 2007. PGAGENT. pgAgent. Disponível em: <http://www.pgadmin.org/docs/1.4/pgagent.html> Acesso em: 18 de julho de 2007. PENTAHO. Pentaho Server. Disponível em: <http://www.pentaho.com/> Acesso em: 25 de julho de 2007. PALAVRAS-CHAVE: Data Warehousing, Ferramentas OLAP, SGBD PostgreSQL AGÊNCIAS FINANCIADORAS: FAPESB