Integração de ferramentas de código aberto (java, pentaho e android) e mapas, aplicada a projetos de inteligência de negócios

UNIVERSIDADE TECNOLÓGICA FEDERAL DO PARANÁ
PROGRAMA DE PÓS-GRADUAÇÃO EM INFORMÁTICA
ESPECIALIZAÇÃO EM TECNOLOGIA JAVA

CAIO MORENO DE SOUZA

INTEGRAÇÃO DE FERRAMENTAS DE CÓDIGO ABERTO (JAVA,
PENTAHO E ANDROID) E MAPAS, APLICADA A PROJETOS DE
INTELIGÊNCIA DE NEGÓCIOS.

MONOGRAFIA DE ESPECIALIZAÇÃO

CURITIBA
2010

1

CAIO MORENO DE SOUZA

INTEGRAÇÃO DE FERRAMENTAS DE CÓDIGO ABERTO (JAVA,
PENTAHO E ANDROID) E MAPAS, APLICADA A PROJETOS DE
INTELIGÊNCIA DE NEGÓCIOS.

Monografia apresentada ao programa de
Pós-Graduação em Informática da Universidade
Tecnológica Federal do Paraná para a
obtenção do título de Especialista em Tecnologia Java.

Orientador: Prof. Dr. Gustavo A. Giménez Lugo.

CURITIBA
2010

2

Dedico esta monografia à minha esposa Milena, mulher sábia, bela e eterna companheira.

3

RESUMO

DE SOUZA, Caio Moreno. Integração de ferramentas de código aberto (java, pentaho
e android) e mapas, aplicada a projetos de inteligência de negócios. 2010. 57 f.
Monografia (Especialização em Tecnologia Java) – Programa de Pós-Graduação em
Tecnologia, Universidade Tecnológica Federal do Paraná. Curitiba, 2010.

O objetivo geral desse trabalho é mostrar a importância de um sistema de
inteligência de negócios nas empresas, demonstrando que a utilização adequada de um
sistema de apoio à decisão ajuda na tomada de decisões estratégicas de forma acertada.
Qualquer empresa que deseja competir de forma inteligente precisa voltar seus
olhos para seus dados internos e para os dados disponíveis no mercado, organizando-os de
forma a transformar esse amontoado de dados em informações relevantes para a tomada de
decisão.
Grande parte das informações encontra-se espalhadas em sistemas da empresa, em
pastas compartilhadas, nos computadores dos funcionários, sistemas paralelos, sistemas
legados, etc. Organizar essa enormidade de dados torna-se um grande desafio para os
gestores da empresa.

Palavras-chave: Armazém de dados; Inteligência de Negócios; software livre; estratégias
competitivas, tecnologia java, descoberta de conhecimento, mineração de dados, mapas,
sistemas de apoio a decisão, código aberto, google android.

4

ABSTRACT

DE SOUZA, Caio Moreno. Integration of open source tools (java, pentaho and
Android) and maps, applied to business intelligence projects. 2010. 57 p. Monografia
(Especialização em Tecnologia Java) – Programa de Pós-Graduação em Tecnologia,
Universidade Tecnológica Federal do Paraná. Curitiba, 2010.

The aim of this study is to show the importance of a Business Intelligence system
for enterprises, demonstrating that proper use of a decision support system helps in making
right strategic decisions.
Any company that wants to compete intelligently must turn their eyes to its internal
data and to the data available on the market, arranging them in order to transform this mass
of data into relevant information for decision making.
Much of the information is scattered in enterprise systems, shared folders, on
employees' computers, parallel systems, legacy systems, etc.. Organize this huge amount of
data becomes a major challenge for company managers.

Keywords: Data Warehouse; Business Intelligence; free software; competitive strategies,
java technology, knowledge discovery, data mining, maps, systems decision support, open
source, google android.

5

LISTA DE FIGURAS

Figura 1: Funcionamento Tecnologia Java
Figura 2: Funcionamento Tecnologia Java
Figura 3: Cubo OLAP
Figura 4: Visão Geral de um Projeto de BI com Pentaho
Figura 5: Servidor de BI Pentaho
Figura 6: Arquitetura Servidor de BI Pentaho
Figura 7: Tela de Login Portal BI
Figura 8: Tela Interna Portal BI
Figura 9: Modelo Estrela – Cubo Faturamento
Figura 10: Tabela Fato_Venda
Figura 11: Tabela Dim_CanalVenda
Figura 12: Tabela Dim_Tempo
Figura 13: Tabela Dim_Cliente
Figura 14: Tabela Dim_Produto
Figura 15: Tabela Dim_Vendedor
Figura 16: Exemplo de ETL usando o PDI
Figura 17: Cubo OLAP Faturamento
Figura 18: Criando uma nova visão no Cubo OLAP de Faturamento
Figura 19: Escolhendo as métricas
Figura 20: Visão por Produto
Figura 21: Faturamento por Canal de Venda
Figura 22: Faturamento por Canal de Venda
Figura 23: Faturamento por Produtos
Figura 24: Faturamento por Vendedores
Figura 25: Faturamento por Vendedores (Gráfico)
Figura 26: Quantidade de Produtos Vendidos por Vendedores (Gráfico)
Figura 27: Faturamento por Vendedores e Período (Tempo)
Figura 28: Filtrando a dimensão Produtos
Figura 29: Recurso de Drill Through
Figura 30: Possibilidades JPivot
Figura 31: Painel Faturamento
Figura 32: Painel Faturamento por Estado
Figura 33: Simulação do Aplicativo para acessar o Portal de BI no Google Android
Figura 34: Aplicativo IT4biz BI Mobile – Android
Figura 35: Tela de Login Portal BI acessado via Google Android
Figura 36: Exemplo de um Painel visualizado através do Google Android
Figura 37: Exemplo de outro Painel visualizado através do Google Android
Figura 38: Exemplo de Cubo OLAP visualizado através do Google Android

6

LISTA DE ABREVIATURAS

BD Banco de Dados
JCP ( Java Community Process) – Processo da Comunidade Java
DW (Data Warehouse) – Armazém de dados
OLAP (On-Line Analytic Processing) – Processamento Analítico On-Line
OLTP On-Line Transaction Processing – Processamento de Transação On-Line
PDF Portable Document Format – Formato Portátil de documento
SGBD Sistema Gerenciador de Banco de Dados
SQL (Structured Query Language) – Linguagem Estruturada de Query
PSW Pentaho Schema Workbench
PDS Pentaho Design Studio
PRD Pentaho Report Designer
PDI Pentaho Data Integration
PUC Pentaho User Console
PAC Pentaho Adminstration Console
PME Pentaho Metadata Editor
WAQR Web-based Adhoc Query and Reporting
API Application Programming Interface
BI (Business Intelligence) – Inteligência de Negócios
ETL Extract, Transform and Load
ETC Extração, Transformação e Carga
JDBC Java Database Connectivity
JNDI Java Naming and Directory Interface
JRE Java Runtime Environment
JVM Java Virtual Machine
KETTLE Kettle, Extraction, Transport, Transformation and Loading Environment
MDX Multi-Dimensional Expressions
PCI Pre-Configured Installation
PPL Pentaho Public License
XML Extensible Markup Language
DDL Data Definition Language
CEO Chefe Executive Oficer

7

SUMÁRIO
RESUMO ....................................................................................................................................... 4
ABSTRACT ................................................................................................................................... 5
LISTA DE FIGURAS ..................................................................................................................... 6
LISTA DE ABREVIATURAS ......................................................................................................... 7
SUMÁRIO...................................................................................................................................... 8
1. INTRODUÇÃO ........................................................................................................................ 10
1.1 Apresentação ...................................................................................................................... 10
1.2 Descrição do problema ........................................................................................................11
1.3 Justificativa .........................................................................................................................11
1.4 Objetivo geral ..................................................................................................................... 12
1.5 Objetivos específicos .......................................................................................................... 12
1.6 Metodologia ....................................................................................................................... 12
2 INTELIGÊNCIA DE NEGÓCIOS ............................................................................................ 13
2.1 História............................................................................................................................... 13
2.2 Ferramentas de Inteligência de Negócios disponíveis no mercado ...................................... 14
2.3 Tecnologia Java e Código Aberto ...................................................................................... 14
2.3.1 O movimento Open Source e sua história .................................................................... 14
2.3.2 Linux .......................................................................................................................... 15
2.3.3 Principais projetos de código aberto aplicados a sistemas de inteligência de
negócios............................................................................................................................... 15
2.3.4 História da Tecnologia Java e conceitos ....................................................................... 16
2.3.5 Características da Tecnologia Java ............................................................................... 19
2.3.6 Tecnologia Java e de Código Aberto aplicada a Sistemas de Inteligência de
Negócios .............................................................................................................................. 20
3 ARMAZÉM DE DADOS .......................................................................................................... 21
3.1 Características .................................................................................................................... 21
3.2 Construção......................................................................................................................... 21
3.3 Extração, transformação e carga dos dados - ETC .............................................................. 22
3.4 Acesso aos dados ............................................................................................................... 23
3.5 Ferramentas OLAP ............................................................................................................. 24
3.6 Mineração de Dados .......................................................................................................... 25
4 PENTAHO ................................................................................................................................ 26
4.1 Mobilidade ......................................................................................................................... 27
4.2 Características .................................................................................................................... 27
4.3 Pentaho BI Suite ................................................................................................................. 27
4.4 Pentaho BI Server ............................................................................................................... 28
4.5 PRD (Pentaho Report Designer) ......................................................................................... 30
4.6 PDI (Pentaho Data Integration) ........................................................................................... 30
4.7 PSW (Pentaho Schema Workbench).................................................................................... 30
4.8 WEKA................................................................................................................................ 30
5. CONSTRUINDO UMA SOLUÇÃO DE BI PROFISSIONAL .................................................. 31
5.1 Instalação das ferramentas de Inteligência de Negócios ...................................................... 31
5.2 Processos de ETL ............................................................................................................... 33
5.2.1 Definindo os indicadores ............................................................................................. 33
5.2.2 Modelagem Dimensional ............................................................................................. 33
5.2.3 Descrição das dimensões, fatos e campos .................................................................... 35
5.2.4 Criando os processos de ETL no Kettle ....................................................................... 38
5.3 Cubos OLAP ...................................................................................................................... 39
5.4 Painel com Mapas............................................................................................................... 49

8

5.5 Google Android .................................................................................................................. 51
5.5.1 Acessando o sistema de Inteligência de Negócios pelo celular Google Android ........... 51
5.5.2 BI Touch e BI Mobile: informações estratégicas na palma da sua mão......................... 54
6. CONCLUSÕES ........................................................................................................................ 55
7. BIBLIOGRAFIA ...................................................................................................................... 56

9

1. INTRODUÇÃO

A globalização tem exigido de qualquer empresa o conhecimento de seu negócio e
do negócio de seus concorrentes. Porém, grande parte das informações encontra-se
espalhada em sistemas da empresa, em pastas compartilhadas, nos computadores dos
funcionários, sistemas paralelos, sistemas legados, etc. Organizar essa enormidade de
dados torna-se um grande desafio para os gestores da empresa. Qualquer empresa que
deseja competir de forma inteligente precisa voltar seus olhos para seus dados internos e
para os dados disponíveis no mercado, organizando-os de forma a transformar esse
amontoado de dados em informações relevantes para a tomada de decisão.

1.1 Apresentação

Com certa freqüência o crescimento de uma empresa traz o desenvolvimento de
sistemas paralelos desenvolvidos em Excel, Access e outras ferramentas e tecnologias,
tornando o processo de organização dos dados um processo doloroso e extremamente caro,
acessível apenas para grandes empresas que possuem recursos milionários para investir em
Sistemas de Inteligência de Negócios (Business Intelligence).
Todos os anos mais e mais empresas têm investido no desenvolvimento, suporte,
customização e financiamento de projetos de código aberto, tornando o processo de
desenvolvimento de software (programa) algo mais acessível para as empresas. Temos
visto diversas empresas utilizarem tecnologias antigamente utilizadas por poucos, e que
agora estão à disposição de qualquer empresa.
O grande desafio é ajudar as empresas a desenvolver um projeto de Inteligência de
Negócios utilizando tecnologias de código aberto. Um projeto deste porte exige da
empresa o domínio de uma série de ferramentas e produtos. Com a utilização de tecnologia
de código aberto as empresas passam a não precisar investir milhões em programas de
computadores e passam a investir em serviços, os quais muitas vezes podem ser feitos
internamente.
Entende-se como problema a ser pesquisado e resolvido a falta de informação que
muitas empresas possuem a respeito de diversas ferramentas e tecnologias de código aberto
que podem ser utilizadas em projetos de Sistema de Apoio à Decisão, o que reduz o custo
de um projeto de Inteligência de Negócios absurdamente.
A idéia é ajudar qualquer empresa que tenha interesse em desenvolver um sistema
de apoio à decisão, mas não tem os recursos financeiros necessários, a ter acesso às
informações que tornem esse desejo realidade.

10

1.2 Descrição do problema

Com a globalização as pequenas, médias e grandes empresas precisam tornar-se
cada vez mais competitivas para conseguirem sobreviver no cenário nacional e mundial.
As grandes empresas sabem disso e a cada ano investem mais dinheiro em ferramentas de
BI com o objetivo de conhecer melhor seu próprio negócio, realizar comparações com a
concorrência e previsões de crescimento.
Apesar destas tecnologias custarem muito dinheiro já existem alternativas gratuitas
no mercado, permitindo às pequenas e médias empresas a beneficiarem-se de tecnologia
semelhante às tecnologias existentes nas grandes empresas, sem a necessidade de grandes
investimentos.

1.3 Justificativa

Toda empresa precisa estar apta a tomar decisões baseadas em dados estatísticos,
utilizando um sistema de apoio à decisão que possa responder às perguntas de negócio
feitas por seus executivos.
O grande problema da maioria das empresas é a variedade de informações do
mesmo cenário. Isto acontece pois os analistas utilizam fontes diferentes e montam
diferentes resultados do mesmo cenário, causando assim uma tremenda confusão para a
empresa, uma vez que não existe um repositório central de informações gerenciais, o
chamado armazém de dados.
De acordo com Immon (1997), o conceito de armazém de dados (data warehouse -
DW) pode ser definido como: “conjunto de dados baseados em assuntos, integrados, não-
voláteis e variáveis em relação ao tempo, para apoio às decisões gerenciais”.
A solução para esse problema é a adoção de um sistema de Inteligência de
Negócios, onde todos os executivos da empresa analisam suas informações baseadas em
dados confiáveis extraídos de fontes seguras, possibilitando assim a tomada de decisão de
forma acertada.
Um projeto de Inteligência de Negócios baseado em ferramentas de código aberto
pode ser a solução ideal para pequenas, médias e grandes empresas, dos mais diversos
setores, devido ao baixo custo de investimento e a alta qualidade, o que torna a relação
custo beneficio extremamente favorável.

11

1.4 Objetivo geral

O objetivo geral desse trabalho é demonstrar a importância de um sistema de apoio
à decisão nas pequenas, médias e grandes empresas dos mais diversos setores.

1.5 Objetivos específicos

Os objetivos específicos desse trabalho são:

 Definir as tecnologias necessárias para o desenvolvimento de um sistema de
inteligência de negócios;
 Demonstrar o uso destas tecnologias através de um estudo de caso de uma empresa
fictícia;
 Ajudar pequenas e médias empresas (privadas ou públicas) a desenvolver com
poucos recursos financeiros uma solução de Inteligência Competitiva, ou pelo
menos servir de material de pesquisa para o planejamento de uma futura
implementação de uma estratégia de Inteligência de Negócios;
 Servir de referência para futuras pesquisas sobre descoberta de conhecimento
utilizando ferramentas de código aberto.

1.6 Metodologia

A presente monografia foi elaborada visando demonstrar as tecnologias necessárias
para a criação de um sistema de apoio à decisão baseado em programas de código aberto. A
metodologia utiliza foi a demonstração, através de exemplo baseado em uma empresa
fictícia, com necessidades semelhantes à de empresas reais, de como desenvolver um
sistema de apoio à decisão.
Na primeira etapa abordamos alguns conceitos importantes explicados através de
uma pesquisa bibliográfica bastante extensa, resultante de fontes de pesquisas bastante
confiáveis e recomendadas no mundo corporativo e acadêmico.
Durante a segunda etapa abordamos um cenário de uma empresa fictícia, para a
qual desenvolvemos o projeto de Inteligência de Negócios na prática, criando um modelo
de projeto que poderá ser implementado em diversas empresas.

12

2 INTELIGÊNCIA DE NEGÓCIOS

O processo de desenvolvimento de uma solução profissional de Inteligência de
Negócios esbarra em uma série de novos conceitos, os quais abordaremos de uma forma
prática e simples.
O conceito principal que explicaremos neste momento é Inteligência de Negócios.
Atualmente muitos diretores executivos/gerais (em inglês Chief Executive Officer, CEO)
colocaram como prioridade a implantação de uma solução de BI, tornando o termo
Inteligência de Negócios extremamente popular. Porém essa necessidade não é nova, as
empresas sempre tiveram a necessidade de sistemas que transformassem dados em
informações relevantes.
O termo Inteligência de Negócios, resumidamente, significa coletar dados de
diversas fontes, organizá-los, analisá-los e compartilhá-los com os executivos mais
importantes da empresa; estes então transformam essas informações relevantes em
decisões importantes para o futuro da empresa.

2.1 História

Desde a década de 80 encontramos no mercado o termo Inteligência Empresarial
difundido pelo Gartner Group. Através desse as empresas exploram informações internas
contidas em um armazém de dados e externas disponíveis no mercado com o intuito de se
auto avaliarem e avaliar seus concorrentes, desenvolvendo comparações e estratégias de
crescimento e aumento de fatias de mercado, sempre com os objetivos de guiar a
organização ao crescimento, à maior lucratividade, maior satisfação de seus clientes,
menor perda, maior velocidade, ou seja, ao sucesso empresarial.
O processo de auto-avaliação e de estudo de seus concorrentes não é algo novo e
podemos encontrar exemplos disso no livro “A arte da Guerra”, de Sun Tzu (TZU, 2000);
neste encontramos ensinamentos que dizem que para se obter sucesso na guerra, a pessoa
deve deter todo o conhecimento de suas fraquezas e virtudes, além de todo o conhecimento
das fraquezas e virtudes do inimigo. O contrário pode levar à derrota e à destruição. Outro
exemplo clássico é a trilogia “O Poderoso Chefão”, de Mario Puzo, que aborda, no
decorrer da história, a necessidade de estudar seus concorrentes constantemente (PUZO,
2000). Sobre essa metodologia de estudo da concorrência, Kotler também afirma que “
Uma empresa precisa saber sobre seus concorrentes (…) seus objetivos, estratégias,
pontos fortes e fracos e padrões de resposta.” (KOTLER, 1999).
O Prof. PhD. Ralph Kimball é um dos precursores dos conceitos de armazém de
dados e sistemas de apoio à decisão realizando pesquisas e conceitos desde 1982. Seus
estudos influenciam até hoje a maioria dos projetos de Inteligência de Negócios das
empresas no Brasil e no mundo. A metodologia Kimball, mais conhecida como modelagem
dimensional, ensina como tornar sistemas transacionais em sistemas orientados ao mundo
empresarial, permitindo uma maior organização, melhor compreensão e rapidez
(KIMBALL, 1996).
Com o passar dos anos muitas ferramentas foram criadas com o intuito de ajudar na
criação de uma solução de Inteligência de Negócios e o termo tornou-se extremamente
popular no mundo dos negócios.

13

2.2 Ferramentas de Inteligência de Negócios disponíveis no mercado
Atualmente as empresas que desejam implantar uma solução de Inteligência de
Negócios encontram uma série de fornecedores de ferramentas, tornando a tarefa de
escolha da ferramenta uma decisão difícil e estratégica.
Os fornecedores mais conhecidos no mercado atualmente são: SAP, IBM, Oracle,
Microsoft, SAS, MicroStrategy, Qlikview, Pentaho e Jasper.
Neste trabalho utilizaremos as ferramentas desenvolvidas pela empresa Pentaho. A
Pentaho desenvolve uma versão chamada “Community Edtion” destinada às empresas que
desejam implantar uma solução de Inteligência de Negócios totalmente aberta, ou seja, sem
a necessidade de compra de licença de uso das ferramentas. Esta pode ser a solução para
muitas empresas que desejam uma solução profissional de Inteligência de Negócios sem a
necessidade de grandes investimentos.

2.3 Tecnologia Java e Código Aberto
Java, segundo o glossário disponível no site da Sun, é marca registrada da Sun
“para um conjunto de tecnologias que permite a criação e execução segura de programas
para ambientes desktop e ambientes de rede.” (SUN, 2010).
Ainda segundo o endereço web supracitado, essa tecnologia “permite que você
jogue online, converse com pessoas ao redor do mundo, calcule o seu financiamento de
sua hipoteca e veja imagens em 3D, isso é apenas para citar algumas coisas . É também
integrante dos aplicativos de intranet e outras soluções de e-business que formam a base
da computação corporativa.” (SUN, 2010).
O termo Open Source, traduzido para o português, significa código aberto. De
acordo com a empresa Open Source Initiative: “Open source não significa apenas acesso
ao código-fonte. Os termos de distribuição de software de código aberto devem obedecer
aos seguintes critérios: redistribuição livre, código fonte, trabalhos derivados, integridade
do código fonte do autor, sem discriminação contra pessoas ou grupos, sem discriminação
contra campos de trabalho, distribuição da licença, a licença não deve ser específica a um
produto, licença não deve restringir outro software e a licença deve ser tecnologicamente
neutra.” (OSI, 2010)

2.3.1 O movimento Open Source e sua história

Em fevereiro de 1998 Todd Anderson, Chris Peterson, Jon “Maddog” Hall, Larry
Augustin, Sam Ockman e Eric Raymond reuniram-se e criaram o termo Open Source.
Também utiliza-se a sigla FLOSS (Free/Libre and Open Source Software) (OSI, 2010).
Outro importante personagem é Richard Stallman que em 1985 fundou a Free
Software Foundation (FSF, Fundação para o Software Livre), uma organização sem fins
lucrativos que se dedica à eliminação de restrições sobre a cópia, redistribuição,
entendimento e modificação de programas de computadores. Uma de suas maiores
contribuições foi o sistema operacional GNU e o Manifesto GNU, publicado em 1985 no
Dr. Dobb's Journal of Software Tools, o qual é considerado por muitos como a principal
fonte filosófica do software livre.
Com a popularização destes ideais muitas pessoas e empresas começaram a
desenvolver softwares e a disponibilizá-los de forma gratuita na internet para que outras
pessoas pudessem utilizá-los, modificá-los e distribuí-los sem custo, começando com o que
conhecemos hoje por comunidade software livre.

14

De acordo com a Free Software Foundation em seu artigo “The Free Software
Definition”, entende-se:
“O software livre é uma questão de liberdade dos usuários de executar, copiar,
distribuir, estudar, modificar e melhorar o software. Mais precisamente, o que significa
que os usuários do programa tenham as quatro liberdades essenciais:
 A liberdade de executar o programa, para qualquer propósito (liberdade 0).
 A liberdade de estudar como o programa funciona, e alterá-lo para ele fazer o que
quiser (liberdade 1). Acesso ao código-fonte é uma condição para isso.
 A liberdade de redistribuir cópias de modo que você possa ajudar ao seu próximo
(liberdade 2).
 A liberdade de distribuir cópias de suas versões modificadas para os outros
(liberdade 3). Ao fazer isso você pode dar a toda a comunidade a oportunidade de
beneficiar de suas alterações. O acesso ao código-fonte é uma condição para
isso.”(GNU,2010).

2.3.2 Linux

A palavra Linux, sem dúvida alguma, é a palavra mais conhecida no mundo pelas
pessoas que não conhecem sobre software livre, código aberto ou qualquer palavra
associada ao movimento open source. Qualquer usuário de computador sabe dizer que
Linux é um sistema operacional gratuito, porém poucos o associam com o movimento
open source.
Em 1991, o estudante finlandês Linus Torvalds começou de forma independente o
Linux, um projeto que mudaria o mundo e daria uma visibilidade enorme à comunidade. O
que ele fez foi desenvolver um sistema operacional extremamente importante para o futuro
da humanidade. Linus Benedict Torvalds, nascido em 28 de dezembro de 1969 na cidade
de Helsínquia, Finlandia é o criador do núcleo (kernel) do sistema operacional
GNU/Linux, mais conhecido como Linux. O objetivo inicial era criar um sistema
operacional similar ao Unix e o projeto foi lançado em 1991 onde Linus enviou uma
mensagem para a Usenet dizendo que ele estava disposto a divulgar o código-fonte e
contar com a colaboração de outros programadores. A primeira versão oficial do núcleo do
linux, versão 0.02, foi lançada no dia 5 de outubro de 1991.

2.3.3 Principais projetos de código aberto aplicados a sistemas de inteligência de
negócios

Após uma breve explicação sobre conceitos importantes chegou a hora de listar
alguns projetos importantes que se caracterizam como projetos de código aberto aplicados
ao desenvolvimento de uma solução de BI.
São eles:
 Linux: sistema operacional livre, estável, robusto, confiável e gratuito, muito
utilizado como servidores de inteligência de negócios. Algumas distribuições
Linux são: SUSE, Debian, CentOS, Ubuntu e Fedora (LINUX, 2010).
 MySQL e PostgreSQL: são duas opções de bancos de dados muito utilizadas

15

em projetos de inteligência de negócios, ambos possuem uma versão
comunidade que pode muito bem ser utilizada para a construção do Armazém
de Dados (MySQL e PostgreSQL, 2010).
 Pentaho BI Suite: uma série de ferramentas de BI desenvolvidas com
tecnologia Java. Com essas ferramentas as empresas podem construir cubos
OLAP, relatórios customizados, processos de ETL e disponibilizar tudo através
de um portal web baseado em um web container (PENTAHO, 2010).
 Squirrel: cliente Universal de SQL desenvolvido em Java, muito útil para a
criação de consultas SQL e execução em diversos bancos de dados através de
uma conexão JDBC (SQUIRREL, 2010).
 Apache Tomcat: conteiner java muito utilizado em aplicações web. A
plataforma de BI Pentaho utiliza o tomcat como servidor web padrão
(TOMCAT, 2010).
 Java: tecnologia desenvolvida pela Sun Microsystems que permite o
desenvolvimento de aplicações para desktop, web e celulares. Algumas das
grandes vantagens da tecnologia Java são: portabilidade, robustez, segurança,
liberdade, código aberto e a credibilidade da Sun MicroSystem no mundo de
desenvolvimento de software. (SUN, 2010)
 Eclipse: IDE de desenvolvimento muito utilizada no desenvolvimento de
painéis melhor trabalhados (ECLIPSE, 2010).
 Jasper: outra Suite de BI concorrente da Suite Pentaho. Utiliza-se muito no
mundo livre o produto chamado JasperReports junto com a IDE para criação de
relatórios, o chamado iReports (JASPER, 2010).

2.3.4 História da Tecnologia Java e conceitos

Como pode em tão pouco tempo a tecnologia Java estar tão presente em nossas
vidas? Recentemente a Sun Microsystems, empresa criadora da tecnologia Java, divulgou
uma propaganda chamada Java is Everywhere e nos fez refletir a influência que essa
tecnologia tem em nossas vidas. De acordo com o site da Sun encontramos tecnologia
Java em: “computadores de bordo, brinquedos, carros, aviões, foguetes, e até mesmo a
NASA Mars Rover. Ela traz a interatividade com a Internet, gráficos em tempo real para
televisão, imagens instantâneas para câmeras e jogos multi-player para telefones celulares
e desktops. Ele se conecta as maiores empresas e empresas de pequeno porte para os seus
empregados, clientes e dados. E ela garante que a grande maioria das transações
eletrônicas no varejo, finanças, governo, ciência e medicina. Em suma a tecnologia Java,
vai onde quer que vá.” (SUN, 2010).
Porém nem sempre foi assim. Voltando ao passado, mais precisamente em 1995,
uma equipe de programadores chefiada por James Gosling, atualmente conhecido como o
pai do Java, iniciava a linguagem de programação orientada a objetos, atualmente
conhecida como Java.
Em 1991 o projeto chamava-se Green Project e os mentores eram Patrick
Naughton, Mike Sheridan e James Gosling. Eles tinham como objetivo planejar a “próxima
onda” do mundo digital, pois acreditavam que no futuro haveria uma convergência dos
computadores com os equipamentos e eletrodomésticos usados pelas pessoas no seu dia-a-

16

dia.
O grande crescimento da tecnologia Java aconteceu com a popularização da
internet que possibilitou que a tecnologia fosse utilizada em diversas aplicações web.
A grande vantagem da tecnologia Java é o que chamamos de JVM (Java Virtual
Machine), um programa que carrega e executa os aplicativos Java, convertendo os
bytecodes em código executável de máquina. Esse programa é o responsável pelo
gerenciamento dos aplicativos, à medida que são executados. Todo computador ou
dispositivo que deseja executar um programa Java precisa ter instalado uma JVM. Na
prática, graças à máquina virtual Java, os programas escritos em Java podem funcionar em
qualquer plataforma de hardware e software que possua uma versão da JVM, tornando
assim essas aplicações independentes da plataforma onde funcionam.
Atualmente a tecnologia Java está dividida em três partes principais (conforme
figura):
 Java Standard Edition para aplicações desktop;
 Java Enterprise Edition (Java EE), Enterprise Java Beans (EJB) para
aplicações corporativas;
 Java Server Pages, servlets, struts, JSF, etc para aplicações web;
 Java Micro Edition (Java ME) para aplicações móveis.

Figura 1 – Funcionamento Tecnologia Java
Fonte: UTFPR – Apontamento das aulas de Linguagem Java (LINHARES, 2009)

17

Exemplo.java

public class Exemplo
{
public static void main (String [] args)
{
System.out.println(“Exemplo”);
System.exit(0);
}
}

Compilador Java

Exemplo.class
--------------------
-------------------
--------------------
--------------------
(bytecode Java)

Máquina virtual Máquina virtual Máquina virtual
Java Java Java

Código nativo Código nativo PC Código nativo
PDA celular

Figura 2 – Funcionamento Tecnologia Java
Fonte: UTFPR – Apontamento das aulas de Linguagem Java (LINHARES, 2009)

A frase mais importante no mundo Java idealizada por seus criadores é: “Write
once, run everywhere.”. A tradução para o português é: “Escrever uma vez/ executar em
qualquer local” (BATES & SIERRA, 2009).

18

2.3.5 Características da Tecnologia Java

A cada dia a tecnologia Java apresenta mais e mais vantagens para sua adoção, a
maior delas é a independência de plataforma, ou seja, um programa feito em Java pode
rodar em qualquer plataforma, basta que o dispositivo tenha uma JVM.
Abaixo listamos algumas das características da tecnologia Java.

 Gratuita – licença GPL;
 Padronizada, com uma especificação bem definida;
 Mantida pela JCP (Java Community Process);
 Orientada a Objetos;
 Liberdade de escolha de fornecedores de tecnologia e suporte;
 Independente de Plataforma - o mesmo código roda em qualquer plataforma,
sem a necessidade de recompilação;
 As aplicações podem ser trocadas de servidores de aplicação;
 Não existe “vendor lock-in”- caso insatisfação com relação ao fornecedor, é
possível procurar outro;
 Suporte extensivo a aplicações multi-camadas;
 Incentivo ao desenvolvimento orientado a objetos;
 Reutilização de componentes com responsabilidades únicas;
 Possibilidade de testes unitários por componentes;
 Vasto conjunto de bibliotecas básicas prontas, chamadas de APIs;
 Vários frameworks que ajudam na implementação de padrões de projetos;
 Ferramentas para documentação de código;
 Maior comunidade de desenvolvedores do mundo;
 Milhares de artigos, revistas, fóruns, etc;
 Suporte e apoio das maiores companhias de software do mundo;
 Garbage Collector - desalocação de memória automática por processo de
coletor de lixo;
 Segurança – pode executar programas via rede com restrições de execução;
 Facilidades de Internacionalização – suporta nativo a caracteres Unicode;
 Carga dinâmica de código – as classes são carregadas somente no momento em
que precisam ser utilizadas.

Algumas empresas que compõem a JCP (Java Community Process) são:
 Sun Microsystems;
 IBM;
 Oracle;
 BEA Systems;
 RedHat;
 Novell;
 Xerox;
 Comunidade Java.

19

2.3.6 Tecnologia Java e de Código Aberto aplicada a Sistemas de Inteligência de
Negócios

Atualmente existem duas empresas importantes no mundo da tecnologia Java
aplicada à sistemas de Inteligência de Negócios, são elas: Jasper e Pentaho.
A empresa Jasper produz uma Suite de Inteligência de Negócios de código aberto
bastante robusta e importante; seu produto mais conhecido é o JasperReports junto com a
IDE de desenvolvimento de Relatórios chamada iReports. Muitos desenvolvedores Java
utilizam as ferramentas da Jasper para o desenvolvimento de relatórios em programas
desenvolvidos em Java.
No ano de 2004 algumas pessoas, oriundas das mais importantes empresas do setor
de Inteligência de Negócios, juntaram-se e fundaram a empresa Pentaho, com o objetivo de
criar uma plataforma de código aberto de Inteligência de Negócios.
A estratégia utilizada foi reunir as melhores ferramentas de código aberto
disponíveis no mercado e criar uma única suite de BI contendo todas as ferramentas
necessárias para uma solução completa de Inteligência de Negócios de código aberto. Para
isso foi necessário adquirir projetos e pessoas. O mais interessante é o fato de todas essas
ferramentas terem sido desenvolvidas em Java, mais uma vez provando a grande ligação
entre a tecnologia Java e o mundo de código aberto.
Antes da criação do Projeto Pentaho existiam quatro projetos de código aberto
importantes relacionados ao mundo de Inteligência de Negócios, são eles: Mondrian,
Kettle, JFreeReport e Weka.
O projeto Mondrian, fundado por Julian Hyde, possibilitava à comunidade de
código aberto um servidor OLAP alternativo às opções disponíveis no mercado. Com essa
ferramenta era possível integrar cubos OLAP em uma aplicação Java utilizando Jpivot,
Mondrian e Apache Tomcat.
A parte de relatórios era possível graças ao projeto JFreeReport, fundado por
Thomas Morgner. Como alternativa de código aberto para ferramentas de mineração de
dados podia-se utilizar uma ferramenta muito conhecida entre pesquisadores de
Universidades no mundo todo, a chamada Weka (Waikato Environment for Knowledge
Analysis), criada em 1993 pela Universidade de Wakato, Nova Zelândia.
O último projeto, e extremamente importante, chamado Kettle (Extraction,
Transformation, Transportation and Loading of data) criado por Matt Casters, trata-se de
uma ferramenta de ETL desenvolvida em Java.
Em outras palavras, todas essas ferramentas de código aberto, desenvolvidas em
Java, possuíam cada uma um criador e estavam disponíveis na internet. Então, à partir da
criação da Pentaho e da aquisição de todas essas ferramentas e de seus principais
desenvolvedores, surgiu o que conhecemos como o Suite Pentaho de BI, atualmente
disponível em duas formas: Community Edition e Enterprise Edition.
Desde Junho de 2005 todas as ferramentas que fazem parte do Projeto Pentaho
encontram-se disponíveis no site de download sourceforge.net e qualquer empresa pode
baixá-las e utilizar em um projeto profissional de Inteligência de Negócios.

20

3 ARMAZÉM DE DADOS

Define-se Armazém de Dados (DW) como sendo o local onde são armazenados os
dados importantes de uma empresa; esses dados são catalogados de forma organizada e
estruturada. Na grande maioria das vezes utiliza-se a modelagem multi-dimensional na
construção de um DW.
Segundo Inmon (1997), idealizador do conceito, Armazém de Dados “é uma
coleção de dados integrados, orientados por assunto, variáveis com o tempo e não
voláteis, usados para dar suporte ao processo gerencial de tomada de decisão”.

3.1 Características

• Integrado: Através de um processo que chamamos de ETL (Extração,
Transformação e Carga) os dados, oriundos de diversas fontes de dados, são extraídos,
combinados, limpos, eliminados, desnormalizados, normalizados, calculados, etc; então
são enviados de forma organizada e consolidada para o DW, de forma que passa a ter um
único significado perante a empresa;

• Orientado por assuntos: Os dados do armazém de dados são organizados de modo
a facilitar a análise dos dados;

• Variante no Tempo: Os dados não são atualizáveis, ou seja, são relativos a um
determinado instante de tempo, o que proporciona o armazenamento histórico dos dados;

• Não volátil: Significa dizer que o armazém de dados permite apenas a carga
inicial dos dados e consultas a estes dados, ou seja, após serem integrados, transformados e
incluídos, os dados não podem ser alterados.

3.2 Construção

De acordo com Kimball (1997), o processo de construção de um armazém de dados
é composto de nove etapas. São elas:

1) Selecionar o processo de negócio a ser modelado – por exemplo: analisar o
faturamento da empresa medindo quantidade de produtos vendidos e valor
das vendas;

2) Definir a granularidade (nível de detalhes) do processo de negócio;

3) Escolher as dimensões que se aplicam à cada linha da tabela de fatos;

4) Identificar os fatos numéricos (métricas) que preenchem cada linha da
tabela de fatos – por exemplo: quantidade de produtos vendidos e valor
das vendas;
5) Armazenar os dados pré-calculados na tabela de fatos;

21

6) Fazer a carga das tabelas de dimensão;

7) Preparar dimensões para suportar evoluções (mudanças);

8) Definir a amplitude de tempo do histórico do banco de dados;

9) Definir o espaço de tempo (periodicidade dos indicadores) com que os
dados devem ser extraídos e carregados no DW.

3.3 Extração, transformação e carga dos dados - ETC

A etapa mais trabalhosa na construção de um armazém de dados é o que chamamos
de ETL, sigla em inglês para ''Extract, Transform and Load'', e que traduzido para o
português significa Extrair, Transformar e Carregar.
Sucintamente, este processo consiste em encontrar os dados importantes que serão
analisados, extrair esses dados das diversas fontes de dados, realizar as transformações
necessárias (que podem ser limpeza, combinação, eliminação, cálculos, etc) e realizar a
carga de dados no armazém de dados. Desta forma a empresa começa a guardar seus dados
importantes em um banco de dados único, modelado de forma multi-dimensional.
Para entender esse processo é necessário entender alguns conceitos explicados
abaixo:

A) Fonte de dados - Na grande maioria dos DW, os dados provêm de várias fontes
diferentes e independentes, podendo ser essas fontes as bases de dados dos sistemas
transacionais, planilhas excel, etc.

B) Extração - Significa a leitura e entendimento das fontes de dados e a cópia das partes
necessárias para a área de transformação de dados, com o intuito de serem trabalhadas
posteriormente. Um grande desafio no processo de extração é determinar quais dados são
realmente importantes e quais tipos de filtros aplicar. Essa tarefa é uma das atividades que
mais consome tempo na construção do DW. Uma dica é perguntar ao patrocinador do
projeto quais são as informações relevantes ao projeto e simplificar ao máximo o processo
de extração, poupando recursos e tempo. Não vale a pena ter diversas informações no DW,
o ideal é ter apenas as informações mais importantes ao negócio.

C) Transformação – Esta etapa do processo de ETL é valiosa para o negócio; consiste em
realizar uma série de atividades sobre os dados extraídos, de modo a convertê-los em
formato adequado para carga no armazém de dados. Algumas etapas da transformação dos
dados de origem são:

1) Limpeza
 Correção do uso incorreto ou inconsistente de códigos e caracteres especiais;
 Tratamento de dados perdidos;
 Correção de valores duplicados ou errados.
Sua finalidade é deixar os elementos de dados dentro de formatos padrões
(uniformizados), não duplicados, corretos, consistentes e espelhando a realidade.

22

2) Eliminação
 Constitui em desconsiderar os campos e dados que não são úteis ao DW.

3) Combinação
 Realizada quando as fontes de dados possuem exatamente os mesmos valores de
chaves representando registros iguais ou complementares.

4) Desnormalização e Normalização
 O processo padrão de transformação é reunir as hierarquias de dados, separadas em
várias tabelas devido à normalização, dentro de uma única dimensão, de forma
desnormalizada. Pode ocorrer, entretanto, que dados provenientes do processo de
extração estejam completamente desnormalizados dentro de arquivos texto. Nesse
caso pode ser que seja necessário normalizar partes dos registros.

5) Cálculos, derivação e alocação
 São transformações a serem aplicadas às regras do negócio identificadas durante o
processo de levantamento de requisitos.

3.4 Acesso aos dados

Acessar os dados pode ser um momento critico e difícil. Isso é devido à grande
variedade de bancos de dados disponíveis no mercado e também à dificuldade que muitas
empresas enfrentam para conseguir acesso aos dados da empresa (visto que muitas vezes
estes são guardados a sete chaves pela área de segurança da informação).
A ferramenta utilizada para acessar os dados é chamada PDI – Kettle. Esta
ferramenta possui uma interface com o desenvolvedor bastante simples, o que possibilita a
conexão com diversos SGDB de maneira muito fácil e amigável; a conexão JDBC é a
forma mais fácil de acessar os diversos bancos de dados.
Em alguns casos os desenvolvedores de uma solução de Inteligência de Negócios
enfrentam a dificuldade de conseguir um usuário de leitura para realizar o processo de
extração. Mas isso pode ser facilmente resolvido com a ajuda de um patrocinador
importante do projeto. Este patrocinador pode muito bem tomar as providências
necessárias para a liberação dos acessos.
Todos os usuários necessários para o acesso às bases de dados transacionais devem
ter privilégios apenas de leitura. Desta forma evita-se a possibilidade de alteração ou
remoção de dados do sistema de origem, causados por algum erro humano. Essa
importante precaução reduz uma série de erros comuns em projetos de Inteligência de
Negócios e ajuda a área de segurança da informação a manter a segurança da empresa.
Em caso de fontes de dados como Excel, Access, arquivos textos, etc, o acesso aos
dados é bastante tranqüilo, visto que a ferramenta de integração de dados utilizada é
bastante robusta e capaz de ler dados em diversos formatos.

23

3.5 Ferramentas OLAP

A grande maioria dos novos usuários de sistemas de Inteligência de Negócios, por
não compreender o suficiente, solicita relatórios, quando na verdade o que querem, e o que
precisam, são ferramentas de análises de dados. Essas ferramentas são as chamadas
ferramentas OLAP. O termo OLAP em inglês significa On-line Analytical Processing.
Inmon (1999) nos dá uma definição sobre o OLAP, (...) é uma tecnologia de
software que permite a analistas, gerentes e executivos obterem os dados de uma forma
rápida, consistente e com acesso interativo para uma grande variedade de possíveis visões
da informação na empresa. Mais sucintamente, OLAP é um conjunto de funcionalidades
que tem, como principal objetivo, facilitar a análise multidimensional.
Uma ferramenta OLAP é capaz de executar consultas MDX e trabalhar com o que
chamamos Cubos OLAP. Nesses cubos é possível cruzar os dados, possibilitando a criação
de diversas visões dos mesmos dados. No exemplo abaixo observamos como é possível
cruzar os dados por produtos, lojas e período.

Figura 3 – Cubo OLAP
Fonte: IT4biz

Um cubo OLAP é composto de uma tabela fato e algumas tabelas de dimensões. As
definições e exemplos desses termos seguem abaixo:

1) Tabela Fato – Tabela onde armazenam-se as chaves das dimensões e as
métricas.
2) Métricas – São os parâmetros quantitativos / valores do negócio que desejam
ser medidos; ficam armazenados na tabela fato.

24

Exemplo de métricas: quantidade média de produtos vendidos, valor total em reais,
gastos por cliente, etc.
3) Tabela Dimensão – Tabela onde armazenam-se os dados da dimensão.
Exemplos de algumas tabelas de dimensões são: produtos, lojas, tempo,
fornecedores, etc. Exemplo de uma dimensão hierárquica “Localização do Cliente” tendo o
seguinte agrupamento:
País -> Estado -> Cidade.

Existem duas formas de modelar um Cubo OLAP: o modelo estrela (star schema) e
modelo flocos de neve (snow flake schema).

3.6 Mineração de Dados

A mineração de dados é bastante complexa e envolve conhecimentos estatísticos a
fim de saber qual procedimento deve ser utilizado.
Normalmente as empresas, após contarem com um armazém de dados estruturado,
começam a analisar de forma mais profunda seus dados utilizando técnicas de mineração
de dados.
Na Suite Pentaho a ferramenta de mineração de dados chama-se WEKA (Waikato
Environment for Knowledge Analysis). A ''WEKA'' é uma ferramenta bastante conhecida
pelas Universidades no Brasil e no mundo. Ela foi desenvolvida pela Universidade de
Wakato, Nova Zelândia, e trazida recentemente para o portifólio de produtos da Pentaho,
tornando-se a ferramenta oficial de mineração de dados da Suite Pentaho. Porém além
desta (WEKA) existem muitas outras ferramentas poderosas de mineração de dados que
podem ser utilizadas a fim de enriquecer as decisões tomadas pelas empresas.

25

4 PENTAHO

Fundada em 2004 por uma equipe de veteranos da indústria de Inteligência de
Negócios provenientes de empresas como Business Objects, Cognos, Hyperion, JBoss,
Oracle, Red Hat e SAS, a empresa Pentaho Corporation, empresa norte-americana, tornou-
se referência em Inteligência de Negócios de código aberto.
Desde seu inicio a empresa possui sua sede em Orlando, Flórida, e conta com
colaboradores vivendo em diversas partes do mundo. A Pentaho Corporation é a
desenvolvedora principal das ferramentas de Inteligência de Negócios contidas em sua
Suite.
A Pentaho possui aportes financeiros de fundos de investimentos como Enterprise
Associates, investidores do SugarCRM, Xensource, Index Ventures, investidores do
MySQL, Zend e outros.
O modelo de negócio adotado pela Pentaho é o que chamamos em inglês de
subscription model. Trata-se de uma forma de comercializar o software sem pagar pela
licença de uso, onde o fabricante, no caso a Pentaho, provê suporte, serviços e melhorias
no software através de uma mensalidade anual. Porém o cliente pode optar por utilizar a
versão community onde não existe suporte da Pentaho nem custo anual, uma vez que neste
caso o suporte é feito por meio da comunidade de desenvolvedores Pentaho espalhados por
todo o mundo.
A Pentaho coordena e patrocina todos os projetos de código aberto importantes e
cruciais relacionados à sua Suite de BI, como por exemplo os projetos Mondrian, Kettle,
WEKA, entre outros projetos.
No início os projetos mais importantes da Pentaho eram desenvolvidos por pessoas
em todas as partes do mundo e não tinham relação direta com a Pentaho. Porém em 2004,
quando a empresa foi fundada, esses projetos foram incorporados gradualmente pela
Pentaho junto com seus principais desenvolvedores.
Por exemplo, o Kettle, desenvolvido por Matt Casters, foi incorporado pela Pentaho
em 2006 e passou a chamar-se PDI (Pentaho Data Integration); desta forma Matt Casters, o
desenvolvedor mais importante, começou a trabalhar junto com a Pentaho.
Outro exemplo importante é o projeto Mondrian, desenvolvido por Julian Hyde, um
inglês que também foi incorporado, em 2005, junto com seu projeto, à Pentaho.
Além da parte de integração de dados (Kettle) e servidor OLAP (Mondrian)
também era necessária uma solução de relatórios. É exatamente nesta parte que entra o
desenvolvedor Thomas Morgner, que também foi incorporado à Pentaho junto com seu
projeto de código aberto chamado JfreeReporting. Atualmente Thomas é o principal líder
do projeto, rebatizado como Pentaho Reporting.
Por fim, mais uma importante aquisição em 2006 foi o projeto WEKA. Um dos
principais desenvolvedores deste projeto, o Sr. Mark Hall, incorporou-se à Pentaho,
tornando-se o Engenheiro Sênior de Mineração de Dados da Pentaho, e o projeto WEKA
passou a ser conhecido como Pentaho Mineração de Dados.
Outras pessoas importantes na história da Pentaho são: Marc Batchelor (fundador e
Engenheiro Chefe), Richard Daley (fundador e presidente), James Dixon (fundador Chefe
Geek), Doug Moran (fundador e vice-presidente da comunidade) e Will Gorman (vice-
presidente).

26

4.1 Mobilidade

Acesso de KPI's através de celulares com navegadores WEB. Por exemplo: iPhone,
Motorola Milestone(Google Android), etc.

4.2 Características

 Projeto 100% Java;
 Servidor de BI e ferramentas de desenvolvimento multi plataforma;
 Escalável;
 Confiável;
 Código aberto;
 Desenvolvido utilizando padrões abertos e ferramentas de mercado;
 Custo Zero de Licença (versão pentaho community);
 Possibilidade de customização e integração;
 Independente de Fornecedor;
 Suporte do fabricante por meio de Subscription Model (pago);
 Grande Comunidade de Desenvolvedores no Brasil e no Mundo;
 Acesso web aos indicadores de negócio via navegador, independente de sistema
operacional (Windows, Linux, Mac, iPhone, Google Android, etc).

4.3 Pentaho BI Suite

A construção de um projeto de Inteligência de Negócios utilizando o Pentaho pode
ser exemplificada através da figura abaixo.

Figura 4 – Visão Geral de um Projeto de BI com Pentaho
Fonte: IT4biz

27

Utiliza-se o PDI - Kettle para o processo de ETL; o armazém de dados pode ser
construído em cima de qualquer base de dados. O servidor de aplicação, chamado BI
Server, também é multi- plataforma. Ele será o responsável pelo controle de acesso e
compartilhamento dos Cubos OLAP, relatórios e painéis construídos baseados no DW. Os
usuários poderão acessar esses indicadores de diversas formas, como por exemplo através
de computadores desktop (Windows, Linux e Mac), computadores pessoais, celulares com
acesso à internet e navegador (iPhone, Android, Nokia, etc), entre outros.

4.4 Pentaho BI Server

O Pentaho BI Server é a aplicação responsável pelo gerenciamento dos indicadores,
compartilhamento entre os usuários, controle de acesso, etc. O Pentaho BI Server pode ser
executado em diversos webserver J2EE, tais como: Tomcat, JBOSS, Glassfish e outros. A
versão atual do Pentaho BI Server é a versão 3.5, e utiliza o Tomcat como webserver
padrão.

Figura 5 – Servidor de BI Pentaho
Fonte: Pentaho
28

Figura 6 – Arquitetura Servidor de BI Pentaho
Fonte: Pentaho

29

4.5 PRD (Pentaho Report Designer)

O PRD, sigla para Pentaho Reporting Designer, é a ferramenta de criação de
relatório da Pentaho. A versão atual, chamada PRD 3.5, foi totalmente reescrita por seu
criador Thomas, e apresenta uma série de novas funcionalidades.
Com o PRD é possível criar relatórios com filtros, gráficos, sub-relatórios, entre
outros, em PDF, Excel, ou HTML, e publicá-los diretamente no Pentaho BI Server sem a
necessidade de um conhecimento de programação. A ferramenta é totalmente visual e
permite a criação de relatórios extremamente profissionais. Ela também torna possível a
criação do que chamamos relatório pixel perfect, no qual é possível organizar cada pixel.

4.6 PDI (Pentaho Data Integration)

O PDI é uma das ferramentas mais importantes da Suite de BI da Pentaho, sendo o
responsável pelos processos de ETL (Extração, Transformação e Carga). De uma forma
totalmente visual a ferramenta permite o desenvolvedor de ETL conectar-se a diversos
bancos de dados, extrair dados, copiar, transformá-los, combiná-los, apagá-los, atualizá-
los, enviá-los a diversos locais, criar “jobs”, enviar e-mails, acessar um servidor via ssh,
ftp, realizar tratamentos de erros, e tantas outras tarefas necessárias a um processo de ETL.
Com a utilização do PDI é possível integrar empresas e sistemas de uma forma visual e
organizada.

4.7 PSW (Pentaho Schema Workbench)

O Pentaho Schema Workbench é a ferramenta necessária para a criação dos cubos
OLAP no formato XML. O processo de criação deste esquema pode ser através de um
editor de texto ou, de forma visual, através da aplicação PSW – Pentaho Schema
Workbench.
Os cubos criados no PSW são exibidos no Pentaho BI Server; seu processo de
publicação é bastante simples e intuitivo. Com a ajuda do PSW é possível criar métricas,
dimensões, hierarquias, etc.

4.8 WEKA

A WEKA é a ferramenta de mineração de dados da Suite de BI da Pentaho. Trata-se
de um ambiente gráfico onde é possível aplicar de forma intuitiva modelos estatísticos,
inteligência artificial, e outros modelos, com o fim de enriquecer a base de dados e apoiar o
processo de tomada de decisão.

30

5. CONSTRUINDO UMA SOLUÇÃO DE BI PROFISSIONAL

O processo de instalação das ferramentas de BI é bastante simples, consistindo, na
grande maioria das vezes, em descompactar os arquivos e executar o programa. Nesta
monografia não abordaremos esse processo de instalação; as formas mais avançadas de
instalação do Pentaho BI Server também não serão abordadas nesta monografia.

5.1 Instalação das ferramentas de Inteligência de Negócios

Para este projeto foi preparada uma máquina de desenvolvimento com o sistema
operacional Linux, utilizada como servidor e máquina de desenvolvimento. Em um projeto
real é necessário criar ambientes separados, e, de preferência, utilizar o sistema operacional
Linux para o servidor.
Abaixo seguem duas listas de instalação.

Lista do que deve ser instalado no Servidor Pentaho BI Server e Armazém de
Dados:

 Sistema Operacional Linux;
 Banco de dados para o Armazém de Dados;
 JDK (Java Development Kit);
 Pentaho BI Server.

Lista do que deve ser instalado nas maquinas dos desenvolvedores de BI:

 Sistema Operacional;
 JDK (Java Development Kit);
 PSW – Pentaho Schema Workbench;
 PRD – Pentaho Report Designer;
 PDI – Pentaho Data Integration;
 Squirrel – SQL Cliente Universal.

31

Figura 7 – Tela de Login Portal BI
Fonte: Sistema Desenvolvido para a Monografia

Figura 8 – Tela Interna Portal BI

32

5.2 Processos de ETL
O processo de coleta, organização, limpeza, aplicação de regras de negócios,
fórmulas, combinação de diversas fontes de dados e armazenamento dos dados consume
grande parte do esforço e dos recursos necessários para a realização de um projeto de
Inteligência de Negócios. Esta etapa precisa ser desenvolvida em colaboração com as
pessoas tomadoras de decisão, pois as perguntas de negócio determinam os processos de
ETL.

5.2.1 Definindo os indicadores

Neste estudo de caso definimos como indicador a ser desenvolvido a análise de
faturamento da empresa EXEMPLO. Este indicador terá sua análise de faturamento
(quantidade de vendas e valor das vendas) cruzado com vendedor, canal de venda, cliente,
produto e tempo.
A grande maioria das empresas possui dificuldade em cruzar dados extremamente
importantes, por isso pensamos em um modelo que pudesse ser aplicado por empresas de
todos os tamanhos.
Segundo o SEBRAE: “Planejar ações de vendas e, por meio de avaliações
sistemáticas, ampliar o índice de acerto e corrigir erros cometidos, é uma forma de
empresas aumentarem a competitividade no mercado. A adoção de um controle de vendas
possibilita ao empresário prever receitas futuras e, consequentemente, programar compras
da empresa. Além disso, torna-se mais fácil acompanhar o comportamento mensal das
vendas, as variações devido à sazonalidade, bem como o prazo médio concedido para os
pagamentos realizados a prazo.” (SEBRAE, 2010)
Assim chegamos ao modelo definido neste estudo de caso. As visões definidas são:

 Total (R$) e Quantidade de Produtos Vendidos;
◦ Por:
▪ Vendedor;
▪ Canal de Venda;
▪ Cliente;
▪ Produto;
▪ Tempo.

5.2.2 Modelagem Dimensional

Na figura abaixo vemos o modelo dimensional desenvolvido para responder às
perguntas definidas pelos usuários do sistema de apoio à decisão. Neste modelo utilizou-se
o esquema estrela (Star Schema).
No cubo OLAP, definido para analisar o faturamento da empresa, temos a tabela
“fato vendas”. Nesta tabela as quantidades de produtos vendidos e total da venda (R$) são
definidas como métricas, e as dimensões são: vendedores, canal de venda, cliente, produto
e tempo.
Modelo Estrela - Cubo Faturamento

33

Figura 9 – Modelo Estrela – Cubo Faturamento

34

5.2.3 Descrição das dimensões, fatos e campos

Tabela: fato_venda

Figura 10 – Tabela Fato_Venda

Métricas:
qtd_produtos = Quantidade de Produtos vendidos
total_venda = Valor Total (R$) da Venda.

Relacionamentos:
fato_venda.id_cliente → dim_cliente.id_cliente
fato_venda.id_canalvenda → dim_canalvenda.id_canalvenda
fato_venda.id_vendedor → dim_vendedor.id_vendedor
fato_venda.id_produto → dim_produto.id_produto
fato_venda.id_tempo → dim_tempo.id_tempo

Tabela: dim_canalvenda

Figura 11 – Tabela Dim_CanalVenda)

Descrição dos Campos:
id_canalvenda → Identificador único do Canal de Venda
cod_canalvenda → Código do Canal de Venda no Sistema de Origem
desc_canalvenda → Descrição do Canal de Venda

35

Tabela: dim_tempo

Figura 12 – Tabela Dim_Tempo

id_tempo → Identificador único do Período
ano → Ano
trimestre → Trimestre
mes → Mês
mesnumero → Número do Mês

Tabela: dim_cliente

Figura 13 – Tabela Dim_Cliente

id_cliente → Identificador único do Cliente
cod_cliente → Código do Cliente no Sistema de Origem
documento → CNPJ, CPF ou RG
tipo → Pessoa Física ou Pessoa Jurídica
desc_cliente → Descrição do Cliente

36

cidade → Cidade do Cliente
estado → Estado do Cliente
pais → Pais do Cliente
latitude → Latitude do Cliente
longitude → Longitude do Cliente
desc_negocio → Descrição do Negócio do Cliente

Tabela: dim_produto

Figura 14 – Tabela Dim_Produto

id_produto → Identificador único do Produto
cod_produto → Código do Produto no Sistema de Origem
desc_produto → Descrição do Produto
cod_categoria → Código da Categoria
desc_categoria → Descrição da Categoria
status_produto → A = Ativo e I = Inativo

Tabela: dim_vendedor

Figura 15 – Tabela Dim_Vendedor

37

id_vendedor → Identificador único do Vendedor
cod_vendedor → Código do Vendedor no Sistema de Origem
documento → CPF, CNPJ, RG
tipo → vendedor interno, vendedor externo, distribuidor, representante, revendedor
desc_vendedor → Descrição do Vendedor
datanascimento → Data de Nascimento do Vendedor
cidade → Cidade do Vendedor
estado → Estado do Vendedor
pais → Pais do Vendedor

5.2.4 Criando os processos de ETL no Kettle

Utilizaremos a ferramenta PDI – Kettle para desenvolver as rotinas de extrações,
transformações e cargas necessárias para a criação do armazém de dados.
Abaixo vemos os componentes utilizados para a criação de uma dimensão
tradicional e suas funções.

Figura 16 – Exemplo de ETL usando o PDI

Componentes:
1) TIN – Extrai Dados → Utilizando o componente Table Input, extraímos os dados
necessários para a dimensão, através de uma consulta SQL realizada na base de dados de
Origem das informações.
2) DIMLKP – Carrega Dimensão → No próximo passo utilizamos o componente
do PDI chamado Dimension Lookup. Este componente verifica se o registro já existe e
permite a inserção (caso o registro não exista) ou atualização do registro (caso o mesmo
exista). O DIMLKP permite a criação e a carga de uma dimensão, sendo também o
responsável pelos controles existentes em uma dimensão.
O processo de criação da “tabela fato” envolve componentes como Table Input,
Database Lookup e outros.
Não abordaremos nesta monografia o processo completo existente da construção
das rotinas necessárias para a criação de um armazém de dados. Gostaríamos apenas de
registrar que todo o processo de ETL pode ser criado utilizando o PDI – Kettle, de forma
totalmente visual e componentizada, como demonstrado no exemplo anterior.

38

5.3 Cubos OLAP

Na figura abaixo temos o Cubo OLAP de faturamento criado para o estudo de caso
desta monografia.
Neste cubo podemos analisar a quantidade de produtos vendidos e o valor total por
produto, vendedor, cliente e canal de venda.

Figura 17 – Cubo OLAP Faturamento

39

O Cubo OLAP de faturamento permite ao usuário, sem conhecimento técnico
algum, criar, de forma independente, diversas visões de negócio.
Clicando no ícone abaixo, o usuário pode modificar a ordem das dimensões,
adicionar e remover métricas e aplicar filtros.

Abaixo podemos visualizar um exemplo de cubo de faturamento.

Figura 18 – Criando uma nova visão no Cubo OLAP de Faturamento

No cubo de faturamento foram definidas três métricas: quantidade de produtos
vendidos, faturamento total e quantidade de vendas. De forma simples o usuário pode
escolher quais métricas ele utilizará para cada visão.

Figura 19 – Escolhendo as métricas

40

Com o intuito de demonstrar a capacidade de criação de diversas visões das
mesmas informações, mostraremos algumas visões criadas a partir do cubo de faturamento.

Figura 20 – Visão por Produto

Figura 21 – Faturamento por Canal de Venda

41

Figura 22 – Faturamento por Canal de Venda

42

Figura 23 – Faturamento por Produtos

43

Figura 24 – Faturamento por Vendedores

44

Figura 25 – Faturamento por Vendedores (Gráfico)

45

Figura 26 – Quantidade de Produtos Vendidos por Vendedores (Gráfico)

46

Figura 27 – Faturamento por Vendedores e Período (Tempo)

47

Figura 28 – Filtrando a dimensão Produtos

Figura 29 – Recurso de Drill Through

48

O visualizador OLAP JPivot permite ao usuário transformar as informações em
diversos tipos de gráficos e exportar para PDF e Excel. Abaixo vemos os ícones que
permitem essas funcionalidades.

Figura 30 – Possibilidades JPivot.

5.4 Painel com Mapas

Com o intuito de ajudar o gestor da empresa foi criado um painel utilizando Java,
jQuery (AJAX), Pentaho e Google Maps. Neste painel é possível identificar a localização
dos clientes da empresa, saber, através das cores, o total de faturamento de cada cliente,
filtrar por faturamento, canal de venda, período, região e estado.

Legenda das cores dos ícones:
- Vermelho = Até 100 mil reais;
- Azul = Acima de 100 mil reais até 300 mil reais;
- Amarelo = Acima de 300 mil reais até 500 mil reais;
- Laranja = Acima de 500 mil reais até 1 milhão;
- Verde = Acima de 1 milhão.

49

Figura 31 – Painel Faturamento

Figura 32 – Painel Faturamento por Estado

50

5.5 Google Android

De acordo com o site do Google: “Android é um software de código aberto criado
para celulares e outros dispositivos. O Android Open Source Project (AOSP), liderado
pelo Google, está encarregado da manutenção e desenvolvimento do Android.” (Google,
2010)

5.5.1 Acessando o sistema de Inteligência de Negócios pelo celular Google Android

O portal de BI desenvolvido para a empresa exemplo poderá ser acessado através
de um aplicativo desenvolvido para rodar em celulares com o sistema operacional Google
Android.

Figura 33 – Simulação do Aplicativo para acessar o Portal de BI no Google Android

51

O aplicativo necessário para acessar o Portal chama-se IT4biz BI Mobile.

Figura 34 – Aplicativo IT4biz BI Mobile – Android

Figura 35 – Tela de Login Portal BI acessado via Google Android

52

Figura 36 – Exemplo de um Painel visualizado através do Google Android

Figura 37 – Exemplo de outro Painel visualizado através do Google Android

53

Figura 38 – Exemplo de Cubo OLAP visualizado através do Google Android

5.5.2 BI Touch e BI Mobile: informações estratégicas na palma da sua mão

Alguns celulares possuem o recurso de tela sensível ao toque (touch screen), o que
possibilita um portal de BI sensível ao toque; desta forma o executivo pode manipular seus
indicadores através do toque.
O futuro é a migração dos aplicativos para os celulares. Acompanhando essa
tendência, o portal de BI desenvolvido para a empresa exemplo poderá ser acessado via
aplicativo próprio desenvolvido para o Google Android.
Cada vez mais as empresas buscam soluções onde as informações estratégicas
possam estar ao fácil alcance das pessoas que tomam as decisões. Pensando nisso
apresentamos, neste portal de BI, a possibilidade de visualização dessas informações em
qualquer celular com acesso à internet e em celulares equipados com a tela sensível e
sistema operacional google android. Através desta solução de BI Mobile e Touch o poder
está literalmente nas mãos dos usuários, de forma rápida e simples.

54

6. CONCLUSÕES

Conclui-se que, com a chegada de ferramentas de código aberto ao setor de
Inteligência de Negócios, tornou-se possível para pequenas, médias e grandes empresas o
investimento na criação de sistemas de apoio à decisão, os quais têm como objetivo
auxiliar os executivos das empresas no processo de tomada de decisão.
Um sistema de Inteligência de Negócios pode atender diversos usuários que
estejam em diversas áreas da empresa, desde áreas operacionais até áreas estratégicas da
mesma.
Com o crescimento do movimento open source diversas empresas têm investido na
criação de soluções baseadas em código livre. Estas soluções podem ajudar diversas
empresas a economizar muito dinheiro e a obter a mesma qualidade de uma ferramenta
proprietária consolidada no mercado.
Apesar das ferramentas necessárias para a criação de um projeto de Inteligência de
Negócios serem, na maioria das vezes, disponibilizadas gratuitamente, o processo de
concepção, planejamento, desenvolvimento, testes e acompanhamento precisam ser
realizados por mão de obra qualificada e especializada.
Estamos vivendo uma era de liberdade, um momento histórico onde empresas, sem
os recursos necessários, podem se beneficiar com as tecnologias antigamente presentes
somente nas grandes empresas.
O modelo de código aberto proporciona às empresas uma liberdade e uma
economia significativa. Estes fatores, que geralmente não existem no modelo proprietário,
são os pontos fortes desse modelo, seu grande diferencial.

55

7. BIBLIOGRAFIA

PUZO, Mario. O Poderoso Chefão. Record, 2000.

TZU, Sun. A arte da Guerra. L&PM, 2000.

KOTLER, Philip. Marketing para o século XXI: como criar, conquistar e dominar
mercados. Futura, 1999.

INMON, W. H. Como Construir o Data Warehouse. Campus, 1997.

KIMBALL, Ralph. The Data Warehouse Toolkit. John Wiley & Sons,Inc, 1996.

BATES & SIERRA. Use a Cabeça! Java. O'REILLY, 2009.

BOUMAN & DONGEN, Pentaho Solutions: Business Intelligence and Data
Warehousing with Pentaho and MySQL. Wiley, 2009.

GORMAN, Will, Pentaho Reporting 3.5 for Java Developers. Packt Publishing, 2009.

ROLDÁN, María. Pentaho 3.2 Data Integration: Beginner's Guide. Packt Publishing,
2010.

Pentaho. Definições sobre o Produto Pentaho BI Suite. Disponível em:
<http://www.pentaho.com>. Acesso em: 16 de Junho de 2010.

DIXON, James. The Beekeeper. Disponível em:
<http://wiki.pentaho.com/display/BEEKEEPER/The+Beekeeper>. Acesso em: 16 de
Junho de 2010.

Google. Projetos do Google para o Android. Disponível em:
<http://code.google.com/intl/pt-BR/android>. Acesso em: 16 de Junho de 2010.

Google. Android Developers. Disponível em: <http://developer.android.com/index.html>.
Acesso em: 16 de Junho de 2010.

Google. The Developer's Guide. Disponível em:
<http://developer.android.com/guide/index.html>

Google. Android SDK. Disponível em: <http://developer.android.com/sdk/index.html>.

Google. About the Android Open Source Project. Disponível em:
<http://source.android.com/about/index.html>. Acesso em: 23 de Julho de 2010.

GNU. The Free Software Definition. Disponível em:
<http://www.gnu.org/philosophy/free-sw.html>. Acesso em: 16 de Junho de 2010.
GNU. The GNU Manifesto. Disponível em: <http://www.gnu.org/gnu/manifesto.html>.

56

SUN. Java is Everywhere. Disponível em: <http://br.sun.com/java/everywhere>. Acesso
em: 16 de Junho de 2010.

JPIVOT. Informações sobre o visor OLAP JPivot. Disponível em:
<http://jpivot.sourceforge.net/>. Acesso em: 16 de Junho de 2010.

OSI. Open Source Initiative - Definição de Código Aberto. Disponível em:
<http://www.opensource.org/osd.html>. Acesso em: 16 de Junho de 2010.

OSI. Open Source Initiative - História da iniciativa Open Source. Disponível em:
<http://www.opensource.org/history>. Acesso em: 16 de Junho de 2010.

SUN. Glossário Definição Java. Disponível em:
<http://java.sun.com/docs/glossary.html>. Acesso em: 16 de Junho de 2010.

SUN. Definição Java. Disponível em:
<http://www.java.com/en/download/whatis_java.jsp>. Acesso em: 16 de Junho de 2010.

MySQL. MySQL Community Server. Disponível em:
<http://www.mysql.com/downloads/mysql/>. Acesso em: 16 de Junho de 2010.

PostgreSQL. Definição PostgreSQL. Disponível em: <http://www.postgresql.org/about/>.

Squirrel. Definições Squirrel. Disponível em: <http://squirrel-sql.sourceforge.net/>.

Tomcat. Definições Apache Tomcat. Disponível em: <http://tomcat.apache.org/>. Acesso
em: 16 de Junho de 2010.

Eclipse. Definições Eclipse. Disponível em: <http://www.eclipse.org/>. Acesso em: 16 de
Junho de 2010.

Jasper. Definições Jasper. Disponível em: <http://jasperforge.org/projects/jasperreports>.

Linux. The Linux Foundation. Disponível em: <http://www.linuxfoundation.org/>.

SEBRAE. Acompanhamento e controle de vendas. Disponível em:
<http://www.sebrae.com.br/momento/tenho-um-negocio-com-menos-de-2-
anos/gestao/falta-controle/integra_bia?ident_unico=396>. Acesso em: 23 de Julho de 2010.

LINHARES, Robson. Apontamento das aulas de Linguagem Java. Disponível em:
<http://www.dainf.ct.utfpr.edu.br/~robson/posjava/2009/>. Acesso em: 20 fevereiro de
2009.

57

Integração de ferramentas de código aberto (java, pentaho e android) e mapas, aplicada a projetos de inteligência de negócios

Mais conteúdo relacionado

Semelhante a Integração de ferramentas de código aberto (java, pentaho e android) e mapas, aplicada a projetos de inteligência de negócios

Mais de Caio Moreno

Integração de ferramentas de código aberto (java, pentaho e android) e mapas, aplicada a projetos de inteligência de negócios