O documento apresenta o caso de uso do conceito de multi-tenancy no Pentaho para o Grupo Sage, permitindo que um único servidor de BI atenda diversos clientes de forma automatizada e com baixo custo, diferenciando os dados de cada cliente através de códigos de identificação.
A palestra apresenta o conceito de data lakes e big data, e como estas arquiteturas são formadas para o armazenamento e consumo de grande volumes de dados, sua relação com as arquiteturas distribuídas como é o caso do ecosistema Hadoop e como o a suíte Pentaho pode ajudar na gestão e extração de informações para tomada de decisão com recursos de big data analitycs.
A palestra apresenta o conceito de data lakes e big data, e como estas arquiteturas são formadas para o armazenamento e consumo de grande volumes de dados, sua relação com as arquiteturas distribuídas como é o caso do ecosistema Hadoop e como o a suíte Pentaho pode ajudar na gestão e extração de informações para tomada de decisão com recursos de big data analitycs.
Palestra de Business Intelligence, onde tratamos uma visão de BI, Mercado, Ferramentas. Perspectiva do Mercado, prioridades, cursos oferecidos pela Cetax.
http://www.cetax.com.br
Marco Garcia.
mgarcia@cetax.com.br
No âmbito da tecnologia da informação, Business Intelligence é uma categoria de software que permite às companhias acessar, analisar e compartilhar informações para compreenderem o desempenho do negócio a qualquer momento. Saiba mais sobre este assunto que ocupa o topo da lista de prioridades de investimentos das empresas na América Latina.
O que é business intelligence.
Esse é o conteúdo de uma palestra que eu deveria ter feito no dia 20/10/2009, mas por um motivo pessoal não consegui ministrar.
Nessa palestra falo um pouco sobre os conceitos de BI e suas ferramentas, etc.
Mais informações em
www.cetax.com.br
Obrigado,
Marco.
MIT - Estudo de Caso utilizando Cloud & DevOps Caio Candido
Estudo de Caso utilizando Cloud & DevOps. Soluções Dell e Red Hat como base para uma infra de Hybrid Cloud. Trabalho feito e desenvolvido para minha graduação no MIT.
Palestra de Business Intelligence, onde tratamos uma visão de BI, Mercado, Ferramentas. Perspectiva do Mercado, prioridades, cursos oferecidos pela Cetax.
http://www.cetax.com.br
Marco Garcia.
mgarcia@cetax.com.br
No âmbito da tecnologia da informação, Business Intelligence é uma categoria de software que permite às companhias acessar, analisar e compartilhar informações para compreenderem o desempenho do negócio a qualquer momento. Saiba mais sobre este assunto que ocupa o topo da lista de prioridades de investimentos das empresas na América Latina.
O que é business intelligence.
Esse é o conteúdo de uma palestra que eu deveria ter feito no dia 20/10/2009, mas por um motivo pessoal não consegui ministrar.
Nessa palestra falo um pouco sobre os conceitos de BI e suas ferramentas, etc.
Mais informações em
www.cetax.com.br
Obrigado,
Marco.
MIT - Estudo de Caso utilizando Cloud & DevOps Caio Candido
Estudo de Caso utilizando Cloud & DevOps. Soluções Dell e Red Hat como base para uma infra de Hybrid Cloud. Trabalho feito e desenvolvido para minha graduação no MIT.
Apresentação realizada no dia 13/04/2013, no 29º Guru-SP: gurusp.org/encontros/vigesimo-nono-encontro-do-guru-sp
Versão original em js: https://github.com/nuxlli/12factor-openruko
Neste post eu quero propor uma discussão sobre Presentation Architecture, mais especificamente sobre front-end web, com processamento client-side (no browser) e consumindo serviços (XML/JSON, SOAP, REST, WebSockets, etc,).
Para que possamos perceber todo o potencial dessa abordagem, devemos entender as vantagens e as implicações (trade-offs) de cada uma de suas três características básicas:
- Web;
- Processamento client-side (browser);
- Consumo de serviços.
Vamos lá!
Apresentação Power Embedded - Descubra uma nova forma de compartilhar relatór...Dirceu Resende
O que é o Power Embedded?
Uma aplicação web que permite reduzir o custo do Power BI em até 90%
➢ Usuários que precisam apenas visualizar relatórios acessam o Power Embedded
ao invés do portal do Power BI, e por isso, não precisam de licença PRO
Usuários que criam relatórios continuam acessando powerbi.com para configurar
atualizações, gateways e tudo mais.
➢ Permissões de acesso aos relatórios e RLS são configurados no Power Embedded
e não mais no portal do Power BI
Investimento necessário
Pagamento único
➢ Setup inicial e instalação: R$ 1.500,00 – Power Tuning
Mensal
➢ Sistema: R$ 5,00 (por usuário) – Power Tuning
➢ Capacidade Embedded ou Fabric: A partir de R$ 500,00* – Microsoft
O que são essas capacidades?
São recursos do Power BI que licenciam a solução do Power Embedded junto à
Microsoft e permitem utilizar as API’s, de forma legal e ilimitada, a inserir relatórios
publicados em aplicações terceiras e não precisar de licença para visualizar os relatórios
Tipos de capacidades (todas são suportadas pelo Power Embedded):
➢ Fabric: Mais nova, flexível, mais recursos e pode começar mais barata.
➢ Power BI Embedded: Mais estável, confiável e pode ser mais barata no pago pelo uso.
➢ Premium por Capacidade: A mais completa, mas o custo inicial é 32 mil reais por mês.
• As capacidades são contradas direto com a Microsoft (ou parceiro) pelo Azure.
• Ter uma capacidade é um requisito para o Power Embedded funcionar.
• Microsoft libera um período de avaliação gratuito de 60 dias para o Fabric.
Por quê preciso do Power Embedded?
Apenas contratando a capacidade, você ainda precisará de licenças PRO para
visualizar os relatórios.
➢ O Power Embedded que cria essa comunicação com as API’s do Power BI e permite
visualizar os relatórios pelo Sistema, sem precisar de licença.
➢ Também é o Power Embedded que implementa o controles de segurança (RLS e
OLS) e garante que apenas os usuários com permissão podem visualizar o relatório.
➢ Se você não quiser gastar centenas de horas de programação para criar o seu portal e
todos os controles de segurança, você precisa do Power Embedded. ☺
ASP.Net Performance – A pragmatic approach - Luis PaulinoComunidade NetPonto
Nesta sessão abordamos a performance de Sistemas de Informação desenvolvidos na plataforma ASP.NET com recurso a SQL Server com SGBD. Iremos explicar como surgem os problemas de performance em sistemas com alguns anos de existência e qual a abordagem a tomar, quando temos utilizadores insatisfeitos.
Abordaremos também alguns casos de sucesso no mercado a nível de sistemas de alta disponibilidade e como o mercado tem evoluído. De uma forma geral, pretendemos demonstrar técnicas de análise/tuning de performance em ASP.NET e sua evolução ao longo das várias versões, como também algumas técnicas de requisitos para obtenção e estruturação da informação.
Finalmente, o objetivo passa por divulgar procedimentos, técnicas e ferramentas que sirvam como uma referência que possam ser úteis caso surjam problemas de performance nos nossos sistemas de futuro, entre os quais : Do’s & Dont’s, Systematic Tuning, ASP.NET Trace, VS Profiling Tools, SQL Profiler entre outros.
Como DDD e Strategic Design estão nos ajudando a modernizar um LegadoLuiz Costa
O objetivo desta palestra é mostrar como é possível evoluir e reescrever partes de uma aplicação legada com mais 5 anos em produção utilizando técnicas de uma parte Domain Driven Design conhecida como Strategic Design. É uma aplicação web escrita em Python e Django que suporta a operação de um grupo focado em medicina do trabalho, com clínicas espalhadas pelo país.
Nesta palestra vamos mostrar uma abordagem que pode ajudar times que precisam lidar com aplicações legadas grandes e complexas no caminho da modernização.
2. l 2/28
Agenda
l Apresentação Pessoal/Profissional
l Conceito/Ideia Multi Tenancy
l Case Grupo Sage – Pentaho Multi Tenancy
l Resultados
3. Apresentação
Pessoal e Profissional
Vinicius Alexandre Elyseu
24 anos - Curitiba – PR.
Formação
- Sistemas de Informação (Universidade Positivo – 2011 – Curitiba PR).
- MBA Business Intelligence (Universidade Positivo – 2014 – Curitiba PR).
Experiências Profissionais
- Grupo Sage: EBS Sistemas – Analista de Sistemas/B.I
- Grupo Positivo: Tecnologia Educacional – Desenvolvedor
- Grupo Barigui: Barigui Financeira – Analista de Sistemas
Demais Experiências/Projetos
- Blog: pentahobrazil.wordpress.com.br
- Empresa: Millennials – Consultoria em BI
- Central do Jogo: www.centraldojogo.com.br
- Entre outros
l 3/28
4. Apresentação
Grupo Sage
O Grupo Sage é uma multinacional, líder mundial no desenvolvimento e
comercialização de Software de Gestão para Pequenas e Médias Empresas
(PME). Conta com mais de 6 milhões de clientes em todo o Mundo.
Grupo Sage Brasil:
Formado pela junção de três grandes empresas
EBS Sistemas
IOB
FOLHAMATIC
Principais Segmentos:
Contábil
ERP
Consultoria Tributária
l 4/28
Mais de 40.000 mil clientes
5. Case Grupo Sage
Situação
Projeto em parceria
O objetivo do Grupo Sage é implantar B.I em um software
ERP existente onde mais de 800 clientes já o utilizam.
CARACTERÍSTICA PRINCIPAL: Todo processo deve
estar automatizado.
O software possui a mesma estrutura de tabelas e cada instalação é
realizada no próprio servidor do cliente. Para implantar o B.I em cada
servidor precisaríamos instalar a ferramenta de B.I, banco de dados e
outros requisitos. Porém utilizando esse formato de projeto a
implantação seria longa e muitas vezes inviável.
COMO FAZER ISTO DE MANEIRA ÁGIL E
COM BAIXO CUSTO?
l 5/28
6. Conceito
Multi Tenancy
UTILIZANDO O CONCEITO MULTI-TENANCY
(Multi-Inquilinos/Clientes)
O Conceito multi-tenancy vem de princípios da
arquitetura de software, a fim de padronizar,
otimizar e minimizar estruturas e ideias.
A ideia do conceito é ter um único Servidor
de B.I servindo diversos clientes.
l 6/28
7. Conceito
Multi Tenancy
Multi-Tenancy: Multi-Inquilinos
Os Clientes utilizam (No Servidor) a
mesma:
→ Aplicação
→ Sistema operacional
→ Hardware
→ Banco de dados.
Porém de maneira que um usuário de um
“Tenant” não possa ver ou alterar os
dados de outros “Tenants”.
l 7/28
8. Pentaho Multi Tenancy
Infraestrutura Utilizada
O Grupo Sage possui dois servidores externos em Nuvem na
Amazon.
1- Servidor de Aplicação (WebService - Windows).
2- Servidor de B.I (Pentaho e MySQL - Linux).
l 8/28
SERVIDORES
9. Pentaho Multi Tenancy
Servidor B.I – Banco de Dados
COMO O SERVIDOR DE BI VAI DIFERENCIAR
OS DADOS DE CADA CLIENTE?
Cada cliente terá o seu Datawarehouse
em um database (MySQL) com seu
código de identificação que é o Código
do Cliente.
l 9/28
10. Pentaho Multi Tenancy
Envio dos dados do Cliente
MAS COMO OS DADOS SERÃO
ENVIADOS A ESTE SERVIDOR?
Servidor do Cliente: Roda um processo de ETL (Kettle) que gera
arquivos CSV (Ex: 10123-clientes.csv) com os dados do BD do
Cliente. Processo feito quando o cliente habilita/compra o B.I
Após a geração dos arquivos, o Kettle os envia para o Servidor de
Aplicação através de um WebService (utiliza a mesma porta do
HTTP).
O Servidor de Aplicação roda um processo de ETL (Kettle) de 15 em
15 minutos que lê os arquivos CSV, identifica qual o cliente através do
nome do arquivo, cria o datawarehouse do cliente, se necessário, e
insere os dados do cliente no Servidor de B.I.
l 10/28
11. Pentaho Multi Tenancy
Funcionamento Servidores
Servidor do B.I (Pentaho e MySQL):
Responsável por administrar o
Pentaho e o Banco de dados.
Servidor de aplicação (WebService):
Responsável por receber os dados e
enviar via ETL (Kettle) para o banco
de dados no Servidor do B.I.
l 11/28
12. Pentaho Multi Tenancy
Processo Kettle (Servidor Aplicação)
De 15 em 15 minutos roda o processo ETL
(Kettle) no Servidor de aplicação
Recebe parâmetro de Código do Cliente
através do nome do arquivo
Cria o DatawareHouse no MySQL
Cria as configurações do DW no HSQLDB
Datawarehouse_CodCliente
l 12/28
14. Pentaho Multi Tenancy
Criação de Usuários no HSQLDB
Criação automatizada dos usuários para integração:
no Banco de dados HSQLDB (InMemory) do Pentaho
l 14/28
16. Pentaho Multi Tenancy
Cache do Hibernate
Após a criação/atualização dos usuários pelo Kettle, subentende-se que o
usuário já poderá acessar o sistema com seu login, porém o Pentaho tem um
cache que só pega novos usuários quando o servidor do pentaho é reiniciado.
Para solucionar este problema, temos que desabilitar o cache do Hibernate.
Para desabilitar o mesmo: ir até o arquivo
applicationContext-spring-security-hibernate.xml que no meu caso fica no
diretório C:optpentahobiserver-cepentaho-solutionssystem e adicionar
uma nova propriedade dentro da tag XML:
<property name=”hibernateProperties”> e <props> após a última <prop>
l 16/28
17. Pentaho Multi Tenancy
Cache do Hibernate
Vale lembrar que esta situação só acontece para versões inferiores a 5.0.
Quem utiliza superior ou igual a 5.0 não precisa fazer esta customização
l 17/28
19. Pentaho Multi Tenancy
Desabilitar Cache CDA
Em todos os DataSources, alterar a propriedade Cache para false, devido a
inexistência de suporte do cache do CDA ao Multi-Tenancy
l 19/28
20. Pentaho Multi Tenancy
Diferenciação dos dados
MAS COMO O PENTAHO VAI BUSCAR E
MOSTRAR OS DADOS CORRETOS PARA O
USUÁRIO AUTENTICADO ?
l 20/28
21. Pentaho Multi Tenancy
Customizações no Servidor do B.I
Para que seja possível utilizar a estrutura de acessos com o
conceito Mutli Tenancy, é necessário mudar o código de um
arquivo.
Editar o arquivo pentahoObjects.sprint.xml que fica no
diretório do /pentaho/biserver-ce/pentaho-solutions/system/ com
as seguintes alterações:
→ Localizar a tag <bean “IdatasourceService”>, comentá-la ou
retirá-la.
l 21/28
22. Pentaho Multi Tenancy
Customizações no Servidor do B.I
Adicionar o seguinte código:
<bean id="IDatasourceService"
class="org.pentaho.platform.engine.services.connection.datasource.dbcp.
tenantaware.TenantAwareLoginParsingDatasourceService"
scope="singleton">
<property name="requireTenantId" value="false" /> (TENANT)
<property name="datasourceNameFormat" value="{0}-{1}" /> (PAC)
<property name="tenantSeparator" value="@" /> (USUÁRIO@BASE – PUC)
<property name="tenantOnLeft" value="false" /> (CONSIDERA DIREITA DO @)
</bean>
l 22/28
24. Pentaho Multi Tenancy
Visualização após Autenticação utilizando CST
Vale lembrar que todas as ferramentas do Pentaho Server estarão
disponíveis para os clientes utilizarem respeitando o conceito Multi-
Tenancy.
-> OLAP (SAIKU, Jpivot, etc…)
-> Reporter (PRD, SAIKU Report, etc…)
-> MetaDados (PME, etc…)
-> Dashboards (Ctools, etc…)
l 24/28
25. Pentaho Multi Tenancy
Vantagens e Benefícios
Custo
- Baixo número de servidores;
Consequentemente: número de licenças de S.O e número de
SGDB reduzido;
Agilidade
- Estrutura de implantação nos clientes é genérica;
- Fácil implantação nos clientes;
- Projeto de curto/médio prazo;
- Manutenção no Servidor de B.I é ágil porque só existe uma estrutura
Mobilidade
- Pode acessar de qualquer dispositivo que tenha conexão a internet;
l 25/28
26. Pentaho Multi Tenancy
Desvantagens
Manutenção
-Se acontecer algum problema no Servidor de B.I, como a estrutura é única,
irá afetar todos os clientes;
-Complexidade em controlar a troca de informações do Cliente x Servidor;
Customização
- Não é customizável por cliente devido ter a mesma estrutura para todos;
(DashBoards pré-definidos);
l 26/28
27. Pentaho Multi Tenancy
Custo aproximado
Recursos e Custo
l Tempo de projeto: 4 meses
l Custo por Servidor Externo (média mensal): Amazon “m1.large”
l $180 x 2 = $360 x 2.20 = R$ 792,00
l Homens mês: Um analista de B.I (Média R$ 5.000,00)
l Curso e consultoria: R$ 225,00/h (Se necessário)
l 27/28