O documento descreve um caso de uso do PostgreSQL em um sistema de business intelligence (BI) para uma rede de varejo. O sistema consolida milhares de operações diárias de várias lojas em tempo quase real para fornecer informações de alto nível para tomada de decisões. O PostgreSQL foi escolhido devido ao seu desempenho e recursos avançados. O OBJECTMMRS é usado para integrar dados de diferentes sistemas e garantir a consolidação em tempo quase real. O sistema resultou em informações precisas disponíveis para consulta interna e externa.
Atualmente existe muito debate a respeito da habilidade das tecnologias NoSQL atenderem melhor as grandes demandas de processamento de dados em larga escala, do que seus predecessores, os RDBMS (Relational Database Management System).
E realmente as tecnologias NoSQL, assim como computação em nuvem, surgiram da grande necessidade de se prover serviços escaláveis, pois os bancos de dados estão sendo pressionados/direcionados a oferecer escalabilidade horizontal. Estas tecnologias foram desenvolvidas com técnicas de armazenamento de dados (documento, chave/valor, tabular, grafo, etc) afim de suprir esses requisitos.
Nesta apresentação veremos como o PostgreSQL atende vários desses requisitos por oferecer suporte nativo a JSON/JSONB, HStore (chave/valor), XML, oferecendo excelente indexação e otimização no armazenamento, e atendendo aos requisitos ACID, portanto tendo o melhor dos dois mundos. Sem contar o alto poder de extensibilidade que oferece pela possibilidade de escrever novos tipos de dados, mecanismos de indexação, linguagens procedurais, adaptadores de fontes de dados externas (SQL/MED), entre outras diversas características excelentes.
Análise de performance usando as estatísticas do PostgreSQLMatheus de Oliveira
Essa palestra desmitifica as estatísticas do PostgreSQL abordando todo o sistema de coleta de dados estatísticos, as tabelas disponíveis atualmente, conceitos, técnicas e exemplos de consultas úteis para performance e monitoramento do PostgreSQL.
Apresentado no DevCamp 2014 (dia 16 de Maio de 2014).
Que o PostgreSQL é um banco de dados relacional poderoso e robusto, todo mundo sabe. Nessa palestra veja as funcionalidades, extensões e técnicas usadas para colocar o PostgreSQL na competição com muitos bancos de dados NoSQL. Veja o que quer dizer NewSQL e onde o PostgreSQL se encontra nesse grupo de bancos de dados que não somente possuem as características relacionais e a linguagem SQL, mas também funcionalidades extras (json, chave/valor, In-Memory Columnar Store, entre outros) e poder de escalabilidade horizontal (replicação, balanceamento de carga e até sharding).
Palestra apresentada no QConSP 2015.
Nessa palestra vamos abordar técnicas de design evolutivo para bancos de dados relacionais usando práticas de "Database Refactoring", parte fundamental do desenvolvimento ágil. Com exemplos que encontramos no dia-a-dia, iremos explorar técnicas e estratégias a serem usadas durante o desenvolvimento e também para o deploy em produção.
Seguimos com uma abordagem realista de como migrar versões em produção sem downtime. Veremos, por exemplo, como realizar migrações de versões de uma aplicação de forma que seja possível a utilização de duas versões em paralelo – permitindo migração parcial dos usuários ou a volta à versão antiga em caso de problemas (plano B).
Esta será uma palestra prática, usaremos o PostgreSQL como gerenciador de bancos de dados para demonstração das técnicas abordadas. Por fim, serão apresentados algumas dicas e truques do PostgreSQL e de outros SGDBs que ajudam na hora do deploy.
Palestra apresenta no PGDay Campinas 2014, apresentando o programa PGAnalytics.
Palestra apresentada por Matheus Espanhol, Matheus Oliveira e Vinícius Schmidt
Slides da palestra apresentada no DevCamp 2015.
Você, caro programador, já deve ter tido problemas por ter assumido algumas meia-verdades.
Quando estamos desenvolvendo, muitas vezes assumimos saber de algo sem nem ao menos pensar no assunto, eis as 5 classes de situações mais problemáticas (ou mais interessantes):
1. Tratamento de data/hora, problemas com fuso horário e horário de verão
2. Pessoas têm nomes, nem sempre tão simples como você imagina
3. Endereços também não são tão simples assim
4. Precisão de pontos flutuantes
5. Concorrência em bancos de dados (relacionais)
Causas e efeitos serão vistos, mas também vamos ver a solução para esses problemas (muitas vezes bem simples). Talvez você economiza várias horas de refactoring, correção de bug, atualização de dados, simplesmente ao assistir esta palestra.
Atualmente existe muito debate a respeito da habilidade das tecnologias NoSQL atenderem melhor as grandes demandas de processamento de dados em larga escala, do que seus predecessores, os RDBMS (Relational Database Management System).
E realmente as tecnologias NoSQL, assim como computação em nuvem, surgiram da grande necessidade de se prover serviços escaláveis, pois os bancos de dados estão sendo pressionados/direcionados a oferecer escalabilidade horizontal. Estas tecnologias foram desenvolvidas com técnicas de armazenamento de dados (documento, chave/valor, tabular, grafo, etc) afim de suprir esses requisitos.
Nesta apresentação veremos como o PostgreSQL atende vários desses requisitos por oferecer suporte nativo a JSON/JSONB, HStore (chave/valor), XML, oferecendo excelente indexação e otimização no armazenamento, e atendendo aos requisitos ACID, portanto tendo o melhor dos dois mundos. Sem contar o alto poder de extensibilidade que oferece pela possibilidade de escrever novos tipos de dados, mecanismos de indexação, linguagens procedurais, adaptadores de fontes de dados externas (SQL/MED), entre outras diversas características excelentes.
Análise de performance usando as estatísticas do PostgreSQLMatheus de Oliveira
Essa palestra desmitifica as estatísticas do PostgreSQL abordando todo o sistema de coleta de dados estatísticos, as tabelas disponíveis atualmente, conceitos, técnicas e exemplos de consultas úteis para performance e monitoramento do PostgreSQL.
Apresentado no DevCamp 2014 (dia 16 de Maio de 2014).
Que o PostgreSQL é um banco de dados relacional poderoso e robusto, todo mundo sabe. Nessa palestra veja as funcionalidades, extensões e técnicas usadas para colocar o PostgreSQL na competição com muitos bancos de dados NoSQL. Veja o que quer dizer NewSQL e onde o PostgreSQL se encontra nesse grupo de bancos de dados que não somente possuem as características relacionais e a linguagem SQL, mas também funcionalidades extras (json, chave/valor, In-Memory Columnar Store, entre outros) e poder de escalabilidade horizontal (replicação, balanceamento de carga e até sharding).
Palestra apresentada no QConSP 2015.
Nessa palestra vamos abordar técnicas de design evolutivo para bancos de dados relacionais usando práticas de "Database Refactoring", parte fundamental do desenvolvimento ágil. Com exemplos que encontramos no dia-a-dia, iremos explorar técnicas e estratégias a serem usadas durante o desenvolvimento e também para o deploy em produção.
Seguimos com uma abordagem realista de como migrar versões em produção sem downtime. Veremos, por exemplo, como realizar migrações de versões de uma aplicação de forma que seja possível a utilização de duas versões em paralelo – permitindo migração parcial dos usuários ou a volta à versão antiga em caso de problemas (plano B).
Esta será uma palestra prática, usaremos o PostgreSQL como gerenciador de bancos de dados para demonstração das técnicas abordadas. Por fim, serão apresentados algumas dicas e truques do PostgreSQL e de outros SGDBs que ajudam na hora do deploy.
Palestra apresenta no PGDay Campinas 2014, apresentando o programa PGAnalytics.
Palestra apresentada por Matheus Espanhol, Matheus Oliveira e Vinícius Schmidt
Slides da palestra apresentada no DevCamp 2015.
Você, caro programador, já deve ter tido problemas por ter assumido algumas meia-verdades.
Quando estamos desenvolvendo, muitas vezes assumimos saber de algo sem nem ao menos pensar no assunto, eis as 5 classes de situações mais problemáticas (ou mais interessantes):
1. Tratamento de data/hora, problemas com fuso horário e horário de verão
2. Pessoas têm nomes, nem sempre tão simples como você imagina
3. Endereços também não são tão simples assim
4. Precisão de pontos flutuantes
5. Concorrência em bancos de dados (relacionais)
Causas e efeitos serão vistos, mas também vamos ver a solução para esses problemas (muitas vezes bem simples). Talvez você economiza várias horas de refactoring, correção de bug, atualização de dados, simplesmente ao assistir esta palestra.
A apresentação tem como objetivo demonstrar uma arquitetura para solução Big Data utilizando componentes Open Source, a mesma foi apresentada no TDC 2014 em Porto Alegre.
Abordagem criativa sobre o ecossistema hadoop
No atual mundo captalista, M Bison, dono do maior e-commerce mundial chamado Shadaloo, decide analisar o perfil de todos os seus clientes; não apenas mostrando os dados comuns do BI, mas analisar também:
- Dados de TODOS os sistemas Legados
- Dados de Navegação
- SAC e Midias Sociais.
Dessa forma ele poderia:
- Criar mecanismo de ofertas personalizadas
- Retenção de clientes que realizam reclamações no SAC
- Identificar relação de entre reclamações no SAC e mídias sociais.
- Analisar fluxo de navegação e proporcionar navegação personalizada por tipo de clientes
Abordagem criativa sobre o ecossistema hadoop
No atual mundo captalista, M Bison, dono do maior e-commerce mundial chamado Shadaloo, decide analisar o perfil de todos os seus clientes; não apenas mostrando os dados comuns do BI, mas analisar também:
- Dados de TODOS os sistemas Legados
- Dados de Navegação
- SAC e Midias Sociais.
Dessa forma ele poderia:
- Criar mecanismo de ofertas personalizadas
- Retenção de clientes que realizam reclamações no SAC
- Identificar relação de entre reclamações no SAC e mídias sociais.
- Analisar fluxo de navegação e proporcionar navegação personalizada por tipo de clientes
Você sabe como configurar o Hadoop? Esse é um passo-a-passo criado pelo consultor da Sensedia, Fillipe Massuda, para o Sensedia Knowledge Exchange Program, "I Know How". Se tiver alguma duvida ou queira saber mais detalhes, fale com a Sensedia ou procure diretamente o Fillipe, seus contatos estão na apresentação.
Bigdata na pratica: Resolvendo problemas de performance com hadooptdc-globalcode
O Apache Hadoop tem se tornado o framework padrão para processamento de Big Data. Com ele, podemos processar grandes volumes de dados utilizando hardware de baixo custo de forma paralela e distribuída. Essas características podem ser úteis no cotidiano do desenvolvedor, otimizando a execução de rotinas batch e geração de relatórios, por exemplo. Nesta palestra serão mostrados os passos para desenvolver uma solução utilizando algumas ferramentas que fazem parte do ecossistema do Hadoop: MapReduce, HDFS e HBase.
Conteúdo apresentado durante o webinar produzido pela KingHost e disponibilizado pelos colaboradores Jerônimo Fagundes e Rodrigo Paris.
Assista ao webinar completo aqui > http://www.kinghost.com.br/eventos-online/webinar-performance-otimizacao-sql
Apresentação mostrando como o Spark é muito útil no dia-a-dia na globo.como, como usamos Spark para processar bilhões de eventos e incentivando a migração para o Spark 2.0.
PostgreSQL em projetos de Business Analytics e Big Data Analytics com PentahoAmbiente Livre
Apresentação da utilização do PostgreSQL em projetos de Business Analytics e Big Data Analytics com Pentaho realizada no PgDay 2016 de Curitiba. Slides em :
A apresentação tem como objetivo demonstrar uma arquitetura para solução Big Data utilizando componentes Open Source, a mesma foi apresentada no TDC 2014 em Porto Alegre.
Abordagem criativa sobre o ecossistema hadoop
No atual mundo captalista, M Bison, dono do maior e-commerce mundial chamado Shadaloo, decide analisar o perfil de todos os seus clientes; não apenas mostrando os dados comuns do BI, mas analisar também:
- Dados de TODOS os sistemas Legados
- Dados de Navegação
- SAC e Midias Sociais.
Dessa forma ele poderia:
- Criar mecanismo de ofertas personalizadas
- Retenção de clientes que realizam reclamações no SAC
- Identificar relação de entre reclamações no SAC e mídias sociais.
- Analisar fluxo de navegação e proporcionar navegação personalizada por tipo de clientes
Abordagem criativa sobre o ecossistema hadoop
No atual mundo captalista, M Bison, dono do maior e-commerce mundial chamado Shadaloo, decide analisar o perfil de todos os seus clientes; não apenas mostrando os dados comuns do BI, mas analisar também:
- Dados de TODOS os sistemas Legados
- Dados de Navegação
- SAC e Midias Sociais.
Dessa forma ele poderia:
- Criar mecanismo de ofertas personalizadas
- Retenção de clientes que realizam reclamações no SAC
- Identificar relação de entre reclamações no SAC e mídias sociais.
- Analisar fluxo de navegação e proporcionar navegação personalizada por tipo de clientes
Você sabe como configurar o Hadoop? Esse é um passo-a-passo criado pelo consultor da Sensedia, Fillipe Massuda, para o Sensedia Knowledge Exchange Program, "I Know How". Se tiver alguma duvida ou queira saber mais detalhes, fale com a Sensedia ou procure diretamente o Fillipe, seus contatos estão na apresentação.
Bigdata na pratica: Resolvendo problemas de performance com hadooptdc-globalcode
O Apache Hadoop tem se tornado o framework padrão para processamento de Big Data. Com ele, podemos processar grandes volumes de dados utilizando hardware de baixo custo de forma paralela e distribuída. Essas características podem ser úteis no cotidiano do desenvolvedor, otimizando a execução de rotinas batch e geração de relatórios, por exemplo. Nesta palestra serão mostrados os passos para desenvolver uma solução utilizando algumas ferramentas que fazem parte do ecossistema do Hadoop: MapReduce, HDFS e HBase.
Conteúdo apresentado durante o webinar produzido pela KingHost e disponibilizado pelos colaboradores Jerônimo Fagundes e Rodrigo Paris.
Assista ao webinar completo aqui > http://www.kinghost.com.br/eventos-online/webinar-performance-otimizacao-sql
Apresentação mostrando como o Spark é muito útil no dia-a-dia na globo.como, como usamos Spark para processar bilhões de eventos e incentivando a migração para o Spark 2.0.
PostgreSQL em projetos de Business Analytics e Big Data Analytics com PentahoAmbiente Livre
Apresentação da utilização do PostgreSQL em projetos de Business Analytics e Big Data Analytics com Pentaho realizada no PgDay 2016 de Curitiba. Slides em :
Jaime Casanova - Domando a la bestia ReplicaciónPGDay Campinas
Muestra como usar la herramienta "repmgr" para administrar un cluster de replicación en PostgreSQL. Desde crear nodos, hasta configurar un procedimiento simple de Failover automático. También incluirá algunas ideas con respecto a la nueva tecnología de 2ndQuadrant: BDR
--
Palestra apresentada por Jaime Casanova no PGDay Campinas 2014
PGDay Campinas 2013 - Mineração de Dados com MADlibPGDay Campinas
"Mineração de Dados com MADlib"
O estudo de caso sobre o uso da biblioteca Madlib abordará técnicas para minerar dados no próprio PostgreSQL. Esta poderosa ferramenta possibilita a implementação de métodos matemáticos, estatísticos e machine learning; recursos que elevam o PostgreSQL a outro patamar nas aplicações modernas.
O Madlib é uma biblioteca open-source de funções analíticas para o PostgreSQL e Greenplum. Esta poderosa ferramenta possibilita a implementação de métodos matemáticos, estatísticos e machine learning no banco de dados. Durante a palestra vamos apresentar as principais técnicas de aprendizado de máquina e como elas podem ser utilizadas para realizar mineração de dados em ambientes de Business Intelligence (BI). Utilizaremos o MADlib para demonstrar as técnicas de mineração de dados.
PALESTRANTE
Everton Gago é engenheiro de software na Dextra e leciona nos cursos de graduação e pós-graduação em engenharia, na Faculdade Anhanguera. Possui ampla experiência no desenvolvimento de sistemas baseados em machine learning e atualmente pesquisa modelos matemáticos e físicos capazes de reproduzir artificialmente aspéctos biológicos para aprendizado de máquina. Em seu último estudo, Everton propôs um modelo de Rede Neural Artificial capaz de analisar grandes volumes de dados de forma autônoma e evolutiva. Everton é Doutorando e Mestre em Engenharia Elétrica pela Unicamp (FEEC).
--
Palestra apresentada no PGDay Campinas 2013
PGDay Campinas 2013 - Window Function e CTE – SurpreendentePGDay Campinas
“Window Function e CTE – Surpreendente”
Demonstrar esses recursos desconhecidos por muitos e como eles facilitam o dia a dia.
Rogério Augusto Bassete
PALESTRANTE
Rogério Augusto Bassete trabalha em desenvolvimento de sistemas a 17 anos e com PostgreSQL desde 1992. Utiliza PostgreSQL em mais de 1000 clientes em todo o Brasil. Foi palestrante da PgBR 2011.
--
Palestra apresentada no PGDay Campinas 2013
PGDay Campinas 2013 - PL/pg…ETL – Transformação de dados para DW e BI usando ...PGDay Campinas
"PL/pg…ETL – Transformação de dados para DW e BI usando linguagem procedural"
- Utilização do pl/pgsql para transformação de dados.
– Motivação: quando e porque fazer ETL via linguagem procedural.
– Como fazer uma carga simples – Loop X SQL complexo.
– Como fazer uma carga com transformação.
– Como transpor linhas e colunas.
– Carregar tabelas do zero.
– Desempenho – seleção da melhor cardinalidade.
– Incrementar tabelas com dados existentes.
– Dados de outras fontes – FDW.
PALESTRANTE
Flavio Henrique Araque Gurgel é consultor e instrutor de bancos de dados da 4Linux, engenheiro eletricista pela Universidade Federal do Paraná (UFPR). Atua em projetos de dimensionamento, tuning de bases de dados e no suporte aos clientes. Atualmente, é líder da área de projetos e consultoria da empresa.
--
Palestra apresentada no PGDay Campinas 2013
PGDay Campinas 2013 - Implementando o PostgreSQL de maneira escalável e com a...PGDay Campinas
“Implementando o PostgreSQL de maneira escalável e com alta disponibilidade na nuvem da AWS”
Amazon Web Services (AWS) é uma plataforma de cloud computing flexível, elástica e baixo custo. Utilizar PostgreSQL no Amazon Elastic Compute Cloud (EC2) é ideal para quem está acostumado a operar o banco e precisa da flexibilidade que a nuvem traz. Nesta palestra vamos dar dicas e boas práticas de arquitetura para implementar o PostgreSQL na nuvem de uma maneira escalável, pensando também em durabilidade, persistência, alta disponibilidade e tolerança a falhas.
Eduardo HoraiPalestrante: Eduardo Horai é um dos arquitetos de soluções da Amazon Web Services (AWS) com foco na América Latina. Entre suas funções está a de ajudar clientes e parceiros a desenvolver arquiteturas escaláveis, com alta disponibilidade e tolerante a falhas sobre a nuvem da AWS. Ele é graduado em Ciências da Computação na Unicamp e pós em Inovação e Empreendedorismo na Vlerick Management School, na Bélgica.
--
Palestra apresentada no PGDay Campinas 2013
Fornece uma completa visão das novas funcionalidades e dos principais benefícios da utilização do PPAS - Postgres Plus Advanced Server 9.4 e do PEM - Postgres Enterprise Manager 5.0.
O PPAS - Postgres Plus Advanced Server auxilia as organizações que buscam economia com de banco de dados, através da implantação de uma alternativa capaz e de baixo custo no lugar de bases de dados proprietárias e caras.
Sua poderosa combinação, de tecnologias de banco de dados não estruturados e relacionais em um único sistema de gerenciamento de banco de dados, fornece a liberdade, flexibilidade e desempenho para a manipulação de dados não estruturados e semi-estruturados.
O PEM - Postgres Enterprise Manager é uma solução que permite que você, monitore, gerencie e consiga ajustar um grande número de servidores de banco de dados Postgres espalhados geograficamente de forma integrada e através de uma console gráfica.
"Postgres XC @ Cloud"
Review sobre a instalação e os recursos necessários que permitem a criação cluster Postgres-XC na Amazon AWS. Permitindo às aplicações que falam PostgreSQL escalar tanto em leitura quanto em escrita, respeitando os padrões ACID, com redundância e escalabilidade horizontal e/ou vertical.
PALESTRANTE:
MATHEUS OLIVEIRA
Matheus de Oliveira: Formado em Ciências de Computação (USP), trabalhou com pesquisa nas áreas de visualização de informação e algoritmos avançados. Domina assuntos relacionados à performance tuning, alta disponibilidade, modelagem e administração.
VINÍCIUS SCHMIDT
br.linkedin.com/in/viniciusschmidt
--
Palestra apresentada no PGDay Campinas 2013 por Matheus Oliviera e Vinícius Schmidt.
PGDay Campinas 2013 - CASE: PostgreSQL no Tribunal de Justiça do ParanáPGDay Campinas
"CASE: PostgreSQL no Tribunal de Justiça do Paraná"
Caso de sucesso na utilização do PostgreSQL no Tribunal de Justiça do Paraná. A palestra irá abordar as soluções utilizadas para atender a demanda dos sistemas de missão crítica, em especial o sistema PROJUDI. O PROJUDI é um software de tramitação de processos judiciais originalmente criado pelo Conselho Nacional de Justiça (CNJ) e utilizado em vários estados do Brasil. O processo judicial digital, também chamado de processo virtual ou de processo eletrônico, tem como premissa, gerenciar e controlar os trâmites de processos judiciais nos Tribunais de forma eletrônica, reduzindo tempo e custos.
PALESTRANTE:
- FABIO CAIUT
Fábio Caiut trabalha com TI há 13 anos, atuando principalmente em Infraestrutura e Suporte ao Desenvolvimento. É DBA PostgreSQL há 3 anos no Tribunal de Justiça do Paraná. Tem experiência como Desenvolvedor Lotus, Microsoft e DBA SQL Server. Formado em Ciência da Computação na UFPR e Especialista em Banco de Dados pela PUC-PR.
- MATHEUS ESPANHOL
Matheus é consultor de banco de dados especialista em PostgreSQL, presta serviços para a Dextra Sistemas na área de consultoria, suporte e treinamento. Trabalha há oito anos com ambientes de banco de dados opensource, tendo dedicado o último ano a ferramenta PgAnalytics.
--
Palestra apresentada no PGDay Campinas 2013 por Fabio Caiut e Matheus Espanhol
Veja nessa palestra como planejar e realizar do trabalho de User Experience (UX) design, com base em um caso real: a reformulação de um produto. Será mostrado como aplicar as técnicas de UX de forma prática, identificando oportunidades de melhorias e os resultados obtidos.
Mostraremos como foi feita a criação de uma interface visual – levando em conta a organização das informações de acordo com as necessidades dos usuários. Também veremos técnicas para envolver os usuários no processo de definição de funcionalidades e disposições dos elementos, assim como lições aprendidas nesse processo.
Essa palestra é voltada aos desenvolvedores que desejam levar suas aplicações existentes a novos níveis de usabilidade com a aplicação de técnicas modernas de UX.
Many people doesn't know about passwords stored in database...
What's the right and safe way to do?
OK! In this short presentation teaches about this.
The pgcrypto extension provides functions to ease hashing and salting passwords.
A Python script was used as example.
Greenplum: O banco de dados open source massivamente paralelo baseado em Post...PGDay Campinas
Conheça o Greenplum DB o banco de dados massivamente paralelo voltado para Data Warehouse, Analytics e Big Data. Sua origem no PostgreSQL, história e retorno as origens open source. Veja como a arquitetura MPP Shared Nothing permite o processamento de grande volumes com facilidade e como as extensões analíticas permitem fazer Data Mining em um volume arbitrário de dados. Também analisaremos alguns casos de uso locais e internacionais!
É uma solução em nuvem (cloud) para entregar Big Data SaaS. Pague pelo que usar. O Google BigQuery é uma solução Big Data, como o Hadoop, com a vantagem de não se precisar contratar e/ou comprar uma série de servidores, nem, contar com mão-de-obra, altamente, especializÉ uma solução em nuvem (cloud) para entregar Big Data SaaS. Pague pelo que usar. O Google BigQuery é uma solução Big Data, como o Hadoop, com a vantagem de não se precisar contratar e/ou comprar uma série de servidores, nem, contar com mão-de-obra, altamente, especializada.
ada.
Watch: https://bit.ly/30S3GJG
Na era dos Big Data, da Inteligência Artificial e da computação em nuvem, o volume e a diversidade de dados está em constante crescimento. O desafio é criar os processos, padrões e protocolos necessários que coloquem a informação a serviço do negócio.
Neste webinar discutiremos as tendências tecnológicas que estão orientando as estratégias de dados das empresas ao redor do mundo. Não perca se você quiser se manter atualizado sobre como elevar os dados ao status de um ativo estratégico para ser (verdadeiramente) orientado por dados:
- Qual é a evolução das arquiteturas de provisão e gestão de dados nas grandes organizações? Como o conceito de "Data Fabric" ajuda?
- Como gerenciar a integração de dados distribuídos em múltiplos locais resultantes de mudanças geradas pela migração para a nuvem?
- Como as empresas podem rentabilizar os dados como infra-estrutura de serviços construída ao longo dos últimos anos?
- Que papel as técnicas de computação de voz podem desempenhar no futuro da análise de dados?
Trabalhos Big Data e Algoritmos - Mercado FinanceiroMarco Garcia
Nessa apresentação temos alguns CASES e PROJETOS que fizemos para empresas do mercado financeiro, bancos, corretoras, cooperativas de crédito, entre outros.
As empresas geralmente têm dificuldades para selecionar e implementar projetos de Big Data que produzem resultados significativos.
Aprender com o sucesso e as falhas de outras empresas ajudam a identificar as armadilhas e extrair mais valor de suas iniciativas de Big Data. Um novo estudo da 451 Research faz um mergulho em seis organizações e seus esforços de adoção de Big Data utilizando Cloud Computing.
Neste Webinar nós vamos compartilhar pontos-chave descobertos neste estudo e verificar como empresas de vários segmentos usam Cloud para obter valores mensuráveis com Big Data. Você vai conhecer os desafios encontrados, as ferramentas que utilizaram para endereçar estes desafios, e os benefícios de usar AWS Cloud para desenvolver e entregar soluções de Big Data.
Mini-Curso: Introdução à Big Data e Data Science - Aula 9 - Introdução ao Pow...Diego Nogare
Este é um mini-curso gratuito de introdução à estas duas grandes áreas em evidência na atualidade. O instrutor é o MVP em Data Platform Diego Nogare.
Este mini-curso será realizado ONLINE de segunda à quarta-feira, sempre das 21h30 às 22h00. Serão realizadas 12 aulas de 30 minutos diárias, durante 4 semanas.
Aula 9 - Introdução ao PowerBI
Cenário das Plataformas de Dados 2017/2018Raul Oliveira
Uma discussão sobre o histórico de tecnologias tendências dos últimos anos e o que algumas das plataformas de dados mais populares estavam colocando em seus produtos para 2017/2018.
CASE: O PostgreSQL em BI: Milhares de operações diárias consolidadas em "near-real-time"
1. CASE: O POSTGRESQL EM BI
Milhares de operações diárias consolidadas "near-real-time"
PGDay Campinas 2014 www.object.com.br 1
Wagner Correa Ramos
Anderson Massaharu Shibata
2. CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time"
Roteiro
Apresentação da empresa do “CASE”
Requisitos do projeto de BI
Origem dos dados
Modelo de dados do BI
Escolha do SGBD (PostgreSQL)
Tecnologia para a integração dos dados
Tecnologias usadas
Resultados
Futuro
PGDay Campinas 2014 www.object.com.br 2
3. CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time"
Requisitos do projeto de BI
Aumentar velocidade da informação
para a prevenção de problemas
Disponibilidade destas informações
dentro e fora da empresa
Foco em qualidade dos dados
Usabilidade
Dados para futuras pesquisas
PGDay Campinas 2014 www.object.com.br 3
4. CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time"
Origem dos dados
Cadastros (ERP)
Vendas
PDV (MySQL)
ERP (PostgreSQL)
Compras (ERP)
Despesas (ERP)
Metas (Excel)
Vendas, Compras, Despesas
RH (WS)
PGDay Campinas 2014 www.object.com.br 4
5. CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time"
Modelo de dados do BI
Primeira tentativa
Compras e Vendas: Tabela única com totais
por loja, mercadoria, ano, mes, dia e hora
Problema de desempenho nas consultas e
na qualidade dos dados
PGDay Campinas 2014 www.object.com.br 5
6. CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time"
Modelo de dados do BI
PGDay Campinas 2014 www.object.com.br 6
7. CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time"
Modelo de dados do BI
Segunda tentativa
Compras e Vendas, ainda juntos mas com 3
tabelas (hora/dia/mês)
Melhor desempenho nas consultas
Ainda problemas na qualidade dos dados
PGDay Campinas 2014 www.object.com.br 7
8. CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time"
Modelo de dados do BI
Terceira tentativa
Nas 2 tentativas iniciais faziamos a
totalização durante a replicação dos dados
dos PDVs para o BI
Na terceira criamos no BI as tabelas de
cupons e itens de cupons de venda
Simplificação das transformações
necessárias nos dados entre PDVs e BI
Qualidade dos dados 100%
PGDay Campinas 2014 www.object.com.br 8
9. CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time"
Modelo de dados do BI
Modelo desnormalizado x normalizado
Desempenho de consultas
Facilidade de consultas
Manutenção do correto histórico dos dados
em consultas retroativas
Problema do reaproveitamento de “IDs”
PGDay Campinas 2014 www.object.com.br 9
10. CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time"
Modelo de dados do BI
Tabelas: 63 – Views: 4
Volume atual de dados (6/set/14)
mercadoria: 439.033
cupom: 9.279.743 (jan/14)
cupom_item: 33.713.982 (jan/14)
mercadoria_hora: 153.891.136 (mai/12)
mercadoria_dia: 58.523.056 (nov/12)
mercadoria_mes: 9.338.419 (nov/12)
mercadoria_estoque: 6.452.036 (mai/12)
PGDay Campinas 2014 www.object.com.br 10
11. CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time"
Escolha do SGBD
Fatores para decisão
Ferramentas existentes para BI
Custo
Facilidade de uso
Equipe existente
Evolução
Gerenciadores considerados
Oracle
MS SQLServer
PostgreSQL
MySQL
PGDay Campinas 2014 www.object.com.br 11
12. CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time"
Escolha do SGBD
2012 a 2013 – Oracle e PostgreSQL
2014 – MySQL e PostgreSQL
Atual - PostgreSQL
PGDay Campinas 2014 www.object.com.br 12
13. CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time"
Escolha do SGBD
Algum receio em usar um software open
source como o PostgreSQL ? NÃO
A rede Shibata usa o PostgreSQL open source
desde 2004 sem NUNCA parar por algum
motivo de bug, etc, no software.
Alguma motivação para uso de versão
comercial do PostgreSQL ? NÃO
Para ficar novamente dependente de uma única
empresa ?
Melhor opção contratar suporte de empresa
nacional especializada no PostgreSQL open
source.
PGDay Campinas 2014 www.object.com.br 13
14. CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time"
PostgreSQL
100% de satisfação
Uso de recursos avançados
Triggers e funções executando com
excelente desempenho complexas regras
de negócio
Regras de negócio que se implementadas
em linguagem de programação ficariam
inviáveis devido ao baixo desempenho
PGDay Campinas 2014 www.object.com.br 14
15. CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time"
PostgreSQL
PGDay Campinas 2014 www.object.com.br 15
16. CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time"
PostgreSQL
PGDay Campinas 2014 www.object.com.br 16
17. CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time"
PostgreSQL
PGDay Campinas 2014 www.object.com.br 17
18. CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time"
PostgreSQL
PGDay Campinas 2014 www.object.com.br 18
19. CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time"
Tecnologia Integração de dados
O principal requisito para o projeto de BI
foi e continua sendo a alta velocidade
na obtenção de informações
consolidadas
Escolhemos então uma ferramenta para
garantir a consolidação “near-real-time”
Outro requisito importante é a
disponibilidade das informações dentro
e fora da empresa
PGDay Campinas 2014 www.object.com.br 19
20. CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time"
Tecnologia Integração de dados
A rede Shibata utiliza o software
replicador OBJECTMMRS com objetivo
de descentralização
No projeto BI o objetivo é praticamente
o contrário, queremos a consolidação
dos dados em um único servidor central
PGDay Campinas 2014 www.object.com.br 20
21. CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time"
Tecnologia Integração de dados
Motivos que levaram à escolha
novamente do OBJECTMMRS
Compatível com outros SGBDs (Oracle,
SQLServer, MySQL, etc)
Flexibilidade. Pode-se desenvolver classes
java para realização de transformações de
dados
Qualidade dos dados
PGDay Campinas 2014 www.object.com.br 21
22. CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time"
Classe customizada
OBJECTMMRS
PGDay Campinas 2014 www.object.com.br 22
23. CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time"
Classe customizada
OBJECTMMRS
PGDay Campinas 2014 www.object.com.br 23
24. CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time"
Tecnologia Integração de dados
PGDay Campinas 2014 www.object.com.br 24
25. CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time"
Tecnologia Integração de dados
PGDay Campinas 2014 www.object.com.br 25
26. CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time"
Tecnologia Integração de dados
PGDay Campinas 2014 www.object.com.br 26
27. CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time"
Tecnologias usadas
Banco de dados: PostgreSQL 8.x e 9.x
Replicação e integração:
OBJECTMMRS 6.x e 7.x
Interface Web do BI: PHP 5.4, Apache
2.2, HTML5
Webservices BI: Java, Jetty, Restlet
Desenvolvimento Mobile: Phonegap 3.5
PGDay Campinas 2014 www.object.com.br 27
28. CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time"
Resultados
Totais de vendas acumulados e
disponíveis para consultas “near-real-
time”
Informações sobre compras também
disponíveis “near-real-time”
BI além de mostrar resultados ajuda na
prevenção de problemas (ruptura)
Informação disponível dentro e fora da
empresa (online e/ou offline)
PGDay Campinas 2014 www.object.com.br 28
29. CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time"
Resultados
PGDay Campinas 2014 www.object.com.br 29
30. CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time"
Resultados
PGDay Campinas 2014 www.object.com.br 30
31. CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time"
Resultados
PGDay Campinas 2014 www.object.com.br 31
32. CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time"
Resultados
PGDay Campinas 2014 www.object.com.br 32
33. CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time"
Resultados
PGDay Campinas 2014 www.object.com.br 33
34. CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time"
Resultados
PGDay Campinas 2014 www.object.com.br 34
35. CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time"
Futuro
O volume de dados sendo armazenado
no banco BI é gigantesco. A cada ano
mais de 100 milhões de novas linhas.
Cluster de Pg x Big Data
Data mining
Ferramenta para consultas/gráficos “ad-
hoc”
PGDay Campinas 2014 www.object.com.br 35
36. CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time"
PGDAY Campinas 2014
Questões / Comentários
Obrigado a todos pela presença
Parabéns à Dextra pela organização do
evento
Contato
contato@object.com.br
www.object.com.br
Principais projetos de replicação com
OBJECTMMRS
TJAM, PRODAM, Exército Brasileiro, Shibata
PGDay Campinas 2014 www.object.com.br 36