O documento descreve a experiência de implantar o banco de dados Postgres-XC em uma infraestrutura na nuvem (IaaS). Postgres-XC é um sistema de banco de dados projetado para alta performance e escalabilidade horizontal através de uma arquitetura de cluster multi-mestre. O documento discute as características e arquitetura do Postgres-XC, incluindo replicação de dados, coordenadores, nós de dados e gerenciamento de transações globais. Exemplos de topologias e casos de uso também são apresentados.
Material sobre Apache Cassandra, apresentado em forma de Webinar junto pessoal da Datastax.
Ilustra o funcionamento da ferramenta e mostra como a ferramenta foi aplicada para resolver problemas de disponibilidade e desempenho de aplicações distribuídas.
Com o uso cada vez maior de serviços de armazenamento em nuvem, a necessidade em migrar, replicar ou sincronizar arquivos armazenados localmente para serviços de armazenamento remoto pode se tornar uma tarefa árdua para administradores de sistemas que muitas vezes não dispõem de soluções adequadas para atender necessidades específicas de uma organização. Esta proposta pretende abordar algorítmos, técnicas de otimização em linguagem de programação e boas práticas em configurações de infraestrutura de servidores para ganhos em desempenho na transferência de arquivos e diretórios entre servidores e serviços de armazenamento em nuvem. Para comprovar os resultados, a proposta utilizará de um estudo de caso real para uma empresa no segmento B2B, comprovando eficiência em ganhos de desempenho e abrindo discussões para soluções técnicas em cenários diversos
Escalabilidade, Sharding, Paralelismo e Bigdata com PostgreSQL? Yes, we can!Matheus Espanhol
Palestra sobre escalabilidade e sharding no PostgreSQL. Apresentada no evento PgDay Campinas no dia 7 de Agosto de 2015. Exemplos apresentados disponíveis em https://github.com/matheusespanhol/postgresql-tutorials
Material sobre Apache Cassandra, apresentado em forma de Webinar junto pessoal da Datastax.
Ilustra o funcionamento da ferramenta e mostra como a ferramenta foi aplicada para resolver problemas de disponibilidade e desempenho de aplicações distribuídas.
Com o uso cada vez maior de serviços de armazenamento em nuvem, a necessidade em migrar, replicar ou sincronizar arquivos armazenados localmente para serviços de armazenamento remoto pode se tornar uma tarefa árdua para administradores de sistemas que muitas vezes não dispõem de soluções adequadas para atender necessidades específicas de uma organização. Esta proposta pretende abordar algorítmos, técnicas de otimização em linguagem de programação e boas práticas em configurações de infraestrutura de servidores para ganhos em desempenho na transferência de arquivos e diretórios entre servidores e serviços de armazenamento em nuvem. Para comprovar os resultados, a proposta utilizará de um estudo de caso real para uma empresa no segmento B2B, comprovando eficiência em ganhos de desempenho e abrindo discussões para soluções técnicas em cenários diversos
Escalabilidade, Sharding, Paralelismo e Bigdata com PostgreSQL? Yes, we can!Matheus Espanhol
Palestra sobre escalabilidade e sharding no PostgreSQL. Apresentada no evento PgDay Campinas no dia 7 de Agosto de 2015. Exemplos apresentados disponíveis em https://github.com/matheusespanhol/postgresql-tutorials
Com o uso cada vez maior de serviços de armazenamento em nuvem, a necessidade em migrar, replicar ou sincronizar arquivos armazenados localmente para serviços de armazenamento remoto pode se tornar uma tarefa árdua para administradores de sistemas que muitas vezes não dispõem de soluções adequadas para atender necessidades específicas de uma organização. Esta proposta pretende abordar algorítmos, técnicas de otimização em linguagem de programação e boas práticas em configurações de infraestrutura de servidores para ganhos em desempenho na transferência de arquivos e diretórios entre servidores e serviços de armazenamento em nuvem. Para comprovar os resultados, a proposta utilizará de um estudo de caso real para uma empresa no segmento B2B, comprovando eficiência em ganhos de desempenho e abrindo discussões para soluções técnicas em cenários diversos
A AWS fornece diversos serviços os quais você pode construir o seu data lake. Com base nessa diversidade de serviço, será apresentado, conceitos, melhores práticas e formas de utilização.
Slides do treinamento técnico da força de vendas sobre a nova plataforma de IaaS da Embratel. Conheça: http://portal.embratel.com.br/cloud/cloud-server/
Apresentação interna sobre o OpsWorks em 02/04/2015. O conteúdo aborda uma introdução sobre a cultura devops, infraestrutura ágeil, aspectos técnicos, e em seguida traz conceitos, funcionalidades e visão geral sobre o OpsWorks
Acelerando sites e aplicações Web com uma CDNJose Papo, MSc
Esta apresentação mostra a importância da performance e da velocidade de uma aplicação do ponto de vista do usuário final e mostra dicas práticas de como acelerar seu site ou aplicação móvel
Segundo Treinamento de AWS da Site Blindado Labs, ministrado pelo Heitor Vital (CTO Site Blindado).
Vídeo do treinamento: http://youtu.be/SoRoBLVh_BU
Mais info: http://labs.siteblindado.com/2014/09/site-blindado-realiza-o-segundo.html
"Para dar uma noção da real tragédia acometida apenas no bairro da Posse em Teresópolis, peguei minha bicicleta em 14.1.2011 e fotografei o que encontrei pelo caminho até chegar a comunidade de Campo Grande – localizada após o Supermercado da Posse, 3 dias após a trágedia que destruiu parte da cidade." Autor desconhecido
Com o uso cada vez maior de serviços de armazenamento em nuvem, a necessidade em migrar, replicar ou sincronizar arquivos armazenados localmente para serviços de armazenamento remoto pode se tornar uma tarefa árdua para administradores de sistemas que muitas vezes não dispõem de soluções adequadas para atender necessidades específicas de uma organização. Esta proposta pretende abordar algorítmos, técnicas de otimização em linguagem de programação e boas práticas em configurações de infraestrutura de servidores para ganhos em desempenho na transferência de arquivos e diretórios entre servidores e serviços de armazenamento em nuvem. Para comprovar os resultados, a proposta utilizará de um estudo de caso real para uma empresa no segmento B2B, comprovando eficiência em ganhos de desempenho e abrindo discussões para soluções técnicas em cenários diversos
A AWS fornece diversos serviços os quais você pode construir o seu data lake. Com base nessa diversidade de serviço, será apresentado, conceitos, melhores práticas e formas de utilização.
Slides do treinamento técnico da força de vendas sobre a nova plataforma de IaaS da Embratel. Conheça: http://portal.embratel.com.br/cloud/cloud-server/
Apresentação interna sobre o OpsWorks em 02/04/2015. O conteúdo aborda uma introdução sobre a cultura devops, infraestrutura ágeil, aspectos técnicos, e em seguida traz conceitos, funcionalidades e visão geral sobre o OpsWorks
Acelerando sites e aplicações Web com uma CDNJose Papo, MSc
Esta apresentação mostra a importância da performance e da velocidade de uma aplicação do ponto de vista do usuário final e mostra dicas práticas de como acelerar seu site ou aplicação móvel
Segundo Treinamento de AWS da Site Blindado Labs, ministrado pelo Heitor Vital (CTO Site Blindado).
Vídeo do treinamento: http://youtu.be/SoRoBLVh_BU
Mais info: http://labs.siteblindado.com/2014/09/site-blindado-realiza-o-segundo.html
"Para dar uma noção da real tragédia acometida apenas no bairro da Posse em Teresópolis, peguei minha bicicleta em 14.1.2011 e fotografei o que encontrei pelo caminho até chegar a comunidade de Campo Grande – localizada após o Supermercado da Posse, 3 dias após a trágedia que destruiu parte da cidade." Autor desconhecido
Metodologi Riset - Pengaruh penggunaan hormon kontrasepsi pada transgenderGlori Elisabeth
Presentasi mengenai proposal yang hendak sy ingin lakukan, sedikit sulit untuk dilakukan mengingat subjek penelitian yang mungkin tidak kooperatif. judul ini got inspired by my beautiful teacher
Docker SP - Orquestrando docker via Marathon e Mesos na KonkerAndré Rocha
Apresentração para o Meetup Docker SP (19/10/17) falando um pouco da jornada da Konker implantando um cluster mesos e orquestrando docker via Marathon sem fazer uso da distribuição DC/OS.
Kleber Silva - kleber@pise4.com.br
Nessa apresentação iremos atualizar uma palestra realizada no CMG em 2014 e analisar a evolução do Backup para a Nuvem, avaliando as diferenças e pré-requisitos das arquiteturas disponíveis, para definir melhores práticas de desempenho e capacidade para a implementação de uma solução para empresas. Adicionalmente iremos explorar as alternativas de Backup de dados na Nuvem, quando a aplicação já está sendo executada remotamente.
Avaliação de arquiteturas de uma solução de Backup na NuvemKleber Silva
Nessa apresentação iremos analisar a evolução e pré-requisitos dos Backups corporativos, avaliando as diferenças das arquiteturas disponíveis de Backup com armazenamento na Nuvem, para definir melhores práticas de desempenho e capacidade para a implementação de uma solução para empresas
Google AppEngine: Desafios da adoção de cloud no mercado de segurosGustavo Concon
Palestra sobre case apresentado no QConSP 2013, com uma diversidade de produtos da plataforma Google e como endereçamos requisitos tradicionais de Enterprise Apps na plataforma.
Arquitetura Serverless para Machine LearningFelipe Santos
Nesta apresentação, trazemos uma jornada de análise de arquiteturas serverless para se utilizar com machine learning. Analisamos vários pontos, mostrando os prós e contras de cada solução.
Infraestrutura em nuvem com Amazon Web Services (AWS)Infosimples
Esta apresentação foi feita para um minicurso na Escola Politécnica da USP administrado pela Infosimples. Foram discutidos temas de Infraestrutura com foco em escalabilidade e redundância. Também foram apresentadas as opções comerciais de contratação de infraestrutura. Por fim, uma atividade prática de publicação (deployment) de uma aplicação web foi realizada.
https://infosimples.com/artigos/como-publicar-uma-aplicacao-web-usando-aws
Se você trabalha com Cloud PostgreSQL e está buscando melhor performance e escalabilidade, vamos conversar e detalhar de que forma você pode fazer isso aqui na Saveincloud.
O objetivo deste vídeo é te mostrar o passo a passo para instalar, configurar, replicar e otimizar seu Cloud PostgreSQL, e como obter melhor performance usando os conceitos de escalonamento e replicação tão desejados no mercado.
✅ Acesse o link a seguir para testar 14 dias grátis a ferramenta:
https://cloud.saveincloud.com.br/lp/postgresql-escalabilidade-e-replicacao-de-banco-de-dados/
Link para falar com nosso Suporte:
https://bit.ly/Saveincloud
Modelos de computação distribuída no Hadoop
O desenvolvimento de uma aplicação distribuída requer diversos conhecimentos para lidar com problemas como: particionamento de entrada, escalonamento da execução, comunicação entre as máquinas e falhas no cluster. Para que o desenvolvedor possa focar somente na aplicação que está sendo desenvolvida, diversos modelos para processar os dados distribuídos foram criados. Cada modelo tem suas características, pontos fracos e fortes, que os fazem apropriados para determinados tipos de aplicações. A apresentação irá abordar os temas: Hadoop 2/Map Reduce; Bulk Synchronous Parallel; Pregel; Dremel; Processamento de Stream; Próximas tecnologias.
Tiago Cardoso
Co-fundador e CTO da Zahpee.
Mestre em Ciência da Computação pela UFMG. Co-fundador e CTO da Zahpee, trabalha há mais de quatro anos no desenvolvimento de produtos para coleta, processamento e visualização de dados.
Usando a nuvem da AWS para Backup e Disaster RecoveryRodolfo Dantas
Empresas podem usar a nuvem da AWS para possibilitar backups e uma rápida recuperação de desastres (DR) para aplicações críticas, reduzindo gastos de infraestrutura e sem a necessidade de um segundo datacenter. A nuvem da AWS permite que arquiteturas de TI sejam elaboradas de maneira que, no caso de um desastre, recursos sejam rapidamente iniciados para garantir a estabilidade dos serviços e a continuidade do negócio, bem como a recuperação de backups previamente efetuados. Nesse sentido, é importante destacarmos os serviços AWS e os componentes relevantes que podem ser utilizados para os processos de recuperação de desastres e backup. Também é interessante mostrarmos exemplos de cenários sobre como se recuperar de um desastre, além de recomendações de como melhorar o plano de DR e alavancar o potencial da AWS para arquiteturas de recuperação de desastres.
Apresentação de Rodolfo Dantas no evento "Usando a nuvem AWS para Backup e Disaster Recovery", realizado no dia 13 de fevereiro no Rio de Janeiro e em 20 de fevereiro em São Paulo.
Apresentação mostrando como o Spark é muito útil no dia-a-dia na globo.como, como usamos Spark para processar bilhões de eventos e incentivando a migração para o Spark 2.0.
Semelhante a pgDay Campinas 2013 - PostgreSQL XC in Cloud IaaS (20)
5. Postgres-XC em Cloud IaaS
PGDay Campinas 2013
Streamming Replication
Replicação master/slave:
Um único servidor primário/master –
escrita/leitura
Diversos secundários/slaves – somente leitura
7. Postgres-XC em Cloud IaaS
PGDay Campinas 2013
Streamming Replication
Características:
Replicação por stream de dados (WAL)
Replicação síncrona (9.1) ou assíncrona
Muito rápida (se comparado à log shipping)
Servidores réplicas disponíveis para consulta
Rápida promoção de um slave para master
Replicação em cascata (9.2)
8. Postgres-XC em Cloud IaaS
PGDay Campinas 2013
Streamming Replication
Aplicações:
Alta disponibilidade
Escalabilidade de leitura – balanceamento de
carga
Servidores distribuídos geograficamente
9. Postgres-XC em Cloud IaaS
PGDay Campinas 2013
Streamming Replication
Limitações:
Apenas um servidor síncrono
Atraso na replicação assíncrona
Sem escalabilidade de escrita
Balanceamento de carga (leitura) feita pela
aplicação ou middleware (como PGPool-II)
Alta disponibilidade feita com ferramentas a
parte (ou manualmente)
11. Postgres-XC em Cloud IaaS
PGDay Campinas 2013
Postgres-XC – Visão Geral
Cluster de banco de dados para alta
performance:
Cluster multi-master
Operações de escrita síncronas
Escalabilidade horizontal de leitura e escrita
Tabelas replicadas ou distribuídas
Banco de dados relacional
100% ACID (transacional)
Interface de acesso via SQL
...
12. Postgres-XC em Cloud IaaS
PGDay Campinas 2013
Postgres-XC
O Projeto:
Fork do código-fonte do PostgreSQL
Re-implementa funcionalidades e correções de
novas versões
Pretendem “juntar” novamente um dia...
Mesma licença do PostgreSQL
13. Postgres-XC em Cloud IaaS
PGDay Campinas 2013
Postgres-XC
Desenvolvimento:
Todos podem enviar patches pela lista de
desenvolvimento.
Patches são revisados pelos desenvolvedores.
Eles tem a chance de avaliar, atualizar os
fontes, ou pedir por novas features.
Se um commiter se sentir pronto para
commitar, deve anunciar na lista e deixar 24
horas para aguardar uma melhoria de alguém.
14. Postgres-XC em Cloud IaaS
PGDay Campinas 2013
Postgres-XC – Commiters
Em Set. 1st, 2013, haviam:
Ashutosh Bapat
Abbas Butt
Amit Khandekar
Satoshi Nagayasu
Michael Paquier
Masataka Saito
Koichi Suzuki
Política para novos Committers:
Não há um processo definido para como novos commiters são
selecionados.
Tipicamente, candidatos devem enviar bons patches por um “longo”
período. Então, os commiters existentes ou o “core team” irá propor
para que essa pessoa seja aprovada como commiter.
18. Postgres-XC em Cloud IaaS
PGDay Campinas 2013
Postgres-XC – Arquitetura
Coordinators
Recebem as conexões/comandos dos usuários e
redireciona aos datanodes
Análise/Planejamento/Execução de SQL
Enviam comandos para os datanodes,
processam o resultado e retornam ao usuário
Datanodes
Armazenam os dados
Execução de SQL local
Basicamente o “bom e velho” PostgreSQL
19. Postgres-XC em Cloud IaaS
PGDay Campinas 2013
Postgres-XC – Arquitetura
GTM (Global Transaction Manager)
Gerencia o controle de transações e visibilidade
Gerencia as sequências (sequences)
Tem-se sempre um único GTM para o cluster
GTM-Standby
Alta disponibilidade/backup para o GTM
GTM-Proxy
Se responsabiliza pela conexão ao GTM
Diminui o overhead de comunicação ao GTM agrupando
requisições/respostas
Em geral, tem-se um em cada nó
20. Postgres-XC em Cloud IaaS
PGDay Campinas 2013
Postgres-XC
Topologias e Casos de Uso
21. Postgres-XC em Cloud IaaS
PGDay Campinas 2013
Postgres-XC – Distribuição dos dados
Distribuição:
Os dados de uma tabela pode estar presente em um
ou mais datanode
Grupo de datanodes:
Pode-se selecionar em qual(is) datanode(s) distribuir
cada tabela
Tabelas replicadas:
Todos eles terão todos os dados dessa tabela
Tabelas distribuídas:
Cada um terá uma parte dos dados
Distribuição via: hash, roundrobin ou módulo
25. Postgres-XC em Cloud IaaS
PGDay Campinas 2013
Postgres-XC – DN/DC juntos
Vantagens:
Arquitetura mais simples e de fácil
manuntenção
Bom para aplicações OLTP
Muito bom para tabelas replicadas (tudo
executado localmente, sem latência de rede)
Desvantagens:
Concorrência de CPU (nem sempre)
Pontos de falha
27. Postgres-XC em Cloud IaaS
PGDay Campinas 2013
Postgres-XC – DN/DC separados
Mais DNs e menos DCs:
Bom para aplicações com muita escrita e pouca leitura
E tabelas distribuídas
Mais DCs e menos DNs:
Algumas tabelas distribuídas outras replicadas
Muita escrita e muita leitura
Processamento maior nos coordenadores
Equilíbrio:
Facilidade de balanceamento de carga
Adição de nós:
Adicionar DC é fácil
Adicionar DN não
28. Postgres-XC em Cloud IaaS
PGDay Campinas 2013
Postgres-XC
Alta Disponibilidade/Backup
29. Postgres-XC em Cloud IaaS
PGDay Campinas 2013
Postgres-XC – Alta disponibilidade
GTM:
Usar GTM Standby
DN/DC:
Replicação síncrona
Failover/Failback:
Utilizar ferramenta de HA
(Corosync+Pacemaker, Heartbeat, etc.)
Manualmente
30. Postgres-XC em Cloud IaaS
PGDay Campinas 2013
Postgres-XC – Alta disponibilidade
31. Postgres-XC em Cloud IaaS
PGDay Campinas 2013
Postgres-XC – Backup
pg_dump:
Executar em qualquer coordenador
Backup físico offline:
Parar todo o cluster e copiar
Backup físico online:
Criar barreira:
CREATE BARRIER meu_backup;
Realizar um backup-base em cada nó
33. Postgres-XC em Cloud IaaS
PGDay Campinas 2013
Postgres-XC na Nuvem (AWS)
Escalabilidade:
Possibilidade de adicionar nós para aumentar
escalabilidade tanto de escrita quanto de
leitura
Apesar disso, adicionar nós automaticamente
não é viável (como no Autoscaling)
Balanceamento de carga:
Simplesmente adicionar um ELB sobre os nós
coordenadores e porta 5432
34. Postgres-XC em Cloud IaaS
PGDay Campinas 2013
Postgres-XC na Nuvem (AWS)
Tentativa e erro:
Encontrar a melhor topologia não é fácil
Na nuvem, podemos testar diversos modelos
Comprar hardware pra “testar” cluster é inviável
Ambiente virtualizado:
Devido a distribuição, o I/O deixa de ser o gargalo
Muitas tabelas distribuídas:
Priorizar memória e CPU para os coordenadores
35. Postgres-XC em Cloud IaaS
PGDay Campinas 2013
Dificuldades
Alta disponibilidade:
Muitos SPOFs
Distribuição de tabelas:
Encontrar a melhor chave e as tabelas que
devem ser particionadas ou replicadas, não é
fácil e depende (e muito) das consultas feitas
pela aplicação
Topologia ideal:
Também depende do padrão de acesso
As possibilidades são muitas
36. Postgres-XC em Cloud IaaS
PGDay Campinas 2013
Matheus de Oliveira
<matheus.oliveira@dextra.com.br>
Vinícius Schmidt
<vinicius.schmidt@dextra.com.br>