Apresentação sobre Apache Cassandra na Movile no SP Big Data Meetup 2015. Conheça esse banco de dados distribuído e como vem sendo usando por grandes empresas.
Apresentação sobre Apache Cassandra, arquitetura, fluxo de operações, cluster, ferramentas para desenvolvimento, overview sobre o CQL. Apresentação do caso de uso da Movile.
Promovido por: Movile, Datastax e Planet Cassandra.
Apresentado no QConSP 2016 por Eiti Kimura e Fernando Gonçalves
Muito se tem falado em ingestão e processamento de grandes volumes de dados, mas há ainda muito a se fazer quanto à arquitetura de sistemas distribuídos capazes de realizar esse feito, assim como as ferramentas de apoio.
Desde 2009 a Movile adotou o banco NoSQL Apache Cassandra como uma de suas soluções para dados. E desde então trabalha na evolução de suas plataformas. Com base em 6 anos nas trincheiras do desenvolvimento, vamos compartilhar como sistemas de arquitetura simples tiveram que evoluir para acompanhar o crescimento exponencial da empresa.
Mostraremos os desafios da adoção do Cassandra (e de NoSQL em geral) em sistemas críticos de alto desempenho, processando bilhões de transações por dia. Vamos mostrar também os problemas enfrentados, o que deu certo, o que deu errado e o que aprendemos com isso.
Estudo comparativo entr bancos RDBMS, NoSQL e NewSQLOrlando Vitali
Uma analise teórica e pratica sobre as diferenças entre bancos de dados Relacionais, NoSQL e NewSQL desenvolvida como TCC para o curso de Ciências da Computação da UNESC
Apresentação sobre Apache Cassandra, arquitetura, fluxo de operações, cluster, ferramentas para desenvolvimento, overview sobre o CQL. Apresentação do caso de uso da Movile.
Promovido por: Movile, Datastax e Planet Cassandra.
Apresentado no QConSP 2016 por Eiti Kimura e Fernando Gonçalves
Muito se tem falado em ingestão e processamento de grandes volumes de dados, mas há ainda muito a se fazer quanto à arquitetura de sistemas distribuídos capazes de realizar esse feito, assim como as ferramentas de apoio.
Desde 2009 a Movile adotou o banco NoSQL Apache Cassandra como uma de suas soluções para dados. E desde então trabalha na evolução de suas plataformas. Com base em 6 anos nas trincheiras do desenvolvimento, vamos compartilhar como sistemas de arquitetura simples tiveram que evoluir para acompanhar o crescimento exponencial da empresa.
Mostraremos os desafios da adoção do Cassandra (e de NoSQL em geral) em sistemas críticos de alto desempenho, processando bilhões de transações por dia. Vamos mostrar também os problemas enfrentados, o que deu certo, o que deu errado e o que aprendemos com isso.
Estudo comparativo entr bancos RDBMS, NoSQL e NewSQLOrlando Vitali
Uma analise teórica e pratica sobre as diferenças entre bancos de dados Relacionais, NoSQL e NewSQL desenvolvida como TCC para o curso de Ciências da Computação da UNESC
Material sobre Apache Cassandra, apresentado em forma de Webinar junto pessoal da Datastax.
Ilustra o funcionamento da ferramenta e mostra como a ferramenta foi aplicada para resolver problemas de disponibilidade e desempenho de aplicações distribuídas.
QConSP 2014 - Cassandra no Desenvolvimento de Aplicações para serviços MóveisEiti Kimura
Material apresentado no QConSP 2014.
Overview sobre o NoSQL Cassandra e como aplicá-lo no desenvolvimento de serviços críticos de alto desempenho para aplicações móveis.
Imagine um serviço de Banco de Dados, onde replicação, alta disponibilidade, backup, e a administração dos servidores é feita transparentemente. Pare de imaginar, e conheçao o Amazon RDS - Relational Database Service, disponível para MS SQL, Oracle, MySQL e o Aurora.
Sistemas NoSQL, surgimento, características e exemplosAricelio Souza
Introdução ao Movimento NoSQL; Suas principais características; Técnicas para implementação; Principais tipos; Teorema CAP; Principais produtos no mercado e seus principais utilizadores.
Apresentação com abordagem sobre NoSQL apresentada para avaliação da matéria de Banco de Dados II da Universidade de Vila Velha.
Material: https://www.slideshare.net/lorran33/material-seminrio-nosql/
Alunos: Iago Binow, Lorran Pegoretti, Luiz Marcon e Pedro Malta
Universidade de VIia Velha.
O Cassandra é um banco de dados NOSQL orientado à família de coluna que nasceu para resolver problemas com aplicações que precisam operar com gigantescas cargas de dados além de poder escalar com grande facilidade. Ele nasceu no facebook e hoje vem sendo usado intensamente por empresas dos mais variados portes, tais como Netflix, Twitter, Instagram, HP, IBM, dentre muitas outras. Um fator importante que vale ser citado é a sua adoção crescente inclusive em mercados mais conversadores tais como, instituições financeiras e agências governamentais como a NASA.
Assuntos abordados
- Conceito Data Science
- Conceito BigData
- NOSQL
- Histórico
- Tipos de Bancos
- Comparação com o Modelo relacional
- Cassandra
- Arquitetura Cassandra
- Configurações Básica do Cassandra
- Configuração de multi-nodes no Cassandra
- Conhecendo o DevOpsCenter
- Instalando os Agentes
Slides do treinamento técnico da força de vendas sobre a nova plataforma de IaaS da Embratel. Conheça: http://portal.embratel.com.br/cloud/cloud-server/
[TDC2016] Apache SparkMLlib: Machine Learning na PráticaEiti Kimura
Presented with Flavio Clésio at TDCSP2016 showing a Machine Learning solution for tracking and monitoring a critical billing platform.
Code repository:
https://github.com/eiti-kimura-movile/spark-mllib-sample
O AWS Database Migration Service ajuda você a migrar bancos de dados para a AWS de modo fácil e seguro. O banco de dados de origem permanece totalmente operacional durante a migração, minimizando períodos de inatividade para aplicativos que dependem do banco de dados.
Existe uma vasta gama de banco de dados gerenciados além daqueles que rodam no Amazon EC2 por conta própria. Bancos de dados gerenciados diminuem os esforços de implementar, administrar e manter o seu banco de dados e permite que possa focar na suas aplicações. Entenda as opções e suas diferenças, além das melhores práticas para escolha de uma ou mais delas.
Material para seminário com abordagem sobre NoSQL apresentada para avaliação da matéria de Banco de Dados II da Universidade de Vila Velha.
Apresentação: https://www.slideshare.net/lorran33/seminrio-nosql
Alunos: Iago Binow, Lorran Pegoretti, Luiz Marcon e Pedro Malta
Universidade de VIia Velha.
Material sobre Apache Cassandra, apresentado em forma de Webinar junto pessoal da Datastax.
Ilustra o funcionamento da ferramenta e mostra como a ferramenta foi aplicada para resolver problemas de disponibilidade e desempenho de aplicações distribuídas.
QConSP 2014 - Cassandra no Desenvolvimento de Aplicações para serviços MóveisEiti Kimura
Material apresentado no QConSP 2014.
Overview sobre o NoSQL Cassandra e como aplicá-lo no desenvolvimento de serviços críticos de alto desempenho para aplicações móveis.
Imagine um serviço de Banco de Dados, onde replicação, alta disponibilidade, backup, e a administração dos servidores é feita transparentemente. Pare de imaginar, e conheçao o Amazon RDS - Relational Database Service, disponível para MS SQL, Oracle, MySQL e o Aurora.
Sistemas NoSQL, surgimento, características e exemplosAricelio Souza
Introdução ao Movimento NoSQL; Suas principais características; Técnicas para implementação; Principais tipos; Teorema CAP; Principais produtos no mercado e seus principais utilizadores.
Apresentação com abordagem sobre NoSQL apresentada para avaliação da matéria de Banco de Dados II da Universidade de Vila Velha.
Material: https://www.slideshare.net/lorran33/material-seminrio-nosql/
Alunos: Iago Binow, Lorran Pegoretti, Luiz Marcon e Pedro Malta
Universidade de VIia Velha.
O Cassandra é um banco de dados NOSQL orientado à família de coluna que nasceu para resolver problemas com aplicações que precisam operar com gigantescas cargas de dados além de poder escalar com grande facilidade. Ele nasceu no facebook e hoje vem sendo usado intensamente por empresas dos mais variados portes, tais como Netflix, Twitter, Instagram, HP, IBM, dentre muitas outras. Um fator importante que vale ser citado é a sua adoção crescente inclusive em mercados mais conversadores tais como, instituições financeiras e agências governamentais como a NASA.
Assuntos abordados
- Conceito Data Science
- Conceito BigData
- NOSQL
- Histórico
- Tipos de Bancos
- Comparação com o Modelo relacional
- Cassandra
- Arquitetura Cassandra
- Configurações Básica do Cassandra
- Configuração de multi-nodes no Cassandra
- Conhecendo o DevOpsCenter
- Instalando os Agentes
Slides do treinamento técnico da força de vendas sobre a nova plataforma de IaaS da Embratel. Conheça: http://portal.embratel.com.br/cloud/cloud-server/
[TDC2016] Apache SparkMLlib: Machine Learning na PráticaEiti Kimura
Presented with Flavio Clésio at TDCSP2016 showing a Machine Learning solution for tracking and monitoring a critical billing platform.
Code repository:
https://github.com/eiti-kimura-movile/spark-mllib-sample
O AWS Database Migration Service ajuda você a migrar bancos de dados para a AWS de modo fácil e seguro. O banco de dados de origem permanece totalmente operacional durante a migração, minimizando períodos de inatividade para aplicativos que dependem do banco de dados.
Existe uma vasta gama de banco de dados gerenciados além daqueles que rodam no Amazon EC2 por conta própria. Bancos de dados gerenciados diminuem os esforços de implementar, administrar e manter o seu banco de dados e permite que possa focar na suas aplicações. Entenda as opções e suas diferenças, além das melhores práticas para escolha de uma ou mais delas.
Material para seminário com abordagem sobre NoSQL apresentada para avaliação da matéria de Banco de Dados II da Universidade de Vila Velha.
Apresentação: https://www.slideshare.net/lorran33/seminrio-nosql
Alunos: Iago Binow, Lorran Pegoretti, Luiz Marcon e Pedro Malta
Universidade de VIia Velha.
Python Brasil 2020 - Desmitificando pipeline de dados com Python: o que apren...Affinitas GmbH
Quais os problemas da engenharia de dados? Python é uma ferramenta que importa nessa jornada. Conceitos básicos serão apresentados para desmistificar erros mais comuns ao projetar pipelines usando Python, desde aquisição, ingestão, transformação, armazenamento e gerenciamento.
Da Exploração à Produção - Inteligência Artificial com a plataforma MarvinDaniel Takabayashi, MSc
Marvin é um ambicioso projeto de código aberto que se concentra em ajudar equipes a entregar soluções de machine learning de maneira ágil. A plataforma oferece uma arquitetura padronizada e agnóstica de linguagem, de alta escala e baixa latência enquanto simplifica o processo de exploração e modelagem de projetos de IA.
Arquiteturas serverless permitem que você possa construir e executar aplicativos e serviços sem a necessidade de gerenciar a infra-estrutura que necessita. Com arquiteturas serverless na AWS sua aplicação é executada mas toda a administração é da AWS.
Neste webinar, você vai aprender a construir aplicações e serviços que utilizam a arquitetura serverless ou "sem servidor". Discutiremos como utilizar AWS Lambda para a execução de código de qualquer aplicação ou serviço de back-end, utilizar o Amazon DynamoDB para armazenar os dados com escalabilidade e redundância e usar Amazon API Gateway para criar e gerenciar pontos de conexão de API com segurança. Também vamos ver uma demonstração de como construir uma arquitetura serverless e discutir as melhores práticas e padrões utilizados por nossos clientes para executar servidores de aplicativos.
Objetivos de aprendizagem:
• Compreender as noções básicas de arquiteturas serverless
• Aprenda a usar Lambda, API Gateway e DynamoDB para executar aplicativos
Ruby on Rails: um estudo de viabilidade em ambientes empresariaisRodrigo Recio
Apresentação de pesquisa onde é feita uma revisão bibliográfica sobre a linguagem de programação Ruby e o arcabouço Ruby on Rails, os quais são utilizados para o desenvolvimento ágil de aplicações para plataforma web. Nesta são analisados diversos requisitos necessários para o desenvolvimento de aplicações eficientes e de forma produtiva.
Infraestruturas enxutas para aplicações webIgor Herson
Em pequenos ou grandes projetos, existe uma necessidade em comum, a de economizar, uma infraestrutura adequada para as necessidades, são vitais para não jogar dinheiro no ralo com recursos que nunca serão utilizados, neste ponto vale de tudo para gastar menos sem perder qualidade, desde buscar empresas menos conhecidas e mais baratas, ate a implantação de varias camadas de cache.
Usando um case real, a palestra irá abordar os diversos caminhos possíveis para mover uma aplicação para o Azure e as decisões tomadas pelo palestrante, inclusive as erradas. Iremos ver sobre servidor de aplicações, banco de dados, hospedagem de arquivos, segurança, produtividade e por último, mas não menos importante redução de custos!
Arquitetura Serverless para Machine LearningFelipe Santos
Nesta apresentação, trazemos uma jornada de análise de arquiteturas serverless para se utilizar com machine learning. Analisamos vários pontos, mostrando os prós e contras de cada solução.
"Computação Serverless permite que você construa e execute aplicações sem a necessidade de provisionar ou gerenciar servidores. Com a computação Serverless você pode construir aplicações web, mobile e IoT backends, executar processamento em streams de dados ou em big data, criar chatbots e mais.
Nessa sessão você será iniciado nos caminhos da computação Serverless através do AWS Lambda, que lhe permite executar código sem provisionar ou gerenciar servidores. Nós o demonstraremos as bases de construção de aplicações em Lambda e como tirar vantagens de benefícios como elasticidade contínua, alta disponibilidade nativa, inúmeras integrações com apps AWS e de terceiros e precificação por frações de segundo. Nós também apresentaremos um portifólio de serviços AWS que lhe auxiliarão na construção de aplicações Serverless em conjunto com o lambda, como API Gateway, Amazon DynamoDB, AWS Step Functions e mais."
https://aws.amazon.com/pt/lambda/
O Elastic Cache é um serviço de cache avançado que voce pode usar nas suas aplicações que estão na nuvem da AWS. Apresentamos aqui os seus conceitos básicos e modos de uso.
Palestra sobre novos recursos do C# 6.0 realizada durante o Interopmix 2015 (24/10/2015).
Tópicos apresentados:
- Visual Studio 2015, C# 6.0 e mais...
- Alguns recursos da nova versão do Visual Studio
- Novos recursos do C# 6.0
Construindo aplicações Web escaláveis com Docker e o Microsoft Azure - Azure ...Renato Groff
Apresentação sobre o uso de Docker e serviços do Microsoft Azure como Web App for Containers e AKS (Azure Kubernetes Service) no desenvolvimento de soluções Web escaláveis. Palestra realizada em conjunto com o MVP Thiago Adriano em meetup promovido pelo grupo Azure Brasil em 28/08/2018 na cidade de São Paulo-SP.
11. 1. A operação pode ocorrer em
qualquer nó
2. O coordenador executa a
operação em diferentes nós e
zonas
3. Coordenador retorna o ACK
para o cliente
4. Cliente pode escolher o nível
de consistência da operação
RF = 3
16. Casos de Uso Típicos
Playlists e Coleções de dados Spotify
Sistema de Recomendação e Personalização
Mensageria
Detecção de Fraude
Catálogos Multi-idiomas
Processamento de Dados de sensores
17. Um pouco sobre como usamos na Movile
- Controle de assinaturas de usuários
- Controle de regras de tarifação
- Registro de eventos de usuários em apps
- Sistema de Matcher de mensagens
- E mais...
20. Vantagens da Nova Solução
- problemas de desempenho: resolvido
- problemas de disponibilidade: resolvido
- aumento significante da capacidade de
leitura e escrita
21. Lições Aprendidas: O que deu errado
- Converter diretamente o modelo de dados relacional
- Usar ferramenta como Cache
- Executar junção do lado do cliente (anti-pattern: client-
side join)
- Recriar uma tabela com o mesmo nome (Column
Family Reincarnation)
- Adicionar vários nós paralelamente usando vnodes
22. Lições Aprendidas: Boas práticas
- Conheça os recursos de modelagem e remodele
- Evite o uso de Coleções (evitar tombstones)
- Faça prova de conceito com o modelo de dados
- Faça testes de carga sobre o modelo e número de nós
- Execute as rotinas de manuteção corretamente (repair)
- Monitore o desempenho do cluster regularmente (JMX)
- Use os drivers oficiais da Datastax