Apresentação sobre Apache Cassandra na Movile no SP Big Data Meetup 2015. Conheça esse banco de dados distribuído e como vem sendo usando por grandes empresas.

1. Conhecendo
Apache Cassandra
@Movile
São Paulo Big Data Meetup 25.11.15 Eiti Kimura

2. Eiti Kimura
Coordenador de TI na Movile
- Apache Cassandra MVP 2015
- Apache Cassandra MVP 2014
- Contribuidor Apache Cassandra
- Certificação Apache Cassandra Desenvolvedor 1.1
Palestrante no Cassandra Summit 2015 (Santa Clara - CA)
http://www.slideshare.net/eitikimura/cassandra-summit-2015-a-change-of-seasons
Palestrante no Cassandra Summit 2014 (San Francisco - CA)
https://www.youtube.com/watch?v=igmLnluGcDM

3. O que é?

4. Simples assim...
“Banco de Dados Não Relacional,
distribuído de código aberto...”

6. C*
Características Distribuído
e
Descentral
izado
Escalabilida
de Elástica
Alta disp.
Tolerante a
Falhas
Consist.
"Tunável"
Orientado a
Colunas
Alto
Desempenho

7. Escalabilidade Linear
http://techblog.netflix.com/2011/11/benchmarking-cassandra-scalability-on.html

8. Como funciona?

9. Distribuição de dados
Cassandra atribui um valor hash para cada chave de partição

11. 1. A operação pode ocorrer em
qualquer nó
2. O coordenador executa a
operação em diferentes nós e
zonas
3. Coordenador retorna o ACK
para o cliente
4. Cliente pode escolher o nível
de consistência da operação
RF = 3

12. Fluxo básico de escrita de informação no Apache Cassandra

13. Fluxo básico de leitura de informação no Apache Cassandra

14. Tolerância a Falhas
http://www.datastax.com/dev/blog/how-cassandra-deals-with-replica-failure

15. Como pode ser usado?

16. Casos de Uso Típicos
Playlists e Coleções de dados Spotify
Sistema de Recomendação e Personalização
Mensageria
Detecção de Fraude
Catálogos Multi-idiomas
Processamento de Dados de sensores

17. Um pouco sobre como usamos na Movile
- Controle de assinaturas de usuários
- Controle de regras de tarifação
- Registro de eventos de usuários em apps
- Sistema de Matcher de mensagens
- E mais...

18. Arquitetura Inicial da Plataforma
API
DB
API
DB
API
API
API
API
API

19. Nova arquitetura
API
API
API
API
API
API
API
API
API
API
Other

20. Vantagens da Nova Solução
- problemas de desempenho: resolvido
- problemas de disponibilidade: resolvido
- aumento significante da capacidade de
leitura e escrita

21. Lições Aprendidas: O que deu errado
- Converter diretamente o modelo de dados relacional
- Usar ferramenta como Cache
- Executar junção do lado do cliente (anti-pattern: client-
side join)
- Recriar uma tabela com o mesmo nome (Column
Family Reincarnation)
- Adicionar vários nós paralelamente usando vnodes

22. Lições Aprendidas: Boas práticas
- Conheça os recursos de modelagem e remodele
- Evite o uso de Coleções (evitar tombstones)
- Faça prova de conceito com o modelo de dados
- Faça testes de carga sobre o modelo e número de nós
- Execute as rotinas de manuteção corretamente (repair)
- Monitore o desempenho do cluster regularmente (JMX)
- Use os drivers oficiais da Datastax

23. Onde aprender mais?

24. http://www.planetcassandra.org/try-cassandra/

25. http://academy.datastax.com/
Grátis, totalmente prático, siga no seu ritmo

26. Links de Referência
https://issues.apache.org/jira/browse/cassandra
http://cassandra.apache.org/
http://www.planetcassandra.org/apache-cassandra-mailing-lists/
User/Developer List
Jira Issues
Download
Cassandra 3.0 is out!
http://www.slideshare.net/JonHaddad/cassandra-30-awesomeness

27. talentos@movile.com
eitikimura
eitikimura
eiti.kimura@movile.com