I nd t_bigdata(1)

274 visualizações

Publicada em

Apresentação sobre BigData - Palestra na Fucapi 2012

0 comentários
0 gostaram
Estatísticas
Notas
  • Seja o primeiro a comentar

  • Seja a primeira pessoa a gostar disto

Sem downloads
Visualizações
Visualizações totais
274
No SlideShare
0
A partir de incorporações
0
Número de incorporações
2
Ações
Compartilhamentos
0
Downloads
3
Comentários
0
Gostaram
0
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide

I nd t_bigdata(1)

  1. 1. Nokia Internal Use Only Nokia Institute of Technology Big Data Umnovoparadigmadearmazenagemdedados Your natural partner to develop innovative solutions Wellington Chevreuil
  2. 2. Nokia Internal Use Only AgendaAgendaAgendaAgenda • Big Data • Banco de Dados Relacional • Resumo • O preço da integridade e consistência • NoSQL • Not Only SQL • Principais SGBDs NoSQL • NoSQL x SGBD Relacional • Não existe bala de prata • Cenários de uso • Questionamentos
  3. 3. Nokia Internal Use Only Nokia Institute of Technology Big Data SurgimentoeAscenção • Popularização da Internet • Novos servicos oferecidos • Buscadores de conteúdo • Redes Sociais • Comércio eletrônico (cauda longa) • Evolução da capacidade de armazenamento • Toda atividade do usuário é logada • Processar e analisar todos esses dados? • O que fazer com essa informação? • Recomendações • Publicidade direcionada • Busca de páginas • Como manter e recuperar esses dados?
  4. 4. Nokia Internal Use Only Nokia Institute of Technology Banco de Dados Relacional Resumo • Proposto no início dos anos 70 • Amplamente usado • Conceitos principais • Tabelas • Relacionamentos • Transaçõs ACID • Normalização • Índices • Orientado a registros • Alta Consistência e Integridade de Dados • Ideal para armazenagem e processamento de dados “on-line” • Perfeito para conjunto de dados limitados
  5. 5. Nokia Internal Use Only Nokia Institute of Technology Banco de Dados Relacional Opreçodaintegridadee consistência
  6. 6. Nokia Internal Use Only Nokia Institute of Technology NoSQL NotOnlySQL • Proposta para tratar “Big Data” • Difere do modelo relacional na arquitetura de persistência • Diversos modelos, não apenas orientado a linha (registro) • “Desnormalização” de dados => Maior redundância • Modelo focado em reduzir as limitações de escalabilidade do modelo relacional • Fraco suporte a transações • Possível ausência de índices secundários • Geralmente não oferecem esquemas fixos, o domínio evolui com a aplicação • Menor Consistência, favorecendo disponibilidade e escalabilidade (Teorema de CAP)
  7. 7. Nokia Internal Use Only Nokia Institute of Technology NoSQL NotOnlySQL • NoSQL = Todo modelo de persistência não relacional • Nada de novo: Soluções de persistência não relacional existem desde os anos 80. Ex: Berkeley DB, Coherence, Orientado a Objetos • Implementações NoSQL divergem em diferentes níveis: • Modelo de Dados • Modelo de Persistência • Modelo de Consistência • Modelo Físico • Desempenho • Índices secundários • Tratamento de falha • Compactação • Balanceamento • Operações atômicas • Locks
  8. 8. Nokia Internal Use Only Nokia Institute of Technology NoSQL NotOnlySQL • Modelo de Dados • Chave/Valor • Semi-estruturado • Orientado a coluna • Orientado a documento • Modelo de Persistência • Em Memória • Persistente • Modelo de Consistência • Fraco, implementado parcialmente • Ausente • Impactos no desempenho
  9. 9. Nokia Internal Use Only Nokia Institute of Technology NoSQL NotOnlySQL • Modelo Físico • Distribuído ou não? • Impactos em escalabilidade • Desempenho • Diferença entre leitura e escrita • Diferentes tipos de leitura • Índices secundários • Nenhum • Fraco suporte • Tratamento de falha (fail over) • Total tolerância • Disponibilidade • Escalabilidade
  10. 10. Nokia Internal Use Only Nokia Institute of Technology NoSQL NotOnlySQL • Compactação • Suporta? • Qual o método? • Plugável? • Balanceamento • Operações atômicas • Difícil de atingir em ambientes distribuídos • Diferentes abordagens • Locks • Modelo permite deadlocks?
  11. 11. Nokia Internal Use Only Nokia Institute of Technology NoSQL NotOnlySQL • Compactação • Suporta? • Qual o método? • Plugável? • Balanceamento • Operações atômicas • Difícil de atingir em ambientes distribuídos • Diferentes abordagens • Locks • Modelo permite deadlocks?
  12. 12. Nokia Internal Use Only Nokia Institute of Technology NoSQL PrincipaisSGBDs SGBD Modelo de Dados Modelo de Persistência MongoDB Orientado a Documentos Persistente (FS) Cassandra Híbrido entre Chave/Valor, orientado a registro e orientado a coluna Persistente (FS) Voldemort Chave/Valor Persistente (FS) Redis Chave/Valor Em memória HBase Orientado a Colunas Persistente (Hadoop) DynamoDB Tabular Persistente (Amazon S3) BigTable Chave/valor multi-dimensional Persistente (GFS) Memcached Tabular Em memória
  13. 13. Nokia Internal Use Only Nokia Institute of Technology NoSQL x SGBD Relacional Nãoexiste“baladeprata” • SGBD Relacional • Consistência e integridade • Normalização para evitar dados redundantes • Linguagem padronizada de consulta (SQL) • NoSQL • Escalabilidade • Tolerância a falhas • Modelo de consistência fraco
  14. 14. Nokia Internal Use Only Nokia Institute of Technology NoSQL x SGBD Relacional Cenáriosdeuso • Cenário 1 – Processamento de pagamento: • Registra o pagamento do usuário, subtrai o valor pago do total disponível em sua conta corrente, adiciona o valor pago à conta do destinatário, confirma a operação; • Cenário 2 – Recomendação de novos itens para compra: • Em um sistema de e-commerce com dezenas de milhões de usuários, identificar similaridade entre esses usuários, identificar quais itens foram compradaos por quais pessoas, selecionar itens comprados por perfis semelhantes e oferecer esses itens aos usuários com os mesmos perfis, que ainda não o compraram.
  15. 15. Nokia Internal Use Only ReferênciasReferênciasReferênciasReferências • Hbase, the Definitive Guide (Lars George) – O’Reilly • http://en.wikipedia.org/wiki/NoSQL • Codd’s 12 rules, http://en.wikipedia.org/wiki/Codds_12_rules • Towards Robust Distributed Systems, Eric Brewer - http://www.cs.berkeley.edu/~brewer/cs262b-2004/PODC-keynote.pdf • You Can’t Sacrifice Partition Tolerance, Coda Hale - http://codahale.com/you-cant- sacrifice-partition-tolerance/ • NoSQL, Conceitos e Evolução (José Ramos e Adriana Nascimento) – MundoJ, edição 51 • http://www.mongodb.org/ • http://www.memcached.org/ • http://aws.amazon.com/dynamodb/ • http://en.wikipedia.org/wiki/Apache_Cassandra • http://en.wikipedia.org/wiki/Voldemort_(distributed_data_store)
  16. 16. Nokia Internal Use Only QuestionamentosQuestionamentosQuestionamentosQuestionamentos

×