Bigdata e NoSQL: buzzwords da teoria à prática

1.071 visualizações

Publicada em

0 comentários
1 gostou
Estatísticas
Notas
  • Seja o primeiro a comentar

Sem downloads
Visualizações
Visualizações totais
1.071
No SlideShare
0
A partir de incorporações
0
Número de incorporações
109
Ações
Compartilhamentos
0
Downloads
29
Comentários
0
Gostaram
1
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide

Bigdata e NoSQL: buzzwords da teoria à prática

  1. 1. Big Data e NoSQL: buzzwords da teoria à prática Fabíola Souza Fernandes Pereira
  2. 2. Mas antes…
  3. 3. Um pouco da minha história… 2005 t
  4. 4. Um pouco da minha história… 2005 2007 t
  5. 5. Um pouco da minha história… 2005 2007 2009 t
  6. 6. Um pouco da minha história… 2005 2007 2009 2011 t
  7. 7. Um pouco da minha história… 2005 2007 2009 2011 2013 t
  8. 8. Motivação…
  9. 9. Motivação…
  10. 10. Motivação…
  11. 11. 1. Big Data
  12. 12. 2. NoSQL
  13. 13. 3. Na prática: ferramentas e exemplos
  14. 14. 4. Cases do mundo
  15. 15. 5. Case Algar Telecom
  16. 16. 6. Conclusão
  17. 17. A cada dia… 2,5 exabytes de informação são produzidos pela humanidade 375 megabytes 10 petabytes de dados são acumulados por cada família correspondem aos e-mails enviados 43 petabytes de dados são trocados por smartphones e tablets conectados à internet 24 petabytes são processados pelo site do Google Fonte: Revista Veja, 15/05/2013
  18. 18. Bit Byte Kilobyte (1 000 Bytes) Megabyte (1 000 000 de Bytes) Gigabyte (1 000 000 000 de Bytes) Terabyte (1 000 000 000 000 de Bytes) Petabyte (1 000 000 000 000 000 de Bytes) Exabyte (1 000 000 000 000 000 000 de Bytes) Zetabyte (1 000 000 000 000 000 000 000 de Bytes) Yottabyte (1 000 000 000 000 000 000 000 000 de Bytes) Fonte: Revista Veja, 15/05/2013
  19. 19. O que é Big Data?
  20. 20. “Manipulação de grande massa de dados”
  21. 21. Volume
  22. 22. Variedade
  23. 23. Velocidade
  24. 24. Veracidade
  25. 25. Os 4 pilares do Big Data (4 V’s) Volume Veracid ade Big Data Varieda de Velocida de
  26. 26. Manipulando Big Data Coleta Processa mento Armazena mento Análise Ação
  27. 27. Quem está usando… Big data aumentará receita de operadoras em US$ 4 bi por ano http://exame.abril.com.br/tecnologia/noticias/big-data-aumentara-receita-de-operadoras-em-us-4-bi-por-ano 5 cidades que usam big data para melhorar vida dos moradores http://exame.abril.com.br/tecnologia/noticias/5-cidades-que-usam-big-data-para-melhorar-vida-dos-moradores#5 Big Data ajudou Obama a ganhar as eleições http://info.abril.com.br/noticias/ti/big-data-ajudou-obama-a-ganhar-eleicoes-15012013-25.shl IBM vai analisar tweets dos brasileiros durante os jogos e enviar percepções para o técnico da seleção http://olhardigital.uol.com.br/noticia/big-data-pode-ajudar-felipao-na-copa-das-confederacoes/35218
  28. 28. Profissões “quentes” Cientista de Dados • Estatística • Matemática • Oportunidades Profissionais de Tecnologia para Big Data • NoSQL • Hadoop • Mineração de Dados
  29. 29. Vamos pensar…
  30. 30. 2. NoSQL
  31. 31. No to SQL
  32. 32. Not Only SQL
  33. 33. Por que NoSQL agora? 1. Dimensão Fonte: http://www.slideshare.net/thobe/nosql-for-dummies
  34. 34. Por que NoSQL agora? 2. Conexão Fonte: http://www.slideshare.net/thobe/nosql-for-dummies
  35. 35. Por que NoSQL agora? 3. Semi/Não-estruturado Fonte: http://www.slideshare.net/thobe/nosql-for-dummies
  36. 36. Por que NoSQL agora? Aplicação Aplicação Aplicação DB DB DB 4. Arquitetura Fonte: http://www.slideshare.net/thobe/nosql-for-dummies
  37. 37. Resumindo…  Escalabilidade horizontal  Processamento distribuído  Maior throughput (taxa de transferência)  Baixo custo
  38. 38. A C I D Atomicidade Consistência Isolamento Durabilidade
  39. 39. Teorema CAP
  40. 40. AVAILABILITY CONSISTENCY PARTITION TOLERANCE
  41. 41. AVAILABILITY Todos os clientes têm sempre a MESMA VISÃO do sistema (commits atômicos) CONSISTENCY PARTITION TOLERANCE
  42. 42. AVAILABILITY O cliente pode SEMPRE ler e escrever CONSISTENCY PARTITION TOLERANCE
  43. 43. AVAILABILITY O sistema SEMPRE FUNCIONA mesmo que haja “partições” – quebra de comunicação entre nós CONSISTENCY PARTITION TOLERANCE
  44. 44. AVAILABILITY Escolha duas! CONSISTENCY PARTITION TOLERANCE
  45. 45. BASE BasicallyAvailable Soft state Eventually consistent
  46. 46. Chavevalor Relacional Orientado a Coluna/ Tabular Orientado a Documento Grafo
  47. 47. Chavevalor Volume Orientado a Coluna/ Tabular Orientado a Documento Grafo Relacional Complexidade dos Dados
  48. 48. NoSQL = Não-relacional? Relacional = SQL?
  49. 49. NoSQL e SQL referem-se a linguagens de consulta Relacional e Nãorelacional referemse a modelo de dados
  50. 50. Persistência poliglota SQL && NoSQL Fonte: http://www.slideshare.net/thobe/nosql-for-dummies
  51. 51. 3. Na prática: ferramentas e exemplos
  52. 52. BDs NoSQL
  53. 53. Twissandra
  54. 54. Twissandra
  55. 55. Twissandra User = { 'hermes': { 'password': '****', (other properties), }, } Tweet = { '7561a442-24e2-11df-8924-001ff3591711': { 'username': 'hermes', 'body': 'Trying out Twissandra. This is awesome!', }, }
  56. 56. Twissandra Followers = { 'hermes': { #friend id: timestamp of when the followership was added 'larry': '1267413962580791', 'curly': '1267413990076949', 'moe' : '1267414008133277', }, } Friends = { 'hermes': { # friend id: timestamp of when the friendship was added 'larry': '1267413962580791', 'curly': '1267413990076949', 'moe' : '1267414008133277', }, }
  57. 57. Twissandra – NoSQL queries GET tweet[utf8(‘hermes')]; GET tweet[utf8(‘hermes')][body];
  58. 58. Ferramentas Big Data
  59. 59. Spam ou Não-Spam??
  60. 60. 4. Cases do mundo
  61. 61. IBM Big Data Platform
  62. 62. Oracle Big Data Platform
  63. 63. Microsoft Big Data Platform
  64. 64. Facebook data flow
  65. 65. 5. Case Algar Telecom
  66. 66. Case Algar Telecom Armazenamento de Dados no COREO
  67. 67. 6. Conclusão
  68. 68. “O petróleo só terá valor se transformado em combustível e energia. Na mesma linha, os dados só terão valor se analisados e utilizados” Fonte: The world use of big data: http://public.dhe.ibm.com/common/ssi/ecm/en/gbe03519usen/GBE03519USEN.PDf
  69. 69. Obrigada Fabíola Fernandes fabiola.fernandes.334 fabiolas@algartelecom.com.br @fabiolas

×