Big data: Conceitos e Desafios

385 visualizações

Publicada em

Palestra sobre Big Data

Publicada em: Educação
0 comentários
2 gostaram
Estatísticas
Notas
  • Seja o primeiro a comentar

Sem downloads
Visualizações
Visualizações totais
385
No SlideShare
0
A partir de incorporações
0
Número de incorporações
4
Ações
Compartilhamentos
0
Downloads
10
Comentários
0
Gostaram
2
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide

Big data: Conceitos e Desafios

  1. 1. Universidade Federal do Ceará Departamento de Engenharia de Teleinformática Big Data: Conceitos e Desafios Flávio R. C. Sousa flaviosousa@ufc.br @flaviosousa www.lia.ufc.br/~flavio 2015
  2. 2. 2
  3. 3. Introdução 90% dos dados no mundo hoje foram produzidos nos últimos dois anos 64 Bilhões de mensagens em 24 horas 100 GB para análise 3 seg/decisão 3 Fonte: IBM/Whatsapp Os dados armazenados vão crescer 50 vezes mais até 2020
  4. 4. Introdução  Facebook • 1.2B de usuários • 1,13 Trilhões de "likes" • 240B de fotos e 140.3B de relacionamentos • Crescimento de 7PB por mês  Youtube • 100 horas de vídeos adicionado a cada minuto  Bolsa de valores de Nova Iorque • + 1 TB de dados a cada sessão do pregão  Boeing • 640 TB gerados em um voo transatlântico  Wal-Mart • 2,5 PB e 1 milhão de transações/hora 4
  5. 5. 5 Introdução  LHC CERN • 15 Petabytes por ano  Sloan Digital Sky Survey • 10 Petabytes gerados a cada varredura  Google • 24 Petabytes processados por dia 640K ought to be enough for anybody.
  6. 6. 6 Introdução Up to 10,000 Times larger Up to 10,000 times faster Traditional Data Warehouse and Business Intelligence DataScale yr mo wk day hr min sec … ms s Exa Peta Tera Giga Mega Kilo Decision Frequency Occasional Frequent Real-time Data in Motion DataatRest Telco Promotions 100,000 records/sec, 6B/day 10 ms/decision 270TB for Deep Analytics Homeland Security 600,000 records/sec, 50B/day 1-2 ms/decision 320TB for Deep Analytics Fonte: IBM
  7. 7. Introdução 7 2.7 ZB = 85 B x 32 GB
  8. 8. Os dados são “Grandes” 8 Fonte: Amplab UC Berkeley
  9. 9. Dados gerados por IoT 9
  10. 10. Os dados são “Sujos” 10 Fonte: Amplab UC Berkeley  Diversas fontes de dados  Sem esquema  Sintaxe e semântica inconsistente
  11. 11. Questões “Complexas” 11Fonte: Amplab UC Berkeley  Perguntas difíceis • Qual é o impacto no trânsito e no preços das casas com construção de uma nova ponte?  Perguntas em tempo real • Existe um ataque cibernético acontecendo?  Perguntas em abertas • Quantos supernovas aconteceram no ano passado?
  12. 12. Big Data 12
  13. 13. 13 Big Data Fonte: R. Jiménez-Peris
  14. 14. 14 “Big Data é como sexo no colegial: “Ninguém faz, mas todo mundo diz que faz. Então todos pensam que alguém está fazendo e dizem que fazem também” Big Data Fonte: Jay Kidd, CTO da NetApp
  15. 15. Big Data  Big Data são dados que excedem o armazenamento, o processamento e a capacidade dos sistemas convencionais • Volume de dados muito grande • Dados são gerados rapidamente • Dados não se encaixam nas estruturas de arquiteturas de sistemas atuais  Além disso, para obter valor a partir desses dados, é preciso mudar a forma de analisá-los 15 Fonte: Jordi Torres
  16. 16. 6 V's do Big Data Valor Veracidade VolatilidadeVelocidade Variedade Volume Não-estruturado Semi-estruturado Estruturado Terabytes … Exabytes Batch Tempo Real Janela de tempo onde podemos usar os dados Estado verdadeiro da realidade Análise Estratégica de Dados
  17. 17. 17 Business decisions Analytics Master data management Data access Data governance Data security Data quality Data integration Data semantics Fonte: Accenture Big Data
  18. 18. Tecnologias para Big Data 18 Fonte: Jordi Torres
  19. 19. 19
  20. 20. 20
  21. 21. 21 Fonte: IBM
  22. 22. Tecnologias para Big Data 22 Fonte: Jordi Torres
  23. 23. 23 Tecnologias para Big Data
  24. 24. 24 “O desafio fundamental para as aplicações de Big Data é explorar os grandes volumes de dados e extrair informações úteis ou conhecimento para futuras ações” Fonte: Rajaraman and Ullman 2012 Análise para Big Data
  25. 25. Homeland Security FinanceSmarter Healthcare Multi-channel sales Telecom Manufacturing Traffic Control Trading Analytics Fraud and Risk Log Analysis Search Quality Retail: Churn, NBO Análise para Big Data: Gera Valor Fonte: Alberto Laender
  26. 26. Big Data: Desafios
  27. 27. 27
  28. 28. Cientista de Dados
  29. 29. Cientista de Dados: Visão Clássica 29 Fonte: W Meira Jr.
  30. 30. Cientista de Dados: Visão NSA 30 Fonte: W Meira Jr.
  31. 31. 31 Fonte: Hilary Mason
  32. 32. Cientista de Dados 32
  33. 33. Novos Sistemas para Big Data 33 Fonte: Jordi Torres
  34. 34. Novos Sistemas para Big Data  Armazenamento • SSD  Processamento • MapReduce  Gerenciamento • NoSQL, NewSQL  Análise • Aprendizagem de máquina • Computação autonômica 34
  35. 35. Novos Sistemas para Big Data 35 Fonte: Walmart
  36. 36. Novos Sistemas para Big Data  Lidem com 6 V’s do Big Data • Heterogeneidade • Análise de padrões temporais • Processamento em tempo real • Alta dimensionalidade dos dados • Incerteza, subjetividade e ambiguidade  Novas tecnologias • Big Data + Cloud  Segurança dos dados • Privacidade
  37. 37. Big Data para Computação Cognitiva 37 Fonte: Jordi Torres
  38. 38. Big Data para Computação Cognitiva 38 Fonte: Jordi Torres
  39. 39. Obrigado! Flávio R. C. Sousa flaviosousa@ufc.br @flaviosousa www.lia.ufc.br/~flavio

×