O documento apresenta os conceitos e desafios do Big Data, discutindo como os dados estão crescendo exponencialmente em volume, velocidade e variedade. Aprensenta as tecnologias necessárias para armazenar, processar e analisar grandes volumes de dados, incluindo MapReduce, NoSQL, aprendizado de máquina e computação em nuvem. Discutem os desafios de lidar com os 6 V's do Big Data e a necessidade de novas abordagens para extrair valor destes dados.

1. Universidade Federal do Ceará
Departamento de Engenharia de Teleinformática
Big Data:
Conceitos e Desafios
Flávio R. C. Sousa
flaviosousa@ufc.br
@flaviosousa
www.lia.ufc.br/~flavio
2015

2. 2

3. Introdução
90% dos dados no mundo hoje foram
produzidos nos últimos dois anos
64 Bilhões de mensagens em 24 horas
100 GB para análise 3 seg/decisão
3
Fonte: IBM/Whatsapp
Os dados armazenados vão crescer
50 vezes mais até 2020

4. Introdução
 Facebook
• 1.2B de usuários
• 1,13 Trilhões de "likes"
• 240B de fotos e 140.3B de relacionamentos
• Crescimento de 7PB por mês
 Youtube
• 100 horas de vídeos adicionado a cada minuto
 Bolsa de valores de Nova Iorque
• + 1 TB de dados a cada sessão do pregão
 Boeing
• 640 TB gerados em um voo transatlântico
 Wal-Mart
• 2,5 PB e 1 milhão de transações/hora
4

5. 5
Introdução
 LHC CERN
• 15 Petabytes por ano
 Sloan Digital Sky Survey
• 10 Petabytes gerados a cada varredura
 Google
• 24 Petabytes processados por dia
640K ought to
be enough for
anybody.

6. 6
Introdução
Up to
10,000
Times
larger
Up to 10,000
times faster
Traditional Data
Warehouse and
Business Intelligence
DataScale
yr mo wk day hr min sec … ms s
Exa
Peta
Tera
Giga
Mega
Kilo
Decision Frequency
Occasional Frequent Real-time
Data in Motion
DataatRest
Telco Promotions
100,000 records/sec, 6B/day
10 ms/decision
270TB for Deep Analytics
Homeland Security
600,000 records/sec, 50B/day
1-2 ms/decision
320TB for Deep Analytics
Fonte: IBM

7. Introdução
7
2.7 ZB = 85 B x 32 GB

8. Os dados são “Grandes”
8
Fonte: Amplab UC Berkeley

9. Dados gerados por IoT
9

10. Os dados são “Sujos”
10
Fonte: Amplab UC Berkeley
 Diversas fontes de dados
 Sem esquema
 Sintaxe e semântica inconsistente

11. Questões “Complexas”
11Fonte: Amplab UC Berkeley
 Perguntas difíceis
• Qual é o impacto no trânsito e no preços das casas
com construção de uma nova ponte?
 Perguntas em tempo real
• Existe um ataque cibernético acontecendo?
 Perguntas em abertas
• Quantos supernovas aconteceram no ano passado?

12. Big Data
12

13. 13
Big Data
Fonte: R. Jiménez-Peris

14. 14
“Big Data é como sexo no colegial:
“Ninguém faz, mas todo mundo diz que faz.
Então todos pensam que alguém está
fazendo e dizem que fazem também”
Big Data
Fonte: Jay Kidd, CTO da NetApp

15. Big Data
 Big Data são dados que excedem o
armazenamento, o processamento e a
capacidade dos sistemas convencionais
• Volume de dados muito grande
• Dados são gerados rapidamente
• Dados não se encaixam nas estruturas de
arquiteturas de sistemas atuais
 Além disso, para obter valor a partir desses
dados, é preciso mudar a forma de
analisá-los
15
Fonte: Jordi Torres

16. 6 V's do Big Data
Valor
Veracidade
VolatilidadeVelocidade
Variedade
Volume
Não-estruturado
Semi-estruturado
Estruturado
Terabytes
…
Exabytes
Batch
Tempo Real Janela de tempo onde
podemos usar os dados
Estado verdadeiro
da realidade
Análise Estratégica de Dados

17. 17
Business
decisions
Analytics
Master data
management
Data access
Data
governance
Data
security
Data quality
Data
integration
Data
semantics
Fonte: Accenture
Big Data

18. Tecnologias para Big Data
18
Fonte: Jordi Torres

19. 19

20. 20

21. 21
Fonte: IBM

22. Tecnologias para Big Data
22
Fonte: Jordi Torres

23. 23
Tecnologias para Big Data

24. 24
“O desafio fundamental para as aplicações de
Big Data é explorar os grandes volumes de
dados e extrair informações úteis ou
conhecimento para futuras ações”
Fonte: Rajaraman and Ullman 2012
Análise para Big Data

25. Homeland Security
FinanceSmarter Healthcare Multi-channel
sales
Telecom
Manufacturing
Traffic Control
Trading
Analytics
Fraud and
Risk
Log Analysis
Search Quality
Retail: Churn,
NBO
Análise para Big Data: Gera Valor
Fonte: Alberto Laender

26. Big Data: Desafios

27. 27

28. Cientista de Dados

29. Cientista de Dados: Visão Clássica
29
Fonte: W Meira Jr.

30. Cientista de Dados: Visão NSA
30
Fonte: W Meira Jr.

31. 31
Fonte: Hilary Mason

32. Cientista de Dados
32

33. Novos Sistemas para Big Data
33
Fonte: Jordi Torres

34. Novos Sistemas para Big Data
 Armazenamento
• SSD
 Processamento
• MapReduce
 Gerenciamento
• NoSQL, NewSQL
 Análise
• Aprendizagem de máquina
• Computação autonômica
34

35. Novos Sistemas para Big Data
35
Fonte: Walmart

36. Novos Sistemas para Big Data
 Lidem com 6 V’s do Big Data
• Heterogeneidade
• Análise de padrões temporais
• Processamento em tempo real
• Alta dimensionalidade dos dados
• Incerteza, subjetividade e ambiguidade
 Novas tecnologias
• Big Data + Cloud
 Segurança dos dados
• Privacidade

37. Big Data para Computação Cognitiva
37
Fonte: Jordi Torres

38. Big Data para Computação Cognitiva
38
Fonte: Jordi Torres

39. Obrigado!
Flávio R. C. Sousa
flaviosousa@ufc.br
@flaviosousa
www.lia.ufc.br/~flavio