O documento discute o estudo de Big Data, apresentando os 5V (Volume, Variedade, Veracidade, Valor e Velocidade) e ferramentas como Hadoop, Spark e Airflow. O texto também fornece exemplos de como essas ferramentas podem ser usadas para análises em larga escala e processamento de grandes volumes de dados.

1. BigData
Iniciando meu estudo com Grandes Dados
email: susana.bouchardet@gmail.com
1

2. 2

3. 3

4. ➤Volume: Muitos dados,
desafio de armazenamento.
➤Variedade: diferentes
f o r m a t o s d e d a d o s
estruturados e/ou não.
➤Veracidade: Acurácia e
autenticidade.
➤Valor: Retorno desses
dados para o negócio.
➤Velocidade: Tempo entre
dado gerado e analisado.
BigData
5V

5. Descrição do Problema
Captura de
Dados
Armazenamento
Processamento
Analise

6. 6
GFS
➤Publicado em 2003
➤Revolucionário
➤arquivos em chunks de
64mb
➤cada chunk esta no
mínimo em 3 máquina

7. 7
MapReduce
➤Publicado em 2004
➤modelo para processar
grandes volumes de
dados.
➤Técnica muito usada em
linguagens funcionais

8. 8
MapReduce

9. Deer Bear River
Car Car River
Deer Car Bear
9
MapReduce

10. 10
Hadoop
➤Nasceu no Yahoo em 2006
➤HDFS
➤HadoopMapReduce
➤HadoopYarn
➤Bancos de dados e novos
Frameworks surgiram
baseados nele.

11. 11
Kafka

12. 12
HBase
➤Foi criado para ser usado
com Hadoop
➤Banco Distribuido
➤Distribuído em
Master > RegionServers >
Regions
➤ Orientado por colunas

13. 13
Airflow
➤Criado em 2014 pelo
AirBnB
➤Conceit de DAG:
sequencia de tarefas a
serem executadas em
ordem.
➤ Agendor de DAG’s
➤ Divide a DAG em tasks

14. 14
Airflow

15. 15
Será que a Globo.com precisa
mesmo?

16. 15
Números
3 Bilhões de eventos diários
2 Milhões de conexões simultâneas
50 Milhões de usuários únicos por mês
100 Mil novos conteúdos por mês
100 Mil recomendações por minuto
+20 algoritmos diferentes

17. Pra que tudo isso?

18. Pra que tudo isso?
➤Predição
➤Personalização
➤Saber mais sobre o
público
➤Distribuição mais
inteligente de
publicidade

19. 17
➤Aplicações até 100
vezes mais rápido em
memória e até 10 vezes
mais rápido em disco
➤Nasceu em 2014
➤Foco em velocidade, facilidade de uso e
análises sofisticadas
Spark

20. 18
Spark

21. 19
➤RDD (Resilient Distributed Datasets)
Spark

22. 20
➤RDD
Spark

23. 20
➤RDD
Spark
x: [[1],[2,3]]
y:[1,2,3]

24. 21
➤RDD
Spark

25. 21
➤RDD
Spark
x: [[1],[2,3]]
y: 2

26. 22
➤RDD
Spark

27. 23
Spark
➤RDD

28. 23
x: [‘a','b','c']
y: [(‘a’,1),
(’b’,1),
(’c’,1)]
Spark
➤RDD

29. 24
➤RDD
Spark

30. 24
➤RDD
Spark
x: [1,2,3]
y: [2,3]

31. 25
➤RDD
Spark

32. 25
➤RDD
Spark
x: [[1],[2],
[3],[4]]
y: 10

33. 26
➤RDD
Spark
== ?

34. 26
➤RDD
Spark
== ?
y: 2 y: -4
Porque?

35. 27
➤RDD
Spark

36. 28
Spark
➤RDD

37. 28
x: [1,2,3]
y: [1,1,42,
2,4,42,
3,9,42]
Spark
➤RDD

38. 29
➤RDD
Spark

39. 29
➤RDD
Spark
x: ['a','a','b','b']
y: [('a',2),
('b',2)]

40. 30
➤RDD
Spark

41. 30
➤RDD
Spark
x: [('a',1),
('a',1),
('b',1),
('b',1)]
y: [(‘a’,[1,1]),
(‘b’,[1,1])]

42. 31
Spark
Exemplo

43. 32

44. 33

45. 34

46. 35

47. 36

48. 37
OBRIGADA!
susana bouchardet
@s_bouchardet