O documento discute os desafios e soluções para análise de Big Data em tempo real, incluindo o processamento e armazenamento de grandes volumes de dados, frameworks como Storm e Kinesis, e métodos online para lidar com fluxos contínuos de dados.

1. Big Data em tempo real
Caio Gomes / @caiocgomes
0

3. Pesquisa Cientifica (LHC, Genética, Metereologia, Medicina ...)
Mercado Financeiro
Cultura (livros,revistas, jornais, filmes)
Industria
Governo

4. LHC: PB de dados anuais
NYSE: 2‐3 TB por dia
Facebook: 500 TB por dia!!!

6. processamento
baixa do custo de processamento
descoberta de novos métodos de paralelismo
armazenamento
baixa do custo do GB armazenado
novos formatos de bancos de dados

9. o famigerado mapreduce

10. funciona?
Map
vllsIfrain:Ls[]
a itnomto
itA
vlf:A= B
a
>
vlmp:Ls[]={
a a
itB
fr(ifrain< lsIfrain
o
nomto - itnomto)
yedfifrain
il (nomto)
}
Reduce
vllsIfrain:Ls[]
a itnomto
itA
vlf:(,)= A
a
AA >
/
/
/fauuao nv eeet)
/(cmld, oo lmno
/
/
vlmp:Ls[]={
a a
itB
vlauuao=Nl
a cmld
i
fr(ifrain< lsIfrain
o
nomto - itnomto)
auuao=fauuaoifrain
cmld
(cmld,nomto)
}

12. EMBARASSING PARALLEL

13. lógica de controle única
acesso de arquivos
recuperação de falhas
controle de dependencia

14. separável
paralelizavel
threads
máquinas
extensivel
despadronizado

15. "dado a quantidade de veículos, quanto tempo devo
deixar o farol?"

16. acontecimentos nas ações
influência das outras ações
noticias políticas

17. impossivel pré‐calcular!
condições do momento influênciam o momento!

18. analisar com facilidade dados em tempo real
construir sistema mesmas liberdades mapreduce e hadoop?

19. 1. Como: Desacomplamento
2. O atual: Storm/Kinesis
3. A ciência: Métodos online

20. Servidor/Cliente

21. cliente conhece o servidor
servidor conhece o cliente
a mensagem é enviada especificamente

22. acomplamento do programa
dificuldade de escalabilidade

23. Servidor/Observador

25. observador se coloca numa lista de 'escuta'
servidor ignora a existencia de clientes
quando resultado é atingido, servidor envia para todos escritos na lista
desacoplamento das partes permite que o número de trabalhadores
mude

26. Tolerancia a erros
Controle de carga

27. 1. Como: Desacomplamento
2. O atual: Storm/Kinesis
3. A ciência: Métodos online

28. Streams de dados

29. Batch: banco de dados que permita receber todos esses dados
tempo real: forma de envio que aguente um fluxo constante de
mensagens de diversos tamanhos

30. agnosticidade de linguagem
controle de falhas
controle de en trega

32. 1. Como: Desacomplamento
2. O atual: Storm/Kinesis
3. A ciência: Métodos online

33. como calcular?
"para minha loja, quero saber qual a taxa de venda
de cada produto"
Produto
Game of Thrones
PS4
Wii U
Livro de romance X
Livro de romance X
Hora de venda
11:24:12
11:26:22
ano passado
11:23:12
11:23:33

35. 6 Milhões de arcos
5 pontos por minuto
4.5
BILHÕES
de pontos

36. tempo real leva a necessidade de novos modelos
online: não há a necessidade de memorizar todos estados anteriores
t x)
1( +
)
;1
t x (A M E
= )
; t x(A ME

37. 6 Milhões de arcos
2 por arco
12
milhões
de pontos

39. obrigado!!
Caio Gomes
Diretor de Inovação e Big Data
caio.gomes@apontador.com
@caiocgomes