O documento discute uma abordagem pragmática para arquitetura lambda, apresentando desafios de processamento de dados em tempo real e em batch em grande escala e como a arquitetura lambda pode ajudar a resolver esses desafios de maneira flexível e de baixo custo. A arquitetura lambda envolve processamento de dados em tempo real e em batch, visões dos dados e consultas ad-hoc e pré-definidas.

1. Umaabordagempragmáticaà
ArquiteturaLambda
DiegoRocha
FullStackdeveloper
at

2. kiwi-Mobilebackendasservice

3. kiwi-Desafios
100M+deeventos/dia
Temporeal Baixocusto
processamentodemétricas

4. Solução?
ArquiteturaLambda

5. ArquiteturaLambda
HowtobeattheCAPtheorem-NathanMarz
- CriadordoStorm
- Ex-engenheiro@Twitter

6. ArquiteturaLambda
Dados
Realtime
Batch
View

7. ArquiteturaLambda
Dados
Realtime
Batch
View
Ad-hocquery
Predefinedquery

8. ArquiteturaLambda
Dados
Realtime
Batch
View

9. Realtime+Batch
Doissistemasbemdiferentesquedevemgerarosmesmosresultados

10. Realtime+Batch
Doissistemasbemdiferentesquedevemgerarosmesmosresultados
Dicas:
- Osfaçafalaramesma“Língua”(vejaoprojetotwitterAlgebird/Summingbird)
- Utilizeosmesmoscasosdetesteparaambos

11. Batchlayer
Relativamentefácildeimplementar
Quasetodasassoluçõesdebigdatasãoembatch

12. Batchlayer
Relativamentefácildeimplementar
Quasetodasassoluçõesdebigdatasãoembatch

13. Realtimelayer
Difícildefazerbem
Problemas:
- Garantiadeprocessamento
- Ordemdeprocessamento
- Baixalatência

14. Realtimelayer
Garantiadeprocessamento
Oquefazerquandonãoseiseoprocessamentoocorreubem?
- Atmostonce
- Atleastonce
- Exactlyonce

15. Realtimelayer
Garantiadeprocessamento
Oquefazerquandonãoseiseoprocessamentoocorreubem?
- Atmostonce(fácil)
- Atleastonce(nãotãofácil)
- Exactlyonce(podenãovalerapena)

16. Realtimelayer
Garantiadeprocessamento
Oquefazerquandonãoseiseoprocessamentoocorreubem?
- Atmostonce
- Atleastonce
- Exactlyonce
Idempotênciapodetesalvar

17. Realtimelayer
Ordemdeprocessamento
Q.:Precisoquemeusdadossejamprocessadosnaordememquesãoproduzidos.Eagora?
R.:Direcionedadosinterdependentessempreparaamesmainstânciadedeprocessamento.

18. Realtimelayer
Ordemdeprocessamento
Q.:Precisoquemeusdadossejamprocessadosnaordememquesãoproduzidos.Eagora?
R.:Direcionedadosinterdependentessempreparaamesmainstânciadedeprocessamento.
Dados
Worker
Worker
Worker

19. Realtimelayer
BaixaLatência
Produçãodedadosnãopodesermaiorqueoconsumo
- ControledefluxoeBackpressure(sobrevivênciaapicos)

20. Realtimelayer
BaixaLatência
Produçãodedadosnãopodesermaiorqueoconsumo
- ControledefluxoeBackpressure(sobrevivênciaapicos)
- Processamentoisolado

21. Realtimelayer
BaixaLatência
Produçãodedadosnãopodesermaiorqueoconsumo
- ControledefluxoeBackpressure(sobrevivênciaapicos)
- Processamentoisolado
- Cuidadocomserviçosexternos(bancodedados,aplicaçõesetc)
- Chamadasassíncronas
- Micro-batching

22. Dicafinal
Monitore!
- Tepermitesaberquandoainfraestruturadeveserescalada
- Identificarquandoerrosforamintroduzidoseonde

23. perguntas?