O documento descreve as principais tecnologias de Big Data, incluindo Hadoop, MapReduce, HDFS e como empresas como Netflix, Uber e Facebook utilizam essas tecnologias para extrair insights valiosos de grandes volumes de dados.

1. Big Data e Hadoop
- O poder da informação
12/05/2017

2. 2 © Hortonworks Inc. 2017. All Rights Reserved2
Thiago Santiago
Engenheiro de Soluções Hadoop na Hortonworks
• 10 anos de experiência profissional de TI em desenvolvimento e arquitetura e aplicações.
• Experiência em Plataformas DataGrid, Soluções NoSQL e arquiteturas distribuídas de computação e
GoF Design Patterns
• Experiência em ALM (Application Lifecycle Management) e CI (Continuous integration)
Projetos em BigData
• Vivo
• TIM
• Banco do Brasil
• B2W

3. 3 © Hortonworks Inc. 2017. All Rights Reserved
The Buzzword…

4. 4 © Hortonworks Inc. 2017. All Rights Reserved
BigData Implícito…

5. 5 © Hortonworks Inc. 2017. All Rights Reserved

6. 6 © Hortonworks Inc. 2017. All Rights Reserved
O que é BigData?

7. 7 © Hortonworks Inc. 2017. All Rights Reserved
O Big Data procura responder a perguntas como: Por quê? E se? O que
acontecerá? Como otimizar? E fornecer novos insights
O intuito final é apenas um: dominar a informação!
Big Data é baseado em 3 pilares:
Veracidade e Valor

8. 8 © Hortonworks Inc. 2017. All Rights Reserved
Informação é poder!

9. 9 © Hortonworks Inc. 2017. All Rights Reserved

10. 10 © Hortonworks Inc. 2017. All Rights Reserved

11. 11 © Hortonworks Inc. 2017. All Rights Reserved
Informação é poder!

12. 12 © Hortonworks Inc. 2017. All Rights Reserved
?
Quantas vezes Homens e
mulheres no Tinder movem
seus dedos para a esquerda e
direita nas telas de seus
dispositivos por minuto?

13. 13 © Hortonworks Inc. 2017. All Rights Reserved
Mudança de era…
Papa Bento
Papa Francisco

14. 14 © Hortonworks Inc. 2017. All Rights Reserved
8ZB
DATAINTERNET
OF
ANYTHING
44ZB
DATA
2020
14 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
Byte
Kilobyte (KB)
Megabyte (MB)
Gigabyte (GB)
Terabyte (TB)
Petabyte (PB)
Exabyte (EB)
Zettabyte (ZB)

15. 15 © Hortonworks Inc. 2017. All Rights Reserved
Como analisar essa quantidade de informação?

16. 16 © Hortonworks Inc. 2017. All Rights Reserved
Hadoop
https://pt.wikipedia.org/wiki/Hadoop
Plataforma de software em Java de computação distribuída voltada para clusters e processamento de grandes
massas de dados.
Foi inspirada no MapReduce e no GoogleFS (GFS). Trata-se de um projeto da Apache de alto nível, que vai
sendo construído por uma comunidade de contribuidores Java.
O Yahoo! tem sido o maior contribuidor do projeto, utilizando essa plataforma intensivamente em seus
negócios.

17. 17 © Hortonworks Inc. 2017. All Rights Reserved
O que é
MapReduce?

18. 18 © Hortonworks Inc. 2017. All Rights Reserved
Evolução do Hadoop

19. 19 © Hortonworks Inc. 2017. All Rights Reserved
Ecosistema
Hadoop

20. 20 © Hortonworks Inc. 2017. All Rights Reserved
Players

21. 21 © Hortonworks Inc. 2017. All Rights Reserved
Possibilitar que clientes consigam extrair informações valiosas de
dados complexos em soluções escaláveis e confiáveis.
O que fazem os grandes com Hadoop?
Qual a função de uma distribuição hadoop?

22. 22 © Hortonworks Inc. 2017. All Rights Reserved
Apenas um dos vários clusters Hadoop operados pela empresa abrange mais
de 4.000 máquinas.
Facebook Messager no Apache Hadoop HBase platform para suportar bilhões
de mensagens por dia.
Usam Hive para os reports e análise de grandes conjuntos de dados.

23. 23 © Hortonworks Inc. 2017. All Rights Reserved
Foi o primeiro a oferecer a opção “o que outros compraram também”,
obtendo instantaneamente vantagem competitiva com relação a seus
concorrentes;

24. 24 © Hortonworks Inc. 2017. All Rights Reserved
Utiliza Hadoop para sugerir automaticamente conteúdo a seus usuários
baseado no que foi assistido anteriormente.
Talvez o melhor exemplo de sucesso de Big Data, o Netflix passou a não
somente oferecer sugestões de conteúdo similar, mas sim produzir
conteúdo direcionado para as preferências das massas, de acordo com o
que vem “aprendendo” ao longo dos anos.

25. 25 © Hortonworks Inc. 2017. All Rights Reserved
“Aprende” sobre a rotina diária das pessoas, e sugere automaticamente meios
de transporte, restaurantes, opções de entretenimento, entre outras coisas,
baseando-se no comportamento individual de cada um.

26. 26 © Hortonworks Inc. 2017. All Rights Reserved
Analisa em tempo real a situação do trânsito das cidades, e sugere o caminho
mais rápido, baseado no feedback dos usuários e de análises de velocidade de
deslocamento informados automaticamente pelos dispositivos conectados;

27. 27 © Hortonworks Inc. 2017. All Rights Reserved
O site de namoro online recentemente atualizou seu ambiente na nuvem,
usando Hadoop e os processadores Intel Xeon E5 para analisar um volume
massivo e variado de dados. A tecnologia ajuda a eHarmony a disponibilizar
novas combinações a milhões de pessoas diariamente. O novo ambiente
cloud acomoda análises mais complexas, criando resultados mais
personalizados e aumentando a chance de sucesso nos relacionamentos.

29. 29 © Hortonworks Inc. 2017. All Rights Reserved
Flink
BigData ou Pokemon?
Spark

30. 30 © Hortonworks Inc. 2017. All Rights Reserved
Jirachi
BigData ou Pokemon?

31. 31 © Hortonworks Inc. 2017. All Rights Reserved
Pangol
BigData ou Pokemon?
MapReduce

32. 32 © Hortonworks Inc. 2017. All Rights Reserved
Akiban
BigData ou Pokemon?
Data Base

33. 33 © Hortonworks Inc. 2017. All Rights Reserved
Spoink
BigData ou Pokemon?

34. 34 © Hortonworks Inc. 2017. All Rights Reserved
Seahorse
BigData ou Pokemon?
Spark

35. 35 © Hortonworks Inc. 2017. All Rights Reserved
Summingbird
BigData ou Pokemon?
Storm

36. Obrigado!
tsantiago@hortonworks.com
www.linkedin.com/in/thiagosantiago
(11) 9-9298-9601