O documento discute como a Internet das Coisas (IoT) e Big Data irão mudar a forma como lidamos com a tecnologia, mencionando como essas tecnologias estão relacionadas à Indústria 4.0 e apresentando breves explicações sobre MapReduce, Hadoop e Spark.

1. Indústria 4.0: como a IoT
e Big Data mudarão a
forma como lidamos
com a tecnologia

2. 2
Sobre...
Vinícius Aires Barros
Ciência da Computação 2016 - UFT
Mestrando em Ciência da Computação - ICMC USP
Laboratório de Sistemas Distribuídos e Programação
Concorrente - LaSDPC
Áreas de Interesse: IoT, Distributed Systems,
Big Data (...)
GitHub: @v4ires
Website: http://viniciusaires.me
E-mail: v4ires@gmail.com

3. Contextualização
● Big Data (5V’s)
○ Volume
○ Variedade
○ Velocidade
○ Veracidade
○ Valor
● Internet das Coisas (IoT)
● Grandes Volumes de Dados
● Programação Distribuída e
Paralela
● Dados Estruturados, Não
Estruturados e Semiestruturados
● Bancos de Dados SQL e NoSQL
● MapReduce
● Apache Hadoop, Spark, etc.
3

4. 1. Indústria 4.0
Sistemas Ciber Físicos, Internet das
Coisas e Computação em Nuvem

5. “Indústria 4.0 ou Quarta
Revolução Industrial é uma
expressão que engloba algumas
tecnologias para automação e
troca de dados e utiliza
conceitos de Sistemas
ciber-físicos, Internet das Coisas
e Computação em Nuvem.
5

6. Revoluções Industriais
6

7. Internet das Coisas (IoT)
IoT refere-se à uma nova
abordagem sobre a
interconexão de coisas,
tecnologias e objetos,
através da Internet. Essa
abordagem proporcionou ao
longo do tempo a criação da
rede global de dispositivos.
7

8. Google Trends (IoT vs Big Data)
8
Total de Pesquisas Realizadas no Google em Relação a IoT e
Big Data (Fonte: Google Trends).

9. Expectativas (IoT)
9
Expectativa de Crescimento da IoT.

10. Caso de Usos
▪ Cidades Inteligentes
▪ Casas Inteligentes
▪ Hospitais Inteligentes
▪ Smart Everything
10

11. Dispositivos
11

12. Protocolos de Comunicação
▪ HTTP: Hypertext Transfer Protocol;
▪ MQTT: Message Queuing Telemetry Transport;
▪ CoAP: Constrained Application Protocol.
12

13. Ferramentas
13

14. Desafios
▪ Escalabilidade
▪ Interoperabilidade
▪ Segurança
▪ Aquisição de Dados
▪ Armazenamento
14

15. 2. Big Data
Sinônimo de grande volume de dados?

16. “Big Data é definido como um
conjunto de dados estruturados
ou não estruturados que não
puderam ser percebidos,
adquiridos, gerenciados e
processados pelos modelos
tradicionais de hardware e
software.
16

17. MapReduce
17

18. Casos de Uso
▪ Sistemas de Recomendação
▪ Aprendizagem de Máquina
▪ Processamento de Imagens
▪ Mineração de Dados
▪ etc...
18

19. Ferramentas
19

20. Desafios
▪ Escalabilidade
▪ Dados Complexos
▪ Interoperabilidade
▪ Latência
▪ Velocidade de Escrita
em Disco e de RAM
▪ etc...
20

21. 21
O que é Hadoop?

22. O que é o Hadoop?
O Apache Hadoop é um software de código aberto
mantido pela Apache Foundation que tem como
propósito fornecer uma implementação livre do
modelo de programação MapReduce.
22

23. Hadoop Timeline
23
Nutch Hadoop
(Nutch sub-project)
Hadoop
3.0.0
2002
MapReduce
2003
Google File
System (GFS)
2004 2006 2017
Hadoop 2.2
2010

24. Características
24
❏ Implementação em Java
❏ Arquitetura Mestre Escravo (Master/Slave)
❏ Modelo de Programação MapReduce
❏ Hadoop Distributed File System (HDFS)
❏ Memória Secundária (Disco)
❏ Processamento Distribuído
❏ Escalável
❏ Tolerante a Falhas

25. O que não é?
25
❏ Linguagem de Programação
❏ Biblioteca de Aprendizagem de Máquina
❏ Processamento em Tempo Real
❏ Solução Definitiva
❏ Hadoop ≠ Spark

26. Hadoop Distributed File System
(HDFS)
26

27. Configuração
27
Single Node Multi Node
Documentação Oficial: http://hadoop.apache.org/
CMD’s Básicos

28. Literatura Básica
28

29. 29
O que é Spark?

30. O que é o Spark?
O Apache Spark é um software de código aberto
mantido pela Apache Foundation que tem como
propósito fornecer uma implementação livre e
melhorada do modelo de programação MapReduce.
30

31. Spark Timeline
31
UC Berkeley
Lab
Spark se torna um
projeto Top Level da
Apache
2009
Open Source
2010
Projeto da
Fundação
Apache
2013 2014
Spark 2.2.1
2017

32. Características
32
❏ Implementação em Scala
❏ Arquitetura Mestre Escravo (Master/Slave)
❏ Modelo de Programação MapReduce
❏ Resilient Distributed Dataset (RDD)
❏ Memória Principal (RAM)
❏ Processamento Distribuído
❏ Processamento em Tempo Real
❏ Escalável
❏ Tolerante a Falhas
❏ Integração com HDFS

33. O que não é?
33
❏ Linguagem de Programação
❏ Solução Definitiva
❏ Substituto do Hadoop

34. Arquitetura Spark
34

35. Resilient Distributed Dataset (RDD)
35

36. Quem utiliza?
36

37. Literatura Básica
37

38. Word Count
38

39. 39

40. Obrigado!
Dúvidas?
Contatos:
@v4ires
v4ires@gmail.com
40