Apresentação sobre Big Data para o evento Talk to Them promovido pela qx3 e a Estácio.

1. Bom dia *8)
Talk to Them: Big Data

2. Rodrigo Afonso (Kiko)
Diretor da qx3
kiko@qx3.com.br

3. Nossa apresentação de hoje
Conceituando
Big Data
Exemplo
Aplicação
Big Data
Kiko Braulio Medina
Perguntas
& Respostas
Perguntas
& Respostas

4. Conceituando Big Data

5. Conceituando Big Data
Quem já ouviu falar do termo Big Data?

6. Conceituando Big Data
Quem já ouviu falar do termo Big Data?
Desde quando vocês ouvem esse termo?

7. Conceituando Big Data
Quem já ouviu falar do termo Big Data?
Desde quando vocês ouvem esse termo?
E quem sabe o que é Big Data?

8. Um pouco de História

9. Um pouco de História
300 A.C. – Biblioteca de Alexandria

10. Um pouco de História
300 A.C. – Biblioteca de Alexandria
Epicentro do conhecimento mundial

11. Um pouco de História
300 A.C. – Biblioteca de Alexandria
Epicentro do conhecimento mundial
500.000 papiros (a maior do mundo)

12. Um pouco de História
1944

13. Um pouco de História
1944
Fremont Rider, bibliotecário da
universidade de Wesleyn / EUA

14. Um pouco de História
1944
Fremont Rider, bibliotecário da
universidade de Wesleyn / EUA
Artigo: O Futuro das
Bibliotecas

15. Um pouco de História
1944
Fremont Rider, bibliotecário da
universidade de Wesleyn / EUA
Quantidade de livros dobra a cada 16 anos
Artigo: O Futuro das
Bibliotecas

16. Um pouco de História
1944
Fremont Rider, bibliotecário da
universidade de Wesleyn / EUA
Quantidade de livros dobra a cada 16 anos
Em 2040
Artigo: O Futuro das
Bibliotecas

17. Um pouco de História
1944
Fremont Rider, bibliotecário da
universidade de Wesleyn / EUA
Quantidade de livros dobra a cada 16 anos
Em 2040
Artigo: O Futuro das
Bibliotecas
Biblioteca da Yale University

18. Um pouco de História
1944
Fremont Rider, bibliotecário da
universidade de Wesleyn / EUA
Quantidade de livros dobra a cada 16 anos
Em 2040
Artigo: O Futuro das
Bibliotecas
Biblioteca da Yale University
200.000.000 de volumes

19. Um pouco de História
1944
Fremont Rider, bibliotecário da
universidade de Wesleyn / EUA
Quantidade de livros dobra a cada 16 anos
Em 2040
Artigo: O Futuro das
Bibliotecas
Biblioteca da Yale University
200.000.000 de volumes
10.000 quilômetros de estantes

20. Um pouco de História
1944
Fremont Rider, bibliotecário da
universidade de Wesleyn / EUA
Quantidade de livros dobra a cada 16 anos
Em 2040
Artigo: O Futuro das
Bibliotecas
Biblioteca da Yale University
200.000.000 de volumes
10.000 quilômetros de estantes
6.000 pessoas para organizar

21. Se localizando na história

22. Se localizando na história
1992

23. Se localizando na história
1992
Maior evento mundial até
então para tratar do tema
Ecologia

24. Se localizando na história
1992
Primeiro evento da américa
latina com conexão
dedicada à internet.
Maior evento mundial até
então para tratar do tema
Ecologia

25. Se localizando na história

26. Se localizando na história
1993

27. Se localizando na história
1993
Meus professores não sabiam o que era e-mail

28. Se localizando na história
1993
Meus professores não sabiam o que era e-mail
Mosaic foi liberado pra uso público

29. Se localizando na história
1993
Meus professores não sabiam o que era e-mail
Mosaic foi liberado pra uso público
Começa a era do WWW

30. Se localizando na história
1993
Meus professores não sabiam o que era e-mail
Mosaic foi liberado pra uso público
Começa a era do WWW
Só 20 anos atrás!

31. Um pouco de História

32. Um pouco de História
1995

33. Um pouco de História
1995
Surge o Altavista e o Yahoo

34. Um pouco de História
1995
Surge o Altavista e o Yahoo
1996

35. Um pouco de História
1995
Surge o Altavista e o Yahoo
1996
Jornal IBM: Armazenar dados digitais mais barato que em papel

36. Um pouco de História
1995
Surge o Altavista e o Yahoo
1996
Jornal IBM: Armazenar dados digitais mais barato que em papel
1997

37. Um pouco de História
1995
Surge o Altavista e o Yahoo
1996
Jornal IBM: Armazenar dados digitais mais barato que em papel
1997
Artigo ACM (Assoc. Computer & Machinery) falando o seguinte:

38. Um pouco de História
1995
Surge o Altavista e o Yahoo
1996
Jornal IBM: Armazenar dados digitais mais barato que em papel
1997
Artigo ACM (Assoc. Computer & Machinery) falando o seguinte:
“Visualização (de dados) provê um interessante desafio para sistemas de
computadores: grupos de dados são geralmente muito grandes,
sobrecarregando as capacidades da memória principal, disco local e até
mesmo um disco remoto. Nós chamamos esse problema de Big Data.
Quando grupos de dados não cabem na memória principal, ou mesmo no
disco local.”

39. Um pouco de História

40. Um pouco de História
1998

41. Um pouco de História
1998
Surge Google, com o objetivo de organizar toda a informação do mundo

42. Um pouco de História
1998
Surge Google, com o objetivo de organizar toda a informação do mundo

43. Um pouco de História
1998
Surge Google, com o objetivo de organizar toda a informação do mundo

44. Um pouco de História
1998
Surge Google, com o objetivo de organizar toda a informação do mundo
2001

45. Um pouco de História
1998
Surge Google, com o objetivo de organizar toda a informação do mundo
2001
Wikipedia, a maior enciclopédia do mundo

46. Um pouco de História
1998
Surge Google, com o objetivo de organizar toda a informação do mundo
2001
Wikipedia, a maior enciclopédia do mundo
2005

47. Um pouco de História
1998
Surge Google, com o objetivo de organizar toda a informação do mundo
2001
Wikipedia, a maior enciclopédia do mundo
2005
Youtube, a revolução do video na Internet

48. Um pouco de História
1998
Surge Google, com o objetivo de organizar toda a informação do mundo
2001
Wikipedia, a maior enciclopédia do mundo
2005
Youtube, a revolução do video na Internet
2006

49. Um pouco de História
1998
Surge Google, com o objetivo de organizar toda a informação do mundo
2001
Wikipedia, a maior enciclopédia do mundo
2005
Youtube, a revolução do video na Internet
2006
Twitter, um boom na troca de mensagens com 140 caracteres

50. Um pouco de História
1998
Surge Google, com o objetivo de organizar toda a informação do mundo
2001
Wikipedia, a maior enciclopédia do mundo
2005
Youtube, a revolução do video na Internet
2006
Twitter, um boom na troca de mensagens com 140 caracteres
2007

51. Um pouco de História
1998
Surge Google, com o objetivo de organizar toda a informação do mundo
2001
Wikipedia, a maior enciclopédia do mundo
2005
Youtube, a revolução do video na Internet
2006
Twitter, um boom na troca de mensagens com 140 caracteres
2007
iPhone, uma das maiores revoluções para o Big Data.

52. Um pouco de História
1998
Surge Google, com o objetivo de organizar toda a informação do mundo
2001
Wikipedia, a maior enciclopédia do mundo
2005
Youtube, a revolução do video na Internet
2006
Twitter, um boom na troca de mensagens com 140 caracteres
2007
iPhone, uma das maiores revoluções para o Big Data.
2011 >

53. Um pouco de História
1998
Surge Google, com o objetivo de organizar toda a informação do mundo
2001
Wikipedia, a maior enciclopédia do mundo
2005
Youtube, a revolução do video na Internet
2006
Twitter, um boom na troca de mensagens com 140 caracteres
2007
iPhone, uma das maiores revoluções para o Big Data.
2011 >
O Termo Big Data se torna febre mundial

54. E aí?
Porque isso tudo
é relevante?

55. Bem vindo a Era dos Dados

56. Bem vindo a Era dos Dados
Uma era de transformação radical

57. Bem vindo a Era dos Dados
Uma era de transformação radical
Há 20 anos atrás a internet praticamente não existia

58. Bem vindo a Era dos Dados
Uma era de transformação radical
Há 20 anos atrás a internet praticamente não existia
Hoje, somos bilhões conectados

59. Bem vindo a Era dos Dados
Uma era de transformação radical
Há 20 anos atrás a internet praticamente não existia
Hoje, somos bilhões conectados
Produzindo Exabytes de dados por dia

60. O Universo do Big Data

61. Qual o tamanho do problema?
O Universo do Big Data

62. Qual o tamanho do problema?
O Universo do Big Data

63. O Universo do Big Data

64. O Universo do Big Data
A verdade é….

65. O Universo do Big Data
A verdade é….
…estamos sendo “afogados” por tantos dados!

66. O Universo do Big Data

67. O Universo do Big Data
Mas peraí…

68. O Universo do Big Data
Mas peraí…
Quer dizer que
antes não haviam
tantos dados?

69. O Universo do Big Data
Mas peraí…
Quer dizer que
antes não haviam
tantos dados?
Afinal

70. O Universo do Big Data
Mas peraí…
Quer dizer que
antes não haviam
tantos dados?
Sempre nos comunicamos
Afinal

71. O Universo do Big Data
Mas peraí…
Quer dizer que
antes não haviam
tantos dados?
Sempre nos comunicamos
Sempre criamos informação
Afinal

72. O Universo do Big Data
Mas peraí…
Quer dizer que
antes não haviam
tantos dados?
Sempre nos comunicamos
Sempre criamos informação
Afinal
Sempre vivemos!

73. O Universo do Big Data
Mas peraí…
Quer dizer que
antes não haviam
tantos dados?
Sempre nos comunicamos
Sempre criamos informação
Afinal
Sempre vivemos!
O Que de fato é diferente??

74. O Universo do Big Data

75. O Universo do Big Data
Como solucionar 10.000 Km de estantes?

76. O Universo do Big Data
Como solucionar 10.000 Km de estantes?
Como armazenar, catalogar e buscar
Exabytes de dados…

77. O Universo do Big Data
Como solucionar 10.000 Km de estantes?
Como armazenar, catalogar e buscar
Exabytes de dados…
…gerados diariamente!

78. A Utopia do Big Data

79. A Utopia do Big Data
Se conseguirmos medir tudo no universo, conseguimos prever o futuro.

80. A Utopia do Big Data

81. A Utopia do Big Data

82. A Utopia do Big Data
Isso muda TUDO

83. Mas não é simples!

84. Tecnologias do Big Data

85. Tecnologias do Big Data
Armazenamento:
NoSQL, MongoDB, Solr, Apache Cassandra (Facebook)

86. Tecnologias do Big Data
Armazenamento:
NoSQL, MongoDB, Solr, Apache Cassandra (Facebook)
Processamento Distribuido:
Hadoop, Amazon Web Services, Apache

87. Tecnologias do Big Data
Armazenamento:
NoSQL, MongoDB, Solr, Apache Cassandra (Facebook)
Processamento Distribuido:
Hadoop, Amazon Web Services, Apache
Visualização:
Cognus, Datameer, GotoMetrics

88. Lembra do Google?

89. Lembra do Google?

90. Lembra do Google?

91. Lembra do Google?
Ah, e são 12 desses…só nos EUA

92. E agora que temos a tecnologia?

93. E agora que temos a tecnologia?
Como decifrar esses dados?

94. E agora que temos a tecnologia?
Como decifrar esses dados?
Os algoritmos e fórmulas
matemáticas precisam evoluir!

95. E agora que temos a tecnologia?
Como decifrar esses dados?
Os algoritmos e fórmulas
matemáticas precisam evoluir!
Esqueçam as planilhas excel com dados do IBGE

96. E agora que temos a tecnologia?
Como decifrar esses dados?
Os algoritmos e fórmulas
matemáticas precisam evoluir!
A ciência de análise dos dados
precisa evoluir também!
Esqueçam as planilhas excel com dados do IBGE

97. Um exemplo

98. Um exemplo
LHC: Maior acelerador de partículos já construído

99. Um exemplo
LHC: Maior acelerador de partículos já construído
Túnel de 27 quilômetros

100. Um exemplo
LHC: Maior acelerador de partículos já construído
Túnel de 27 quilômetros
150 milhões de sensores

101. Um exemplo
LHC: Maior acelerador de partículos já construído
Túnel de 27 quilômetros
150 milhões de sensores
600 milhões de colisões / seg

102. Um exemplo
LHC: Maior acelerador de partículos já construído
Túnel de 27 quilômetros
150 milhões de sensores
Captam 40 milhões de dados / seg
600 milhões de colisões / seg

103. Um exemplo
LHC: Maior acelerador de partículos já construído
Túnel de 27 quilômetros
150 milhões de sensores
Captam 40 milhões de dados / seg
600 milhões de colisões / seg
Desses, apenas 100(0,001%) são interessantes

104. Um exemplo
LHC: Maior acelerador de partículos já construído
Túnel de 27 quilômetros
150 milhões de sensores
Captam 40 milhões de dados / seg
600 milhões de colisões / seg
Desses, apenas 100(0,001%) são interessantes
Só esses 100 geram por ano 200 PetaBytes de dados

105. Um exemplo
LHC: Maior acelerador de partículos já construído
Túnel de 27 quilômetros
150 milhões de sensores
Captam 40 milhões de dados / seg
600 milhões de colisões / seg
Desses, apenas 100(0,001%) são interessantes
Só esses 100 geram por ano 200 PetaBytes de dados
Se fosse tudo seriam 500 Exabytes/dia
ou 150Mi petabytes/ano.

106. Um exemplo
LHC: Maior acelerador de partículos já construído
Túnel de 27 quilômetros
150 milhões de sensores
Captam 40 milhões de dados / seg
600 milhões de colisões / seg
Desses, apenas 100(0,001%) são interessantes
Só esses 100 geram por ano 200 PetaBytes de dados
Se fosse tudo seriam 500 Exabytes/dia
ou 150Mi petabytes/ano.
200 x mais que todas as fontes de dados do mundo

107. Como se analisa isso?

108. Como se analisa isso?
O Universo de dados já passou do atômico e do micro-segundo

109. Como se analisa isso?
O Universo de dados já passou do atômico e do micro-segundo
Como achar respostas?

110. Como se analisa isso?
O Universo de dados já passou do atômico e do micro-segundo
Como achar respostas?
O que perguntar?

111. Colocando minhocas na cabeça

112. Colocando minhocas na cabeça
“Not everything that counts can be counted,
not everything that can be counted, counts.”

113. O que é lixo?

114. O que é lixo?

115. Será que é lixo?

116. Será que é lixo?

117. Será que é lixo?

118. Será que é lixo?

119. Será que é lixo?

120. Será que é lixo?

121. Ou será que não?

122. Ou será que não?

123. Ou será que não?
Vamos guardar TUDO daqui pra frente!

124. Finalizando: Dados “anônimos”

125. Finalizando: Dados “anônimos”
Governos e empresas
liberam dados “anônimos”

126. Finalizando: Dados “anônimos”
Evolução de doenças
Governos e empresas
liberam dados “anônimos”

127. Finalizando: Dados “anônimos”
Evolução de doenças
Taxas de criminalidades
Governos e empresas
liberam dados “anônimos”

128. Finalizando: Dados “anônimos”
Evolução de doenças
Taxas de criminalidades
Análise de mercados financeiros
Governos e empresas
liberam dados “anônimos”

129. Finalizando: Dados “anônimos”
Evolução de doenças
Taxas de criminalidades
Análise de mercados financeiros
Governos e empresas
liberam dados “anônimos”

130. Aonde está o limite?

131. Aonde está o limite?
Em um hospital X

132. Aonde está o limite?
Em um hospital X
Homem de 34 anos

133. Aonde está o limite?
Em um hospital X
Homem de 34 anos
Oriental

134. Aonde está o limite?
Em um hospital X
Homem de 34 anos
Oriental
Com tatuagem

135. Aonde está o limite?
Em um hospital X
Homem de 34 anos
Oriental
Com tatuagem
Entrou dia 10/05/2011

136. Aonde está o limite?
Em um hospital X
Homem de 34 anos
Oriental
Com tatuagem
Entrou dia 10/05/2011
Retirou um rim por câncer

137. Aonde está o limite?
Em um hospital X
Homem de 34 anos
Oriental
Com tatuagem
Entrou dia 10/05/2011
Retirou um rim por câncer
Saiu dia 10/06/2011

138. Aonde está o limite?
Em um hospital X
Homem de 34 anos
Oriental
Com tatuagem
Entrou dia 10/05/2011
Retirou um rim por câncer
Saiu dia 10/06/2011

139. Aonde está o limite?

140. Aonde está o limite?
Dados de uma empresa telefônica na Bélgica

141. Aonde está o limite?
Dados de uma empresa telefônica na Bélgica
Com apenas 4 registros por cliente

142. Aonde está o limite?
Dados de uma empresa telefônica na Bélgica
Com apenas 4 registros por cliente
95% de assertividade em quem era a pessoa

143. Aonde está o limite?
Dados de uma empresa telefônica na Bélgica
Com apenas 4 registros por cliente
95% de assertividade em quem era a pessoa
Com apenas 2 ficou em 50%

144. Aonde está o limite?

145. Aonde está o limite?

146. Aonde está o limite?

147. Aonde está o limite?

148. Obrigado
Rodrigo “Kiko” Afonso
kiko@qx3.com.br