Big data apresentacao

870 visualizações

Publicada em

Apresentação sobre Big Data para o evento Talk to Them promovido pela qx3 e a Estácio.

Publicada em: Tecnologia
  • Seja o primeiro a comentar

Big data apresentacao

  1. 1. Bom dia *8)Talk to Them: Big Data
  2. 2. Rodrigo Afonso (Kiko)Diretor da qx3kiko@qx3.com.br
  3. 3. Nossa apresentação de hojeConceituandoBig DataExemploAplicaçãoBig DataKiko Braulio MedinaPerguntas& RespostasPerguntas& Respostas
  4. 4. Conceituando Big Data
  5. 5. Conceituando Big DataQuem já ouviu falar do termo Big Data?
  6. 6. Conceituando Big DataQuem já ouviu falar do termo Big Data?Desde quando vocês ouvem esse termo?
  7. 7. Conceituando Big DataQuem já ouviu falar do termo Big Data?Desde quando vocês ouvem esse termo?E quem sabe o que é Big Data?
  8. 8. Um pouco de História
  9. 9. Um pouco de História300 A.C. – Biblioteca de Alexandria
  10. 10. Um pouco de História300 A.C. – Biblioteca de AlexandriaEpicentro do conhecimento mundial
  11. 11. Um pouco de História300 A.C. – Biblioteca de AlexandriaEpicentro do conhecimento mundial500.000 papiros (a maior do mundo)
  12. 12. Um pouco de História1944
  13. 13. Um pouco de História1944Fremont Rider, bibliotecário dauniversidade de Wesleyn / EUA
  14. 14. Um pouco de História1944Fremont Rider, bibliotecário dauniversidade de Wesleyn / EUAArtigo: O Futuro dasBibliotecas
  15. 15. Um pouco de História1944Fremont Rider, bibliotecário dauniversidade de Wesleyn / EUAQuantidade de livros dobra a cada 16 anosArtigo: O Futuro dasBibliotecas
  16. 16. Um pouco de História1944Fremont Rider, bibliotecário dauniversidade de Wesleyn / EUAQuantidade de livros dobra a cada 16 anosEm 2040Artigo: O Futuro dasBibliotecas
  17. 17. Um pouco de História1944Fremont Rider, bibliotecário dauniversidade de Wesleyn / EUAQuantidade de livros dobra a cada 16 anosEm 2040Artigo: O Futuro dasBibliotecasBiblioteca da Yale University
  18. 18. Um pouco de História1944Fremont Rider, bibliotecário dauniversidade de Wesleyn / EUAQuantidade de livros dobra a cada 16 anosEm 2040Artigo: O Futuro dasBibliotecasBiblioteca da Yale University200.000.000 de volumes
  19. 19. Um pouco de História1944Fremont Rider, bibliotecário dauniversidade de Wesleyn / EUAQuantidade de livros dobra a cada 16 anosEm 2040Artigo: O Futuro dasBibliotecasBiblioteca da Yale University200.000.000 de volumes10.000 quilômetros de estantes
  20. 20. Um pouco de História1944Fremont Rider, bibliotecário dauniversidade de Wesleyn / EUAQuantidade de livros dobra a cada 16 anosEm 2040Artigo: O Futuro dasBibliotecasBiblioteca da Yale University200.000.000 de volumes10.000 quilômetros de estantes6.000 pessoas para organizar
  21. 21. Se localizando na história
  22. 22. Se localizando na história1992
  23. 23. Se localizando na história1992Maior evento mundial atéentão para tratar do temaEcologia
  24. 24. Se localizando na história1992Primeiro evento da américalatina com conexãodedicada à internet.Maior evento mundial atéentão para tratar do temaEcologia
  25. 25. Se localizando na história
  26. 26. Se localizando na história1993
  27. 27. Se localizando na história1993Meus professores não sabiam o que era e-mail
  28. 28. Se localizando na história1993Meus professores não sabiam o que era e-mailMosaic foi liberado pra uso público
  29. 29. Se localizando na história1993Meus professores não sabiam o que era e-mailMosaic foi liberado pra uso públicoComeça a era do WWW
  30. 30. Se localizando na história1993Meus professores não sabiam o que era e-mailMosaic foi liberado pra uso públicoComeça a era do WWWSó 20 anos atrás!
  31. 31. Um pouco de História
  32. 32. Um pouco de História1995
  33. 33. Um pouco de História1995Surge o Altavista e o Yahoo
  34. 34. Um pouco de História1995Surge o Altavista e o Yahoo1996
  35. 35. Um pouco de História1995Surge o Altavista e o Yahoo1996Jornal IBM: Armazenar dados digitais mais barato que em papel
  36. 36. Um pouco de História1995Surge o Altavista e o Yahoo1996Jornal IBM: Armazenar dados digitais mais barato que em papel1997
  37. 37. Um pouco de História1995Surge o Altavista e o Yahoo1996Jornal IBM: Armazenar dados digitais mais barato que em papel1997Artigo ACM (Assoc. Computer & Machinery) falando o seguinte:
  38. 38. Um pouco de História1995Surge o Altavista e o Yahoo1996Jornal IBM: Armazenar dados digitais mais barato que em papel1997Artigo ACM (Assoc. Computer & Machinery) falando o seguinte:“Visualização (de dados) provê um interessante desafio para sistemas decomputadores: grupos de dados são geralmente muito grandes,sobrecarregando as capacidades da memória principal, disco local e atémesmo um disco remoto. Nós chamamos esse problema de Big Data.Quando grupos de dados não cabem na memória principal, ou mesmo nodisco local.”
  39. 39. Um pouco de História
  40. 40. Um pouco de História1998
  41. 41. Um pouco de História1998Surge Google, com o objetivo de organizar toda a informação do mundo
  42. 42. Um pouco de História1998Surge Google, com o objetivo de organizar toda a informação do mundo
  43. 43. Um pouco de História1998Surge Google, com o objetivo de organizar toda a informação do mundo
  44. 44. Um pouco de História1998Surge Google, com o objetivo de organizar toda a informação do mundo2001
  45. 45. Um pouco de História1998Surge Google, com o objetivo de organizar toda a informação do mundo2001Wikipedia, a maior enciclopédia do mundo
  46. 46. Um pouco de História1998Surge Google, com o objetivo de organizar toda a informação do mundo2001Wikipedia, a maior enciclopédia do mundo2005
  47. 47. Um pouco de História1998Surge Google, com o objetivo de organizar toda a informação do mundo2001Wikipedia, a maior enciclopédia do mundo2005Youtube, a revolução do video na Internet
  48. 48. Um pouco de História1998Surge Google, com o objetivo de organizar toda a informação do mundo2001Wikipedia, a maior enciclopédia do mundo2005Youtube, a revolução do video na Internet2006
  49. 49. Um pouco de História1998Surge Google, com o objetivo de organizar toda a informação do mundo2001Wikipedia, a maior enciclopédia do mundo2005Youtube, a revolução do video na Internet2006Twitter, um boom na troca de mensagens com 140 caracteres
  50. 50. Um pouco de História1998Surge Google, com o objetivo de organizar toda a informação do mundo2001Wikipedia, a maior enciclopédia do mundo2005Youtube, a revolução do video na Internet2006Twitter, um boom na troca de mensagens com 140 caracteres2007
  51. 51. Um pouco de História1998Surge Google, com o objetivo de organizar toda a informação do mundo2001Wikipedia, a maior enciclopédia do mundo2005Youtube, a revolução do video na Internet2006Twitter, um boom na troca de mensagens com 140 caracteres2007iPhone, uma das maiores revoluções para o Big Data.
  52. 52. Um pouco de História1998Surge Google, com o objetivo de organizar toda a informação do mundo2001Wikipedia, a maior enciclopédia do mundo2005Youtube, a revolução do video na Internet2006Twitter, um boom na troca de mensagens com 140 caracteres2007iPhone, uma das maiores revoluções para o Big Data.2011 >
  53. 53. Um pouco de História1998Surge Google, com o objetivo de organizar toda a informação do mundo2001Wikipedia, a maior enciclopédia do mundo2005Youtube, a revolução do video na Internet2006Twitter, um boom na troca de mensagens com 140 caracteres2007iPhone, uma das maiores revoluções para o Big Data.2011 >O Termo Big Data se torna febre mundial
  54. 54. E aí?Porque isso tudoé relevante?
  55. 55. Bem vindo a Era dos Dados
  56. 56. Bem vindo a Era dos DadosUma era de transformação radical
  57. 57. Bem vindo a Era dos DadosUma era de transformação radicalHá 20 anos atrás a internet praticamente não existia
  58. 58. Bem vindo a Era dos DadosUma era de transformação radicalHá 20 anos atrás a internet praticamente não existiaHoje, somos bilhões conectados
  59. 59. Bem vindo a Era dos DadosUma era de transformação radicalHá 20 anos atrás a internet praticamente não existiaHoje, somos bilhões conectadosProduzindo Exabytes de dados por dia
  60. 60. O Universo do Big Data
  61. 61. Qual o tamanho do problema?O Universo do Big Data
  62. 62. Qual o tamanho do problema?O Universo do Big Data
  63. 63. O Universo do Big Data
  64. 64. O Universo do Big DataA verdade é….
  65. 65. O Universo do Big DataA verdade é….…estamos sendo “afogados” por tantos dados!
  66. 66. O Universo do Big Data
  67. 67. O Universo do Big DataMas peraí…
  68. 68. O Universo do Big DataMas peraí…Quer dizer queantes não haviamtantos dados?
  69. 69. O Universo do Big DataMas peraí…Quer dizer queantes não haviamtantos dados?Afinal
  70. 70. O Universo do Big DataMas peraí…Quer dizer queantes não haviamtantos dados?Sempre nos comunicamosAfinal
  71. 71. O Universo do Big DataMas peraí…Quer dizer queantes não haviamtantos dados?Sempre nos comunicamosSempre criamos informaçãoAfinal
  72. 72. O Universo do Big DataMas peraí…Quer dizer queantes não haviamtantos dados?Sempre nos comunicamosSempre criamos informaçãoAfinalSempre vivemos!
  73. 73. O Universo do Big DataMas peraí…Quer dizer queantes não haviamtantos dados?Sempre nos comunicamosSempre criamos informaçãoAfinalSempre vivemos!O Que de fato é diferente??
  74. 74. O Universo do Big Data
  75. 75. O Universo do Big DataComo solucionar 10.000 Km de estantes?
  76. 76. O Universo do Big DataComo solucionar 10.000 Km de estantes?Como armazenar, catalogar e buscarExabytes de dados…
  77. 77. O Universo do Big DataComo solucionar 10.000 Km de estantes?Como armazenar, catalogar e buscarExabytes de dados……gerados diariamente!
  78. 78. A Utopia do Big Data
  79. 79. A Utopia do Big DataSe conseguirmos medir tudo no universo, conseguimos prever o futuro.
  80. 80. A Utopia do Big Data
  81. 81. A Utopia do Big Data
  82. 82. A Utopia do Big DataIsso muda TUDO
  83. 83. Mas não é simples!
  84. 84. Tecnologias do Big Data
  85. 85. Tecnologias do Big DataArmazenamento:NoSQL, MongoDB, Solr, Apache Cassandra (Facebook)
  86. 86. Tecnologias do Big DataArmazenamento:NoSQL, MongoDB, Solr, Apache Cassandra (Facebook)Processamento Distribuido:Hadoop, Amazon Web Services, Apache
  87. 87. Tecnologias do Big DataArmazenamento:NoSQL, MongoDB, Solr, Apache Cassandra (Facebook)Processamento Distribuido:Hadoop, Amazon Web Services, ApacheVisualização:Cognus, Datameer, GotoMetrics
  88. 88. Lembra do Google?
  89. 89. Lembra do Google?
  90. 90. Lembra do Google?
  91. 91. Lembra do Google?Ah, e são 12 desses…só nos EUA
  92. 92. E agora que temos a tecnologia?
  93. 93. E agora que temos a tecnologia?Como decifrar esses dados?
  94. 94. E agora que temos a tecnologia?Como decifrar esses dados?Os algoritmos e fórmulasmatemáticas precisam evoluir!
  95. 95. E agora que temos a tecnologia?Como decifrar esses dados?Os algoritmos e fórmulasmatemáticas precisam evoluir!Esqueçam as planilhas excel com dados do IBGE
  96. 96. E agora que temos a tecnologia?Como decifrar esses dados?Os algoritmos e fórmulasmatemáticas precisam evoluir!A ciência de análise dos dadosprecisa evoluir também!Esqueçam as planilhas excel com dados do IBGE
  97. 97. Um exemplo
  98. 98. Um exemploLHC: Maior acelerador de partículos já construído
  99. 99. Um exemploLHC: Maior acelerador de partículos já construídoTúnel de 27 quilômetros
  100. 100. Um exemploLHC: Maior acelerador de partículos já construídoTúnel de 27 quilômetros150 milhões de sensores
  101. 101. Um exemploLHC: Maior acelerador de partículos já construídoTúnel de 27 quilômetros150 milhões de sensores600 milhões de colisões / seg
  102. 102. Um exemploLHC: Maior acelerador de partículos já construídoTúnel de 27 quilômetros150 milhões de sensoresCaptam 40 milhões de dados / seg600 milhões de colisões / seg
  103. 103. Um exemploLHC: Maior acelerador de partículos já construídoTúnel de 27 quilômetros150 milhões de sensoresCaptam 40 milhões de dados / seg600 milhões de colisões / segDesses, apenas 100(0,001%) são interessantes
  104. 104. Um exemploLHC: Maior acelerador de partículos já construídoTúnel de 27 quilômetros150 milhões de sensoresCaptam 40 milhões de dados / seg600 milhões de colisões / segDesses, apenas 100(0,001%) são interessantesSó esses 100 geram por ano 200 PetaBytes de dados
  105. 105. Um exemploLHC: Maior acelerador de partículos já construídoTúnel de 27 quilômetros150 milhões de sensoresCaptam 40 milhões de dados / seg600 milhões de colisões / segDesses, apenas 100(0,001%) são interessantesSó esses 100 geram por ano 200 PetaBytes de dadosSe fosse tudo seriam 500 Exabytes/diaou 150Mi petabytes/ano.
  106. 106. Um exemploLHC: Maior acelerador de partículos já construídoTúnel de 27 quilômetros150 milhões de sensoresCaptam 40 milhões de dados / seg600 milhões de colisões / segDesses, apenas 100(0,001%) são interessantesSó esses 100 geram por ano 200 PetaBytes de dadosSe fosse tudo seriam 500 Exabytes/diaou 150Mi petabytes/ano.200 x mais que todas as fontes de dados do mundo
  107. 107. Como se analisa isso?
  108. 108. Como se analisa isso?O Universo de dados já passou do atômico e do micro-segundo
  109. 109. Como se analisa isso?O Universo de dados já passou do atômico e do micro-segundoComo achar respostas?
  110. 110. Como se analisa isso?O Universo de dados já passou do atômico e do micro-segundoComo achar respostas?O que perguntar?
  111. 111. Colocando minhocas na cabeça
  112. 112. Colocando minhocas na cabeça“Not everything that counts can be counted,not everything that can be counted, counts.”
  113. 113. O que é lixo?
  114. 114. O que é lixo?
  115. 115. Será que é lixo?
  116. 116. Será que é lixo?
  117. 117. Será que é lixo?
  118. 118. Será que é lixo?
  119. 119. Será que é lixo?
  120. 120. Será que é lixo?
  121. 121. Ou será que não?
  122. 122. Ou será que não?
  123. 123. Ou será que não?Vamos guardar TUDO daqui pra frente!
  124. 124. Finalizando: Dados “anônimos”
  125. 125. Finalizando: Dados “anônimos”Governos e empresasliberam dados “anônimos”
  126. 126. Finalizando: Dados “anônimos”Evolução de doençasGovernos e empresasliberam dados “anônimos”
  127. 127. Finalizando: Dados “anônimos”Evolução de doençasTaxas de criminalidadesGovernos e empresasliberam dados “anônimos”
  128. 128. Finalizando: Dados “anônimos”Evolução de doençasTaxas de criminalidadesAnálise de mercados financeirosGovernos e empresasliberam dados “anônimos”
  129. 129. Finalizando: Dados “anônimos”Evolução de doençasTaxas de criminalidadesAnálise de mercados financeirosGovernos e empresasliberam dados “anônimos”
  130. 130. Aonde está o limite?
  131. 131. Aonde está o limite?Em um hospital X
  132. 132. Aonde está o limite?Em um hospital XHomem de 34 anos
  133. 133. Aonde está o limite?Em um hospital XHomem de 34 anosOriental
  134. 134. Aonde está o limite?Em um hospital XHomem de 34 anosOrientalCom tatuagem
  135. 135. Aonde está o limite?Em um hospital XHomem de 34 anosOrientalCom tatuagemEntrou dia 10/05/2011
  136. 136. Aonde está o limite?Em um hospital XHomem de 34 anosOrientalCom tatuagemEntrou dia 10/05/2011Retirou um rim por câncer
  137. 137. Aonde está o limite?Em um hospital XHomem de 34 anosOrientalCom tatuagemEntrou dia 10/05/2011Retirou um rim por câncerSaiu dia 10/06/2011
  138. 138. Aonde está o limite?Em um hospital XHomem de 34 anosOrientalCom tatuagemEntrou dia 10/05/2011Retirou um rim por câncerSaiu dia 10/06/2011
  139. 139. Aonde está o limite?
  140. 140. Aonde está o limite?Dados de uma empresa telefônica na Bélgica
  141. 141. Aonde está o limite?Dados de uma empresa telefônica na BélgicaCom apenas 4 registros por cliente
  142. 142. Aonde está o limite?Dados de uma empresa telefônica na BélgicaCom apenas 4 registros por cliente95% de assertividade em quem era a pessoa
  143. 143. Aonde está o limite?Dados de uma empresa telefônica na BélgicaCom apenas 4 registros por cliente95% de assertividade em quem era a pessoaCom apenas 2 ficou em 50%
  144. 144. Aonde está o limite?
  145. 145. Aonde está o limite?
  146. 146. Aonde está o limite?
  147. 147. Aonde está o limite?
  148. 148. ObrigadoRodrigo “Kiko” Afonsokiko@qx3.com.br

×