Big Data

670 visualizações

Publicada em

Apresentação de nosso diretor Rodrigo Afonso (Kiko) no 3T | Talk To Them. Um evento cuja realização foi da qx3 e Universidade Estacio

Publicada em: Tecnologia
0 comentários
2 gostaram
Estatísticas
Notas
  • Seja o primeiro a comentar

Sem downloads
Visualizações
Visualizações totais
670
No SlideShare
0
A partir de incorporações
0
Número de incorporações
2
Ações
Compartilhamentos
0
Downloads
0
Comentários
0
Gostaram
2
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide
  • ----- Meeting Notes (07/06/13 22:59) -----BOM DIA
  • ----- Meeting Notes (07/06/13 22:59) -----Apresentar KikoAgradecer envolvidos e estácioAgradecer o BráulioAgradecer público, sabado de sol.
  • ----- Meeting Notes (07/06/13 22:59) -----Apresentar divisão da apresentação
  • ----- Meeting Notes (07/06/13 22:59) -----Quem ja ouviu falar?Desde quando ouvem falar?Quem sabe o que é?Espero q no fim mais mãos levantem :)Pra entender o problema que o big data ataca…história
  • ----- Meeting Notes (07/06/13 22:59) -----Quem ja ouviu falar?Desde quando ouvem falar?Quem sabe o que é?Espero q no fim mais mãos levantem :)Pra entender o problema que o big data ataca…história
  • ----- Meeting Notes (07/06/13 22:59) -----Quem ja ouviu falar?Desde quando ouvem falar?Quem sabe o que é?Espero q no fim mais mãos levantem :)Pra entender o problema que o big data ataca…história
  • ----- Meeting Notes (07/06/13 22:59) -----Quem ja ouviu falar?Desde quando ouvem falar?Quem sabe o que é?Espero q no fim mais mãos levantem :)Pra entender o problema que o big data ataca…história
  • Big Data

    1. 1. Bom dia *8)Talk to Them: Big Data
    2. 2. Rodrigo Afonso (Kiko)Diretor da qx3kiko@qx3.com.br
    3. 3. Nossa apresentação de hojeConceituandoBig DataExemploAplicaçãoBig DataKiko Braulio MedinaPerguntas& RespostasPerguntas& Respostas
    4. 4. Conceituando Big Data
    5. 5. Conceituando Big DataQuem já ouviu falar do termo Big Data?
    6. 6. Conceituando Big DataQuem já ouviu falar do termo Big Data?Desde quando vocês ouvem esse termo?
    7. 7. Conceituando Big DataQuem já ouviu falar do termo Big Data?Desde quando vocês ouvem esse termo?E quem sabe o que é Big Data?
    8. 8. Um pouco de História
    9. 9. Um pouco de História300 A.C. – Biblioteca de Alexandria
    10. 10. Um pouco de História300 A.C. – Biblioteca de AlexandriaEpicentro do conhecimento mundial
    11. 11. Um pouco de História300 A.C. – Biblioteca de AlexandriaEpicentro do conhecimento mundial500.000 papiros (a maior do mundo)
    12. 12. Um pouco de História1944
    13. 13. Um pouco de História1944Fremont Rider, bibliotecário dauniversidade de Wesleyn / EUA
    14. 14. Um pouco de História1944Fremont Rider, bibliotecário dauniversidade de Wesleyn / EUAArtigo: O Futuro dasBibliotecas
    15. 15. Um pouco de História1944Fremont Rider, bibliotecário dauniversidade de Wesleyn / EUAQuantidade de livros dobra a cada 16 anosArtigo: O Futuro dasBibliotecas
    16. 16. Um pouco de História1944Fremont Rider, bibliotecário dauniversidade de Wesleyn / EUAQuantidade de livros dobra a cada 16 anosEm 2040Artigo: O Futuro dasBibliotecas
    17. 17. Um pouco de História1944Fremont Rider, bibliotecário dauniversidade de Wesleyn / EUAQuantidade de livros dobra a cada 16 anosEm 2040Artigo: O Futuro dasBibliotecasBiblioteca da Yale University
    18. 18. Um pouco de História1944Fremont Rider, bibliotecário dauniversidade de Wesleyn / EUAQuantidade de livros dobra a cada 16 anosEm 2040Artigo: O Futuro dasBibliotecasBiblioteca da Yale University200.000.000 de volumes
    19. 19. Um pouco de História1944Fremont Rider, bibliotecário dauniversidade de Wesleyn / EUAQuantidade de livros dobra a cada 16 anosEm 2040Artigo: O Futuro dasBibliotecasBiblioteca da Yale University200.000.000 de volumes10.000 quilômetros de estantes
    20. 20. Um pouco de História1944Fremont Rider, bibliotecário dauniversidade de Wesleyn / EUAQuantidade de livros dobra a cada 16 anosEm 2040Artigo: O Futuro dasBibliotecasBiblioteca da Yale University200.000.000 de volumes10.000 quilômetros de estantes6.000 pessoas para organizar
    21. 21. Se localizando na história
    22. 22. Se localizando na história1992
    23. 23. Se localizando na história1992Maior evento mundial atéentão para tratar do temaEcologia
    24. 24. Se localizando na história1992Primeiro evento da américalatina com conexãodedicada à internet.Maior evento mundial atéentão para tratar do temaEcologia
    25. 25. Se localizando na história
    26. 26. Se localizando na história1993
    27. 27. Se localizando na história1993Meus professores não sabiam o que era e-mail
    28. 28. Se localizando na história1993Meus professores não sabiam o que era e-mailMosaic foi liberado pra uso público
    29. 29. Se localizando na história1993Meus professores não sabiam o que era e-mailMosaic foi liberado pra uso públicoComeça a era do WWW
    30. 30. Se localizando na história1993Meus professores não sabiam o que era e-mailMosaic foi liberado pra uso públicoComeça a era do WWWSó 20 anos atrás!
    31. 31. Um pouco de História
    32. 32. Um pouco de História1995
    33. 33. Um pouco de História1995Surge o Altavista e o Yahoo
    34. 34. Um pouco de História1995Surge o Altavista e o Yahoo1996
    35. 35. Um pouco de História1995Surge o Altavista e o Yahoo1996Jornal IBM: Armazenar dados digitais mais barato que em papel
    36. 36. Um pouco de História1995Surge o Altavista e o Yahoo1996Jornal IBM: Armazenar dados digitais mais barato que em papel1997
    37. 37. Um pouco de História1995Surge o Altavista e o Yahoo1996Jornal IBM: Armazenar dados digitais mais barato que em papel1997Artigo ACM (Assoc. Computer & Machinery) falando o seguinte:
    38. 38. Um pouco de História1995Surge o Altavista e o Yahoo1996Jornal IBM: Armazenar dados digitais mais barato que em papel1997Artigo ACM (Assoc. Computer & Machinery) falando o seguinte:“Visualização (de dados) provê um interessante desafio para sistemas decomputadores: grupos de dados são geralmente muitograndes, sobrecarregando as capacidades da memória principal, disco locale até mesmo um disco remoto. Nós chamamos esse problema de Big Data.Quando grupos de dados não cabem na memória principal, ou mesmo nodisco local.”
    39. 39. Um pouco de História
    40. 40. Um pouco de História1998
    41. 41. Um pouco de História1998Surge Google, com o objetivo de organizar toda a informação do mundo
    42. 42. Um pouco de História1998Surge Google, com o objetivo de organizar toda a informação do mundo
    43. 43. Um pouco de História1998Surge Google, com o objetivo de organizar toda a informação do mundo
    44. 44. Um pouco de História1998Surge Google, com o objetivo de organizar toda a informação do mundo2001
    45. 45. Um pouco de História1998Surge Google, com o objetivo de organizar toda a informação do mundo2001Wikipedia, a maior enciclopédia do mundo
    46. 46. Um pouco de História1998Surge Google, com o objetivo de organizar toda a informação do mundo2001Wikipedia, a maior enciclopédia do mundo2005
    47. 47. Um pouco de História1998Surge Google, com o objetivo de organizar toda a informação do mundo2001Wikipedia, a maior enciclopédia do mundo2005Youtube, a revolução do video na Internet
    48. 48. Um pouco de História1998Surge Google, com o objetivo de organizar toda a informação do mundo2001Wikipedia, a maior enciclopédia do mundo2005Youtube, a revolução do video na Internet2006
    49. 49. Um pouco de História1998Surge Google, com o objetivo de organizar toda a informação do mundo2001Wikipedia, a maior enciclopédia do mundo2005Youtube, a revolução do video na Internet2006Twitter, um boom na troca de mensagens com 140 caracteres
    50. 50. Um pouco de História1998Surge Google, com o objetivo de organizar toda a informação do mundo2001Wikipedia, a maior enciclopédia do mundo2005Youtube, a revolução do video na Internet2006Twitter, um boom na troca de mensagens com 140 caracteres2007
    51. 51. Um pouco de História1998Surge Google, com o objetivo de organizar toda a informação do mundo2001Wikipedia, a maior enciclopédia do mundo2005Youtube, a revolução do video na Internet2006Twitter, um boom na troca de mensagens com 140 caracteres2007iPhone, uma das maiores revoluções para o Big Data.
    52. 52. Um pouco de História1998Surge Google, com o objetivo de organizar toda a informação do mundo2001Wikipedia, a maior enciclopédia do mundo2005Youtube, a revolução do video na Internet2006Twitter, um boom na troca de mensagens com 140 caracteres2007iPhone, uma das maiores revoluções para o Big Data.2011 >
    53. 53. Um pouco de História1998Surge Google, com o objetivo de organizar toda a informação do mundo2001Wikipedia, a maior enciclopédia do mundo2005Youtube, a revolução do video na Internet2006Twitter, um boom na troca de mensagens com 140 caracteres2007iPhone, uma das maiores revoluções para o Big Data.2011 >O Termo Big Data se torna febre mundial
    54. 54. E aí?Porque isso tudoé relevante?
    55. 55. Bem vindo a Era dos Dados
    56. 56. Bem vindo a Era dos DadosUma era de transformação radical
    57. 57. Bem vindo a Era dos DadosUma era de transformação radicalHá 20 anos atrás a internet praticamente não existia
    58. 58. Bem vindo a Era dos DadosUma era de transformação radicalHá 20 anos atrás a internet praticamente não existiaHoje, somos bilhões conectados
    59. 59. Bem vindo a Era dos DadosUma era de transformação radicalHá 20 anos atrás a internet praticamente não existiaHoje, somos bilhões conectadosProduzindo Exabytes de dados por dia
    60. 60. O Universo do Big Data
    61. 61. Qual o tamanho do problema?O Universo do Big Data
    62. 62. Qual o tamanho do problema?O Universo do Big Data
    63. 63. O Universo do Big Data
    64. 64. O Universo do Big DataA verdade é….
    65. 65. O Universo do Big DataA verdade é….…estamos sendo “afogados” por tantos dados!
    66. 66. O Universo do Big Data
    67. 67. O Universo do Big DataMas peraí…
    68. 68. O Universo do Big DataMas peraí…Quer dizer queantes não haviamtantos dados?
    69. 69. O Universo do Big DataMas peraí…Quer dizer queantes não haviamtantos dados?Afinal
    70. 70. O Universo do Big DataMas peraí…Quer dizer queantes não haviamtantos dados?Sempre nos comunicamosAfinal
    71. 71. O Universo do Big DataMas peraí…Quer dizer queantes não haviamtantos dados?Sempre nos comunicamosSempre criamos informaçãoAfinal
    72. 72. O Universo do Big DataMas peraí…Quer dizer queantes não haviamtantos dados?Sempre nos comunicamosSempre criamos informaçãoAfinalSempre vivemos!
    73. 73. O Universo do Big DataMas peraí…Quer dizer queantes não haviamtantos dados?Sempre nos comunicamosSempre criamos informaçãoAfinalSempre vivemos!O Que de fato é diferente??
    74. 74. O Universo do Big Data
    75. 75. O Universo do Big DataComo solucionar 10.000 Km de estantes?
    76. 76. O Universo do Big DataComo solucionar 10.000 Km de estantes?Como armazenar, catalogar e buscarExabytes de dados…
    77. 77. O Universo do Big DataComo solucionar 10.000 Km de estantes?Como armazenar, catalogar e buscarExabytes de dados……gerados diariamente!
    78. 78. A Utopia do Big Data
    79. 79. A Utopia do Big DataSe conseguirmos medir tudo no universo, conseguimos prever o futuro.
    80. 80. A Utopia do Big Data
    81. 81. A Utopia do Big Data
    82. 82. A Utopia do Big DataIsso muda TUDO
    83. 83. Mas não é simples!
    84. 84. Tecnologias do Big Data
    85. 85. Tecnologias do Big DataArmazenamento:NoSQL, MongoDB, Solr, Apache Cassandra (Facebook)
    86. 86. Tecnologias do Big DataArmazenamento:NoSQL, MongoDB, Solr, Apache Cassandra (Facebook)Processamento Distribuido:Hadoop, Amazon Web Services, Apache
    87. 87. Tecnologias do Big DataArmazenamento:NoSQL, MongoDB, Solr, Apache Cassandra (Facebook)Processamento Distribuido:Hadoop, Amazon Web Services, ApacheVisualização:Cognus, Datameer, GotoMetrics
    88. 88. Lembra do Google?
    89. 89. Lembra do Google?
    90. 90. Lembra do Google?
    91. 91. Lembra do Google?Ah, e são 12 desses…só nos EUA
    92. 92. E agora que temos a tecnologia?
    93. 93. E agora que temos a tecnologia?Como decifrar esses dados?
    94. 94. E agora que temos a tecnologia?Como decifrar esses dados?Os algoritmos e fórmulasmatemáticas precisam evoluir!
    95. 95. E agora que temos a tecnologia?Como decifrar esses dados?Os algoritmos e fórmulasmatemáticas precisam evoluir!Esqueçam as planilhas excel com dados do IBGE
    96. 96. E agora que temos a tecnologia?Como decifrar esses dados?Os algoritmos e fórmulasmatemáticas precisam evoluir!A ciência de análise dos dadosprecisa evoluir também!Esqueçam as planilhas excel com dados do IBGE
    97. 97. Um exemplo
    98. 98. Um exemploLHC: Maior acelerador de partículos já construído
    99. 99. Um exemploLHC: Maior acelerador de partículos já construídoTúnel de 27 quilômetros
    100. 100. Um exemploLHC: Maior acelerador de partículos já construídoTúnel de 27 quilômetros150 milhões de sensores
    101. 101. Um exemploLHC: Maior acelerador de partículos já construídoTúnel de 27 quilômetros150 milhões de sensores600 milhões de colisões / seg
    102. 102. Um exemploLHC: Maior acelerador de partículos já construídoTúnel de 27 quilômetros150 milhões de sensoresCaptam 40 milhões de dados / seg600 milhões de colisões / seg
    103. 103. Um exemploLHC: Maior acelerador de partículos já construídoTúnel de 27 quilômetros150 milhões de sensoresCaptam 40 milhões de dados / seg600 milhões de colisões / segDesses, apenas 100(0,001%) são interessantes
    104. 104. Um exemploLHC: Maior acelerador de partículos já construídoTúnel de 27 quilômetros150 milhões de sensoresCaptam 40 milhões de dados / seg600 milhões de colisões / segDesses, apenas 100(0,001%) são interessantesSó esses 100 geram por ano 200 PetaBytes de dados
    105. 105. Um exemploLHC: Maior acelerador de partículos já construídoTúnel de 27 quilômetros150 milhões de sensoresCaptam 40 milhões de dados / seg600 milhões de colisões / segDesses, apenas 100(0,001%) são interessantesSó esses 100 geram por ano 200 PetaBytes de dadosSe fosse tudo seriam 500 Exabytes/diaou 150Mi petabytes/ano.
    106. 106. Um exemploLHC: Maior acelerador de partículos já construídoTúnel de 27 quilômetros150 milhões de sensoresCaptam 40 milhões de dados / seg600 milhões de colisões / segDesses, apenas 100(0,001%) são interessantesSó esses 100 geram por ano 200 PetaBytes de dadosSe fosse tudo seriam 500 Exabytes/diaou 150Mi petabytes/ano.200 x mais que todas as fontes de dados do mundo
    107. 107. Como se analisa isso?
    108. 108. Como se analisa isso?O Universo de dados já passou do atômico e do micro-segundo
    109. 109. Como se analisa isso?O Universo de dados já passou do atômico e do micro-segundoComo achar respostas?
    110. 110. Como se analisa isso?O Universo de dados já passou do atômico e do micro-segundoComo achar respostas?O que perguntar?
    111. 111. Colocando minhocas na cabeça
    112. 112. Colocando minhocas na cabeça“Not everything that counts can be counted,not everything that can be counted, counts.”
    113. 113. O que é lixo?
    114. 114. O que é lixo?
    115. 115. Será que é lixo?
    116. 116. Será que é lixo?
    117. 117. Será que é lixo?
    118. 118. Será que é lixo?
    119. 119. Será que é lixo?
    120. 120. Será que é lixo?
    121. 121. Ou será que não?
    122. 122. Ou será que não?
    123. 123. Ou será que não?Vamos guardar TUDO daqui pra frente!
    124. 124. Finalizando: Dados “anônimos”
    125. 125. Finalizando: Dados “anônimos”Governos e empresasliberam dados “anônimos”
    126. 126. Finalizando: Dados “anônimos”Evolução de doençasGovernos e empresasliberam dados “anônimos”
    127. 127. Finalizando: Dados “anônimos”Evolução de doençasTaxas de criminalidadesGovernos e empresasliberam dados “anônimos”
    128. 128. Finalizando: Dados “anônimos”Evolução de doençasTaxas de criminalidadesAnálise de mercados financeirosGovernos e empresasliberam dados “anônimos”
    129. 129. Finalizando: Dados “anônimos”Evolução de doençasTaxas de criminalidadesAnálise de mercados financeirosGovernos e empresasliberam dados “anônimos”
    130. 130. Aonde está o limite?
    131. 131. Aonde está o limite?Em um hospital X
    132. 132. Aonde está o limite?Em um hospital XHomem de 34 anos
    133. 133. Aonde está o limite?Em um hospital XHomem de 34 anosOriental
    134. 134. Aonde está o limite?Em um hospital XHomem de 34 anosOrientalCom tatuagem
    135. 135. Aonde está o limite?Em um hospital XHomem de 34 anosOrientalCom tatuagemEntrou dia 10/05/2011
    136. 136. Aonde está o limite?Em um hospital XHomem de 34 anosOrientalCom tatuagemEntrou dia 10/05/2011Retirou um rim por câncer
    137. 137. Aonde está o limite?Em um hospital XHomem de 34 anosOrientalCom tatuagemEntrou dia 10/05/2011Retirou um rim por câncerSaiu dia 10/06/2011
    138. 138. Aonde está o limite?Em um hospital XHomem de 34 anosOrientalCom tatuagemEntrou dia 10/05/2011Retirou um rim por câncerSaiu dia 10/06/2011
    139. 139. Aonde está o limite?
    140. 140. Aonde está o limite?Dados de uma empresa telefônica na Bélgica
    141. 141. Aonde está o limite?Dados de uma empresa telefônica na BélgicaCom apenas 4 registros por cliente
    142. 142. Aonde está o limite?Dados de uma empresa telefônica na BélgicaCom apenas 4 registros por cliente95% de assertividade em quem era a pessoa
    143. 143. Aonde está o limite?Dados de uma empresa telefônica na BélgicaCom apenas 4 registros por cliente95% de assertividade em quem era a pessoaCom apenas 2 ficou em 50%
    144. 144. Aonde está o limite?
    145. 145. Aonde está o limite?
    146. 146. Aonde está o limite?
    147. 147. Aonde está o limite?
    148. 148. ObrigadoRodrigo “Kiko” Afonsokiko@qx3.com.br

    ×