Bom dia *8)
Talk to Them: Big Data
Rodrigo Afonso (Kiko)
Diretor da qx3
kiko@qx3.com.br
Nossa apresentação de hoje
Conceituando
Big Data
Exemplo
Aplicação
Big Data
Kiko Braulio Medina
Perguntas
& Respostas
Perguntas
& Respostas
Conceituando Big Data
Conceituando Big Data
Quem já ouviu falar do termo Big Data?
Conceituando Big Data
Quem já ouviu falar do termo Big Data?
Desde quando vocês ouvem esse termo?
Conceituando Big Data
Quem já ouviu falar do termo Big Data?
Desde quando vocês ouvem esse termo?
E quem sabe o que é Big Data?
Um pouco de História
Um pouco de História
300 A.C. – Biblioteca de Alexandria
Um pouco de História
300 A.C. – Biblioteca de Alexandria
Epicentro do conhecimento mundial
Um pouco de História
300 A.C. – Biblioteca de Alexandria
Epicentro do conhecimento mundial
500.000 papiros (a maior do mundo)
Um pouco de História
1944
Um pouco de História
1944
Fremont Rider, bibliotecário da
universidade de Wesleyn / EUA
Um pouco de História
1944
Fremont Rider, bibliotecário da
universidade de Wesleyn / EUA
Artigo: O Futuro das
Bibliotecas
Um pouco de História
1944
Fremont Rider, bibliotecário da
universidade de Wesleyn / EUA
Quantidade de livros dobra a cada 16 anos
Artigo: O Futuro das
Bibliotecas
Um pouco de História
1944
Fremont Rider, bibliotecário da
universidade de Wesleyn / EUA
Quantidade de livros dobra a cada 16 anos
Em 2040
Artigo: O Futuro das
Bibliotecas
Um pouco de História
1944
Fremont Rider, bibliotecário da
universidade de Wesleyn / EUA
Quantidade de livros dobra a cada 16 anos
Em 2040
Artigo: O Futuro das
Bibliotecas
Biblioteca da Yale University
Um pouco de História
1944
Fremont Rider, bibliotecário da
universidade de Wesleyn / EUA
Quantidade de livros dobra a cada 16 anos
Em 2040
Artigo: O Futuro das
Bibliotecas
Biblioteca da Yale University
200.000.000 de volumes
Um pouco de História
1944
Fremont Rider, bibliotecário da
universidade de Wesleyn / EUA
Quantidade de livros dobra a cada 16 anos
Em 2040
Artigo: O Futuro das
Bibliotecas
Biblioteca da Yale University
200.000.000 de volumes
10.000 quilômetros de estantes
Um pouco de História
1944
Fremont Rider, bibliotecário da
universidade de Wesleyn / EUA
Quantidade de livros dobra a cada 16 anos
Em 2040
Artigo: O Futuro das
Bibliotecas
Biblioteca da Yale University
200.000.000 de volumes
10.000 quilômetros de estantes
6.000 pessoas para organizar
Se localizando na história
Se localizando na história
1992
Se localizando na história
1992
Maior evento mundial até
então para tratar do tema
Ecologia
Se localizando na história
1992
Primeiro evento da américa
latina com conexão
dedicada à internet.
Maior evento mundial até
então para tratar do tema
Ecologia
Se localizando na história
Se localizando na história
1993
Se localizando na história
1993
Meus professores não sabiam o que era e-mail
Se localizando na história
1993
Meus professores não sabiam o que era e-mail
Mosaic foi liberado pra uso público
Se localizando na história
1993
Meus professores não sabiam o que era e-mail
Mosaic foi liberado pra uso público
Começa a era do WWW
Se localizando na história
1993
Meus professores não sabiam o que era e-mail
Mosaic foi liberado pra uso público
Começa a era do WWW
Só 20 anos atrás!
Um pouco de História
Um pouco de História
1995
Um pouco de História
1995
Surge o Altavista e o Yahoo
Um pouco de História
1995
Surge o Altavista e o Yahoo
1996
Um pouco de História
1995
Surge o Altavista e o Yahoo
1996
Jornal IBM: Armazenar dados digitais mais barato que em papel
Um pouco de História
1995
Surge o Altavista e o Yahoo
1996
Jornal IBM: Armazenar dados digitais mais barato que em papel
1997
Um pouco de História
1995
Surge o Altavista e o Yahoo
1996
Jornal IBM: Armazenar dados digitais mais barato que em papel
1997
Artigo ACM (Assoc. Computer & Machinery) falando o seguinte:
Um pouco de História
1995
Surge o Altavista e o Yahoo
1996
Jornal IBM: Armazenar dados digitais mais barato que em papel
1997
Artigo ACM (Assoc. Computer & Machinery) falando o seguinte:
“Visualização (de dados) provê um interessante desafio para sistemas de
computadores: grupos de dados são geralmente muito grandes,
sobrecarregando as capacidades da memória principal, disco local e até
mesmo um disco remoto. Nós chamamos esse problema de Big Data.
Quando grupos de dados não cabem na memória principal, ou mesmo no
disco local.”
Um pouco de História
Um pouco de História
1998
Um pouco de História
1998
Surge Google, com o objetivo de organizar toda a informação do mundo
Um pouco de História
1998
Surge Google, com o objetivo de organizar toda a informação do mundo
Um pouco de História
1998
Surge Google, com o objetivo de organizar toda a informação do mundo
Um pouco de História
1998
Surge Google, com o objetivo de organizar toda a informação do mundo
2001
Um pouco de História
1998
Surge Google, com o objetivo de organizar toda a informação do mundo
2001
Wikipedia, a maior enciclopédia do mundo
Um pouco de História
1998
Surge Google, com o objetivo de organizar toda a informação do mundo
2001
Wikipedia, a maior enciclopédia do mundo
2005
Um pouco de História
1998
Surge Google, com o objetivo de organizar toda a informação do mundo
2001
Wikipedia, a maior enciclopédia do mundo
2005
Youtube, a revolução do video na Internet
Um pouco de História
1998
Surge Google, com o objetivo de organizar toda a informação do mundo
2001
Wikipedia, a maior enciclopédia do mundo
2005
Youtube, a revolução do video na Internet
2006
Um pouco de História
1998
Surge Google, com o objetivo de organizar toda a informação do mundo
2001
Wikipedia, a maior enciclopédia do mundo
2005
Youtube, a revolução do video na Internet
2006
Twitter, um boom na troca de mensagens com 140 caracteres
Um pouco de História
1998
Surge Google, com o objetivo de organizar toda a informação do mundo
2001
Wikipedia, a maior enciclopédia do mundo
2005
Youtube, a revolução do video na Internet
2006
Twitter, um boom na troca de mensagens com 140 caracteres
2007
Um pouco de História
1998
Surge Google, com o objetivo de organizar toda a informação do mundo
2001
Wikipedia, a maior enciclopédia do mundo
2005
Youtube, a revolução do video na Internet
2006
Twitter, um boom na troca de mensagens com 140 caracteres
2007
iPhone, uma das maiores revoluções para o Big Data.
Um pouco de História
1998
Surge Google, com o objetivo de organizar toda a informação do mundo
2001
Wikipedia, a maior enciclopédia do mundo
2005
Youtube, a revolução do video na Internet
2006
Twitter, um boom na troca de mensagens com 140 caracteres
2007
iPhone, uma das maiores revoluções para o Big Data.
2011 >
Um pouco de História
1998
Surge Google, com o objetivo de organizar toda a informação do mundo
2001
Wikipedia, a maior enciclopédia do mundo
2005
Youtube, a revolução do video na Internet
2006
Twitter, um boom na troca de mensagens com 140 caracteres
2007
iPhone, uma das maiores revoluções para o Big Data.
2011 >
O Termo Big Data se torna febre mundial
E aí?
Porque isso tudo
é relevante?
Bem vindo a Era dos Dados
Bem vindo a Era dos Dados
Uma era de transformação radical
Bem vindo a Era dos Dados
Uma era de transformação radical
Há 20 anos atrás a internet praticamente não existia
Bem vindo a Era dos Dados
Uma era de transformação radical
Há 20 anos atrás a internet praticamente não existia
Hoje, somos bilhões conectados
Bem vindo a Era dos Dados
Uma era de transformação radical
Há 20 anos atrás a internet praticamente não existia
Hoje, somos bilhões conectados
Produzindo Exabytes de dados por dia
O Universo do Big Data
Qual o tamanho do problema?
O Universo do Big Data
Qual o tamanho do problema?
O Universo do Big Data
O Universo do Big Data
O Universo do Big Data
A verdade é….
O Universo do Big Data
A verdade é….
…estamos sendo “afogados” por tantos dados!
O Universo do Big Data
O Universo do Big Data
Mas peraí…
O Universo do Big Data
Mas peraí…
Quer dizer que
antes não haviam
tantos dados?
O Universo do Big Data
Mas peraí…
Quer dizer que
antes não haviam
tantos dados?
Afinal
O Universo do Big Data
Mas peraí…
Quer dizer que
antes não haviam
tantos dados?
Sempre nos comunicamos
Afinal
O Universo do Big Data
Mas peraí…
Quer dizer que
antes não haviam
tantos dados?
Sempre nos comunicamos
Sempre criamos informação
Afinal
O Universo do Big Data
Mas peraí…
Quer dizer que
antes não haviam
tantos dados?
Sempre nos comunicamos
Sempre criamos informação
Afinal
Sempre vivemos!
O Universo do Big Data
Mas peraí…
Quer dizer que
antes não haviam
tantos dados?
Sempre nos comunicamos
Sempre criamos informação
Afinal
Sempre vivemos!
O Que de fato é diferente??
O Universo do Big Data
O Universo do Big Data
Como solucionar 10.000 Km de estantes?
O Universo do Big Data
Como solucionar 10.000 Km de estantes?
Como armazenar, catalogar e buscar
Exabytes de dados…
O Universo do Big Data
Como solucionar 10.000 Km de estantes?
Como armazenar, catalogar e buscar
Exabytes de dados…
…gerados diariamente!
A Utopia do Big Data
A Utopia do Big Data
Se conseguirmos medir tudo no universo, conseguimos prever o futuro.
A Utopia do Big Data
A Utopia do Big Data
A Utopia do Big Data
Isso muda TUDO
Mas não é simples!
Tecnologias do Big Data
Tecnologias do Big Data
Armazenamento:
NoSQL, MongoDB, Solr, Apache Cassandra (Facebook)
Tecnologias do Big Data
Armazenamento:
NoSQL, MongoDB, Solr, Apache Cassandra (Facebook)
Processamento Distribuido:
Hadoop, Amazon Web Services, Apache
Tecnologias do Big Data
Armazenamento:
NoSQL, MongoDB, Solr, Apache Cassandra (Facebook)
Processamento Distribuido:
Hadoop, Amazon Web Services, Apache
Visualização:
Cognus, Datameer, GotoMetrics
Lembra do Google?
Lembra do Google?
Lembra do Google?
Lembra do Google?
Ah, e são 12 desses…só nos EUA
E agora que temos a tecnologia?
E agora que temos a tecnologia?
Como decifrar esses dados?
E agora que temos a tecnologia?
Como decifrar esses dados?
Os algoritmos e fórmulas
matemáticas precisam evoluir!
E agora que temos a tecnologia?
Como decifrar esses dados?
Os algoritmos e fórmulas
matemáticas precisam evoluir!
Esqueçam as planilhas excel com dados do IBGE
E agora que temos a tecnologia?
Como decifrar esses dados?
Os algoritmos e fórmulas
matemáticas precisam evoluir!
A ciência de análise dos dados
precisa evoluir também!
Esqueçam as planilhas excel com dados do IBGE
Um exemplo
Um exemplo
LHC: Maior acelerador de partículos já construído
Um exemplo
LHC: Maior acelerador de partículos já construído
Túnel de 27 quilômetros
Um exemplo
LHC: Maior acelerador de partículos já construído
Túnel de 27 quilômetros
150 milhões de sensores
Um exemplo
LHC: Maior acelerador de partículos já construído
Túnel de 27 quilômetros
150 milhões de sensores
600 milhões de colisões / seg
Um exemplo
LHC: Maior acelerador de partículos já construído
Túnel de 27 quilômetros
150 milhões de sensores
Captam 40 milhões de dados / seg
600 milhões de colisões / seg
Um exemplo
LHC: Maior acelerador de partículos já construído
Túnel de 27 quilômetros
150 milhões de sensores
Captam 40 milhões de dados / seg
600 milhões de colisões / seg
Desses, apenas 100(0,001%) são interessantes
Um exemplo
LHC: Maior acelerador de partículos já construído
Túnel de 27 quilômetros
150 milhões de sensores
Captam 40 milhões de dados / seg
600 milhões de colisões / seg
Desses, apenas 100(0,001%) são interessantes
Só esses 100 geram por ano 200 PetaBytes de dados
Um exemplo
LHC: Maior acelerador de partículos já construído
Túnel de 27 quilômetros
150 milhões de sensores
Captam 40 milhões de dados / seg
600 milhões de colisões / seg
Desses, apenas 100(0,001%) são interessantes
Só esses 100 geram por ano 200 PetaBytes de dados
Se fosse tudo seriam 500 Exabytes/dia
ou 150Mi petabytes/ano.
Um exemplo
LHC: Maior acelerador de partículos já construído
Túnel de 27 quilômetros
150 milhões de sensores
Captam 40 milhões de dados / seg
600 milhões de colisões / seg
Desses, apenas 100(0,001%) são interessantes
Só esses 100 geram por ano 200 PetaBytes de dados
Se fosse tudo seriam 500 Exabytes/dia
ou 150Mi petabytes/ano.
200 x mais que todas as fontes de dados do mundo
Como se analisa isso?
Como se analisa isso?
O Universo de dados já passou do atômico e do micro-segundo
Como se analisa isso?
O Universo de dados já passou do atômico e do micro-segundo
Como achar respostas?
Como se analisa isso?
O Universo de dados já passou do atômico e do micro-segundo
Como achar respostas?
O que perguntar?
Colocando minhocas na cabeça
Colocando minhocas na cabeça
“Not everything that counts can be counted,
not everything that can be counted, counts.”
O que é lixo?
O que é lixo?
Será que é lixo?
Será que é lixo?
Será que é lixo?
Será que é lixo?
Será que é lixo?
Será que é lixo?
Ou será que não?
Ou será que não?
Ou será que não?
Vamos guardar TUDO daqui pra frente!
Finalizando: Dados “anônimos”
Finalizando: Dados “anônimos”
Governos e empresas
liberam dados “anônimos”
Finalizando: Dados “anônimos”
Evolução de doenças
Governos e empresas
liberam dados “anônimos”
Finalizando: Dados “anônimos”
Evolução de doenças
Taxas de criminalidades
Governos e empresas
liberam dados “anônimos”
Finalizando: Dados “anônimos”
Evolução de doenças
Taxas de criminalidades
Análise de mercados financeiros
Governos e empresas
liberam dados “anônimos”
Finalizando: Dados “anônimos”
Evolução de doenças
Taxas de criminalidades
Análise de mercados financeiros
Governos e empresas
liberam dados “anônimos”
Aonde está o limite?
Aonde está o limite?
Em um hospital X
Aonde está o limite?
Em um hospital X
Homem de 34 anos
Aonde está o limite?
Em um hospital X
Homem de 34 anos
Oriental
Aonde está o limite?
Em um hospital X
Homem de 34 anos
Oriental
Com tatuagem
Aonde está o limite?
Em um hospital X
Homem de 34 anos
Oriental
Com tatuagem
Entrou dia 10/05/2011
Aonde está o limite?
Em um hospital X
Homem de 34 anos
Oriental
Com tatuagem
Entrou dia 10/05/2011
Retirou um rim por câncer
Aonde está o limite?
Em um hospital X
Homem de 34 anos
Oriental
Com tatuagem
Entrou dia 10/05/2011
Retirou um rim por câncer
Saiu dia 10/06/2011
Aonde está o limite?
Em um hospital X
Homem de 34 anos
Oriental
Com tatuagem
Entrou dia 10/05/2011
Retirou um rim por câncer
Saiu dia 10/06/2011
Aonde está o limite?
Aonde está o limite?
Dados de uma empresa telefônica na Bélgica
Aonde está o limite?
Dados de uma empresa telefônica na Bélgica
Com apenas 4 registros por cliente
Aonde está o limite?
Dados de uma empresa telefônica na Bélgica
Com apenas 4 registros por cliente
95% de assertividade em quem era a pessoa
Aonde está o limite?
Dados de uma empresa telefônica na Bélgica
Com apenas 4 registros por cliente
95% de assertividade em quem era a pessoa
Com apenas 2 ficou em 50%
Aonde está o limite?
Aonde está o limite?
Aonde está o limite?
Aonde está o limite?
Obrigado
Rodrigo “Kiko” Afonso
kiko@qx3.com.br

Big data apresentacao

  • 1.
    Bom dia *8) Talkto Them: Big Data
  • 2.
    Rodrigo Afonso (Kiko) Diretorda qx3 kiko@qx3.com.br
  • 3.
    Nossa apresentação dehoje Conceituando Big Data Exemplo Aplicação Big Data Kiko Braulio Medina Perguntas & Respostas Perguntas & Respostas
  • 4.
  • 5.
    Conceituando Big Data Quemjá ouviu falar do termo Big Data?
  • 6.
    Conceituando Big Data Quemjá ouviu falar do termo Big Data? Desde quando vocês ouvem esse termo?
  • 7.
    Conceituando Big Data Quemjá ouviu falar do termo Big Data? Desde quando vocês ouvem esse termo? E quem sabe o que é Big Data?
  • 8.
    Um pouco deHistória
  • 9.
    Um pouco deHistória 300 A.C. – Biblioteca de Alexandria
  • 10.
    Um pouco deHistória 300 A.C. – Biblioteca de Alexandria Epicentro do conhecimento mundial
  • 11.
    Um pouco deHistória 300 A.C. – Biblioteca de Alexandria Epicentro do conhecimento mundial 500.000 papiros (a maior do mundo)
  • 12.
    Um pouco deHistória 1944
  • 13.
    Um pouco deHistória 1944 Fremont Rider, bibliotecário da universidade de Wesleyn / EUA
  • 14.
    Um pouco deHistória 1944 Fremont Rider, bibliotecário da universidade de Wesleyn / EUA Artigo: O Futuro das Bibliotecas
  • 15.
    Um pouco deHistória 1944 Fremont Rider, bibliotecário da universidade de Wesleyn / EUA Quantidade de livros dobra a cada 16 anos Artigo: O Futuro das Bibliotecas
  • 16.
    Um pouco deHistória 1944 Fremont Rider, bibliotecário da universidade de Wesleyn / EUA Quantidade de livros dobra a cada 16 anos Em 2040 Artigo: O Futuro das Bibliotecas
  • 17.
    Um pouco deHistória 1944 Fremont Rider, bibliotecário da universidade de Wesleyn / EUA Quantidade de livros dobra a cada 16 anos Em 2040 Artigo: O Futuro das Bibliotecas Biblioteca da Yale University
  • 18.
    Um pouco deHistória 1944 Fremont Rider, bibliotecário da universidade de Wesleyn / EUA Quantidade de livros dobra a cada 16 anos Em 2040 Artigo: O Futuro das Bibliotecas Biblioteca da Yale University 200.000.000 de volumes
  • 19.
    Um pouco deHistória 1944 Fremont Rider, bibliotecário da universidade de Wesleyn / EUA Quantidade de livros dobra a cada 16 anos Em 2040 Artigo: O Futuro das Bibliotecas Biblioteca da Yale University 200.000.000 de volumes 10.000 quilômetros de estantes
  • 20.
    Um pouco deHistória 1944 Fremont Rider, bibliotecário da universidade de Wesleyn / EUA Quantidade de livros dobra a cada 16 anos Em 2040 Artigo: O Futuro das Bibliotecas Biblioteca da Yale University 200.000.000 de volumes 10.000 quilômetros de estantes 6.000 pessoas para organizar
  • 21.
  • 22.
    Se localizando nahistória 1992
  • 23.
    Se localizando nahistória 1992 Maior evento mundial até então para tratar do tema Ecologia
  • 24.
    Se localizando nahistória 1992 Primeiro evento da américa latina com conexão dedicada à internet. Maior evento mundial até então para tratar do tema Ecologia
  • 25.
  • 26.
    Se localizando nahistória 1993
  • 27.
    Se localizando nahistória 1993 Meus professores não sabiam o que era e-mail
  • 28.
    Se localizando nahistória 1993 Meus professores não sabiam o que era e-mail Mosaic foi liberado pra uso público
  • 29.
    Se localizando nahistória 1993 Meus professores não sabiam o que era e-mail Mosaic foi liberado pra uso público Começa a era do WWW
  • 30.
    Se localizando nahistória 1993 Meus professores não sabiam o que era e-mail Mosaic foi liberado pra uso público Começa a era do WWW Só 20 anos atrás!
  • 31.
    Um pouco deHistória
  • 32.
    Um pouco deHistória 1995
  • 33.
    Um pouco deHistória 1995 Surge o Altavista e o Yahoo
  • 34.
    Um pouco deHistória 1995 Surge o Altavista e o Yahoo 1996
  • 35.
    Um pouco deHistória 1995 Surge o Altavista e o Yahoo 1996 Jornal IBM: Armazenar dados digitais mais barato que em papel
  • 36.
    Um pouco deHistória 1995 Surge o Altavista e o Yahoo 1996 Jornal IBM: Armazenar dados digitais mais barato que em papel 1997
  • 37.
    Um pouco deHistória 1995 Surge o Altavista e o Yahoo 1996 Jornal IBM: Armazenar dados digitais mais barato que em papel 1997 Artigo ACM (Assoc. Computer & Machinery) falando o seguinte:
  • 38.
    Um pouco deHistória 1995 Surge o Altavista e o Yahoo 1996 Jornal IBM: Armazenar dados digitais mais barato que em papel 1997 Artigo ACM (Assoc. Computer & Machinery) falando o seguinte: “Visualização (de dados) provê um interessante desafio para sistemas de computadores: grupos de dados são geralmente muito grandes, sobrecarregando as capacidades da memória principal, disco local e até mesmo um disco remoto. Nós chamamos esse problema de Big Data. Quando grupos de dados não cabem na memória principal, ou mesmo no disco local.”
  • 39.
    Um pouco deHistória
  • 40.
    Um pouco deHistória 1998
  • 41.
    Um pouco deHistória 1998 Surge Google, com o objetivo de organizar toda a informação do mundo
  • 42.
    Um pouco deHistória 1998 Surge Google, com o objetivo de organizar toda a informação do mundo
  • 43.
    Um pouco deHistória 1998 Surge Google, com o objetivo de organizar toda a informação do mundo
  • 44.
    Um pouco deHistória 1998 Surge Google, com o objetivo de organizar toda a informação do mundo 2001
  • 45.
    Um pouco deHistória 1998 Surge Google, com o objetivo de organizar toda a informação do mundo 2001 Wikipedia, a maior enciclopédia do mundo
  • 46.
    Um pouco deHistória 1998 Surge Google, com o objetivo de organizar toda a informação do mundo 2001 Wikipedia, a maior enciclopédia do mundo 2005
  • 47.
    Um pouco deHistória 1998 Surge Google, com o objetivo de organizar toda a informação do mundo 2001 Wikipedia, a maior enciclopédia do mundo 2005 Youtube, a revolução do video na Internet
  • 48.
    Um pouco deHistória 1998 Surge Google, com o objetivo de organizar toda a informação do mundo 2001 Wikipedia, a maior enciclopédia do mundo 2005 Youtube, a revolução do video na Internet 2006
  • 49.
    Um pouco deHistória 1998 Surge Google, com o objetivo de organizar toda a informação do mundo 2001 Wikipedia, a maior enciclopédia do mundo 2005 Youtube, a revolução do video na Internet 2006 Twitter, um boom na troca de mensagens com 140 caracteres
  • 50.
    Um pouco deHistória 1998 Surge Google, com o objetivo de organizar toda a informação do mundo 2001 Wikipedia, a maior enciclopédia do mundo 2005 Youtube, a revolução do video na Internet 2006 Twitter, um boom na troca de mensagens com 140 caracteres 2007
  • 51.
    Um pouco deHistória 1998 Surge Google, com o objetivo de organizar toda a informação do mundo 2001 Wikipedia, a maior enciclopédia do mundo 2005 Youtube, a revolução do video na Internet 2006 Twitter, um boom na troca de mensagens com 140 caracteres 2007 iPhone, uma das maiores revoluções para o Big Data.
  • 52.
    Um pouco deHistória 1998 Surge Google, com o objetivo de organizar toda a informação do mundo 2001 Wikipedia, a maior enciclopédia do mundo 2005 Youtube, a revolução do video na Internet 2006 Twitter, um boom na troca de mensagens com 140 caracteres 2007 iPhone, uma das maiores revoluções para o Big Data. 2011 >
  • 53.
    Um pouco deHistória 1998 Surge Google, com o objetivo de organizar toda a informação do mundo 2001 Wikipedia, a maior enciclopédia do mundo 2005 Youtube, a revolução do video na Internet 2006 Twitter, um boom na troca de mensagens com 140 caracteres 2007 iPhone, uma das maiores revoluções para o Big Data. 2011 > O Termo Big Data se torna febre mundial
  • 54.
    E aí? Porque issotudo é relevante?
  • 55.
    Bem vindo aEra dos Dados
  • 56.
    Bem vindo aEra dos Dados Uma era de transformação radical
  • 57.
    Bem vindo aEra dos Dados Uma era de transformação radical Há 20 anos atrás a internet praticamente não existia
  • 58.
    Bem vindo aEra dos Dados Uma era de transformação radical Há 20 anos atrás a internet praticamente não existia Hoje, somos bilhões conectados
  • 59.
    Bem vindo aEra dos Dados Uma era de transformação radical Há 20 anos atrás a internet praticamente não existia Hoje, somos bilhões conectados Produzindo Exabytes de dados por dia
  • 60.
    O Universo doBig Data
  • 61.
    Qual o tamanhodo problema? O Universo do Big Data
  • 62.
    Qual o tamanhodo problema? O Universo do Big Data
  • 63.
    O Universo doBig Data
  • 64.
    O Universo doBig Data A verdade é….
  • 65.
    O Universo doBig Data A verdade é…. …estamos sendo “afogados” por tantos dados!
  • 66.
    O Universo doBig Data
  • 67.
    O Universo doBig Data Mas peraí…
  • 68.
    O Universo doBig Data Mas peraí… Quer dizer que antes não haviam tantos dados?
  • 69.
    O Universo doBig Data Mas peraí… Quer dizer que antes não haviam tantos dados? Afinal
  • 70.
    O Universo doBig Data Mas peraí… Quer dizer que antes não haviam tantos dados? Sempre nos comunicamos Afinal
  • 71.
    O Universo doBig Data Mas peraí… Quer dizer que antes não haviam tantos dados? Sempre nos comunicamos Sempre criamos informação Afinal
  • 72.
    O Universo doBig Data Mas peraí… Quer dizer que antes não haviam tantos dados? Sempre nos comunicamos Sempre criamos informação Afinal Sempre vivemos!
  • 73.
    O Universo doBig Data Mas peraí… Quer dizer que antes não haviam tantos dados? Sempre nos comunicamos Sempre criamos informação Afinal Sempre vivemos! O Que de fato é diferente??
  • 74.
    O Universo doBig Data
  • 75.
    O Universo doBig Data Como solucionar 10.000 Km de estantes?
  • 76.
    O Universo doBig Data Como solucionar 10.000 Km de estantes? Como armazenar, catalogar e buscar Exabytes de dados…
  • 77.
    O Universo doBig Data Como solucionar 10.000 Km de estantes? Como armazenar, catalogar e buscar Exabytes de dados… …gerados diariamente!
  • 78.
    A Utopia doBig Data
  • 79.
    A Utopia doBig Data Se conseguirmos medir tudo no universo, conseguimos prever o futuro.
  • 80.
    A Utopia doBig Data
  • 81.
    A Utopia doBig Data
  • 82.
    A Utopia doBig Data Isso muda TUDO
  • 83.
    Mas não ésimples!
  • 84.
  • 85.
    Tecnologias do BigData Armazenamento: NoSQL, MongoDB, Solr, Apache Cassandra (Facebook)
  • 86.
    Tecnologias do BigData Armazenamento: NoSQL, MongoDB, Solr, Apache Cassandra (Facebook) Processamento Distribuido: Hadoop, Amazon Web Services, Apache
  • 87.
    Tecnologias do BigData Armazenamento: NoSQL, MongoDB, Solr, Apache Cassandra (Facebook) Processamento Distribuido: Hadoop, Amazon Web Services, Apache Visualização: Cognus, Datameer, GotoMetrics
  • 88.
  • 89.
  • 90.
  • 91.
    Lembra do Google? Ah,e são 12 desses…só nos EUA
  • 92.
    E agora quetemos a tecnologia?
  • 93.
    E agora quetemos a tecnologia? Como decifrar esses dados?
  • 94.
    E agora quetemos a tecnologia? Como decifrar esses dados? Os algoritmos e fórmulas matemáticas precisam evoluir!
  • 95.
    E agora quetemos a tecnologia? Como decifrar esses dados? Os algoritmos e fórmulas matemáticas precisam evoluir! Esqueçam as planilhas excel com dados do IBGE
  • 96.
    E agora quetemos a tecnologia? Como decifrar esses dados? Os algoritmos e fórmulas matemáticas precisam evoluir! A ciência de análise dos dados precisa evoluir também! Esqueçam as planilhas excel com dados do IBGE
  • 97.
  • 98.
    Um exemplo LHC: Maioracelerador de partículos já construído
  • 99.
    Um exemplo LHC: Maioracelerador de partículos já construído Túnel de 27 quilômetros
  • 100.
    Um exemplo LHC: Maioracelerador de partículos já construído Túnel de 27 quilômetros 150 milhões de sensores
  • 101.
    Um exemplo LHC: Maioracelerador de partículos já construído Túnel de 27 quilômetros 150 milhões de sensores 600 milhões de colisões / seg
  • 102.
    Um exemplo LHC: Maioracelerador de partículos já construído Túnel de 27 quilômetros 150 milhões de sensores Captam 40 milhões de dados / seg 600 milhões de colisões / seg
  • 103.
    Um exemplo LHC: Maioracelerador de partículos já construído Túnel de 27 quilômetros 150 milhões de sensores Captam 40 milhões de dados / seg 600 milhões de colisões / seg Desses, apenas 100(0,001%) são interessantes
  • 104.
    Um exemplo LHC: Maioracelerador de partículos já construído Túnel de 27 quilômetros 150 milhões de sensores Captam 40 milhões de dados / seg 600 milhões de colisões / seg Desses, apenas 100(0,001%) são interessantes Só esses 100 geram por ano 200 PetaBytes de dados
  • 105.
    Um exemplo LHC: Maioracelerador de partículos já construído Túnel de 27 quilômetros 150 milhões de sensores Captam 40 milhões de dados / seg 600 milhões de colisões / seg Desses, apenas 100(0,001%) são interessantes Só esses 100 geram por ano 200 PetaBytes de dados Se fosse tudo seriam 500 Exabytes/dia ou 150Mi petabytes/ano.
  • 106.
    Um exemplo LHC: Maioracelerador de partículos já construído Túnel de 27 quilômetros 150 milhões de sensores Captam 40 milhões de dados / seg 600 milhões de colisões / seg Desses, apenas 100(0,001%) são interessantes Só esses 100 geram por ano 200 PetaBytes de dados Se fosse tudo seriam 500 Exabytes/dia ou 150Mi petabytes/ano. 200 x mais que todas as fontes de dados do mundo
  • 107.
  • 108.
    Como se analisaisso? O Universo de dados já passou do atômico e do micro-segundo
  • 109.
    Como se analisaisso? O Universo de dados já passou do atômico e do micro-segundo Como achar respostas?
  • 110.
    Como se analisaisso? O Universo de dados já passou do atômico e do micro-segundo Como achar respostas? O que perguntar?
  • 111.
  • 112.
    Colocando minhocas nacabeça “Not everything that counts can be counted, not everything that can be counted, counts.”
  • 113.
    O que élixo?
  • 114.
    O que élixo?
  • 115.
  • 116.
  • 117.
  • 118.
  • 119.
  • 120.
  • 121.
  • 122.
  • 123.
    Ou será quenão? Vamos guardar TUDO daqui pra frente!
  • 124.
  • 125.
    Finalizando: Dados “anônimos” Governose empresas liberam dados “anônimos”
  • 126.
    Finalizando: Dados “anônimos” Evoluçãode doenças Governos e empresas liberam dados “anônimos”
  • 127.
    Finalizando: Dados “anônimos” Evoluçãode doenças Taxas de criminalidades Governos e empresas liberam dados “anônimos”
  • 128.
    Finalizando: Dados “anônimos” Evoluçãode doenças Taxas de criminalidades Análise de mercados financeiros Governos e empresas liberam dados “anônimos”
  • 129.
    Finalizando: Dados “anônimos” Evoluçãode doenças Taxas de criminalidades Análise de mercados financeiros Governos e empresas liberam dados “anônimos”
  • 130.
  • 131.
    Aonde está olimite? Em um hospital X
  • 132.
    Aonde está olimite? Em um hospital X Homem de 34 anos
  • 133.
    Aonde está olimite? Em um hospital X Homem de 34 anos Oriental
  • 134.
    Aonde está olimite? Em um hospital X Homem de 34 anos Oriental Com tatuagem
  • 135.
    Aonde está olimite? Em um hospital X Homem de 34 anos Oriental Com tatuagem Entrou dia 10/05/2011
  • 136.
    Aonde está olimite? Em um hospital X Homem de 34 anos Oriental Com tatuagem Entrou dia 10/05/2011 Retirou um rim por câncer
  • 137.
    Aonde está olimite? Em um hospital X Homem de 34 anos Oriental Com tatuagem Entrou dia 10/05/2011 Retirou um rim por câncer Saiu dia 10/06/2011
  • 138.
    Aonde está olimite? Em um hospital X Homem de 34 anos Oriental Com tatuagem Entrou dia 10/05/2011 Retirou um rim por câncer Saiu dia 10/06/2011
  • 139.
  • 140.
    Aonde está olimite? Dados de uma empresa telefônica na Bélgica
  • 141.
    Aonde está olimite? Dados de uma empresa telefônica na Bélgica Com apenas 4 registros por cliente
  • 142.
    Aonde está olimite? Dados de uma empresa telefônica na Bélgica Com apenas 4 registros por cliente 95% de assertividade em quem era a pessoa
  • 143.
    Aonde está olimite? Dados de uma empresa telefônica na Bélgica Com apenas 4 registros por cliente 95% de assertividade em quem era a pessoa Com apenas 2 ficou em 50%
  • 144.
  • 145.
  • 146.
  • 147.
  • 148.

Notas do Editor

  • #2 ----- Meeting Notes (07/06/13 22:59) -----BOM DIA
  • #3 ----- Meeting Notes (07/06/13 22:59) -----Apresentar KikoAgradecer envolvidos e estácioAgradecer o BráulioAgradecer público, sabado de sol.
  • #4 ----- Meeting Notes (07/06/13 22:59) -----Apresentar divisão da apresentação
  • #5 ----- Meeting Notes (07/06/13 22:59) -----Quem ja ouviu falar?Desde quando ouvem falar?Quem sabe o que é?Espero q no fim mais mãos levantem :)Pra entender o problema que o big data ataca…história
  • #6 ----- Meeting Notes (07/06/13 22:59) -----Quem ja ouviu falar?Desde quando ouvem falar?Quem sabe o que é?Espero q no fim mais mãos levantem :)Pra entender o problema que o big data ataca…história
  • #7 ----- Meeting Notes (07/06/13 22:59) -----Quem ja ouviu falar?Desde quando ouvem falar?Quem sabe o que é?Espero q no fim mais mãos levantem :)Pra entender o problema que o big data ataca…história
  • #8 ----- Meeting Notes (07/06/13 22:59) -----Quem ja ouviu falar?Desde quando ouvem falar?Quem sabe o que é?Espero q no fim mais mãos levantem :)Pra entender o problema que o big data ataca…história