Seminário Big Data, 19/05/2014 - Apresentação Edson Gomi

740 visualizações

Publicada em

Publicada em: Internet
0 comentários
0 gostaram
Estatísticas
Notas
  • Seja o primeiro a comentar

  • Seja a primeira pessoa a gostar disto

Sem downloads
Visualizações
Visualizações totais
740
No SlideShare
0
A partir de incorporações
0
Número de incorporações
3
Ações
Compartilhamentos
0
Downloads
40
Comentários
0
Gostaram
0
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide

Seminário Big Data, 19/05/2014 - Apresentação Edson Gomi

  1. 1. BIG DATA – UMA QUESTÃO URGENTE A SER ENFRENTADA PELAS EMPRESAS Prof. Dr. Edson S. Gomi Escola Politécnica – Universidade de São Paulo FECOMERCIO – 19 de Maio de 2014
  2. 2. SUMÁRIO ¢  O que é Big Data? ¢  Exemplos ¢  Questões técnicas, éticas e legais
  3. 3. O QUE É BIG DATA? ¢  São conjuntos de dados; ¢  Grandes em quantidade (petabytes); ¢  Grandes em variedade (bancos de dados, planilhas, documentos, páginas web, etc); ¢  Grandes em velocidade (tempo real: supermercados, bancos, cartões de crédito, redes sociais, telefonia, etc); ¢  Grandes em complexidade de análise.
  4. 4. MAPEANDO O UNIVERSO
  5. 5. THE SLOAN DIGITAL SKY SURVEY ¢  http://www.sdss.org/ ¢  Dados obtidos durante 8 anos criaram mapas tridimensionais contendo mais de 930.000 galáxias e mais de 120.000 quasares; ¢  O projeto usa um telescópio ótico de grande angular, de 2.5 m, localizado no Observatório Apache Point, no estado do Novo México, EUA; ¢  A cada noite, o telescópio gera cerca de 200 GB de dados ou mais de 70 TB de dados por ano.
  6. 6. NSA – NATIONAL SECURITY AGENCY ¢  “The NSA Is Building the Country’s Biggest Spy Center (Watch What You Say)” ¢  http://www.wired.com/2012/03/ff_nsadatacenter/ all/1 ¢  Bluffdale – Utah ¢  Armazenamento da ordem de exabytes.
  7. 7. http://en.wikipedia.org/wiki/Yottabyte
  8. 8. PULSE PROJECT (UNITED NATIONS) ¢  http://www.unglobalpulse.org ¢  Objetivo: investigar como as novas fontes de dados digitais e tecnologias de análise em tempo real podem ajudar a criação de políticas públicas para o bem estar das pessoas, de forma a proteger melhor as populações contra crises sócio-econômicas; ¢  Utiliza dados de: —  Conteúdo on-line (web, blogs, redes sociais, e-commerce) —  Dados “anonimizados” de telecomunicações, mobile banking, online search, trânsito, etc; —  Sensores fisicos: imagens de satélite, video, tráfego, etc; —  Crowdsourcing: online surveys, mapas gerados por usuários.
  9. 9. GLOBAL PULSE ¢  “Orange will make 2.5B anonymized records of 5 million mobile phone users in Côte d'Ivoire available for analysis by research teams from around the world”
  10. 10. EBAY ¢  90 PB datawarehouse, com dados das transações e do comportamento dos clientes; ¢  http://www.itnews.com.au/News/342615,inside- ebay8217s-90pb-data-warehouse.aspx ¢  100 milhões de usuários, que geram 100 TB de dados por dia;
  11. 11. WIKIPEDIA ¢  30 milhões de verbetes em 287 idiomas; ¢  500 milhões de usuários únicos/mês; ¢  18 bilhões de páginas visitadas/mês; ¢  Em 2013: US$45 milhões de contribuições; ¢  GNU Free Documentation License (GFDL);
  12. 12. QUESTÕES TÉCNICAS DO BIG DATA ¢  Captura; ¢  Armazenamento; ¢  Pesquisa/Busca; ¢  Compartilhamento; ¢  Transferência; ¢  Análise; ¢  Visualização ¢  Veracidade; ¢  Curadoria.
  13. 13. HOW COMPANIES LEARN YOUR SECRETS? ¢  The New York Times (19/02/2012) ¢  Target: Andrew Pole analisou os registros do serviço de chá de bebê ¢  Início do 2o. trimestre: compra de loção neutro ¢  20 semanas: compra de suplementos de cálcio, magnésio e zinco ¢  Compra de sabonetes neutros, pacotes de cotonetes e toalhas no final da gravidez ¢  Score de gravidez: 25 produtos ¢  Envio de cupons em estágios específicos da gravidez
  14. 14. MAP: WHERE ARE THE GUN PERMITS IN YOUR NEIGHBORHOOD? ¢  The Journal News: http://archive.lohud.com/interactive/article/20121223/ NEWS01/121221011/Map-Where-gun-permits-your- neighborhood- (22/12/2012)
  15. 15. QUESTÕES ÉTICAS E LEGAIS ¢  Mundo de sensores – tênis, carros, celulares, cartões de crédito : perfil das características e do comportamento dos indivíduos ¢  Dados como commodity : entregues para outros, utilizados fora do contexto, em novas aplicações ¢  Opacidade do armazenamento dos dados : onde estão guardados, quem tem acesso? ¢  Dados em larga escala e abrangência geográfica : milhões de pessoas, em locais com culturas diferentes.
  16. 16. OBRIGADO PELA ATENÇÃO!
  17. 17. CONTATO Edson S. Gomi E-Mail: gomi@usp.br

×