Treinamento hadoop - dia1

1.631 visualizações

Publicada em

Hadoop

Publicada em: Tecnologia
0 comentários
5 gostaram
Estatísticas
Notas
  • Seja o primeiro a comentar

Sem downloads
Visualizações
Visualizações totais
1.631
No SlideShare
0
A partir de incorporações
0
Número de incorporações
6
Ações
Compartilhamentos
0
Downloads
151
Comentários
0
Gostaram
5
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide

Treinamento hadoop - dia1

  1. 1. Treinamento Hadoop
  2. 2. Alexandre Uehara ● Analista Desenvolvedor (E-commerce) ● Coordenador Trilha Big Data (TDC 2013 São Paulo, TDC 2014 Florianópolis) http://www.thedevelopersconference.com. br/tdc/2013/saopaulo/trilha-bigdata#programacao ● Geek e nerd, trabalha com Python, Java, C, BigData, NoSQL, e outras coisas mais que aparecem no dia a dia
  3. 3. Nossa Agenda:
  4. 4. 7 dias!!!
  5. 5. Dia 1: Introdução Conceitos Básicos Big Data → O que é? → 4 V's → Por que agora? → Onde Usar? → Desafio → BI x Big Data →Profissional de Big Data → Ferramentas → Dicas
  6. 6. Dia 2 e 3: Map Reduce e Hadoop → História (Google) → Conceito MapReduce → Hadoop → Cases
  7. 7. Dia 4 Outras Ferramentas → Ecossistema → Ferramentas → Distribuições Hadoop → Hadoop na Nuvem → NoSQL Tipos → NoSQL Exemplos → Data Science → Machine Learning
  8. 8. Dia 5, 6 e 7 Hands-on → Python → Hadoop
  9. 9. Por favor Perguntem… Não fiquem com dúvidas Aproveitem!!!
  10. 10. E, o que é Big Data?
  11. 11. "Das 65 empresas brasileiras entrevistadas, três em cada quatro organizações têm atividades em andamento e uma em cada quatro ou está com um projeto piloto ou em implementação de projeto, enquanto as restantes ainda lutam para entender a tecnologia e suas aplicações." IBM and Oxford University
  12. 12. Antes de mais nada: "Big Data não é nenhuma ferramenta, nenhuma tecnologia é um CONCEITO."
  13. 13. “Big data se trata de um conceito, no qual o foco é o grande armazenamento de dados e maior velocidade. Podemos dizer que o big data se baseia em 4V’s velocidade, volume, variedade e valor” Wikipedia http://pt.wikipedia.org/wiki/Big_data
  14. 14. VOLUME: O Big Data envolve modelos de persistência da ordem de petabytes ou zetabytes de dados geralmente não estruturados
  15. 15. VELOCIDADE Processamento de dados Armazenamento Análise de dados
  16. 16. VARIEDADE: Dados não estruturados Dados semi-estruturados Diferentes fontes Diferentes formatos
  17. 17. VALOR Objetivo do Negócio Benefício Tomada de decisão
  18. 18. Por que agora?
  19. 19. 90% dos dados disponíveis no mundo foram gerados apenas nos dois anos anteriores. IDC Digital Universe
  20. 20. 8 bits: IDC Digital Universe
  21. 21. 8 bits: 1 byte IDC Digital Universe
  22. 22. 8 bits: 1 byte 1024 bytes: IDC Digital Universe
  23. 23. 8 bits: 1 byte 1024 bytes: 1 kilobyte IDC Digital Universe
  24. 24. 8 bits: 1 byte 1024 bytes: 1 kilobyte 1024 kilobytes: IDC Digital Universe
  25. 25. 8 bits: 1 byte 1024 bytes: 1 kilobyte 1024 kilobytes: 1 megabyte IDC Digital Universe
  26. 26. 8 bits: 1 byte 1024 bytes: 1 kilobyte 1024 kilobytes: 1 megabyte 1024 megabytes: IDC Digital Universe
  27. 27. 8 bits: 1 byte 1024 bytes: 1 kilobyte 1024 kilobytes: 1 megabyte 1024 megabytes: 1 gigabyte IDC Digital Universe
  28. 28. 8 bits: 1 byte 1024 bytes: 1 kilobyte 1024 kilobytes: 1 megabyte 1024 megabytes: 1 gigabyte 1024 gigabytes: IDC Digital Universe
  29. 29. 8 bits: 1 byte 1024 bytes: 1 kilobyte 1024 kilobytes: 1 megabyte 1024 megabytes: 1 gigabyte 1024 gigabytes: 1 terabyte IDC Digital Universe
  30. 30. 8 bits: 1 byte 1024 bytes: 1 kilobyte 1024 kilobytes: 1 megabyte 1024 megabytes: 1 gigabyte 1024 gigabytes: 1 terabyte 1014 terabytes: IDC Digital Universe
  31. 31. 8 bits: 1 byte 1024 bytes: 1 kilobyte 1024 kilobytes: 1 megabyte 1024 megabytes: 1 gigabyte 1024 gigabytes: 1 terabyte 1014 terabytes: 1 petabyte IDC Digital Universe
  32. 32. 8 bits: 1 byte 1024 bytes: 1 kilobyte 1024 kilobytes: 1 megabyte 1024 megabytes: 1 gigabyte 1024 gigabytes: 1 terabyte 1014 terabytes: 1 petabyte 1024 petabytes: IDC Digital Universe
  33. 33. 8 bits: 1 byte 1024 bytes: 1 kilobyte 1024 kilobytes: 1 megabyte 1024 megabytes: 1 gigabyte 1024 gigabytes: 1 terabyte 1014 terabytes: 1 petabyte 1024 petabytes: 1 exabyte IDC Digital Universe
  34. 34. 8 bits: 1 byte 1024 bytes: 1 kilobyte 1024 kilobytes: 1 megabyte 1024 megabytes: 1 gigabyte 1024 gigabytes: 1 terabyte 1014 terabytes: 1 petabyte 1024 petabytes: 1 exabyte 1024 exabytes: IDC Digital Universe
  35. 35. 8 bits: 1 byte 1024 bytes: 1 kilobyte 1024 kilobytes: 1 megabyte 1024 megabytes: 1 gigabyte 1024 gigabytes: 1 terabyte 1014 terabytes: 1 petabyte 1024 petabytes: 1 exabyte 1024 exabytes: 1 zetabyte IDC Digital Universe
  36. 36. 8 bits: 1 byte 1024 bytes: 1 kilobyte 1024 kilobytes: 1 megabyte 1024 megabytes: 1 gigabyte 1024 gigabytes: 1 terabyte 1014 terabytes: 1 petabyte 1024 petabytes: 1 exabyte 1024 exabytes: 1 zetabyte Ou seja até 2015: quase 8 zetabytes IDC Digital Universe
  37. 37. • Processadores mais rápidos • Alta capacidade de memória acessível • Novas tecnologias de armazenamento e processamento desenhadas especialmente para grandes volumes de dados, incluindo dados não estruturados • Processamento paralelo, clustering, virtualização, grandes ambientes de grid, alta conectividade e grandes resultados. • Computação em nuvem e outras alocações de recursos flexíveis Tecnologia
  38. 38. O que é Big Data...
  39. 39. O que é Big Data...
  40. 40. Mas onde usar?
  41. 41. Sistema de Recomendações
  42. 42. GPS
  43. 43. GPS
  44. 44. Cidades Inteligentes http://exame.abril.com.br/tecnologia/noticias/5-cidades-que-usam-big-data-para-melhorar-vida-dos- moradores
  45. 45. Internet of Things
  46. 46. Redes Sociais
  47. 47. Mercado Financeiro: conhecer o consumidor, análise de dados para identificar os riscos de mercado
  48. 48. Google Flu Trends - http://www.google.org/flutrends/br/#BR
  49. 49. Big Data: capturar, armazenar, buscar, compartilhar, analisar e visualizar
  50. 50. Maior desafio:
  51. 51. Maior desafio: Privacidade
  52. 52. Maior desafio: "Ao mesmo tempo em que estamos animados com as novas perspectivas de negócio possibilitadas pela coleta exaustiva de dados, também estamos preocupados com o fato de muitas empresas armazenarem grande quantidade de dados pessoais desnecessariamente. Defendemos que as empresas adotem uma atitude de “datensparsamkeit” e armazenem apenas o mínimo de informações pessoais necessárias sobre seus clientes." http://thoughtworks.fileburst.com/assets/technology-radar- jan-2014-pt.pdf
  53. 53. BI x Big Data
  54. 54. "O Big Data é uma evolução do BI, e ambos devem caminhar juntos no futuro." Carlos Tunes, líder de soluções de SW para Business Analytics da IBM Brasil
  55. 55. "A diferença é o dinamismo, multiplicidade e o tamanho"
  56. 56. Big Data não vai "matar" o BI
  57. 57. 'Data Warehouse' será necessário para armazenar dados estruturados
  58. 58. Previsão: BI servirá para casos específicos, enquanto o Big Data permitirá uma leitura mais geral da situação
  59. 59. Ou seja: Como se BI fosse a foto e o Big Data o filme – algo mais completo, que permite agregar todos os bancos de dados estruturados e os não estruturados, como vídeos, imagens e textos.
  60. 60. Quem é o profissional de Big Data?
  61. 61. Cientista de Dados (Data Scientist)
  62. 62. Que ferramenta preciso aprender?
  63. 63. E se eu quiser saber mais?
  64. 64. IBM Big Data Univeristy http://bigdatauniversity.com/courses/ Coursera https://www.coursera.org/ ● Big Data in Education, ● Web Intelligence and Big Data, ● Machine Learning, ● Introduction to Recommender Systems, etc... EDX https://www.edx. org/course/caltechx/cs1156x/learning-data/1120 Learning From Data
  65. 65. Real-Time Big Data Analytics: Emerging Architecture Hadoop: The Definitive Guide Big Data Now: 2012 Edition
  66. 66. Alguns links ● http://www.thedevelopersconference.com.br/tdc/2013/saopaulo/trilha-bigdata#programacao ● http://www.infoq.com/bigdata/ ● http://www.infoq.com/br/bigdata ● http://blog.matthewrathbone.com/2013/01/05/a-quick-guide-to-hadoop-map-reduce-frameworks.html ● http://developer.yahoo.com/hadoop/tutorial/ ● http://blog.mortardata.com/post/40602271238/7-books-to-supercharge-your-data-education ● http://hortonworks.com/hadoop-training/register-for-hadoop-training/ ● https://education.emc.com/guest/campaign/data_science.aspx
  67. 67. Resumo, Big Data...
  68. 68. E, mais 2 dicas...
  69. 69. Alexandre Uehara @AleUehara linkedin.com/in/aleuehara uehara.alexandre@gmail.com slideshare.net/aleuehara

×