Baixado 229 vezes
Carregado porAlexandre Uehara
Treinamento hadoop - dia1
O documento apresenta um treinamento de 7 dias sobre Hadoop e Big Data. O primeiro dia introduz os conceitos básicos de Big Data, como os 4V's (volume, velocidade, variedade e valor), além de explicar onde e por que usar Big Data hoje. Os dias 2 e 3 abordam MapReduce e Hadoop. Os dias subsequentes discutem outras ferramentas do ecossistema Hadoop e conceitos como NoSQL e machine learning. Os dias 5, 6 e 7 são dedicados a práticas com Python e Hadoop.
Mais conteúdo relacionado
Semelhante a Treinamento hadoop - dia1
Treinamento hadoop - dia1
- 1.
- 2. Alexandre Uehara ● AnalistaDesenvolvedor (E-commerce) ● Coordenador Trilha Big Data (TDC 2013 São Paulo, TDC 2014 Florianópolis) http://www.thedevelopersconference.com. br/tdc/2013/saopaulo/trilha-bigdata#programacao ● Geek e nerd, trabalha com Python, Java, C, BigData, NoSQL, e outras coisas mais que aparecem no dia a dia
- 3.
- 4.
- 5. Dia 1: Introdução Conceitos Básicos BigData → O que é? → 4 V's → Por que agora? → Onde Usar? → Desafio → BI x Big Data →Profissional de Big Data → Ferramentas → Dicas
- 6. Dia 2 e3: Map Reduce e Hadoop → História (Google) → Conceito MapReduce → Hadoop → Cases
- 7. Dia 4 Outras Ferramentas → Ecossistema →Ferramentas → Distribuições Hadoop → Hadoop na Nuvem → NoSQL Tipos → NoSQL Exemplos → Data Science → Machine Learning
- 8. Dia 5, 6e 7 Hands-on → Python → Hadoop
- 9. Por favor Perguntem… Não fiquem comdúvidas Aproveitem!!!
- 13. E, o queé Big Data?
- 15. "Das 65 empresasbrasileiras entrevistadas, três em cada quatro organizações têm atividades em andamento e uma em cada quatro ou está com um projeto piloto ou em implementação de projeto, enquanto as restantes ainda lutam para entender a tecnologia e suas aplicações." IBM and Oxford University
- 17. Antes de maisnada: "Big Data não é nenhuma ferramenta, nenhuma tecnologia é um CONCEITO."
- 18. “Big data setrata de um conceito, no qual o foco é o grande armazenamento de dados e maior velocidade. Podemos dizer que o big data se baseia em 4V’s velocidade, volume, variedade e valor” Wikipedia http://pt.wikipedia.org/wiki/Big_data
- 21. VOLUME: O Big Dataenvolve modelos de persistência da ordem de petabytes ou zetabytes de dados geralmente não estruturados
- 23.
- 25. VARIEDADE: Dados não estruturados Dadossemi-estruturados Diferentes fontes Diferentes formatos
- 27.
- 29.
- 32. 90% dos dados disponíveisno mundo foram gerados apenas nos dois anos anteriores. IDC Digital Universe
- 33. 8 bits: IDC DigitalUniverse
- 34. 8 bits: 1byte IDC Digital Universe
- 35. 8 bits: 1byte 1024 bytes: IDC Digital Universe
- 36. 8 bits: 1byte 1024 bytes: 1 kilobyte IDC Digital Universe
- 37. 8 bits: 1byte 1024 bytes: 1 kilobyte 1024 kilobytes: IDC Digital Universe
- 38. 8 bits: 1byte 1024 bytes: 1 kilobyte 1024 kilobytes: 1 megabyte IDC Digital Universe
- 39. 8 bits: 1byte 1024 bytes: 1 kilobyte 1024 kilobytes: 1 megabyte 1024 megabytes: IDC Digital Universe
- 40. 8 bits: 1byte 1024 bytes: 1 kilobyte 1024 kilobytes: 1 megabyte 1024 megabytes: 1 gigabyte IDC Digital Universe
- 41. 8 bits: 1byte 1024 bytes: 1 kilobyte 1024 kilobytes: 1 megabyte 1024 megabytes: 1 gigabyte 1024 gigabytes: IDC Digital Universe
- 42. 8 bits: 1byte 1024 bytes: 1 kilobyte 1024 kilobytes: 1 megabyte 1024 megabytes: 1 gigabyte 1024 gigabytes: 1 terabyte IDC Digital Universe
- 43. 8 bits: 1byte 1024 bytes: 1 kilobyte 1024 kilobytes: 1 megabyte 1024 megabytes: 1 gigabyte 1024 gigabytes: 1 terabyte 1014 terabytes: IDC Digital Universe
- 44. 8 bits: 1byte 1024 bytes: 1 kilobyte 1024 kilobytes: 1 megabyte 1024 megabytes: 1 gigabyte 1024 gigabytes: 1 terabyte 1014 terabytes: 1 petabyte IDC Digital Universe
- 45. 8 bits: 1byte 1024 bytes: 1 kilobyte 1024 kilobytes: 1 megabyte 1024 megabytes: 1 gigabyte 1024 gigabytes: 1 terabyte 1014 terabytes: 1 petabyte 1024 petabytes: IDC Digital Universe
- 46. 8 bits: 1byte 1024 bytes: 1 kilobyte 1024 kilobytes: 1 megabyte 1024 megabytes: 1 gigabyte 1024 gigabytes: 1 terabyte 1014 terabytes: 1 petabyte 1024 petabytes: 1 exabyte IDC Digital Universe
- 47. 8 bits: 1byte 1024 bytes: 1 kilobyte 1024 kilobytes: 1 megabyte 1024 megabytes: 1 gigabyte 1024 gigabytes: 1 terabyte 1014 terabytes: 1 petabyte 1024 petabytes: 1 exabyte 1024 exabytes: IDC Digital Universe
- 48. 8 bits: 1byte 1024 bytes: 1 kilobyte 1024 kilobytes: 1 megabyte 1024 megabytes: 1 gigabyte 1024 gigabytes: 1 terabyte 1014 terabytes: 1 petabyte 1024 petabytes: 1 exabyte 1024 exabytes: 1 zetabyte IDC Digital Universe
- 49. 8 bits: 1byte 1024 bytes: 1 kilobyte 1024 kilobytes: 1 megabyte 1024 megabytes: 1 gigabyte 1024 gigabytes: 1 terabyte 1014 terabytes: 1 petabyte 1024 petabytes: 1 exabyte 1024 exabytes: 1 zetabyte Ou seja até 2015: quase 8 zetabytes IDC Digital Universe
- 52. • Processadores mais rápidos •Alta capacidade de memória acessível • Novas tecnologias de armazenamento e processamento desenhadas especialmente para grandes volumes de dados, incluindo dados não estruturados • Processamento paralelo, clustering, virtualização, grandes ambientes de grid, alta conectividade e grandes resultados. • Computação em nuvem e outras alocações de recursos flexíveis Tecnologia
- 53. O que éBig Data...
- 54. O que éBig Data...
- 55.
- 56.
- 57.
- 58.
- 59.
- 60.
- 61.
- 62. Mercado Financeiro: conhecer oconsumidor, análise de dados para identificar os riscos de mercado
- 63. Google Flu Trends- http://www.google.org/flutrends/br/#BR
- 66.
- 67.
- 68.
- 69. Maior desafio: "Ao mesmotempo em que estamos animados com as novas perspectivas de negócio possibilitadas pela coleta exaustiva de dados, também estamos preocupados com o fato de muitas empresas armazenarem grande quantidade de dados pessoais desnecessariamente. Defendemos que as empresas adotem uma atitude de “datensparsamkeit” e armazenem apenas o mínimo de informações pessoais necessárias sobre seus clientes." http://thoughtworks.fileburst.com/assets/technology-radar- jan-2014-pt.pdf
- 71. BI x BigData
- 72. "O Big Dataé uma evolução do BI, e ambos devem caminhar juntos no futuro." Carlos Tunes, líder de soluções de SW para Business Analytics da IBM Brasil
- 73. "A diferença éo dinamismo, multiplicidade e o tamanho"
- 74. Big Data não vai"matar" o BI
- 75. 'Data Warehouse' será necessáriopara armazenar dados estruturados
- 76. Previsão: BI servirá paracasos específicos, enquanto o Big Data permitirá uma leitura mais geral da situação
- 77. Ou seja: Como seBI fosse a foto e o Big Data o filme – algo mais completo, que permite agregar todos os bancos de dados estruturados e os não estruturados, como vídeos, imagens e textos.
- 78. Quem é oprofissional de Big Data?
- 79. Cientista de Dados (DataScientist)
- 80.
- 83. E se euquiser saber mais?
- 84. IBM Big DataUniveristy http://bigdatauniversity.com/courses/ Coursera https://www.coursera.org/ ● Big Data in Education, ● Web Intelligence and Big Data, ● Machine Learning, ● Introduction to Recommender Systems, etc... EDX https://www.edx. org/course/caltechx/cs1156x/learning-data/1120 Learning From Data
- 85. Real-Time Big DataAnalytics: Emerging Architecture Hadoop: The Definitive Guide Big Data Now: 2012 Edition
- 86. Alguns links ● http://www.thedevelopersconference.com.br/tdc/2013/saopaulo/trilha-bigdata#programacao ●http://www.infoq.com/bigdata/ ● http://www.infoq.com/br/bigdata ● http://blog.matthewrathbone.com/2013/01/05/a-quick-guide-to-hadoop-map-reduce-frameworks.html ● http://developer.yahoo.com/hadoop/tutorial/ ● http://blog.mortardata.com/post/40602271238/7-books-to-supercharge-your-data-education ● http://hortonworks.com/hadoop-training/register-for-hadoop-training/ ● https://education.emc.com/guest/campaign/data_science.aspx
- 87.
- 88.
- 91.