Big Data Week São Paulo 2017
•
1 gostou•448 visualizações
BIG DATA, O PODER DA INFORMAÇÃO, SEUS CASOS DE USO E PRINCIPAIS ARQUITETURAS. Palestra sobre o poder da Informação e como os dados estão revolucionando o mundo. Quais os principais casos de uso dos gigantes de Telecom e E-Comerce, e arquiteturas que eles utilizam.
Recomendados
Mais conteúdo relacionado
Mais procurados
Mais procurados (8)
Semelhante a Big Data Week São Paulo 2017
Semelhante a Big Data Week São Paulo 2017 (20)
Mais de Thiago Santiago
Mais de Thiago Santiago (10)
Big Data Week São Paulo 2017
- 1. Thiago Santiago Big Data e Hadoop O poder da informação BIG DATA WEEK SÃO PAULO 2017 BigData, Casos de Uso dos gigantes e arquiteturas...
- 5. 5
- 6. O Big Data procura responder a perguntas como: Por quê? E se? O que acontecerá? Como otimizar? E fornecer novos insights O intuito final é apenas um: dominar a informação! Veracidade e Valor Os pilares 6
- 8. 8
- 9. 9
- 11. ? Quantas vezes Homens e mulheres no Tinder movem seus dedos para a esquerda e direita nas telas de seus dispositivos por minuto? … A cada minuto no mundo... 11
- 12. Papa Bento Papa Francisco A mudança de era… 12
- 13. Algo interessante está acontecendo… 13
- 14. 8ZB DATAINTERNET OF ANYTHING 44ZB DATA 2020 Byte Kilobyte (KB) Megabyte (MB) Gigabyte (GB) Terabyte (TB) Petabyte (PB) Exabyte (EB) Zettabyte (ZB) Quanto de informação o mundo possui? 14
- 15. Como analisar essa quantidade de dados? 15
- 16. https://pt.wikipedia.org/wiki/Hadoop Plataforma de software em Java de computação distribuída voltada para clusters e processamento de grandes massas de dados. Foi inspirada no MapReduce e no GoogleFS (GFS). Trata-se de um projeto da Apache de alto nível, que vai sendo construído por uma comunidade de contribuidores Java. O Yahoo! tem sido o maior contribuidor do projeto, utilizando essa plataforma intensivamente em seus negócios. Hadoop 16
- 17. O que é MR? 17
- 19. Players 19
- 20. 20 The Forrester Wave™: Big Data Warehouse, Q2 2017 Hortonworks delivers a viable open source BDW platform. Hortonworks delivers actionable intelligence from all kinds of data-in-motion and data-at-rest. Through its open source strategy, Hortonworks continually evolves its offering by working closely with partners across the EDW ecosystem of tools and vendors. The vendor provides a cost-effective, nimble, and scalable architecture to implement big data warehouses, whether on-premises or in the cloud. All of the technology built into the Hortonworks Data Platform is an Apache open source project. Enterprises like Hortonworks' storage and compute processing, broad data ingestion, data governance, and open source support when deploying BDW, but they claim it lags in data transformation and data modeling capabilities.
- 22. Hadoop Resources Existing Resources Architect Training Data Architect Hadoop Architect Hive TrainingBI Analyst Hadoop Analyst Developer Training Developer (Java/Scripting, Python, Ruby, etc…) Hadoop Developer Admin Training Linux/Windows Administrator Cluster Ops & Admin O Caminho do Conhecimento
- 23. Hortonworks Data Flow 3.0 23
- 24. Hortonworks Data Platform 2.6 24
- 28. Apenas um dos vários clusters Hadoop operados pela empresa abrange mais de 4.000 máquinas. Facebook Messager no Apache Hadoop HBase platform para suportar bilhões de mensagens por dia. Usam Hive para os reports e análise de grandes conjuntos de dados. O que fazem os grandes com Hadoop? 28
- 29. Foi o primeiro a oferecer a opção “outros que compraram isso, compraram também…”, obtendo instantaneamente vantagem competitiva com relação a seus concorrentes; + 20% de vendas! O que fazem os grandes com Hadoop? 29
- 30. Utiliza Hadoop para sugerir automaticamente conteúdo a seus usuários baseado no que foi assistido anteriormente. Talvez o melhor exemplo de sucesso de Big Data, o Netflix passou a não somente oferecer sugestões de conteúdo similar, mas sim produzir conteúdo direcionado para as preferências das massas, de acordo com o que vem “aprendendo” ao longo dos anos. O que fazem os grandes com Hadoop? 30
- 31. “Aprende” sobre a rotina diária das pessoas, e sugere automaticamente meios de transporte, restaurantes, opções de entretenimento, entre outras coisas, baseando-se no comportamento individual de cada um. O que fazem os grandes com Hadoop? 31
- 32. Analisa em tempo real a situação do trânsito das cidades, e sugere o caminho mais rápido, baseado no feedback dos usuários e de análises de velocidade de deslocamento informados automaticamente pelos dispositivos conectados; O que fazem os grandes com Hadoop? 32
- 33. O site de namoro online recentemente atualizou seu ambiente na nuvem, usando Hadoop e os processadores Intel Xeon E5 para analisar um volume massivo e variado de dados. A tecnologia ajuda a eHarmony a disponibilizar novas combinações a milhões de pessoas diariamente. O novo ambiente cloud acomoda análises mais complexas, criando resultados mais personalizados e aumentando a chance de sucesso nos relacionamentos. O que fazem os grandes com Hadoop? 33
- 34. Análise de logs em tempo real O que fazem os grandes com Hadoop? menções honrosas Análise Patológica 34
- 39. Product Catalogs Sales Forecasts Beacons & RFID Server Logs In-Store WiFi Logs Store Communicatio ns SINGLE VIEW OF THE CUSTOMER PRODUCT RECOMMENDATION S INVENTORY & SUPPLY CHAIN PRICING OPTIMIZATIO N TARGETED PROMOTIONS Clickstream ERP Data Social Media Staffing Plans Store Reporting CRM Records Casos de Uso: Comercio Eletronico 39
- 45. Market Research Studies CRM Records Online Transaction s Social Media Streams Impressions Video Consumption Logs CUSTOMER SEGMENTATION ONLINE AD PLACEMENT PRODUCT RECOMMENDATIONS TARGETED PROMOTION S VIDEO SYNDICATION Sensor Data Product Catalogs Server Logs Clickstream s Customer Surveys Sales Report s Casos de Uso: Propaganda e Marketing 45
- 47. 47
- 51. Akiban Data Base BigData ou Pokemon? 51