Baixado 26 vezes
Carregado porVivaldo Jose Breternitz
Big Data - uma visão executiva
O documento discute Big Data como uma tecnologia que processa enormes volumes de dados em tempo real, destacando sua relevância em setores como varejo e segurança pública. Além disso, enfatiza a demanda crescente por profissionais qualificados, conhecidos como data scientists, e apresenta iniciativas educacionais, como o novo curso de pós-graduação da Universidade Presbiteriana Mackenzie. O material também aborda questões éticas relacionadas à privacidade e à manipulação de dados.
Mais conteúdo relacionado
Semelhante a Big Data - uma visão executiva
Big Data - uma visão executiva
- 1. Universidade Presbiteriana Mackenzie BIGDATA: UMA VISÃO EXECUTIVA Prof. Dr. Vivaldo José Breternitz Faculdade de Computação e Informática 1 WTT 2014
- 2. 2 Vivaldo José Breternitz •Vida acadêmica – Professor/Coordenador de Estágios na FCI – Doutor em Ciências – USP – Mestre em Engenharia – Mack – Graduado em Administração - UniAnchieta • Vida empresarial – Na área de TI desde 1970 – Funções técnicas, executivas e consultoria em empresas como ABN AMRO, Bradesco, Cica, Deutsche Bank, Prodam, Prodesp, Santander etc. 2
- 3. • Podemos chamarBig Data a tecnologia que reúne uma quantidade extraordinariamente grande de dados, de vários tipos e os processa praticamente em tempo real, aumentando as possibilidades de uso imediato das informações assim geradas 3
- 4. Fala-se em outrosV • Veracidade, valor, visibilidade etc. • Mas o que conta mesmo é o V de Vantagem Competitiva 4
- 5. O ciclo deBig Data 5
- 6. Esse “Act” podeser de inúmeras maneiras 6
- 7. 7 Nos EUA, ouso de big data pela rede de lojas Macy's permitiu que caísse de 27h para 1h o tempo necessário para rever o preço dos produtos à venda na rede
- 8. A Votorantim e outras empresasjá estão substituindo a análise de currículos pela coleta e observação de dados publicados pelos candidatos em redes sociais e outros espaços da internet. 8
- 9. 9 No Rio deJaneiro, o Centro de Operações reúne dados recolhidos por câmeras e outros dispositivos afim de mapear a cidade e apontar locais com problemas, que são informados a 30 órgãos públicos que podem solucioná-los.
- 10. 10 Um algoritmo no Facebook analisou8,6 bilhões de conexões de 1,3 milhão de usuários do Facebook para aprender a prever quando um namoro está perto do fim.
- 11. O tema jáchegou ao cinema 11 • Moneyball (no Brasil, O Homem que mudou o Jogo): filme baseado na história de Billy Beane, gerente do time de baseball Oakland Athletics. • Moneyball se foca nas tentativas de Beane de criar um time competitivo (o clube estava em má situação financeira) usando análise estatistica sofisticada para encontrar jogadores baratos • O filme foi lançado no final de 2011
- 12. Gartner Hype Cycle2013 12
- 13. Vamos falar umpouco sobre os V 13
- 14. • Bit: menorunidade de informação em computação (usualmente, oito compõem um byte) • Byte: “espaço” em que pode armazenar um caracter ou dois algarismos Volume de dados 14
- 15. Volumes 15 • 90% ofthe world’s data created in the last 2 years • 35 Zettabytes by 2020 •How many data generated ONE day? ― 7 TB, Twitter ― 10 TB, Facebook
- 16.
- 17.
- 18. An increasingly sensor-enabledand instrumented business environment generates HUGE volumes of data with MACHINE SPEED characteristics… EACH engine generating 10 TB every 30 minutes! 18
- 19. Dados de tiposvariados, inclusive não estruturados • Convencionais, estruturados • Sons • Imagens • Sensores • Etc 19
- 20. Processados em temporeal • Business Intelligence: captura os dados e DEPOIS os processa • Big Data: data streaming – os dados vão sendo processados à medida que são capturados 20
- 21. O sw eo hw disponíveis até muito recentemente não conseguiam dar conta disso 21
- 22. 22 Estratégias, software ehardware radicalmente diferentes são necessários (e já estão em uso por Amazon, Ebay, Facebook e outros): – Hadoop - plataforma para computação distribuída – Cassandra – gerenciador de banco de dados – IBM Netezza Accelerator, SAP HANA – in memory processing
- 23. E logo vãoproliferar • Cursos, livros, consultorias, produtos maquiados etc. etc., visando atingir esse mercado... • Isso sempre acontece quando há muito $$$ envolvido.... 23
- 24. Big Data Marketforecast US$ billions (world) 24
- 25.
- 26. O filé: Análise! Talento émais importante que tecnologia (embora nada se possa fazer sem ela em BD) 26
- 27. Os profissionais quetrabalham com isso vem sendo chamados Data Scientists “A Data Scientist is somebody who is inquisitive, who can stare at data and spot trends. It's almost like a Renaissance person who really wants to learn and bring change to an organization.“ 27 Anjul Bhambhri, vice president of Big Data products at IBM
- 28. Renaissance person? 28 A Renaissance person,also known as a "polymath", refers to a person with many talents or interests
- 29. Típicamente um DataScientist 29
- 30. Acredita-se que umbom Data Scientist deva ter habilidades multidisciplinares (ser um polimata) • Características pessoais – Curiosidade – Mente aberta – Raciocínio lógico apurado • Domínio de sistemas computacionais • Domínio de matemática e estatística sofisticadas • Conhecimentos na área empresarial: – Entendimento do negócio e do mercado – Capacidade de comunicar seus insights a pessoas com formações diferentes 30
- 31.
- 32.
- 33. • Profissionais comesse perfil são muito raros • Sua formação demanda muito tempo • Pesquisas da consultoria McKinsey dizem que, apenas nos USA, faltarão em 2018 aproximadamente 190.000 desses profissionais. • Faltarão também cerca de 1,5 milhão de profissionais habilitados como usuários 33
- 34. Esses profissionais nãosão os atuais “Analistas de Business Intelligence”, especialmente pelo grau de sofisticação das ferramentas utilizadas e da formação necessária Não havendo ainda formação específica para profissionais dessa área, tem sido comum a utilização de pessoas com formação e experiências diversas 34
- 35. O Mack, emparceria com a IBM, trabalhará para fechar esse gap • No segundo semestre lançaremos um novo curso de pós graduação: Ciência de Dados: BIG DATA ANALYTICS, com ênfase em mineração e análise de dados. • Objetivo do curso: formar futuros CDO – Chief Data Officers 35
- 36. Por falar emformação: uma visão do mercado americano 36
- 37. Salários: ainda nãotemos números confiáveis no Brasil, mas... • UK – Graduates entering the Big Data industry can expect to be paid approximately £27k – An analyst with four years’ experience is likely to command £40k - £48k – Senior consultants will earn around £120k – Consultancy is a popular option and freelancers can potentially earn £500 per day. 37
- 38.
- 39. Mas nem tudosão flores quando se trata de BD... 39
- 40. Privacidade Adam Savage, of“Myth Busters,” took a photo of his vehicle using his smartphone. He then posted the photo to his Twitter account including the phrase “Off to work.” Since the photo was taken by his smartphone, the image contained metadata revealing the exact geographical location the photo was taken By simply taking and posting a photo, Savage revealed the exact location of his home, the vehicle he drives, and the time he leaves for work 40
- 41. Computational Social Science(CSS) • Ciência que compreende a investigação da dinâmica social conduzida de forma interdisciplinar, sob a perspectiva da informação e por meio do uso de sistemas computacionais avançados • Sua aplicação pode gerar manipulação de pessoas em escala nunca vista 41
- 42.
- 43.
- 44.
- 45.
- 46. E para quenão aconteça isto 46
- 47.
Notas do Editor
- #19 I was on a plane in Airbus the other day, and do you realize that these things are hugely sensor enabled devices that are instrumented to collect data as they operate. They also generate huge volumes of data. +CLICK+ For this particular Airbus, over a billion lines of a code and a single engine generates 10 terabytes of data every 30 minutes. And so there’s four engines there, right? +CLICK+ And, you know, just taking this particular plane from the UK to New York would generate 640 terabytes of data. Now stop and ponder that for a moment. Propose this amount of data injection to your client and it becomes obvious – there’s too much data to process, analyze, store with traditional approaches.