WEBCASTS 
15 
set 
2 0 1 4 
DEV Plataforma de Dados, BI & Big Data 
MVP ShowCast 
Virtual Community Series 
a 
09 
out 
#mvpbr Organizado por MVPs com apoio da Microsoft #mvpshowcast 
O Dia a Dia do Cientista de Dados 
Palestrante: Moderador: 
DEV Plataforma de Dados, BI & Big Data 
Diego Nogare 
MVP de SQL Server 
Business Intelligence no Minha Vida 
@DiegoNogare 
Luan Moreno Medeiros Maciel 
MVP de SQL Server 
CEO & Founder na One Way Solution 
@luansql 
Nível: 200 
© 2014, MVP ShowCast (mvpshowcast.azurewebsites.net) 
Programa MVP (mvp.microsoft.com)
DEV Plataforma de Dados, BI & Big Data 
Agenda do webcast 
♦Evolução das tecnologias envolvidas 
♦Desafios diários 
♦Habilidades esperadas 
♦O que estudar e onde aprender 
© 2014, MVP ShowCast (mvpshowcast.azurewebsites.net) Programa MVP (mvp.microsoft.com)
DEV Plataforma de Dados, BI & Big Data 
Evolução 
Data Science Data Scientist 
© 2014, MVP ShowCast (mvpshowcast.azurewebsites.net) Programa MVP (mvp.microsoft.com)
DEV Plataforma de Dados, BI & Big Data 
Porque investir em Big Data? 
© 2014, MVP ShowCast (mvpshowcast.azurewebsites.net) Programa MVP (mvp.microsoft.com)
DEV Plataforma de Dados, BI & Big Data 
Porque investir em Big Data? 
© 2014, MVP ShowCast (mvpshowcast.azurewebsites.net) Programa MVP (mvp.microsoft.com)
DEV Plataforma de Dados, BI & Big Data 
Volume 
Velocidade 
Veracidade 
Variedade 
BigData é sobre 
Volume, Velocidade, 
Variedade e Veraci… 
Veracidade não 
é uma medida 
de magnitude!!! 
© 2014, MVP ShowCast (mvpshowcast.azurewebsites.net) Programa MVP (mvp.microsoft.com)
DEV Plataforma de Dados, BI & Big Data 
Desafios Técnicos 
♦Péssima qualidade dos dados 
♦Dados sujos 
♦ “Valores Nulos” 
♦Tipos de dados inadequados 
© 2014, MVP ShowCast (mvpshowcast.azurewebsites.net) Programa MVP (mvp.microsoft.com)
DEV Plataforma de Dados, BI & Big Data 
Dados Não Estruturados 
♦Imagens 
♦Geo-Localização 
♦Texto 
♦Social Network 
♦Vídeos 
♦Weareables 
© 2014, MVP ShowCast (mvpshowcast.azurewebsites.net) Programa MVP (mvp.microsoft.com)
DEV Plataforma de Dados, BI & Big Data 
Onde estão os dados?! 
NY Stock 
1TB/Dia 
Internet Archive 
2PT + 20TB/Mês 
Large Hadron Collider 
15PT/Ano 
Ancestry.com 
2.5PT 
Facebook 
10 bilhões fotos 
1PT 
© 2014, MVP ShowCast (mvpshowcast.azurewebsites.net) Programa MVP (mvp.microsoft.com)
DEV Plataforma de Dados, BI & Big Data 
© 2014, MVP ShowCast (mvpshowcast.azurewebsites.net) Programa MVP (mvp.microsoft.com)
DEV Plataforma de Dados, BI & Big Data 
Habilidades Procuradas 
© 2014, MVP ShowCast (mvpshowcast.azurewebsites.net) Programa MVP (mvp.microsoft.com)
DEV Plataforma de Dados, BI & Big Data 
Engenharia 
dos Dados 
Métodos 
Científicos 
Experiência 
no Business 
Data 
Science 
Matemática 
Estatística 
Computação 
Avançada 
Pensamento 
fora da Caixa 
Visualização 
© 2014, MVP ShowCast (mvpshowcast.azurewebsites.net) Programa MVP (mvp.microsoft.com)
DEV Plataforma de Dados, BI & Big Data 
“UM” fluxo, não “O” fluxo 
Identificar 
as Origem 
Extrair 
Limpar 
Refinar 
Tomar 
Decisão 
Analisar uma 
Amostragem 
Criar um 
Algoritmo 
© 2014, MVP ShowCast (mvpshowcast.azurewebsites.net) Programa MVP (mvp.microsoft.com)
Você NÃO pode prever o futuro. Simples assim! 
DEV Plataforma de Dados, BI & Big Data 
© 2014, MVP ShowCast (mvpshowcast.azurewebsites.net) Programa MVP (mvp.microsoft.com)
DEV Plataforma de Dados, BI & Big Data 
Ferramentas Comuns 
© 2014, MVP ShowCast (mvpshowcast.azurewebsites.net) Programa MVP (mvp.microsoft.com)
DEV Plataforma de Dados, BI & Big Data 
Demos em R 
© 2014, MVP ShowCast (mvpshowcast.azurewebsites.net) Programa MVP (mvp.microsoft.com)
DEV Plataforma de Dados, BI & Big Data 
Como Aprender 
♦Coursera: https://www.coursera.org/specialization/jhudatascience/1 
Udemy: https://www.udemy.com/courses/search/?q=data+science 
♦Udacity: https://www.udacity.com/courses#!/data-science 
♦MIT OpeCourseWare: http://ocw.mit.edu/index.htm 
♦Harvard Open Course: http://www.extension.harvard.edu/courses/data-science 
© 2014, MVP ShowCast (mvpshowcast.azurewebsites.net) Programa MVP (mvp.microsoft.com)
DEV Plataforma de Dados, BI & Big Data 
Fontes 
♦Hype Cycle: https://www.gartner.com/doc/2813223/hype-cycle-business-intelligence-analytics 
♦O que é Data Science: http://wikibon.org/blog/role-of-the-data-scientist/ 
♦50 Data Science Gurus: http://blog.automatedinsights.com/post/95129473817/50-data-science- 
gurus-and-10-organizations-you-must 
♦Skills do Data Scientist: http://www.itjobswatch.co.uk/ 
♦Onde estão os dados: Hadoop: Definitive guide. (O’Reilly) Tom White. 2011 
♦Spurious Correlations: http://tylervigen.com/ 
♦IPs conhecidos: http://labs.opendns.com/2014/10/02/opendns-and-bash/ 
© 2014, MVP ShowCast (mvpshowcast.azurewebsites.net) Programa MVP (mvp.microsoft.com)
DEV Plataforma de Dados, BI & Big Data 
Webcasts relacionados 
Data e horário Palestra Palestrante 
07/10/2014 12h 
(terça-feira) 
ColumnStore 2014: Faça o seu DW Voar! 
08/10/2014 12h 
(quarta-feira) 
Automatizando o Microsoft Azure com PowerShell, Chef 
e Puppet 
08/10/2014 20h 
(quarta-feira) 
Introdução ao Microsoft Azure Automation 
09/10/2014 12h 
(quinta-feira) 
Entendendo Big Data Através da Plataforma Microsoft 
Grade completa de webcasts: mvpshowcast.azurewebsites.net 
Felipe Ferreira 
MVP SQL Server 
Thiago Custódio 
Software Engineer 
Evilázaro Alves 
MVP Windows Azure 
Diego Nogare 
MVP SQL Server 
© 2014, MVP ShowCast (mvpshowcast.azurewebsites.net) Programa MVP (mvp.microsoft.com)
Iniciativas da Microsoft 
Premiação MVP 
A premiação Microsoft Most Valuable Professional (MVP) é uma forma da Microsoft 
agradecer aos líderes independentes da comunidade que compartilham sua paixão, 
experiência técnica e conhecimento prático dos produtos da Microsoft com outros. 
mvp.microsoft.com 
Programa MVP Mentor 
O Programa MVP Mentor conecta estudantes que querem aprender mais sobre 
tecnologias Microsoft com especialistas independentes: os MVPs da Microsoft. 
mvp.microsoft.com/en-us/MVP-mentor.aspx 
Microsoft Virtual Academy 
Treinamento gratuito da Microsoft 
oferecido por especialistas. 
www.microsoftvirtualacademy.com 
Curah! 
Serviço de curadoria projetado para 
e mantido pela comunidade técnica. 
curah.microsoft.com 
© 2014, MVP ShowCast (mvpshowcast.azurewebsites.net) Programa MVP (mvp.microsoft.com)
WEBCASTS 
15 
set 
2 0 1 4 
DEV Plataforma de Dados, BI & Big Data 
MVP ShowCast 
Virtual Community Series 
a 
09 
out 
#mvpbr Organizado por MVPs com apoio da Microsoft #mvpshowcast 
Dúvidas? 
Palestrante: Moderador: 
DEV Plataforma de Dados, BI & Big Data 
Diego Nogare 
MVP de SQL Server 
@DiegoNogare 
© 2014, MVP ShowCast (mvpshowcast.azurewebsites.net) 
Programa MVP (mvp.microsoft.com)

MVP ShowCast 2014 - O dia a dia do Cientista de Dados

  • 1.
    WEBCASTS 15 set 2 0 1 4 DEV Plataforma de Dados, BI & Big Data MVP ShowCast Virtual Community Series a 09 out #mvpbr Organizado por MVPs com apoio da Microsoft #mvpshowcast O Dia a Dia do Cientista de Dados Palestrante: Moderador: DEV Plataforma de Dados, BI & Big Data Diego Nogare MVP de SQL Server Business Intelligence no Minha Vida @DiegoNogare Luan Moreno Medeiros Maciel MVP de SQL Server CEO & Founder na One Way Solution @luansql Nível: 200 © 2014, MVP ShowCast (mvpshowcast.azurewebsites.net) Programa MVP (mvp.microsoft.com)
  • 2.
    DEV Plataforma deDados, BI & Big Data Agenda do webcast ♦Evolução das tecnologias envolvidas ♦Desafios diários ♦Habilidades esperadas ♦O que estudar e onde aprender © 2014, MVP ShowCast (mvpshowcast.azurewebsites.net) Programa MVP (mvp.microsoft.com)
  • 3.
    DEV Plataforma deDados, BI & Big Data Evolução Data Science Data Scientist © 2014, MVP ShowCast (mvpshowcast.azurewebsites.net) Programa MVP (mvp.microsoft.com)
  • 4.
    DEV Plataforma deDados, BI & Big Data Porque investir em Big Data? © 2014, MVP ShowCast (mvpshowcast.azurewebsites.net) Programa MVP (mvp.microsoft.com)
  • 5.
    DEV Plataforma deDados, BI & Big Data Porque investir em Big Data? © 2014, MVP ShowCast (mvpshowcast.azurewebsites.net) Programa MVP (mvp.microsoft.com)
  • 6.
    DEV Plataforma deDados, BI & Big Data Volume Velocidade Veracidade Variedade BigData é sobre Volume, Velocidade, Variedade e Veraci… Veracidade não é uma medida de magnitude!!! © 2014, MVP ShowCast (mvpshowcast.azurewebsites.net) Programa MVP (mvp.microsoft.com)
  • 7.
    DEV Plataforma deDados, BI & Big Data Desafios Técnicos ♦Péssima qualidade dos dados ♦Dados sujos ♦ “Valores Nulos” ♦Tipos de dados inadequados © 2014, MVP ShowCast (mvpshowcast.azurewebsites.net) Programa MVP (mvp.microsoft.com)
  • 8.
    DEV Plataforma deDados, BI & Big Data Dados Não Estruturados ♦Imagens ♦Geo-Localização ♦Texto ♦Social Network ♦Vídeos ♦Weareables © 2014, MVP ShowCast (mvpshowcast.azurewebsites.net) Programa MVP (mvp.microsoft.com)
  • 9.
    DEV Plataforma deDados, BI & Big Data Onde estão os dados?! NY Stock 1TB/Dia Internet Archive 2PT + 20TB/Mês Large Hadron Collider 15PT/Ano Ancestry.com 2.5PT Facebook 10 bilhões fotos 1PT © 2014, MVP ShowCast (mvpshowcast.azurewebsites.net) Programa MVP (mvp.microsoft.com)
  • 10.
    DEV Plataforma deDados, BI & Big Data © 2014, MVP ShowCast (mvpshowcast.azurewebsites.net) Programa MVP (mvp.microsoft.com)
  • 11.
    DEV Plataforma deDados, BI & Big Data Habilidades Procuradas © 2014, MVP ShowCast (mvpshowcast.azurewebsites.net) Programa MVP (mvp.microsoft.com)
  • 12.
    DEV Plataforma deDados, BI & Big Data Engenharia dos Dados Métodos Científicos Experiência no Business Data Science Matemática Estatística Computação Avançada Pensamento fora da Caixa Visualização © 2014, MVP ShowCast (mvpshowcast.azurewebsites.net) Programa MVP (mvp.microsoft.com)
  • 13.
    DEV Plataforma deDados, BI & Big Data “UM” fluxo, não “O” fluxo Identificar as Origem Extrair Limpar Refinar Tomar Decisão Analisar uma Amostragem Criar um Algoritmo © 2014, MVP ShowCast (mvpshowcast.azurewebsites.net) Programa MVP (mvp.microsoft.com)
  • 14.
    Você NÃO podeprever o futuro. Simples assim! DEV Plataforma de Dados, BI & Big Data © 2014, MVP ShowCast (mvpshowcast.azurewebsites.net) Programa MVP (mvp.microsoft.com)
  • 15.
    DEV Plataforma deDados, BI & Big Data Ferramentas Comuns © 2014, MVP ShowCast (mvpshowcast.azurewebsites.net) Programa MVP (mvp.microsoft.com)
  • 16.
    DEV Plataforma deDados, BI & Big Data Demos em R © 2014, MVP ShowCast (mvpshowcast.azurewebsites.net) Programa MVP (mvp.microsoft.com)
  • 17.
    DEV Plataforma deDados, BI & Big Data Como Aprender ♦Coursera: https://www.coursera.org/specialization/jhudatascience/1 Udemy: https://www.udemy.com/courses/search/?q=data+science ♦Udacity: https://www.udacity.com/courses#!/data-science ♦MIT OpeCourseWare: http://ocw.mit.edu/index.htm ♦Harvard Open Course: http://www.extension.harvard.edu/courses/data-science © 2014, MVP ShowCast (mvpshowcast.azurewebsites.net) Programa MVP (mvp.microsoft.com)
  • 18.
    DEV Plataforma deDados, BI & Big Data Fontes ♦Hype Cycle: https://www.gartner.com/doc/2813223/hype-cycle-business-intelligence-analytics ♦O que é Data Science: http://wikibon.org/blog/role-of-the-data-scientist/ ♦50 Data Science Gurus: http://blog.automatedinsights.com/post/95129473817/50-data-science- gurus-and-10-organizations-you-must ♦Skills do Data Scientist: http://www.itjobswatch.co.uk/ ♦Onde estão os dados: Hadoop: Definitive guide. (O’Reilly) Tom White. 2011 ♦Spurious Correlations: http://tylervigen.com/ ♦IPs conhecidos: http://labs.opendns.com/2014/10/02/opendns-and-bash/ © 2014, MVP ShowCast (mvpshowcast.azurewebsites.net) Programa MVP (mvp.microsoft.com)
  • 19.
    DEV Plataforma deDados, BI & Big Data Webcasts relacionados Data e horário Palestra Palestrante 07/10/2014 12h (terça-feira) ColumnStore 2014: Faça o seu DW Voar! 08/10/2014 12h (quarta-feira) Automatizando o Microsoft Azure com PowerShell, Chef e Puppet 08/10/2014 20h (quarta-feira) Introdução ao Microsoft Azure Automation 09/10/2014 12h (quinta-feira) Entendendo Big Data Através da Plataforma Microsoft Grade completa de webcasts: mvpshowcast.azurewebsites.net Felipe Ferreira MVP SQL Server Thiago Custódio Software Engineer Evilázaro Alves MVP Windows Azure Diego Nogare MVP SQL Server © 2014, MVP ShowCast (mvpshowcast.azurewebsites.net) Programa MVP (mvp.microsoft.com)
  • 20.
    Iniciativas da Microsoft Premiação MVP A premiação Microsoft Most Valuable Professional (MVP) é uma forma da Microsoft agradecer aos líderes independentes da comunidade que compartilham sua paixão, experiência técnica e conhecimento prático dos produtos da Microsoft com outros. mvp.microsoft.com Programa MVP Mentor O Programa MVP Mentor conecta estudantes que querem aprender mais sobre tecnologias Microsoft com especialistas independentes: os MVPs da Microsoft. mvp.microsoft.com/en-us/MVP-mentor.aspx Microsoft Virtual Academy Treinamento gratuito da Microsoft oferecido por especialistas. www.microsoftvirtualacademy.com Curah! Serviço de curadoria projetado para e mantido pela comunidade técnica. curah.microsoft.com © 2014, MVP ShowCast (mvpshowcast.azurewebsites.net) Programa MVP (mvp.microsoft.com)
  • 21.
    WEBCASTS 15 set 2 0 1 4 DEV Plataforma de Dados, BI & Big Data MVP ShowCast Virtual Community Series a 09 out #mvpbr Organizado por MVPs com apoio da Microsoft #mvpshowcast Dúvidas? Palestrante: Moderador: DEV Plataforma de Dados, BI & Big Data Diego Nogare MVP de SQL Server @DiegoNogare © 2014, MVP ShowCast (mvpshowcast.azurewebsites.net) Programa MVP (mvp.microsoft.com)

Notas do Editor

  • #6 Hype Cycle é um gráfico gerado pelo Gartner