AUDITÓRIO 3 
DATA / ANALYSIS 
Big Data com 
HDInsight no Azure 
Palestrante 
Diego Nogare 
MVP em SQL Server 
@DiegoNogare...
DEMO 
Criando a máquina!
Evolução
Porque investir em Big Data?
Porque investir em Big Data?
Volume 
Velocidade 
Veracidade 
Variedade 
BigData é sobre 
Volume, Velocidade, 
Variedade e Veraci… 
Veracidade não 
é um...
15% 
Dados 
Estruturados 
Fonte: Apresentação da Gartner ‘O Gerenciamento 'Radical‘ 
de Informações': Os Maiores Desafios ...
2005 
2013
Dados Não Estruturados 
• Imagens 
• Geo-Localização 
• Texto 
• Social Network 
• Vídeos 
• Weareables
NY Stock 
1TB/Dia 
Internet Archive 
2PT + 20TB/Mês 
Large Hadron Collider 
15PT/Ano 
Ancestry.com 
2.5PT 
Facebook 
10 bi...
Desafios Técnicos 
• Péssima qualidade dos dados 
• Dados sujos 
• “Valores Nulos” 
• Tipos de dados inadequados
Como armazenar?
Como processar?
Cluster 
HDFS 
MapReduce 
Resultado
Porque replicar? 
Switch 1 
Rack 1 Rack 2 
Switch 2 
Rack 3 Rack 4 
Switch 3
DEMO 
Processar e Analisar!
Como Aprender 
• Coursera: https://www.coursera.org/specialization/jhudatascience/1 
• Udemy: https://www.udemy.com/course...
Fontes 
• Hype Cycle: https://www.gartner.com/doc/2813223/hype-cycle-business-intelligence-analytics 
• Onde estão os dado...
Links complementares 
• MapReduce: https://hadoop.apache.org/docs/r1.2.1/mapred_tutorial.html#Overview 
• Hive: https://hi...
AUDITÓRIO 3 
DATA / ANALYSIS 
Dúvidas?! 
Palestrante 
@DiegoNogare 
http://www.diegonogare.net 
http://www.livrosdonogare....
Obrigado por sua 
presença.
Azure Summit 2014 - BigData com HDInsight no Azure
Azure Summit 2014 - BigData com HDInsight no Azure
Azure Summit 2014 - BigData com HDInsight no Azure
Azure Summit 2014 - BigData com HDInsight no Azure
Próximos SlideShares
Carregando em…5
×

Azure Summit 2014 - BigData com HDInsight no Azure

358 visualizações

Publicada em

Publicada em: Tecnologia
0 comentários
0 gostaram
Estatísticas
Notas
  • Seja o primeiro a comentar

  • Seja a primeira pessoa a gostar disto

Sem downloads
Visualizações
Visualizações totais
358
No SlideShare
0
A partir de incorporações
0
Número de incorporações
3
Ações
Compartilhamentos
0
Downloads
1
Comentários
0
Gostaram
0
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide
  • Hype Cycle é um gráfico gerado pelo Gartner
  • Azure Summit 2014 - BigData com HDInsight no Azure

    1. 1. AUDITÓRIO 3 DATA / ANALYSIS Big Data com HDInsight no Azure Palestrante Diego Nogare MVP em SQL Server @DiegoNogare http://www.diegonogare.net
    2. 2. DEMO Criando a máquina!
    3. 3. Evolução
    4. 4. Porque investir em Big Data?
    5. 5. Porque investir em Big Data?
    6. 6. Volume Velocidade Veracidade Variedade BigData é sobre Volume, Velocidade, Variedade e Veraci… Veracidade não é uma medida de magnitude!!!
    7. 7. 15% Dados Estruturados Fonte: Apresentação da Gartner ‘O Gerenciamento 'Radical‘ de Informações': Os Maiores Desafios para CIOs do Século 21 Mark Beyer, Outubro 2011 85% Dados Não Estruturados
    8. 8. 2005 2013
    9. 9. Dados Não Estruturados • Imagens • Geo-Localização • Texto • Social Network • Vídeos • Weareables
    10. 10. NY Stock 1TB/Dia Internet Archive 2PT + 20TB/Mês Large Hadron Collider 15PT/Ano Ancestry.com 2.5PT Facebook 10 bilhões fotos 1PT
    11. 11. Desafios Técnicos • Péssima qualidade dos dados • Dados sujos • “Valores Nulos” • Tipos de dados inadequados
    12. 12. Como armazenar?
    13. 13. Como processar?
    14. 14. Cluster HDFS MapReduce Resultado
    15. 15. Porque replicar? Switch 1 Rack 1 Rack 2 Switch 2 Rack 3 Rack 4 Switch 3
    16. 16. DEMO Processar e Analisar!
    17. 17. Como Aprender • Coursera: https://www.coursera.org/specialization/jhudatascience/1 • Udemy: https://www.udemy.com/courses/search/?q=data+science • Udacity: https://www.udacity.com/courses#!/data-science • MIT OpenCourseWare: http://ocw.mit.edu/index.htm • Harvard Open Course: http://www.extension.harvard.edu/courses/data-science
    18. 18. Fontes • Hype Cycle: https://www.gartner.com/doc/2813223/hype-cycle-business-intelligence-analytics • Onde estão os dados: Hadoop: Definitive guide. (O’Reilly) Tom White. 2011 • Vídeo completo (Canal WIRED): http://www.youtube.com/watch?v=Hi5kMNfgDS4
    19. 19. Links complementares • MapReduce: https://hadoop.apache.org/docs/r1.2.1/mapred_tutorial.html#Overview • Hive: https://hive.apache.org/ • Pig: https://pig.apache.org/ • HBase: https://hbase.apache.org/ • HDFS: http://hadoop.apache.org/docs/r1.2.1/hdfs_design.html#Introduction • Sqoop: http://sqoop.apache.org/
    20. 20. AUDITÓRIO 3 DATA / ANALYSIS Dúvidas?! Palestrante @DiegoNogare http://www.diegonogare.net http://www.livrosdonogare.com.br
    21. 21. Obrigado por sua presença.

    ×