Palestra realizada no MVPShowCast 2013, abordando o assunto HDInsight: Primeiros Passos com BigData.

1. SESSÃO: DESENVOLVIMENTO
TRILHA: DESENVOLVIMENTO DE APLICAÇÕES PARA WINDOWS AZURE
MVP ShowCast 2013
HDInsight
Primeiros passos com BigData
Diego Nogare
SQL Server
Business Intelligence – Minha Vida
@DiegoNogare
© 2013, MVP ShowCast. Evento organizado por MVPs do Brasil com apoio da Microsoft.

2. SESSÃO: DESENVOLVIMENTO
HDInsight
© 2013, MVP ShowCast. Evento organizado por MVPs do Brasil com apoio da Microsoft.
TRILHA: DESENVOLVIMENTO DE APLICAÇÕES PARA WINDOWS AZURE

3. SESSÃO: DESENVOLVIMENTO
Criando o Cluster
© 2013, MVP ShowCast. Evento organizado por MVPs do Brasil com apoio da Microsoft.
TRILHA: DESENVOLVIMENTO DE APLICAÇÕES PARA WINDOWS AZURE

4. SESSÃO: DESENVOLVIMENTO
TRILHA: DESENVOLVIMENTO DE APLICAÇÕES PARA WINDOWS AZURE
Demo – Criando o Cluster de
HDInsight
© 2013, MVP ShowCast. Evento organizado por MVPs do Brasil com apoio da Microsoft.

5. SESSÃO: DESENVOLVIMENTO
TRILHA: DESENVOLVIMENTO DE APLICAÇÕES PARA WINDOWS AZURE
A caixa de sapato digital
Business Intelligence
Data Science
Real-Time
Hadoop DB
Machine Learning
Dremel
Data Mining
Query Self-Service
Analytics
Hive
Predictive
Ad-Hoc
Operational
Batch
Map Reduce
SQL
Exploratory
Unstructured
Social
Pig
Insight
Interactive
Cloud Scale
© 2013, MVP ShowCast. Evento organizado por MVPs do Brasil com apoio da Microsoft.
Data Warehouse
Pivot
Visualization
Hadoop
Big Query
Text Analytics
Reporting
Drill

6. SESSÃO: DESENVOLVIMENTO
HADOOP
© 2013, MVP ShowCast. Evento organizado por MVPs do Brasil com apoio da Microsoft.
TRILHA: DESENVOLVIMENTO DE APLICAÇÕES PARA WINDOWS AZURE

7. SESSÃO: DESENVOLVIMENTO
TRILHA: DESENVOLVIMENTO DE APLICAÇÕES PARA WINDOWS AZURE
15%
Dados
Estruturados
85%
Dados Não
Estruturados
Fonte: Apresentação da Gartner ‘O Gerenciamento 'Radical‘
de Informações': Os Maiores Desafios do CIOs com apoio
© 2013, MVP ShowCast. Evento organizado por MVPs paraBrasildo Século 21 da Microsoft.
7
Mark Beyer, Outubro 2011

8. SESSÃO: DESENVOLVIMENTO
TRILHA: DESENVOLVIMENTO DE APLICAÇÕES PARA WINDOWS AZURE
Arquitetura do Hadoop
Distributed Processing
(Map Reduce)
Distributed Storage
(HDFS)
© 2013, MVP ShowCast. Evento organizado por MVPs do Brasil com apoio da Microsoft.

9. SESSÃO: DESENVOLVIMENTO
TRILHA: DESENVOLVIMENTO DE APLICAÇÕES PARA WINDOWS AZURE
Arquitetura do Hadoop
Distributed Processing
(Map Reduce)
Distributed Storage
(HDFS)
© 2013, MVP ShowCast. Evento organizado por MVPs do Brasil com apoio da Microsoft.
Business Intelligence
(Excel, Power View, SSAS…)
Machine Learning
(Mahout)
Stats processing
(RHadoop)
Data Integration
Log file aggregation
(Flume)
Graph
(Pegasus)
( ODBC / SQOOP/ REST)
Pipeline / workflow
(Oozie)
System Center
(Future)
NoSQL Database
(HBase)
Active Directory
(Future)
Metadata
(HCatalog)

10. SESSÃO: DESENVOLVIMENTO
TRILHA: DESENVOLVIMENTO DE APLICAÇÕES PARA WINDOWS AZURE
Arquitetura do Hadoop
Distributed Processing
(Map Reduce)
Distributed Storage
(HDFS)
© 2013, MVP ShowCast. Evento organizado por MVPs do Brasil com apoio da Microsoft.
Business Intelligence
(Excel, Power View, SSAS…)
Machine Learning
(Mahout)
Stats processing
(RHadoop)
Data Integration
Log file aggregation
(Flume)
Graph
(Pegasus)
( ODBC / SQOOP/ REST)
Pipeline / workflow
(Oozie)
System Center
(Future)
NoSQL Database
(HBase)
Active Directory
(Future)
Metadata
(HCatalog)

11. SESSÃO: DESENVOLVIMENTO
MOVIMENTANDO DADOS PRO HADOOP
© 2013, MVP ShowCast. Evento organizado por MVPs do Brasil com apoio da Microsoft.
TRILHA: DESENVOLVIMENTO DE APLICAÇÕES PARA WINDOWS AZURE

12. SESSÃO: DESENVOLVIMENTO
TRILHA: DESENVOLVIMENTO DE APLICAÇÕES PARA WINDOWS AZURE
Demo – Movimentando Dados
© 2013, MVP ShowCast. Evento organizado por MVPs do Brasil com apoio da Microsoft.
12

13. SESSÃO: DESENVOLVIMENTO
TRILHA: DESENVOLVIMENTO DE APLICAÇÕES PARA WINDOWS AZURE
Mudando a forma de pensar com os 3
Vs do BigData
Volume
Velocidade
© 2013, MVP ShowCast. Evento organizado por MVPs do Brasil com apoio da Microsoft.
Variedade

14. SESSÃO: DESENVOLVIMENTO
HIVE
© 2013, MVP ShowCast. Evento organizado por MVPs do Brasil com apoio da Microsoft.
TRILHA: DESENVOLVIMENTO DE APLICAÇÕES PARA WINDOWS AZURE

15. SESSÃO: DESENVOLVIMENTO
TRILHA: DESENVOLVIMENTO DE APLICAÇÕES PARA WINDOWS AZURE
Arquitetura do Hive
Hive
Hadoop
© 2013, MVP ShowCast. Evento organizado por MVPs do Brasil com apoio da Microsoft.

16. SESSÃO: DESENVOLVIMENTO
TRILHA: DESENVOLVIMENTO DE APLICAÇÕES PARA WINDOWS AZURE
Demo – Consumindo dados com HIVE
© 2013, MVP ShowCast. Evento organizado por MVPs do Brasil com apoio da Microsoft.

17. SESSÃO: DESENVOLVIMENTO
MAP REDUCE
© 2013, MVP ShowCast. Evento organizado por MVPs do Brasil com apoio da Microsoft.
TRILHA: DESENVOLVIMENTO DE APLICAÇÕES PARA WINDOWS AZURE

18. SESSÃO: DESENVOLVIMENTO
Propósito
© 2013, MVP ShowCast. Evento organizado por MVPs do Brasil com apoio da Microsoft.
TRILHA: DESENVOLVIMENTO DE APLICAÇÕES PARA WINDOWS AZURE

19. SESSÃO: DESENVOLVIMENTO
TRILHA: DESENVOLVIMENTO DE APLICAÇÕES PARA WINDOWS AZURE
E como é processado?
© 2013, MVP ShowCast. Evento organizado por MVPs do Brasil com apoio da Microsoft.

20. SESSÃO: DESENVOLVIMENTO
TRILHA: DESENVOLVIMENTO DE APLICAÇÕES PARA WINDOWS AZURE
Livros técnicos sobre BigData
© 2013, MVP ShowCast. Evento organizado por MVPs do Brasil com apoio da Microsoft.

21. SESSÃO: DESENVOLVIMENTO
TRILHA: DESENVOLVIMENTO DE APLICAÇÕES PARA WINDOWS AZURE
Livros sobre assuntos relacionados
© 2013, MVP ShowCast. Evento organizado por MVPs do Brasil com apoio da Microsoft.

22. SESSÃO: DESENVOLVIMENTO
Perguntas & Respostas
© 2013, MVP ShowCast. Evento organizado por MVPs do Brasil com apoio da Microsoft.
TRILHA: DESENVOLVIMENTO DE APLICAÇÕES PARA WINDOWS AZURE