O documento discute como iniciar projetos de Big Data, apresentando a arquitetura Hadoop e ferramentas como HDFS, MapReduce, Hive e HBase. Demonstra o uso do HDInsight para criar clusters Hadoop e mover dados para análise em Hive e visualização em Power BI. Recomenda livros sobre Big Data e pede avaliação da sessão com sorteio de prêmios.

1. Por onde começar no BigData?
Diego Nogare
nogare@outlook.com
www.diegonogare.net
@DiegoNogare

2. Patrocinadores

3. Organização e apoio

4. Agradecimento especial

5. Demo – Criando o Cluster HDInsight

6. A caixa de sapato digital
Data Science
Real-Time
Hadoop DB
Hive
Predictive
Business Intelligence Data Mining
QuerySelf-Service
Batch
Operational
Analytics
Data Warehouse
Machine Learning
Visualization
SQL Pig
Insight
Ad-Hoc Map Reduce
Interactive
Dremel
Exploratory
Unstructured
Social
Pivot
Hadoop
Cloud Scale
Big Query
Text Analytics
Reporting
Drill

7. Arquitetura do Hadoop
Distributed Processing
(Map Reduce)
Distributed Storage
(HDFS)

8. Arquitetura do Hadoop
Business Intelligence
(Excel, Power View, SSAS…)
Data Integration
Active Directory
(Future)
Pipeline / workflow
(Oozie)
System Center
(Future)
Log file aggregation
(Flume)
Distributed Storage
(HDFS)
( ODBC / SQOOP/ REST)
Distributed Processing
(Map Reduce)
NoSQL Database
(HBase)
Machine Learning
(Mahout)
Stats processing
(RHadoop)
Graph
(Pegasus)
Metadata
(HCatalog)

9. Arquitetura do Hadoop
Business Intelligence
(Excel, Power View, SSAS…)
Data Integration
Active Directory
(Future)
Pipeline / workflow
(Oozie)
System Center
(Future)
Log file aggregation
(Flume)
Distributed Storage
(HDFS)
( ODBC / SQOOP/ REST)
Distributed Processing
(Map Reduce)
NoSQL Database
(HBase)
Machine Learning
(Mahout)
Stats processing
(RHadoop)
Graph
(Pegasus)
Metadata
(HCatalog)

10. Demo – Movimentando dados

11. Relacionamento através de PK e FK
“Pequeno” volume de dados
Mudando o mindset para Big Data
HDInsight
NoSQL com conceito de Chave/Valor
Grande volume de dados
SQL Server

12. MapReduce: Movendo código pro Hadoop

13. E como é processado?

14. Demo – Consumindo com HIVE

15. PowerPivot e PowerView

16. PowerQuery (Data Explorer)

17. PowerMap (GeoFlow)

18. Demo – Self-Service BI com HDInsight

19. Livros técnicos sobre BigData

21. 50% Off
R$ 330,00

22. Avaliação e sorteio
Preencha a avaliação da sessão e
concorra a ferramentas da RedGate,
assinatura PluralSight e pen-drive com
todas sessões do PASS Summit 2012!
http://bit.ly/SQLSat253

23. Obrigado
Diego Nogare
www.diegonogare.net
nogare@outlook.com