SESSÃO: DESENVOLVIMENTO

TRILHA: DESENVOLVIMENTO DE APLICAÇÕES PARA WINDOWS AZURE

MVP ShowCast 2013
HDInsight
Primeiros passos com BigData
Diego Nogare
SQL Server
Business Intelligence – Minha Vida
@DiegoNogare
© 2013, MVP ShowCast. Evento organizado por MVPs do Brasil com apoio da Microsoft.
SESSÃO: DESENVOLVIMENTO

HDInsight

© 2013, MVP ShowCast. Evento organizado por MVPs do Brasil com apoio da Microsoft.

TRILHA: DESENVOLVIMENTO DE APLICAÇÕES PARA WINDOWS AZURE
SESSÃO: DESENVOLVIMENTO

Criando o Cluster

© 2013, MVP ShowCast. Evento organizado por MVPs do Brasil com apoio da Microsoft.

TRILHA: DESENVOLVIMENTO DE APLICAÇÕES PARA WINDOWS AZURE
SESSÃO: DESENVOLVIMENTO

TRILHA: DESENVOLVIMENTO DE APLICAÇÕES PARA WINDOWS AZURE

Demo – Criando o Cluster de
HDInsight

© 2013, MVP ShowCast. Evento organizado por MVPs do Brasil com apoio da Microsoft.
SESSÃO: DESENVOLVIMENTO

TRILHA: DESENVOLVIMENTO DE APLICAÇÕES PARA WINDOWS AZURE

A caixa de sapato digital
Business Intelligence

Data Science
Real-Time
Hadoop DB

Machine Learning
Dremel

Data Mining

Query Self-Service

Analytics

Hive

Predictive

Ad-Hoc

Operational

Batch

Map Reduce

SQL

Exploratory
Unstructured

Social

Pig

Insight

Interactive

Cloud Scale

© 2013, MVP ShowCast. Evento organizado por MVPs do Brasil com apoio da Microsoft.

Data Warehouse
Pivot

Visualization

Hadoop
Big Query

Text Analytics

Reporting
Drill
SESSÃO: DESENVOLVIMENTO

HADOOP

© 2013, MVP ShowCast. Evento organizado por MVPs do Brasil com apoio da Microsoft.

TRILHA: DESENVOLVIMENTO DE APLICAÇÕES PARA WINDOWS AZURE
SESSÃO: DESENVOLVIMENTO

TRILHA: DESENVOLVIMENTO DE APLICAÇÕES PARA WINDOWS AZURE

15%
Dados
Estruturados

85%
Dados Não
Estruturados

Fonte: Apresentação da Gartner ‘O Gerenciamento 'Radical‘

de Informações': Os Maiores Desafios do CIOs com apoio
© 2013, MVP ShowCast. Evento organizado por MVPs paraBrasildo Século 21 da Microsoft.

7

Mark Beyer, Outubro 2011
SESSÃO: DESENVOLVIMENTO

TRILHA: DESENVOLVIMENTO DE APLICAÇÕES PARA WINDOWS AZURE

Arquitetura do Hadoop

Distributed Processing
(Map Reduce)
Distributed Storage
(HDFS)

© 2013, MVP ShowCast. Evento organizado por MVPs do Brasil com apoio da Microsoft.
SESSÃO: DESENVOLVIMENTO

TRILHA: DESENVOLVIMENTO DE APLICAÇÕES PARA WINDOWS AZURE

Arquitetura do Hadoop

Distributed Processing
(Map Reduce)
Distributed Storage
(HDFS)

© 2013, MVP ShowCast. Evento organizado por MVPs do Brasil com apoio da Microsoft.

Business Intelligence
(Excel, Power View, SSAS…)

Machine Learning
(Mahout)

Stats processing
(RHadoop)

Data Integration

Log file aggregation
(Flume)

Graph
(Pegasus)

( ODBC / SQOOP/ REST)

Pipeline / workflow
(Oozie)

System Center
(Future)

NoSQL Database
(HBase)

Active Directory
(Future)

Metadata
(HCatalog)
SESSÃO: DESENVOLVIMENTO

TRILHA: DESENVOLVIMENTO DE APLICAÇÕES PARA WINDOWS AZURE

Arquitetura do Hadoop

Distributed Processing
(Map Reduce)
Distributed Storage
(HDFS)

© 2013, MVP ShowCast. Evento organizado por MVPs do Brasil com apoio da Microsoft.

Business Intelligence
(Excel, Power View, SSAS…)

Machine Learning
(Mahout)

Stats processing
(RHadoop)

Data Integration

Log file aggregation
(Flume)

Graph
(Pegasus)

( ODBC / SQOOP/ REST)

Pipeline / workflow
(Oozie)

System Center
(Future)

NoSQL Database
(HBase)

Active Directory
(Future)

Metadata
(HCatalog)
SESSÃO: DESENVOLVIMENTO

MOVIMENTANDO DADOS PRO HADOOP

© 2013, MVP ShowCast. Evento organizado por MVPs do Brasil com apoio da Microsoft.

TRILHA: DESENVOLVIMENTO DE APLICAÇÕES PARA WINDOWS AZURE
SESSÃO: DESENVOLVIMENTO

TRILHA: DESENVOLVIMENTO DE APLICAÇÕES PARA WINDOWS AZURE

Demo – Movimentando Dados

© 2013, MVP ShowCast. Evento organizado por MVPs do Brasil com apoio da Microsoft.

12
SESSÃO: DESENVOLVIMENTO

TRILHA: DESENVOLVIMENTO DE APLICAÇÕES PARA WINDOWS AZURE

Mudando a forma de pensar com os 3
Vs do BigData
Volume

Velocidade

© 2013, MVP ShowCast. Evento organizado por MVPs do Brasil com apoio da Microsoft.

Variedade
SESSÃO: DESENVOLVIMENTO

HIVE

© 2013, MVP ShowCast. Evento organizado por MVPs do Brasil com apoio da Microsoft.

TRILHA: DESENVOLVIMENTO DE APLICAÇÕES PARA WINDOWS AZURE
SESSÃO: DESENVOLVIMENTO

TRILHA: DESENVOLVIMENTO DE APLICAÇÕES PARA WINDOWS AZURE

Arquitetura do Hive
Hive

Hadoop

© 2013, MVP ShowCast. Evento organizado por MVPs do Brasil com apoio da Microsoft.
SESSÃO: DESENVOLVIMENTO

TRILHA: DESENVOLVIMENTO DE APLICAÇÕES PARA WINDOWS AZURE

Demo – Consumindo dados com HIVE

© 2013, MVP ShowCast. Evento organizado por MVPs do Brasil com apoio da Microsoft.
SESSÃO: DESENVOLVIMENTO

MAP REDUCE

© 2013, MVP ShowCast. Evento organizado por MVPs do Brasil com apoio da Microsoft.

TRILHA: DESENVOLVIMENTO DE APLICAÇÕES PARA WINDOWS AZURE
SESSÃO: DESENVOLVIMENTO

Propósito

© 2013, MVP ShowCast. Evento organizado por MVPs do Brasil com apoio da Microsoft.

TRILHA: DESENVOLVIMENTO DE APLICAÇÕES PARA WINDOWS AZURE
SESSÃO: DESENVOLVIMENTO

TRILHA: DESENVOLVIMENTO DE APLICAÇÕES PARA WINDOWS AZURE

E como é processado?

© 2013, MVP ShowCast. Evento organizado por MVPs do Brasil com apoio da Microsoft.
SESSÃO: DESENVOLVIMENTO

TRILHA: DESENVOLVIMENTO DE APLICAÇÕES PARA WINDOWS AZURE

Livros técnicos sobre BigData

© 2013, MVP ShowCast. Evento organizado por MVPs do Brasil com apoio da Microsoft.
SESSÃO: DESENVOLVIMENTO

TRILHA: DESENVOLVIMENTO DE APLICAÇÕES PARA WINDOWS AZURE

Livros sobre assuntos relacionados

© 2013, MVP ShowCast. Evento organizado por MVPs do Brasil com apoio da Microsoft.
SESSÃO: DESENVOLVIMENTO

Perguntas & Respostas

© 2013, MVP ShowCast. Evento organizado por MVPs do Brasil com apoio da Microsoft.

TRILHA: DESENVOLVIMENTO DE APLICAÇÕES PARA WINDOWS AZURE

MVPShowCast - HDInsight Primeiros Passos com BigData

  • 1.
    SESSÃO: DESENVOLVIMENTO TRILHA: DESENVOLVIMENTODE APLICAÇÕES PARA WINDOWS AZURE MVP ShowCast 2013 HDInsight Primeiros passos com BigData Diego Nogare SQL Server Business Intelligence – Minha Vida @DiegoNogare © 2013, MVP ShowCast. Evento organizado por MVPs do Brasil com apoio da Microsoft.
  • 2.
    SESSÃO: DESENVOLVIMENTO HDInsight © 2013,MVP ShowCast. Evento organizado por MVPs do Brasil com apoio da Microsoft. TRILHA: DESENVOLVIMENTO DE APLICAÇÕES PARA WINDOWS AZURE
  • 3.
    SESSÃO: DESENVOLVIMENTO Criando oCluster © 2013, MVP ShowCast. Evento organizado por MVPs do Brasil com apoio da Microsoft. TRILHA: DESENVOLVIMENTO DE APLICAÇÕES PARA WINDOWS AZURE
  • 4.
    SESSÃO: DESENVOLVIMENTO TRILHA: DESENVOLVIMENTODE APLICAÇÕES PARA WINDOWS AZURE Demo – Criando o Cluster de HDInsight © 2013, MVP ShowCast. Evento organizado por MVPs do Brasil com apoio da Microsoft.
  • 5.
    SESSÃO: DESENVOLVIMENTO TRILHA: DESENVOLVIMENTODE APLICAÇÕES PARA WINDOWS AZURE A caixa de sapato digital Business Intelligence Data Science Real-Time Hadoop DB Machine Learning Dremel Data Mining Query Self-Service Analytics Hive Predictive Ad-Hoc Operational Batch Map Reduce SQL Exploratory Unstructured Social Pig Insight Interactive Cloud Scale © 2013, MVP ShowCast. Evento organizado por MVPs do Brasil com apoio da Microsoft. Data Warehouse Pivot Visualization Hadoop Big Query Text Analytics Reporting Drill
  • 6.
    SESSÃO: DESENVOLVIMENTO HADOOP © 2013,MVP ShowCast. Evento organizado por MVPs do Brasil com apoio da Microsoft. TRILHA: DESENVOLVIMENTO DE APLICAÇÕES PARA WINDOWS AZURE
  • 7.
    SESSÃO: DESENVOLVIMENTO TRILHA: DESENVOLVIMENTODE APLICAÇÕES PARA WINDOWS AZURE 15% Dados Estruturados 85% Dados Não Estruturados Fonte: Apresentação da Gartner ‘O Gerenciamento 'Radical‘ de Informações': Os Maiores Desafios do CIOs com apoio © 2013, MVP ShowCast. Evento organizado por MVPs paraBrasildo Século 21 da Microsoft. 7 Mark Beyer, Outubro 2011
  • 8.
    SESSÃO: DESENVOLVIMENTO TRILHA: DESENVOLVIMENTODE APLICAÇÕES PARA WINDOWS AZURE Arquitetura do Hadoop Distributed Processing (Map Reduce) Distributed Storage (HDFS) © 2013, MVP ShowCast. Evento organizado por MVPs do Brasil com apoio da Microsoft.
  • 9.
    SESSÃO: DESENVOLVIMENTO TRILHA: DESENVOLVIMENTODE APLICAÇÕES PARA WINDOWS AZURE Arquitetura do Hadoop Distributed Processing (Map Reduce) Distributed Storage (HDFS) © 2013, MVP ShowCast. Evento organizado por MVPs do Brasil com apoio da Microsoft. Business Intelligence (Excel, Power View, SSAS…) Machine Learning (Mahout) Stats processing (RHadoop) Data Integration Log file aggregation (Flume) Graph (Pegasus) ( ODBC / SQOOP/ REST) Pipeline / workflow (Oozie) System Center (Future) NoSQL Database (HBase) Active Directory (Future) Metadata (HCatalog)
  • 10.
    SESSÃO: DESENVOLVIMENTO TRILHA: DESENVOLVIMENTODE APLICAÇÕES PARA WINDOWS AZURE Arquitetura do Hadoop Distributed Processing (Map Reduce) Distributed Storage (HDFS) © 2013, MVP ShowCast. Evento organizado por MVPs do Brasil com apoio da Microsoft. Business Intelligence (Excel, Power View, SSAS…) Machine Learning (Mahout) Stats processing (RHadoop) Data Integration Log file aggregation (Flume) Graph (Pegasus) ( ODBC / SQOOP/ REST) Pipeline / workflow (Oozie) System Center (Future) NoSQL Database (HBase) Active Directory (Future) Metadata (HCatalog)
  • 11.
    SESSÃO: DESENVOLVIMENTO MOVIMENTANDO DADOSPRO HADOOP © 2013, MVP ShowCast. Evento organizado por MVPs do Brasil com apoio da Microsoft. TRILHA: DESENVOLVIMENTO DE APLICAÇÕES PARA WINDOWS AZURE
  • 12.
    SESSÃO: DESENVOLVIMENTO TRILHA: DESENVOLVIMENTODE APLICAÇÕES PARA WINDOWS AZURE Demo – Movimentando Dados © 2013, MVP ShowCast. Evento organizado por MVPs do Brasil com apoio da Microsoft. 12
  • 13.
    SESSÃO: DESENVOLVIMENTO TRILHA: DESENVOLVIMENTODE APLICAÇÕES PARA WINDOWS AZURE Mudando a forma de pensar com os 3 Vs do BigData Volume Velocidade © 2013, MVP ShowCast. Evento organizado por MVPs do Brasil com apoio da Microsoft. Variedade
  • 14.
    SESSÃO: DESENVOLVIMENTO HIVE © 2013,MVP ShowCast. Evento organizado por MVPs do Brasil com apoio da Microsoft. TRILHA: DESENVOLVIMENTO DE APLICAÇÕES PARA WINDOWS AZURE
  • 15.
    SESSÃO: DESENVOLVIMENTO TRILHA: DESENVOLVIMENTODE APLICAÇÕES PARA WINDOWS AZURE Arquitetura do Hive Hive Hadoop © 2013, MVP ShowCast. Evento organizado por MVPs do Brasil com apoio da Microsoft.
  • 16.
    SESSÃO: DESENVOLVIMENTO TRILHA: DESENVOLVIMENTODE APLICAÇÕES PARA WINDOWS AZURE Demo – Consumindo dados com HIVE © 2013, MVP ShowCast. Evento organizado por MVPs do Brasil com apoio da Microsoft.
  • 17.
    SESSÃO: DESENVOLVIMENTO MAP REDUCE ©2013, MVP ShowCast. Evento organizado por MVPs do Brasil com apoio da Microsoft. TRILHA: DESENVOLVIMENTO DE APLICAÇÕES PARA WINDOWS AZURE
  • 18.
    SESSÃO: DESENVOLVIMENTO Propósito © 2013,MVP ShowCast. Evento organizado por MVPs do Brasil com apoio da Microsoft. TRILHA: DESENVOLVIMENTO DE APLICAÇÕES PARA WINDOWS AZURE
  • 19.
    SESSÃO: DESENVOLVIMENTO TRILHA: DESENVOLVIMENTODE APLICAÇÕES PARA WINDOWS AZURE E como é processado? © 2013, MVP ShowCast. Evento organizado por MVPs do Brasil com apoio da Microsoft.
  • 20.
    SESSÃO: DESENVOLVIMENTO TRILHA: DESENVOLVIMENTODE APLICAÇÕES PARA WINDOWS AZURE Livros técnicos sobre BigData © 2013, MVP ShowCast. Evento organizado por MVPs do Brasil com apoio da Microsoft.
  • 21.
    SESSÃO: DESENVOLVIMENTO TRILHA: DESENVOLVIMENTODE APLICAÇÕES PARA WINDOWS AZURE Livros sobre assuntos relacionados © 2013, MVP ShowCast. Evento organizado por MVPs do Brasil com apoio da Microsoft.
  • 22.
    SESSÃO: DESENVOLVIMENTO Perguntas &Respostas © 2013, MVP ShowCast. Evento organizado por MVPs do Brasil com apoio da Microsoft. TRILHA: DESENVOLVIMENTO DE APLICAÇÕES PARA WINDOWS AZURE