1. Hadoop!? HDInsight!? Hive??
Uma introdução ao mundo
Big Data para DBA’s
Bruno Feldman da Costa | White Cube
@feldmanB | facebook.com/bfcosta
bfcosta@gmail.com

2. PATROCINADORES

3. Planning on attending PASS Summit 2015? Start
saving today!
• The world’s largest gathering of SQL Server & BI professionals
• Take your SQL Server skills to the next level by learning from the world’s
top SQL Server experts, in over 190 technical sessions
• Over 5000 registrations, representing 2000 companies, from 52
countries, ready to network & learn
Save $150 right now using discount code
LCCOMPRX86 or LCCOMPMD54

4. About Me!
 Bruno Feldman da Costa
 Tech Leader DB/BI at White Cube
 Twitter: @feldmanB
 E-mail: bfcosta@gmail.com
 Facebook: https://facebook.com/bfcosta
 Blog: http://brunofeldman.wordpress.com

5. Agenda
 Big Data?
 Hadoop
 HDInsight
 MapReduce
 MapReduce com HIVE e PIG
 Transferindo dados com SQOOP
 Workflows com OOZIE
 Ferramentas: Powershell e SSIS

6. Big Data
 “Big data are a collection of data sets so large and
complex that it becomes difficult to process using on-
hand database management tools or traditional data
processing applications.” Tom White, Hadoop Definitive Guide
 “In pioneer days they used oxen for heavy pulling, and
when one ox couldn't budge a log, they didn't try to grow
a larger ox. We shouldn't be trying for bigger computers,
but for more systems of computers.” Grace Hooper

7. Big Data
 Typified by the “3 V’s”:
 Volume – Huge amounts of data to process
 Variety – A mixture of structured and unstructured
data
 Velocity – New data generated extremely
frequently

8. Big Data
 Em 1990 um HD típico armazenava 1,4GB com uma
taxa de transferência de 4,4MB/s, ou seja, podia ler todo
o disco em uns 5 minutos.
 Uns 20 anos depois, os discos armazenam 1TB mas
lêem a 100MB/s, fazendo a leitura de todo o disco em
2h30min.
 E se dividíssemos os dados entre vários discos,
armazenando uma porção do dado em cada?

9. Hadoop
 Plataforma que
fornece:
 Um sistema de arquivos
distribuído (HDFS) que
armazena os dados
entre vários servidores.
 Um meio para
armazenar/consultar
(MapReduce/ YARN)
esses dados distribuídos.
HDFS
Name Node Data Nodes
Hadoop Cluster

10. Hadoop Ecosystem
 Distribuições Hadoop
 Cloudera CDH
 Hortonworks Data Platform (HDP)
 MapR
 Microsoft Azure HDInsight

11. Microsoft Azure HDInsight
 Implementação do HDP no ambiente do
Azure
 VM’s com Windows Server (ou Linux) com HDP
 WebHDFS (Azure Blob Storage)
 Suporte a Powershell e SSIS
 Escalabilidade
 Rápida implementação

12. DEMO
 Criando um cluster HDInsight

13. MapReduce
 Dado dividido entre os
data nodes
 Cada nó faz o “MAP”
gerando o par
“KEY/Value”
 O REDUCE faz a
agregação.

14. MapReduce
M
A
P
REDUCE

15. DEMO
 Executando um Job Map Reduce

16. HIVE
 Muito legal esse Map Reduce!
 Mas…
 Não sei programar em Java
 Não sei programar em Python
 Não sei programar em C#
 Não sei programar!!!!

17. HIVE
 Sou DBA, só entendo de TSQL, quero criar
meus jobs apenas utilizando queries, como já
faço no SQL Server.
 O HIVE faz isso!!!

18. HIVE
 Sou DBA, só entendo de TSQL, quero criar
meus jobs apenas utilizando queries, como já
faço no SQL Server.
 O HIVE faz isso!!!
 A query em HiveQL é “traduzida” para um
JOB MapReduce

19. DEMO
 Usando o Hive

20. PIG
 O PIG realiza uma série de transformações
no dado através de statements Pig Latin.
 Cada comando Pig Latin vai transformando o
dado até chegar no resultado esperado.
 Ao rodar os comandos DUMP ou STORE o
Job MapReduce é executado.

21. DEMO
 Usando o PIG

22. SQOOP
 O SQOOP (SQL-HADOOP) permite a
transferência bi-direcional de dados entre
banco de dados (compatíveis com jdbc) e
clusters Hadoop.

23. DEMO
 Usando o SQOOP

24. OOZIE
 Engine de Workflow para as
ações realizadas no cluster
Haddop:
 Hive
 Pig
 Sqoop
 E outras…

25. DEMO
 Usando o OOZIE

26. OOZIE / SQOOP
 O OOZIE e o SQOOP até que são legais…
Mas o SSIS é
MUITO melhor!!

27. Quer aprender mais?
 Books:
 Hadoop: The Definitive Guide - Tom White
 Microsoft Big Data Solutions - Adam Jorgensen
and James Rowland-Jones
 Pro Microsoft HDInsight: Hadoop on Windows -
Debarchan Sarkar
 Cursos:
 EDX: DAT202.1x Processing Big Data with
Hadoop in Azure HDInsight

28. Dúvidas?
Twitter: @feldmanB
E-mail: bfcosta@gmail.com
Facebook: https://facebook.com/bfcosta
Blog: http://brunofeldman.wordpress.com
OBRIGADO!