O documento resume uma apresentação sobre treinamento Hadoop. Ele discute MapReduce e como foi introduzido pelo Google para processar grandes volumes de dados em paralelo. Também explica o conceito de sistema de arquivos distribuídos do Google (GFS) e como MapReduce e GFS juntos permitem processamento escalável, econômico e confiável de dados.

1. Treinamento Hadoop
Parte 2

2. Alexandre Uehara
● Analista Desenvolvedor (E-commerce)
● Coordenador Trilha Big Data (TDC
2013)
http://www.thedevelopersconference.com.
br/tdc/2013/saopaulo/trilha-bigdata#programacao
● Geek e nerd, trabalha com Python,
Java, C, BigData, NoSQL, e outras
coisas mais que aparecem no dia a dia

3. Nossa
Agenda:

4. Dia 2!!!

5. Dia 1:
Introdução
Conceitos Básicos
Big Data
→ O que é?
→ 4 V's
→ Por que
agora?
→ Onde Usar?
→ Desafio
→ BI x Big Data
→Profissional de
Big Data
→ Ferramentas
→ Dicas

6. Dia 2 e 3:
Map Reduce e
Hadoop
→ História
(Google)
→ Conceito
MapReduce
→ Hadoop
→ Cases

7. Dia 4
Outras
Ferramentas
→ Ecossistema
→ Ferramentas
→ Distribuições
Hadoop
→ Hadoop na
Nuvem
→ NoSQL Tipos
→ NoSQL
Exemplos
→ Data Science
→ Machine
Learning

8. Dia 5, 6 e 7
Hands-on
→ Pyhton
→ Hadoop

10. Antes disso...

11. Antes disso...
lembram o quer era Big Data?

12. Antes disso...
lembram o quer era Big Data?
CONCEITO!!!

18. lembram o quer era Big Data?
Agora que entedemos que é um
CONCEITO, vamos ver a FERRAMENTA
Antes disso...

20. Mas o que é?

21. Map Reduce

22. Map Reduce
Hadoop é baseado no modelo de
programação MapReduce

23. "MapReduce é um modelo de
programação desenhado para processar
grandes volumes de dados em paralelo,
dividindo o trabalho em um conjunto
de tarefas independentes."
http://en.wikipedia.org/wiki/MapReduce

24. Map Reduce
Vem da onde?

25. Map Reduce
Framework
introduzido
pelo ...

26. Map Reduce
Framework
introduzido pelo
Google

27. Map Reduce
http://research.google.com/archive/mapreduce.html

28. Map Reduce
http://research.google.com/archive/mapreduce.html

29. Map Reduce
● Não inventou, apenas implementou
● Mas, "definiu" / "padronizou"
algorítimo e arquitetura

30. Map Reduce
● paradigma de programação
para processar e analisar
grandes conjuntos de dados

31. Map Reduce
● Processamento tolerante a falha e
fácil abstração
● Facilidade de escalar
● Decompõe tudo em Pares - chave :
valor
● Depois sumariza os resultados

32. Map Reduce FileSystem
Map Reduce

33. Map Reduce Google
FileSystem
Google Map
Reduce

34. Map Reduce

35. Map Reduce

36. Map Reduce
Inspirado pelas funções
map e reduce usadas em
programação funcional.

37. Map Reduce
"Programação funcional é um paradigma de programação que trata a
computação como uma avaliação de funções matemáticas e que evita
estados ou dados mutáveis. Ela enfatiza a aplicação de funções, em
contraste da programação imperativa, que enfatiza mudanças no
estado do programa"
Wikipedia - http://pt.wikipedia.org/wiki/Programa%C3%A7%C3%A3o_funcional
Exemplos de linguagem:
● Lisp
● Haskell
● Scala

38. Map Reduce
Se encarrega de toda
complexidade de
processamento
paralelo, e o
programador cuida
apenas da lógica

39. Map Reduce
● Você especifica
função map()
● Você especifica
função reduce()
● O framework cuida
do restante

40. Map Reduce
Lembra o
que era Map
/ Mapa?

41. Map Reduce
Map -
associação
chave-valor
(key-value) k,v

42. Map Reduce
● Duas fases: Map Reduce
● Entre MapReduce : shuffle e sort

43. Map Reduce

45. No Linux seria mais ou
menos:
cat /my/log | grep '*.*.
html' | sort | uniq -c >
/output -file

46. Map Reduce
Map Reduce

47. Outros Map Reduce
● Hadoop
http://hadoop.apache.org/
● Twister
http://www.iterativemapreduce.org/
● Phoenix
http://mapreduce.stanford.edu/
● FileMap
http://mfisk.github.io/filemap/

48. Map Reduce
● Modelo Simples de
programação
● Sistema de arquivos
distribuidos com
gerenciamento de tarefas

49. Map Reduce
● Gerenciamento de cluster
● Excelente em
processamento em batch
● Não é feito para processos
online

50. Google
Filesystem

51. Google Filesystem (GFS)
● Sistema de arquivos distribuídos
otimizados para atuar em dados não
estruturados
● Necessário pois os arquivos pode
começar a tornar grandes demais para
serem armazenados em apenas uma
máquina

52. Google Filesystem (GFS)

53. Google Filesystem (GFS)
● Tolerancia a falhas (se falhar um nó,
automaticamente replica para outro)
● Suporte a falha parcial
● Suporte a recuperação de
dados
● Suporte a recuperação
individual de nós

54. Google Filesystem (GFS)
● Consistência
● Escalável (pode aumentar / diminuir
sem afetar a aplicação)
● Milhares de nós
● Processamento paralelo
● Nós independentes

55. Map Reduce + GFS
Ou seja:
● Escalável
● Econômico
● Eficiente
● Confiável

56. Map Reduce
Exemplo "Word Count"

57. Alexandre Uehara
@AleUehara
linkedin.com/in/aleuehara
uehara.alexandre@gmail.com
slideshare.net/aleuehara