O documento descreve o Bashreduce, uma ferramenta que implementa o modelo MapReduce usando o shell script Bash. Ele explica como o Bashreduce funciona, como foi estendido para usar o sistema de arquivos distribuído DDGfs, e fornece um exemplo passo a passo de como executar uma tarefa MapReduce com o Bashreduce e DDGfs.

1. Bashreduce
À moda da casa
Jonhnny Weslley

2. Bashreduce
● Criado por Erik Frey
● Desenvolvedor da Last.FM
● Aplicações MapReduce usando Bash! :D

3. Bashreduce
● Criado por Erik Frey
● Desenvolvedor da Last.FM
● Aplicações MapReduce usando Bash! :D
● Modificado por Richard Crowley
● Possibilita executar sobre DFS

4. MapReduce é um modelo de programação
paralelo para processamento data­intensive.

5. MapReduce em 2 minutos

6. MapReduce em 2 minutos
Entrada

7. MapReduce em 2 minutos
Parte 1
Entrada Parte 2
...
Parte N

8. MapReduce em 2 minutos
Parte 1 Map
Entrada Parte 2
Map
...
Parte N Map

9. MapReduce em 2 minutos
Parte 1 Map
Reduce
Entrada Parte 2 Map
... Reduce
Parte N Map

10. MapReduce em 2 minutos
Parte 1 Map
Reduce
Entrada Parte 2
Map Saída
... Reduce
Parte N Map

11. MapReduce em 2 minutos
Parte 1 Map
Reduce
Entrada Parte 2
Map Saída
... Reduce
Parte N Map

12. MapReduce em 2 minutos
1 – Comando
2 – Map
3 – Reduce
4 ­ Saída
http://www.flickr.com/photos/h_u_p/2827175831/

13. Bashreduce + DDGfs
● Extensão do bashreduce de Richard Crowley
● Utiliza metadados do DDGfs

14. Bashreduce + DDGfs
● Crie um arquivo com a lista de arquivos para
processar
Arquivo de entrada: /ddg/jonhnny/simulacao.input
/ddg/jonhnny/simulacao­cenario­1.log
/ddg/jonhnny/simulacao­cenario­2.log
/ddg/jonhnny/simulacao­cenario­3.log
/ddg/jonhnny/simulacao­cenario­4.log
/ddg/jonhnny/simulacao­cenario­5.log

15. Bashreduce + DDGfs
● Função map:
awk '{print $2}' | sort

16. Bashreduce + DDGfs
● Função map:
awk '{print $2}' | sort
● Função reduce:
uniq ­c

17. Bashreduce + DDGfs
br ­d ­m "awk '{print $2}' | sort" ­r "uniq ­c"
­i /ddg/jonhnny/simulacao.input >
/ddg/jonhnny/simulacao.output

18. Bashreduce + DDGfs
Bashreduce
br ­d ­m "awk '{print $2}' | sort" ­r "uniq ­c"
­i /ddg/jonhnny/simulacao.input >
/ddg/jonhnny/simulacao.output

19. Bashreduce + DDGfs
DDGfs
br ­d ­m "awk '{print $2}' | sort" ­r "uniq ­c"
­i /ddg/jonhnny/simulacao.input >
/ddg/jonhnny/simulacao.output

20. Bashreduce + DDGfs
Função map
br ­d ­m "awk '{print $2}' | sort" ­r "uniq ­c"
­i /ddg/jonhnny/simulacao.input >
/ddg/jonhnny/simulacao.output

21. Bashreduce + DDGfs
Função map
br ­d ­m "awk '{print $2}' | sort" ­r "uniq ­c"
­i /ddg/jonhnny/simulacao.input >
/ddg/jonhnny/simulacao.output

22. Bashreduce + DDGfs
Arquivo de entrada = input file
br ­d ­m "awk '{print $2}' | sort" ­r "uniq ­c"
­i /ddg/jonhnny/simulacao.input >
/ddg/jonhnny/simulacao.output

23. Bashreduce + DDGfs
br ­d ­m "awk '{print $2}' | sort" ­r "uniq ­c"
­i /ddg/jonhnny/simulacao.input >
/ddg/jonhnny/simulacao.output
Arquivo de saída

24. Bashreduce + DDGfs
● Disponível em:
● http://github.com/jweslley/bashreduce/tree/master
● E, em breve, para os membros do LSD, digite br no
terminal.

25. Bashreduce + DDGfs
● Utilizem
● Pratiquem
● Divirtam­se
● E ...

26. I know bashreduce!

27. Show me!

28. Obrigado!