Oozie é um sistema de workflow para Hadoop que permite agendar e monitorar processos no Hadoop. O documento discute conceitos, técnicas e ferramentas de Big Data.

1. Oozie é um Sistema de Workflow para Hadoop.
Permite que seus usuários agende e monitorem processos no Hadoop
Cetax Consultoria e Treinamento
54Big Data – Conceitos, Técnicas e Ferramentas

2. Cetax Consultoria e Treinamento
55Big Data – Conceitos, Técnicas e Ferramentas

3. Cetax Consultoria e Treinamento
56Big Data – Conceitos, Técnicas e Ferramentas

4. Cetax Consultoria e Treinamento
57Big Data – Conceitos, Técnicas e Ferramentas

5. Cetax Consultoria e Treinamento
58Big Data – Conceitos, Técnicas e Ferramentas

6. Cetax Consultoria e Treinamento
59Big Data – Conceitos, Técnicas e Ferramentas

7. Cetax Consultoria e Treinamento
60Big Data – Conceitos, Técnicas e Ferramentas

8. Cetax Consultoria e Treinamento
61Big Data – Conceitos, Técnicas e Ferramentas

9. Cetax Consultoria e Treinamento
62Big Data – Conceitos, Técnicas e Ferramentas

10. Cetax Consultoria e Treinamento
63Big Data – Conceitos, Técnicas e Ferramentas

11. Cetax Consultoria e Treinamento
64Big Data – Conceitos, Técnicas e Ferramentas

12. Cetax Consultoria e Treinamento
65Big Data – Conceitos, Técnicas e Ferramentas

13. Cetax Consultoria e Treinamento
66Big Data – Conceitos, Técnicas e Ferramentas

14. Cetax Consultoria e Treinamento
67Big Data – Conceitos, Técnicas e Ferramentas

15. O teorema começou com Eric Brewer na Universidade de Berkley, California
http://en.wikipedia.org/wiki/CAP_theorem
Cetax Consultoria e Treinamento
68Big Data – Conceitos, Técnicas e Ferramentas

16. Cetax Consultoria e Treinamento
69Big Data – Conceitos, Técnicas e Ferramentas

17. Fonte :
https://blogs.the451group.com/information_management/files/2011/04/Figures-
Aslett_web.jpg
Cetax Consultoria e Treinamento
70Big Data – Conceitos, Técnicas e Ferramentas

18. Cetax Consultoria e Treinamento
71Big Data – Conceitos, Técnicas e Ferramentas

19. Cetax Consultoria e Treinamento
72Big Data – Conceitos, Técnicas e Ferramentas

20. O conjunto de colunas é gerenciado pelo HStore
Cada HStore tem 1 ou mais MapFiles.
Em memória são chamados de memcache. 1 memcache por HStore
Cetax Consultoria e Treinamento
73Big Data – Conceitos, Técnicas e Ferramentas

21. •Registros particionados por colunas em Hstores
•Cada HStore possui muitos MapFiles
•Toda escrita é aplicada a um único memcache
•Leituras consultam MapFiles e memcache
•Memcache envia os dados como MapFiles quando estão cheios
Cetax Consultoria e Treinamento
74Big Data – Conceitos, Técnicas e Ferramentas

22. Cetax Consultoria e Treinamento
75Big Data – Conceitos, Técnicas e Ferramentas

23. Cetax Consultoria e Treinamento
76Big Data – Conceitos, Técnicas e Ferramentas

24. Cetax Consultoria e Treinamento
77Big Data – Conceitos, Técnicas e Ferramentas

25. Cetax Consultoria e Treinamento
78Big Data – Conceitos, Técnicas e Ferramentas

26. Data Science ou Ciência de Dados
Estudo disciplinado dos dados e informações inerentes ao negócio e todas as
visões que podem cercar um determinado assunto.
Cetax Consultoria e Treinamento
79Big Data – Conceitos, Técnicas e Ferramentas

27. Cetax Consultoria e Treinamento
80Big Data – Conceitos, Técnicas e Ferramentas

28. Cetax Consultoria e Treinamento
81Big Data – Conceitos, Técnicas e Ferramentas

29. Cetax Consultoria e Treinamento
82Big Data – Conceitos, Técnicas e Ferramentas

30. Cetax Consultoria e Treinamento
83Big Data – Conceitos, Técnicas e Ferramentas

31. Cetax Consultoria e Treinamento
84Big Data – Conceitos, Técnicas e Ferramentas

32. Cetax Consultoria e Treinamento
85Big Data – Conceitos, Técnicas e Ferramentas

33. Cetax Consultoria e Treinamento
86Big Data – Conceitos, Técnicas e Ferramentas

34. Cetax Consultoria e Treinamento
87Big Data – Conceitos, Técnicas e Ferramentas

35. Cetax Consultoria e Treinamento
88Big Data – Conceitos, Técnicas e Ferramentas

36. Cetax Consultoria e Treinamento
89Big Data – Conceitos, Técnicas e Ferramentas

37. Cetax Consultoria e Treinamento
90Big Data – Conceitos, Técnicas e Ferramentas

38. Cetax Consultoria e Treinamento
91Big Data – Conceitos, Técnicas e Ferramentas

39. Cetax Consultoria e Treinamento
92Big Data – Conceitos, Técnicas e Ferramentas

40. Cetax Consultoria e Treinamento
93Big Data – Conceitos, Técnicas e Ferramentas

41. Cetax Consultoria e Treinamento
94Big Data – Conceitos, Técnicas e Ferramentas

42. Cetax Consultoria e Treinamento
95Big Data – Conceitos, Técnicas e Ferramentas

43. Cetax Consultoria e Treinamento
96
Quais Ferramentas devemos usar ?
Não se esqueçam ! Esse landscape deve mudar muito ainda !
Big Data – Conceitos, Técnicas e Ferramentas

44. Cetax Consultoria e Treinamento
97Big Data – Conceitos, Técnicas e Ferramentas

45. Cetax Consultoria e Treinamento
98Big Data – Conceitos, Técnicas e Ferramentas