Hadoop é uma plataforma de código aberto para armazenamento e processamento distribuídos de grandes conjuntos de dados. Ele inclui o HDFS para armazenamento de dados em vários nós e o MapReduce para processamento paralelo de dados. O HDFS armazena dados em blocos replicados entre nós e o MapReduce usa mappers e reducers para processar pares chave-valor de forma distribuída.

1. HADOOP
Aryel Fernandes
Renan Augusto de Miranda
Prof. Dr. Arlindo Flávio da Conceição

2. O que é?
High-availability distributed object-oriented platform
• Framework dedicado a computação:
• Distribuída
• Escalável
• Tolerante à falhas

3. O que é?
• Projeto open-source da Apache
• Criado em 2005
• Originalmente parte do Nutch
• Possui API para várias linguagens

4. HDFS
• Hadoop Distributed File System
• Inspirado no Google File System
• Distribui e replica arquivos entre várias máquinas
• Flexível

5. HDFS
Componentes
• NameNode
• DataNode

6. HDFS
NameNode
• Índice de arquivos
• Não guarda os dados em si
• Ponto único de falha

7. HDFS
DataNode
• Responsável por manter os dados
• Divide arquivos em vários blocos
• Conversam entre si para replicar dados

8. HDFS

9. MapReduce
• Aplicado ao Hadoop
• Mappers e Reducers
• Inputs geralmente são arquivos provenientes do HDFS
• Trabalho é feito em cima de pares (chave, valor)

10. MapReduce
• Mapper

11. MapReduce
• Reducer

12. MapReduce
• JobTracker
• Responsável por receber requests de tarefas de
MapReduce
• FIFO por padrão
• Mantém checkpoints
• Execução especulativa

13. MapReduce
• TaskTracker
• Aceita operações de map ou reduce
• Trabalhos são processado em sandbox
• Possui um número limitado de “slots”

14. MapReduce
Shuffle

15. MapReduce
Overview

16. MapReduce
Limitações
• Scheduling baseado em slots
• Gargalo em mappers
• Startup de JVMs

17. Arquitetura Comum
• NameNodes isolados:
• Primário
• Secundário
• Backup
• JobTracker isolado

18. Arquitetura Comum
Cada nó composto por:
• DataNodes
• TaskTracker

19. Exemplos de aplicações
•Logging
• Análise de marketing
• Aprendizado de máquina
• Processamento de Imagem
• Web crawling

20. Hive
• Sumarização, pesquisas e análise
• Provê a HiveQL

21. HBase
• Banco de dados distribuído
• Inspirado no BigTable

22. Referências bibliográficas
• http://hadoop.apache.org/
• http://en.wikipedia.org/wiki/Apache_Hadoop
• http://www.cloudera.com/content/cloudera/en/why-cloudera/hadoop-and-big-data.html
• http://wiki.apache.org/hadoop/
• http://developer.yahoo.com/hadoop/tutorial
• http://hive.apache.org/
• http://hbase.apache.org/