Introdução ao Apache Hadoop e seus principais componentes
•Transferir como PPTX, PDF•
0 gostou•149 visualizações
O documento fornece uma introdução ao Apache Hadoop, descrevendo suas principais características, componentes (HDFS, MapReduce, YARN) e ferramentas (Zookeeper, HBase, Hive, Pig, Spark). Explica brevemente o conceito de cluster Hadoop e como funcionam os processos de mapeamento e redução no MapReduce.
Recomendados
Mais conteúdo relacionado
Mais procurados
Mais procurados (20)
Semelhante a Introdução ao Apache Hadoop e seus principais componentes
Semelhante a Introdução ao Apache Hadoop e seus principais componentes (20)
Introdução ao Apache Hadoop e seus principais componentes
- 1. Apache Hadoop Primeiros Passos Rafael Henrique Pinotti www.benner.com.br
- 2. Agenda ● Introdução: ○ Visão geral; Características. ● Módulos - componentes common: ○ HDFS; MapReduce; YARN. ● Principais ferramentas: ○ Zookeeper; HBase; Hive; Pig; Spark; ○ Sqoop; WebHDFS; Flume. ● Comandos no HDFS. ● MapReduce (wordcount).
- 3. O que é Hadoop? ● Plataforma Open Source mantida pela fundação Apache. ● Armazenagem e acesso a dados estruturados, semi estruturados e não estruturados. ● Escrito em linguagem Java, permite integração com outras linguagens (Python, R, C#, etc.). ● Tecnologia base da infraestrutura de big data. ● Permite obter, armazenar e analisar grandes volumes de dados (big data). ● Processamento distribuído e utilização de máquinas de baixo custo. ● Principais distribuições comerciais: Cloudera e Hortonworks. ● Soluções em nuvem: Microsoft (HDInsight), IBM e Amazon (EMR).
- 4. Histórico ● 2002: Iniciado o projeto Nutch. ● 2004: Google publica papers sobre MapReduce e Google File System (GFS). ● 2005: Nutch passa a utilizar uma implementação de MapReduce. ● 2006: Nasce o projeto Hadoop a partir do Nutch. ● 2006: Publicado o paper sobre o Google Bigtable. ● 2007: Pig criado pelo Yahoo! Labs. ● 2008: Yahoo! roda o Hadoop em um cluster de 10.000 nós. ● 2009: Yahoo! usa o Hadoop para ordenar um TB em 62s. ● 2011: Hadoop 1.0. ● 2012: Hadoop 2.0. ● 2017: Hadoop 3.0.
- 6. ● Hadoop Distributed File System. ● Sistema de arquivos distribuído para armazenamento de big data. ● Tolerante a falhas com recuperação automática. ● Garante a integridade dos arquivos. ● Alto desempenho. ● Divide arquivos grandes em blocos de 64Mb e distribui entre os nós. ● Replica um mesmo bloco em vários nós. HDFS
- 8. MapReduce ● Processamento de grandes volumes de dados em paralelo. ● Separado em duas fases principais: mapeamento e redução. ● Mapeamento: cria uma série de pares chave/valor, aplicando funções em cada elemento de uma lista. ● Redução: aplicar uma função para cada chave única encontrada. ● As operações map e reduce podem ser executadas em paralelo. ● Executar funções em grandes arquivos. ● Tolerante a falhas.
- 10. YARN (Hadoop 2.0) ● Yet Another Resource Negotiator. ● Gerenciador da execução das aplicações no cluster. ● Node manager para gerenciar as tarefas (mais flexível e eficiente que o task tracker), e não se limita a processar somente mapreduce. ● Trabalha com o conceito de container, criando um para cada tarefa.
- 12. Apache Zookeeper ● Because coordinating distributed systems is a Zoo. ● Serviço centralizado para manutenção de configurações, nomes, sincronização distribuída e serviços de grupo. ● Gerencia a execução dos jobs ao longo do processo. ● Pré-requisito para alguns componentes do ecossistema. ● Realiza a coordenação de um sistema distribuído.
- 13. Apache HBase ● Um dos principais bancos de dados NoSQL do ecossistema hadoop. ● Permite o armazenamento de bilhões de linhas e milhões de colunas. ● Criado a partir do Google Bigtable. ● Roda sobre o HDFS. ● Armazena os dados em sua forma bruta, para posterior análise, limpeza, preparação e utilização.
- 14. Apache Hive ● Solução de data warehouse open source. ● É considerado o banco de dados relacional do Hadoop. ● Facilita a leitura, escrita e manutenção de grandes conjuntos de dados. ● Armazenamento distribuído no HDFS. ● Utiliza linguagem SQL para consultas, o HiveQL. ● Possui conectores para as principais ferramentas de BI do mercado.
- 15. Apache Pig ● Plataforma para analisar e processar grandes conjuntos de dados (big data) sem a necessidade de escritas de código Java. ● Executa jobs mapreduce. ● Um dos objetivos é mascarar a complexidade do Java. ● Possui uma linguagem específica que permite a coleta de dados e a execução de jobs. ● Utiliza linguagem de script própria, o Pig Latin. ● Possui características similares às encontradas em bancos relacionais, como joins, group, aggregate, etc.
- 16. Apache Spark ● Sistema de código aberto para processamento distribuído de dados em tempo real. ● Diferentemente do hadoop, o Spark armazena as etapas intermediárias das operações mapreduce em memória. ● Pode rodar sob o ecossistema hadoop ou de forma standalone.
- 17. Apache Sqoop ● SQL para Hadoop. ● Movimenta dados de forma bidirecional entre o Hadoop e serviços de armazenamento estruturados. ● Permite a conexão com diversos bancos de dados relacionais como Oracle, MySql, DB2, SQL Server, etc. ● Utiliza JDBC para conexão com bancos relacionais. ● Possui integração direta com o Apache Hive.
- 18. Apache Flume ● Ferramenta para coletar logs de dados de sistemas distribuídos. ● Os dados são armazenados no HDFS ou HBase. ● Pode ser escalado horizontalmente. ● Muito utilizado para processar logs de transações em servidores de aplicação e servidores web.
- 19. Apache Kafka ● Ferramenta para coletar e processar alto volume de dados de streaming em tempo real. ● Atua como sistema de mensageria, permitindo um grande número de publishers e subscribers. ● Armazena grandes quantidades de dados para posterior distribuição. ● Monitora dados para aplicações distribuídas. ● Torna os dados disponíveis para múltiplos assinantes de acordo com seus interesses.
- 20. Outras ferramentas ● WebHDFS: API REST para manipulação de arquivos no HDFS. ● HCatalog: Serviço de metadados para acesso ao Hadoop sem a necessidade de saber detalhes sobre o armazenamento dos arquivos. ● OOzie: Sistema de agendamento de fluxo de trabalho para gerenciar tarefas do Hadoop (workflow).
- 21. VM VirtualBox
- 22. Em resumo, o Hadoop... ● É um framework para execução paralela de processamento, realizando o escalonamento e o balanceamento de carga de forma automática. ● Entrega um recuperação transparente do processamento caso algum nó da rede falhe durante a execução. ● Possui um grande ecossistema e em constante evolução. ● É provido por diversos fornecedores em nuvem que mantém e escalam serviços Hadoop. ● Tem uma curva de aprendizado muito grande, mas o uso do ecossistema traz inúmeros benefícios.
Notas do Editor
- A ideia é conversamos um pouco sobre o hadoop e seu ecossistema, de uma forma introdutória, para que a gente possa entender melhor o que ele faz, e vislumbrar de que maneira podemos aplicar suas ferramentas.
- Na nossa agenda de hoje veremos o que é o hadoop, como ele se encaixa no conceito de big data, algumas de suas características principais, componentes core, e as principais ferramentas do seu ecossistema. Existe um sem número de ferramentas que se encaixam no ecossistema hadoop, as que vamos falar aqui são algumas das mais utilizadas. Ao final veremos alguns comandos no sistema de arquivos do hadoop, e uma aplicação de teste que realiza uma contagem de palavras utilizando o modelo mapreduce (hello world do big data).
- O que é Hadoop? Plataforma de código aberto mantida pela fundação Apache. Permite a armazenagem e o acesso a dados estruturados (bancos de dados), semi estruturados (xml, logs de aplicação), e não estruturados (imagens, documentos, e-mails). Escrito na linguagem Java, mas possui formas de integração com diversas outras linguagens como Python, R, C#, etc. Uma das tecnologias base da infraestrutura de big data. Atuação em todo o ciclo na obtenção, armazenamento e análise de grandes volumes de dados, o famoso big data. Possui um processamento distribuído (ou seja, divide a carga das tarefas em vários computadores), permitindo a utilização de máquinas de baixo custo. As principais distribuições comerciais são providas pela Cloudera e Hortonworks, inclusive elas disponibilizam máquinas virtuais configuradas para testes e provas de conceito. Grandes nomes também fornecem soluções em nuvem baseadas no hadoop, como Microsoft (HDInsight), IBM e Amazon (na plataforma EMR - elastic mapreduce).
- Pelos idos dos anos 2000 muitas (na época) startups de inovação como google e facebook começaram a ter problemas em manipular a grande massa de dados que vinha sendo produzida. Então começaram a desenvolver as próprias ferramentas para ajudar a resolver estas questões de processamento intensivo na web e big data. Em 2002 foi iniciado o projeto Apache Nutch, escrito para ser um web crawler, basicamente um indexador de páginas web. Em 2004 o google publica os papers que explicam o google file system, e o mapreduce. Em 2006 nasce o projeto Hadoop a partir do Nutch. Em 2006 o google publica o paper sobre o Google Bigtable, servindo de base para a criação do HBase. Em 2007 o Yahoo! Labs cria o Pig e doa para a Apache Software Foundation. Em 2008 a indexação de buscas do Yahoo! é gerada através de um cluster Hadoop de 10.000 nós. Em 2009 o Yahoo! utiliza o hadoop para ordenar um TB de dados em 62s. Em 2011 é lançada a versão 1.0 do Hadoop. Em 2012 é lançada a versão 2.0 do Hadoop. Em 2017 é lançada a versão 3.0 do Hadoop.
- Cluster é um conjunto de máquinas trabalhando em paralelo. O Hadoop foi desenhado para computação paralela e distribuída. Um cluster hadoop é formado por um namenode e milhares de datanodes Namenode controla e faz a gestão dos outros nós da rede, os datanodes. Os datanodes são os nós da rede onde os dados são armazenados de forma distribuída. Deve existir um segundo namenode para assumir a gestão caso o principal falhe. Job tracker é o gerenciador da execução distribuída do processo de mapreduce (veremos adiante o que é isto). Task tracker é onde acontece a execução dos processos de mapreduce.
- Hadoop distributed file system. Baseado no GFS (google file system). Sistema de arquivos distribuído ao longo de vários computadores na rede, através de um cluster. Entrega desempenho similar a um sistema de arquivos tradicional e provê escalabilidade de forma transparente. Não interrompe o sistema caso algum dos nós falhe na rede, tolerante a falhas. Controla as modificações realizadas no arquivo, permitindo acesso somente com permissão garantida. Divide os arquivos grandes em pequenos blocos de 64Mb e distribui entre os nós do cluster. Replica um mesmo bloco em vários nós garantindo a alta disponibilidade e a integridade do arquivo.
- Trabalha com arquivos grandes, podendo chegar à ordem de petabytes.
- Framework para execução de processamento paralelo em múltiplos nós, combinando os resultados posteriormente. Modelo de programação com propósito de processar grandes volumes de dados, paralelizando o trabalho em conjuntos de tarefas independentes. Criado originalmente pelo google, é utilizado em vários outros sistemas de computação paralela. Map e reduce são os dois tipos de funções comuns. Map: aplica uma função em cada elemento de uma lista, gerando séries de pares chave/valor. Reduce: função de agrupamento ou compressão, aplica funções em um conjunto de dados para retornar um valor. Ambas as funções podem ser executadas em paralelo. Foi desenhado para executar funções em grandes arquivos, com coordenação de tarefas e tolerância a falhas. O job tracker verifica continuamente a saúde dos task trackers, e se algum deles falhar, o seu processamento é enviado ao outro nó. O job tracker é gerenciado no namenode, e os task trackers nos datanodes.
- Um dos exemplos clássicos é a contagem de palavras em uma coleção de documentos. Dado um ou vários arquivos armazenados (no HDFS por exemplo), os dados são divididos e enviados aos nós para processamento. Em cada um dos nós é executada a função de mapeamento, gerando os pares chave/valor. Os dados são agrupados, ordenados e salvos no sistema de arquivos. Então são aplicadas as funções de redução nos arquivos gerados para que tenhamos o resultado final da contagem. Em resumo: cada tarefa map processa vários blocos de arquivos; os arquivos gerados são gravados localmente (nos datanodes), e o namenode armazena os metadados destes arquivos. as tarefas reduce recebem os arquivos intermediários e processam as funções de redução. o resultado final é armazenado e disponibilizado no cluster.
- A partir da versão 2.0 do hadoop, o YARN é adicionado aos elementos core do ecossistema, e altera um pouco a arquitetura padrão do hadoop resolvendo algumas de suas limitações. Gerenciador da execução das aplicações no cluster. Possui um node manager para gerenciar as tarefas, muito mais eficiente que o task tracker e não se limita a processamento mapreduce. Utiliza o conceito de container, criando um para cada tarefa. Por conta da flexibilidade é orientado a aplicações empresariais.
- No momento que um job é enviado ao cluster, o YARN verifica qual, ou quais, nós possuem mais recursos para atender a solicitação. Uma aplicação cliente solicita a execução no cluster. O resource manager inicializa um container do application manager em um node manager. O application manager aloca os recursos em outros node managers, e avisa ao resource manager para gerenciar. O application manager então inicializa a execução das tarefas em containers nos node managers designados.
- O ecossistema é considerado um grande zoológico, dados os nomes dos softwares. Serviço centralizado para manutenção de configurações, nomes, sincronização distribuída e serviços de grupos. Gerencia a execução dos jobs ao longo o processo. Pré requisito para vários componentes do ecossistema. Realiza a coordenação de um sistema distribuído, para que não seja necessária a implementação de protocolos complexos para gestão de concorrência, deadlock e consistência dos dados.
- Já foi um dos principais bancos de dados NoSQL do ecossistema Hadoop, mas tem sido substituído pelo Cassandra que tem uma evolução mais rápida com mais funcionalidades. Banco de dados colunar. Criado para armazenamento de dados não estruturados, utilizado principalmente para infraestrutura de big data. Criado a partir do Google Bigtable. Roda sobre o HDFS. Armazena os dados em sua forma bruta, para posterior análise, limpeza, preparação e utilização.
- Concebido com a ideia de construir uma aplicação de data warehouse open source, utilizando conceitos do hadoop, mapreduce e hdfs. É considerado o banco de dados relacional do Hadoop. Facilita a leitura, escrita e manutenção de grandes conjuntos de dados. Trabalha com o conceito de armazenamento distribuído no HDFS. Utiliza linguagem SQL para consultas, o HiveQL. Possui conectores para as principais ferramentas de BI do mercado, como Microstrategy, Excel, PowerPivot, Tableau, etc.
- Plataforma para analisar e processar grandes conjuntos de dados (big data), sem a necessidade de escrever código java. Plataforma que permite a execução de jobs mapreduce. Um dos objetivos é mascarar a complexidade do Java para escrita das consultas e jobs. É uma camada acima da linguagem Java onde existe uma linguagem específica que permite a coleta de dados e a execução dos jobs. Plataforma que utiliza a linguagem Pig Latin, uma linguagem de script. Possui diversas características similares às consultas a bancos relacionais, como joins, group, aggregate, etc.
- Sistema de código aberto para processamento distribuído de dados em tempo real. As operações mapreduce no hadoop armazenam as etapas intermediárias em disco. No Spark, estas etapas intermediárias ficam em memória, não possui componente de armazenamento. Permite a integração com um sem número de fontes de dados. Dá suporte à uma grande pilha de bibliotecas para SQL, Machine Learning, Grafos, e stream de dados. Permite a escrita de aplicações em Scala, Python, R e comandos SQL. Poder rodar sob o ecossistema hadoop ou de forma standalone. É uma das ferramentas mais poderosas que fazem parte do ecossistema.
- Projeto top-level da Apache, seu nome é uma abreviação para SQL para Hadoop. O seu objetivo é transferir dados do Hadoop para serviços de dados estruturados e vice-versa. Possui ferramentas e conectores para diversos bancos de dados relacionais como Oracle, MySQL, DB2, SQL Server, etc. Utiliza JDBC para conexão com os bancos relacionais. Integração direta com o Apache Hive, sem necessidade de conectores. Esta ferramenta permite também importação de arquivos texto, normalmente arquivos csv que já possuem uma estrutura definida. Também possui opções para importação incremental dos SGDBs, permitindo uma integração mais rápida e eficiente.
- Ferramenta utilizada para coletar logs de dados de sistemas distribuídos. Os dados são armazenados no HDFS ou HBase para futura análise. Pode ser escalado horizontalmente, sendo fácil a adição de nós ao cluster caso seja necessário. Muito utilizado para processar logs de transações em servidores de aplicação e servidores web, por exemplo: vendas em e-commerce e lojas físicas, redes sociais, etc.
- Ferramenta para coletar e processar alto volume de dados de streaming em tempo real. Atua como sistema de mensageria, permitindo um grande número de publishers (editores) e subscribers (assinantes). Armazena grandes quantidades de dados para posterior distribuição. Monitora os dados para aplicações distribuídas. Torna os dados disponíveis para múltiplos assinantes de acordo com seus interesses. Criado para atender à demandas não contempladas no Flume. Tem sido utilizado para substituir o Apache Flume.
- Inúmeras ferramentas vem sido adicionadas ao ecossistema frequentemente, as ferramentas apresentados não chegam perto da lista completa (muito longe disso), mas dá uma ideia do que tem sido desenvolvido. O que é interessante citar: WebHDFS: API REST que permite acesso HTTPS ao HDFS, para manipulação de arquivos. HCatalog: Serviço de metadados para acesso ao Hadoop sem a necessidade de saber detalhes sobre o armazenamento dos arquivos. Possibilita interoperabilidade entre outras ferramentas (como Pig, MapReduce e Hive), e acesso a dados em outros bancos de dados (como SQL Server). Oozie: Sistema de agendamento de fluxo de trabalho para gerenciar tarefas do Hadoop.
- Sistema de arquivos: A plataforma utiliza os mesmos comandos do linux para manipulação do sistema de arquivos. hdfs dfs -ls /: para listar os arquivos em um diretório. hdfs dfs -mkdir /diretorio: para criar um novo diretório. hdfs dfs -rmr /diretorio: para excluir um diretório. A manipulação do sistema de arquivos também pode ser realizada através de soluções do ecossistema, como web pages. MapReduce: hadoop fs -copyFromLocal contratos.csv /bigdata hadoop fs -ls /bigdata hadoop fs -cat /bigdata/contratos.csv cd /opt/hadoop/ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.2.jar wordcount /bigdata/contratos.csv /output hdfs dfs -cat /output/*
- O Hadoop é um framework para execução paralela de processamento, realizando o escalonamento e o balanceamento de carga de forma automática. Entrega uma recuperação transparente do processamento caso algum nó da rede falhe durante a execução. Possui um grande ecossistema e em constante evolução. É provido por diversos fornecedores em nuvem que mantém e escalam serviços Hadoop. Tem uma curva de aprendizado muito grande, são muitas as ferramentas e conceitos. Mas o uso deste ecossistema traz inúmeros benefícios para as empresas.