1. Indexadores distribuídos utilizando Apache Hadoop Luís A. Bastião Silva Recuperação de informação

2. Agenda Enquadramento Lucene Hadoop HDFS MapReduce Implementações do Lucene distribuídas Conclusões

3. Enquadramento Aumento do volume de informação têm vindo a crescer Criação de motores de pesquisa Indexação Pesquisa Indexador versus Base de Dados relacional Necessidades de distribuir a indexação e pesquisa por vários sistemas computacionais Enquadramento Hadoop Lucene Conclusões LuceneDistribuido

4. Apache Lucene Projecto da ASF (Apache Software Fundation) Plataforma Open Source Interfaces de indexação e pesquisa bem definidos Pesquisa “full-text”, capacidade de filtragem, expressões booleanas, intervalos, etc. Capacidade de fazer “merge” de vários índices Útil para indexadores distribuídos Enquadramento Hadoop Lucene Conclusões LuceneDistribuido

5. ProjectoHadoop Hadoop: ASF + Open Source Motivação: criação de um sistema de ficheiros distribuído efectuar processamento nos vários nós do cluster Enquadramento Hadoop Lucene Conclusões LuceneDistribuido

6. ProjectoHadoop Subprojectos do Hadoop: Common HDSF MapReduce ZooKeeper Enquadramento Hadoop Lucene Conclusões LuceneDistribuido

7. HDFS: HadoopDistributed File System Sistema de ficheiros distribuídos Construído para grandes volumes de informação Blocos divididos em blocos de 64MB Redundância Orientado a “batchprocessing” e streaming ArquitecturaMaster/Slave Enquadramento Hadoop Lucene Conclusões LuceneDistribuido

8. HDFS - Arquitectura Enquadramento Hadoop Lucene Conclusões LuceneDistribuido

9. MapReduce Enquadramento Hadoop Lucene Conclusões LuceneDistribuido Modelo de programação Map “Shuffle” Reduce

10. LuceneDistribuido Discussão de diferentes abordagens Enquadramento Hadoop Lucene Conclusões LuceneDistribuido

11. Doug Cutting Approach Indicesdistribuidos pelos sistemas computacionais ArquitecturaMaster/Slaves Master: contém a localização dos vários indices Cada indice têm uma versão Enquadramento Hadoop Lucene Conclusões LuceneDistribuido

12. DistributedLucene Não utiliza o HDFS Utiliza mecanismos de IPC do Hadoop Segue os conceitos propostos por Doug Cutting Introduz o conceito do estado do indice: “uncommited”, “replicating” e “live” Actualizaçãobaseadaem “leasing” Enquadramento Hadoop Lucene Conclusões LuceneDistribuido

13. Distributed Index for Semantic Search Utilização do MapReduce Map: Parser dos documentos armazenados no sistema de ficheiros distribuído Redução: obter documentos que contém o mesmo termo Enquadramento Hadoop Lucene Conclusões LuceneDistribuido

14. Conclusões Mover processamento é preferível a mover dados Algumas implementações de Lucene distribuídos, contudo: Limitativas para o utilizador Ainda em fase beta de desenvolvimento Não existe standarização ao nível de indexação distribuída, não permitindo a criação de sinergias entre projectos. Hadoop revelou-se uma plataforma bastante estável Enquadramento Hadoop Lucene Conclusões LuceneDistribuido

15. Questões?