Hadoop para SysEngs
•
0 gostou•716 visualizações
O documento discute a história e conceitos do Hadoop e HDFS, incluindo como o HDFS fornece armazenamento de dados em larga escala e como o MapReduce permite análises de dados distribuídas. É explicada a arquitetura do HDFS e do MapReduce e exemplos de como empresas como Yahoo, Facebook e Walmart usam Hadoop.
Recomendados
Recomendados
Mais conteúdo relacionado
Semelhante a Hadoop para SysEngs
Semelhante a Hadoop para SysEngs (7)
Hadoop para SysEngs
- 1. Hadoop para SysEngs Leonardo Martins leonardo.martins@wal-mart.com
- 3. História Yahoo!! Facebook! Cloudera ! Hortonworks! Walmart Brasil ;) Leonardo Martins leonardo.martins@wal-mart.com
- 5. HDFS "data storage" Leonardo Martins leonardo.martins@wal-mart.com
- 6. Map Reduce "data analysis" Leonardo Martins leonardo.martins@wal-mart.com
- 7. HDFS - Design Very large files Low-latency data access Streaming data access! Lots of small files! Commodity hardware Multiple writers, arbitrary file modifications! Leonardo Martins leonardo.martins@wal-mart.com
- 8. HDFS - Conceitos Leonardo Martins leonardo.martins@wal-mart.com
- 9. HDFS - Conceitos Leonardo Martins leonardo.martins@wal-mart.com
- 10. HDFS - Conceitos Leonardo Martins leonardo.martins@wal-mart.com
- 11. HDFS - Arquitetura Leonardo Martins leonardo.martins@wal-mart.com
- 12. HDFS - Arquitetura Leonardo Martins leonardo.martins@wal-mart.com
- 13. HDFS - Arquitetura Leonardo Martins leonardo.martins@wal-mart.com
- 15. HDFS - Escrita Leonardo Martins leonardo.martins@wal-mart.com
- 16. HDFS - Leitura Leonardo Martins leonardo.martins@wal-mart.com
- 17. HDFS - Sysadmin Adicionar e remover Data Node ao cluster! Check de integridade do filesystem! Balanceamento do cluster! Adicionar e remover Task Tracker! Monitorar os recursos do cluster! Leonardo Martins leonardo.martins@wal-mart.com
- 19. MapReduce Desenvolvimento mais simples! Escala em paralelo! Distribuição automática de tarefas! Tolerância a falhas! Leonardo Martins leonardo.martins@wal-mart.com
- 20. MapReduce - Arquitetura Leonardo Martins leonardo.martins@wal-mart.com
- 22. MapReduce - Submit Leonardo Martins leonardo.martins@wal-mart.com
- 23. HDFS + MapReduce Task Tracker ! Job Tracker Data Node ! Name Node
- 25. Possibilidades de uso Text mining Index building Graph creation and analysis Pattern recognition Prediction models Sentiment analysis Cálculo de frete Cálculo de rota de caminhões! Mecanismos de Antifraude Leonardo Martins leonardo.martins@wal-mart.com
- 26. Quem usa?