Map-Reduce é uma técnica para processar grandes quantidades de dados distribuídos. Ela envolve duas etapas, mapeamento e redução, onde os dados são reorganizados e agregados através de funções paralelas. Isso permite adquirir informações entre agregados de dados armazenados de forma distribuída. Frameworks como Hadoop e Spark implementam Map-Reduce para extrair insights de negócios de dados NoSQL.
Estudio con insectos genera antibioticosMateo Cardoso
Las constantes investigaciones con cucarachas dieron lugar al descubrimiento de nueve compuestos químicos encontrados en el cerebro y sistema nervioso del insecto que logra ser muy potente a la hora de eliminar bacterias
Presentation of my TechTalk at eSapce (Every Thursday one of the departments make a session about something recently begun to use or a new technology, this was my session from SysOps team.) This is an introduction to Ansible, and how to get started with it ... and since then we moved to Ansible :-)
Ansible is a great tool for many purposes like: configuration management, contentious deployment, and multi-tier orchestration ... and more!
- http://tech.aabouzaid.com/
- http://espace.com.eg/
- http://ansible.com/
Estudio con insectos genera antibioticosMateo Cardoso
Las constantes investigaciones con cucarachas dieron lugar al descubrimiento de nueve compuestos químicos encontrados en el cerebro y sistema nervioso del insecto que logra ser muy potente a la hora de eliminar bacterias
Presentation of my TechTalk at eSapce (Every Thursday one of the departments make a session about something recently begun to use or a new technology, this was my session from SysOps team.) This is an introduction to Ansible, and how to get started with it ... and since then we moved to Ansible :-)
Ansible is a great tool for many purposes like: configuration management, contentious deployment, and multi-tier orchestration ... and more!
- http://tech.aabouzaid.com/
- http://espace.com.eg/
- http://ansible.com/
Sistema Integrado de Gestão Empresarial - ERPmlima72
Planejamento de recursos empresariais (ERP) é um sistema interfuncional que atua como uma estrutura para integrar e automatizar muitos dos processos de negócios que devem ser realizados pelas funções de produção, logística, distribuição, contabilidade, finanças e de recursos humanos de uma empresa. As características dos softwares de ERP incluem:
O software de ERP é parte de uma família de módulos de software que apóia as atividades empresariais envolvidas em processos de back-office vitais.
O ERP é concebido como um ingrediente, essencial à eficiência, agilidade, e responsabilidade para com clientes e fornecedores, que uma empresa de
e-business precisa ter para conseguir êxito no mundo dinâmico do e-commerce.
Caçadores de Mitos: A virtualização dos dados pode sustentar o desempenho com...Denodo
Watch full webinar here: https://bit.ly/3md3YW4
Você é um dos céticos sobre o desempenho em tempo real da Virtualização de Dados? Se sim, junte-se a nós para esta sessão de webinar para que possamos demonstrar o verdadeiro valor e desempenho desta moderna tecnologia de integração de dados e tenha dito: "Uau".
A virtualização de dados é uma ferramenta que permite a integração de dados de vários locais, em vários formatos e através de diferentes latências. Muitas vezes ouvimos dizer que, por causa disso, ela deve sofrer atrasos e problemas de desempenho. Na verdade, é um dos mitos mais comuns que temos que abordar, por isso decidimos acabar com ele.
Aqui está o que vamos cobrir:
- A virtualização de dados não é só performática, mas também impulsiona o desempenho.
- Uma case real sobre um de nossos clientes e como eles estão otimizando o desempenho em sua organização.
- Uma rápida demonstração para mostrar a rapidez com que se pode executar uma consulta de múltiplas fontes usando a virtualização de dados.
Bigdata na pratica: Resolvendo problemas de performance com hadooptdc-globalcode
O Apache Hadoop tem se tornado o framework padrão para processamento de Big Data. Com ele, podemos processar grandes volumes de dados utilizando hardware de baixo custo de forma paralela e distribuída. Essas características podem ser úteis no cotidiano do desenvolvedor, otimizando a execução de rotinas batch e geração de relatórios, por exemplo. Nesta palestra serão mostrados os passos para desenvolver uma solução utilizando algumas ferramentas que fazem parte do ecossistema do Hadoop: MapReduce, HDFS e HBase.
Sistema Integrado de Gestão Empresarial - ERPmlima72
Planejamento de recursos empresariais (ERP) é um sistema interfuncional que atua como uma estrutura para integrar e automatizar muitos dos processos de negócios que devem ser realizados pelas funções de produção, logística, distribuição, contabilidade, finanças e de recursos humanos de uma empresa. As características dos softwares de ERP incluem:
O software de ERP é parte de uma família de módulos de software que apóia as atividades empresariais envolvidas em processos de back-office vitais.
O ERP é concebido como um ingrediente, essencial à eficiência, agilidade, e responsabilidade para com clientes e fornecedores, que uma empresa de
e-business precisa ter para conseguir êxito no mundo dinâmico do e-commerce.
Caçadores de Mitos: A virtualização dos dados pode sustentar o desempenho com...Denodo
Watch full webinar here: https://bit.ly/3md3YW4
Você é um dos céticos sobre o desempenho em tempo real da Virtualização de Dados? Se sim, junte-se a nós para esta sessão de webinar para que possamos demonstrar o verdadeiro valor e desempenho desta moderna tecnologia de integração de dados e tenha dito: "Uau".
A virtualização de dados é uma ferramenta que permite a integração de dados de vários locais, em vários formatos e através de diferentes latências. Muitas vezes ouvimos dizer que, por causa disso, ela deve sofrer atrasos e problemas de desempenho. Na verdade, é um dos mitos mais comuns que temos que abordar, por isso decidimos acabar com ele.
Aqui está o que vamos cobrir:
- A virtualização de dados não é só performática, mas também impulsiona o desempenho.
- Uma case real sobre um de nossos clientes e como eles estão otimizando o desempenho em sua organização.
- Uma rápida demonstração para mostrar a rapidez com que se pode executar uma consulta de múltiplas fontes usando a virtualização de dados.
Bigdata na pratica: Resolvendo problemas de performance com hadooptdc-globalcode
O Apache Hadoop tem se tornado o framework padrão para processamento de Big Data. Com ele, podemos processar grandes volumes de dados utilizando hardware de baixo custo de forma paralela e distribuída. Essas características podem ser úteis no cotidiano do desenvolvedor, otimizando a execução de rotinas batch e geração de relatórios, por exemplo. Nesta palestra serão mostrados os passos para desenvolver uma solução utilizando algumas ferramentas que fazem parte do ecossistema do Hadoop: MapReduce, HDFS e HBase.
Apresentação de trabalho para a disciplina de Inteligencia Computacional.
Instituto Federal de Educação, Ciência e Tecnologia do Ceará
IFCE - Curso de Engenharia da Computação.
SQL Server ES - Escrevendo queries rápidas (Performance/Query Tuning)Dirceu Resende
Palestra de Performance Tuning do do SQL Server ES - 10/06/2017 (Dirceu Resende)
Veja o post completo em: https://www.dirceuresende.com/blog/como-foi-o-2o-encontro-do-sql-server-es/
Resenha de artigo - Query Processing over Data Warehouse using Relational Dat...Felipe Caparelli
Motivação do artigo: Investigar e Comparar o uso de modelos de dados NoSQL e relacional, utilizando as principais técnicas para otimização de processamento de consultas OLAP sobre DW
Semelhante a Map-Reduce: Adquirindo informações de dados distribuidos (20)
Resenha de artigo - Query Processing over Data Warehouse using Relational Dat...
Map-Reduce: Adquirindo informações de dados distribuidos
1. Map-Reduce:
Adquirindo informações de
dados distribuidos
Edson de Lima (ebl4@cin.ufpe.br)
Gabriela de Andrade (gcpa@cin.ufpe.br)
João Farias (jgfd@cin.ufpe.br)
Leonardo Borges (lrb@cin.ufpe.br)
2. Como banco de dados NoSQL
guardam seus dados?
●
Agregações DDD
– "...cluster of domain objects that can be treated as a single
unit." Martin Fowler [1]
3. O problema com o padrão
Agregação
●
“E se eu quiser olhar para os dados entre agregados?”
– É fácil adquirir todas as informações de uma venda
(Nome do cliente, hora, preço, produto, etc, etc), mas
se eu quiser saber sobre o total de vendas no mês de
Janeiro?
●
Soluções
– Map-Reduce
●
Técnica para reorganizar os dados para diferentes
clientes
– Persistência Poliglota
7. Map-Reduce
●
O que é preciso para realizar uma operação de Map-
Reduce?
– Um framework de Map-Reduce
●
Hadoop
●
Spark
●
Riak
– Definir as funções de mapping, reducing e a query
11. Map-Reduce: Two-Step
●
Criando operações complexas através de divide-and-
conquer de pequenas operações de Map-Reduce
●
Resultados intermediários: Materalized Views (M.V.)
12. Map-Reduce:
Atualização de Dados
●
Quando devemos re-computadar os dados?
– Mapping: Quando o input mudar
– Reduce: Quando os resultados do mapping mudarem
●
Como evitar re-computação de reduções?
– Partições
– Se a função de redução é combinável e as mudanças
são aditivas
●
Faça redução do resultados anteriores (M.V.) e
apenas dos novos dados
13. Map-Reduce:
Principais pontos
●
Como o padrão é usado para adquirir informação de
negócio em um ambiente onde o modelo de dados não
favorece isso, maximizando paralelismo, reuso de
computação e tolerância a falhas
●
Como aumentar a eficiência das operações de Map-
Reduce
– Organização de dados: Partições e combinadores
– Pipelines de operações de Map-Reduce
– Saber quando é necessário re-computar resultados
14. Fontes e links
●
Martin Fowler sobre o padrão Agregação
– Aggregate Oriented Database
●
http://martinfowler.com/bliki/AggregateOrientedDatabase
– DDD-Aggregate
●
http://martinfowler.com/bliki/DDD_Aggregate.html
●
NoSQL Distilled - Pramod J. Sadalage e Martin Fowler
– http://martinfowler.com/books/nosql.html
●
Simon Miner - Understanding NoSQL
– http://www.math-cs.gordon.edu/courses/cs352/lectures-2012
●
Map-Reduce Tutorial – MongoDB
– https://docs.mongodb.org/manual/core/map-reduce/