O documento descreve a implementação de um trabalho prático utilizando o modelo MapReduce no Hadoop para realizar consultas em grandes volumes de dados na nuvem. Ele detalha as ferramentas, linguagens e serviços utilizados como Amazon EMR, e discute os desafios e soluções encontradas durante o desenvolvimento do projeto.
Este documento ofrece consejos sobre negocios en la industria de los videojuegos. Discute etapas de inversión como amigos, familiares, ángeles inversores y capital riesgo. También destaca la importancia de tener un negocio viable e invertible con potencial de crecimiento y escalabilidad. Además, enfatiza la necesidad de validar el producto-mercado a través de métricas y retroalimentación de clientes para garantizar que haya demanda, en lugar de centrarse sólo en la idea.
This document provides specifications for a standalone rotary axis, including:
- Dimensions such as outside diameter, stage height, and inside diameter.
- Load and torque capabilities.
- Dynamic performance values like maximum speed and acceleration.
- Accuracy and repeatability specifications.
- Electrical specifications for the motor such as torque and back EMF constants.
- Encoder characteristics such as type, resolution, and operating temperature range.
- Materials and environmental compatibility details.
Este documento resume las diferencias entre ciencia, tecnología, conocimiento científico y tecnológico. Explica que la ciencia se basa en experimentos y hipótesis, mientras que la tecnología son los medios digitales y mecánicos. También describe los artefactos tecnológicos como computadoras, celulares e impresoras que ayudan en el trabajo y el hogar. Finalmente, define los procesos tecnológicos como transformaciones de energía y los sistemas tecnológicos como conjuntos de
VERA presentation by Ilkka Liikanen, UEFEva Rybkova
The University of Eastern Finland (UEF) was established in 2010 through the merger of the University of Joensuu and the University of Kuopio. One of UEF's rising areas of expertise is Russian and border studies. The VERA Centre for Russian and Border Studies was established in 2013 to build a multi-disciplinary research community across faculty departments. The Centre has over 20 professors and 30 post-doc researchers working on research themes related to Russia and bordering lands. Cross-border cooperation with Russian scholars has helped develop UEF's international expertise in Russian and border studies, with the goal of becoming a leading research unit in this field.
Este documento apresenta os serviços de publicidade e comunicação oferecidos por Bruna Menossi, incluindo cartões de visita, logos, embalagens, e-mail marketing e outros. As empresas MKATE, Perfil IN e Midia House Brasil também são mencionadas como parceiras nessa área.
Este documento explora la percepción de la sexualidad en estudiantes de un aula inclusiva con sordos y oyentes. Busca identificar sus percepciones, formas de conocer y pensar la sexualidad, y cómo factores biopsicosociales influyen en la formación de su identidad sexual. El método incluye grupos focales con estudiantes de 15 a 18 años para analizar estas dimensiones desde una perspectiva de derechos sexuales y desarrollo integral.
Threats and opportunities in Russian-Finnish economic cbc - Euroregion Kareli...Eva Rybkova
This document summarizes the threats and opportunities in Russian-Finnish economic cross-border cooperation, using the example of the Euregio Karelia region. It finds that while the slow growth of Russia and Finland's economies pose threats, opportunities exist to deepen investment and innovation cooperation between businesses. Specifically, it sees potential to increase trade in services, industrial partnerships, and Finnish investment in Russia's modernization. Strong growth in passenger border crossings also provides opportunities if leveraged properly. Finally, it argues the Euregio Karelia model needs updating to address new realities while preserving its unique multi-level cross-border structure.
Este documento ofrece consejos sobre negocios en la industria de los videojuegos. Discute etapas de inversión como amigos, familiares, ángeles inversores y capital riesgo. También destaca la importancia de tener un negocio viable e invertible con potencial de crecimiento y escalabilidad. Además, enfatiza la necesidad de validar el producto-mercado a través de métricas y retroalimentación de clientes para garantizar que haya demanda, en lugar de centrarse sólo en la idea.
This document provides specifications for a standalone rotary axis, including:
- Dimensions such as outside diameter, stage height, and inside diameter.
- Load and torque capabilities.
- Dynamic performance values like maximum speed and acceleration.
- Accuracy and repeatability specifications.
- Electrical specifications for the motor such as torque and back EMF constants.
- Encoder characteristics such as type, resolution, and operating temperature range.
- Materials and environmental compatibility details.
Este documento resume las diferencias entre ciencia, tecnología, conocimiento científico y tecnológico. Explica que la ciencia se basa en experimentos y hipótesis, mientras que la tecnología son los medios digitales y mecánicos. También describe los artefactos tecnológicos como computadoras, celulares e impresoras que ayudan en el trabajo y el hogar. Finalmente, define los procesos tecnológicos como transformaciones de energía y los sistemas tecnológicos como conjuntos de
VERA presentation by Ilkka Liikanen, UEFEva Rybkova
The University of Eastern Finland (UEF) was established in 2010 through the merger of the University of Joensuu and the University of Kuopio. One of UEF's rising areas of expertise is Russian and border studies. The VERA Centre for Russian and Border Studies was established in 2013 to build a multi-disciplinary research community across faculty departments. The Centre has over 20 professors and 30 post-doc researchers working on research themes related to Russia and bordering lands. Cross-border cooperation with Russian scholars has helped develop UEF's international expertise in Russian and border studies, with the goal of becoming a leading research unit in this field.
Este documento apresenta os serviços de publicidade e comunicação oferecidos por Bruna Menossi, incluindo cartões de visita, logos, embalagens, e-mail marketing e outros. As empresas MKATE, Perfil IN e Midia House Brasil também são mencionadas como parceiras nessa área.
Este documento explora la percepción de la sexualidad en estudiantes de un aula inclusiva con sordos y oyentes. Busca identificar sus percepciones, formas de conocer y pensar la sexualidad, y cómo factores biopsicosociales influyen en la formación de su identidad sexual. El método incluye grupos focales con estudiantes de 15 a 18 años para analizar estas dimensiones desde una perspectiva de derechos sexuales y desarrollo integral.
Threats and opportunities in Russian-Finnish economic cbc - Euroregion Kareli...Eva Rybkova
This document summarizes the threats and opportunities in Russian-Finnish economic cross-border cooperation, using the example of the Euregio Karelia region. It finds that while the slow growth of Russia and Finland's economies pose threats, opportunities exist to deepen investment and innovation cooperation between businesses. Specifically, it sees potential to increase trade in services, industrial partnerships, and Finnish investment in Russia's modernization. Strong growth in passenger border crossings also provides opportunities if leveraged properly. Finally, it argues the Euregio Karelia model needs updating to address new realities while preserving its unique multi-level cross-border structure.
Haiku Deck is a presentation tool that allows users to create Haiku style slideshows. The tool encourages users to get started making their own Haiku Deck presentations which can be shared on SlideShare. In just a few sentences, it pitches the idea of using Haiku Deck to easily create visually engaging slideshows.
The document provides an overview of a user experience redesign for the Design*Sponge website. It includes sections on personas, heuristics analysis, sitemaps, and wireframes. For the personas, two primary user types are defined - "The Hipster" and "The Etsy Star". The heuristics introduction notes areas where the current site satisfies usability criteria as well as places it is lacking. The sitemaps show the current site structure and a proposed revised structure. The wireframes introduction explains a reworked homepage design with less articles initially displayed. Sketches then showcase homepage, navigation, and article page layouts.
Danko Smukov is a Serbian creative professional with over 20 years of experience in marketing communications, media production, and journalism. He has worked as a freelance copywriter, commercial video director, producer, and writer for newspapers and magazines. Smukov's experience includes work with marketing agencies, film festivals, and media outlets developing advertisements, campaigns, videos, and articles for brands in industries like telecoms, finance, and consumer goods. He holds a degree in film directing and has produced short films and assisted on feature films.
Este documento descreve um trabalho prático sobre implementação de serviços REST em nuvem, comparando as plataformas Amazon AWS e JElastic. Ele apresenta as ferramentas e linguagens utilizadas, como JAX-RS, e descreve teoricamente e na prática três consultas a uma API de cotações da BMF Bovespa hospedada nessas plataformas. Resultados de testes mostraram que AWS teve melhores tempos de resposta e taxa de sucesso, enquanto JElastic foi mais simples de configurar. Desafios incluíram definição da
Bigdata na pratica: Resolvendo problemas de performance com hadooptdc-globalcode
O Apache Hadoop tem se tornado o framework padrão para processamento de Big Data. Com ele, podemos processar grandes volumes de dados utilizando hardware de baixo custo de forma paralela e distribuída. Essas características podem ser úteis no cotidiano do desenvolvedor, otimizando a execução de rotinas batch e geração de relatórios, por exemplo. Nesta palestra serão mostrados os passos para desenvolver uma solução utilizando algumas ferramentas que fazem parte do ecossistema do Hadoop: MapReduce, HDFS e HBase.
A Academia do Programador é um programa de treinamento completo para formação de profissionais de desenvolvimento de softwares, desde os fundamentos até a prática. O curso é composto por 5 módulos que ensinam lógica de programação, hardware, banco de dados, redes e desenvolvimento prático, preparando os alunos para carreiras como programação web e robótica. Ao final os alunos estarão aptos a se especializarem em linguagens como Java, C, C# e Python.
Este documento fornece uma introdução aos conceitos básicos de Ciência de Dados com R. Ele explica o que é Ciência de Dados, o workflow típico de um projeto de Ciência de Dados, as principais linguagens utilizadas, as razões para se aprender R e apresenta o ambiente RStudio. Além disso, fornece dicas sobre como buscar ajuda e conceitos iniciais sobre o uso do R.
1. O documento apresenta uma introdução sobre ciência de dados com R, abordando tópicos como o que é ciência de dados, workflow da ciência de dados, linguagens para ciência de dados e o que é R e por que deve ser aprendido.
2. São apresentados conceitos básicos sobre o uso do R, incluindo o console, scripts, salvando scripts e buscando ajuda.
3. O documento serve como uma introdução geral sobre ciência de dados com R, apresentando conceitos fundamentais da área e da linguagem R.
Palestra TaSafo Conf-2015: Refatoração com MétricasClaudio Martins
O documento apresenta uma palestra sobre refatoração de código e métricas de software orientado a objetos. A palestra será dividida em três partes: motivação para refatoração, conceito de refatoração e métricas para medir qualidade de código OO.
Modelos e Sistemas para Computação Distribuída no Hadoop discute os desafios da computação distribuída e como diferentes modelos como MapReduce, BSP, Pregel e Spark abordam esses desafios. O documento também descreve sistemas como Hadoop, Giraph, Impala e Dremel que implementam esses modelos para processamento em batch, grafos e em tempo real.
O documento apresenta e resume diversas ferramentas para administração do banco de dados PostgreSQL, incluindo ferramentas de linha de comando como psql e pgAdmin III, ferramentas gráficas como PhpPgAdmin e PostgreSQL Maestro, e utilitários como pg_dump e pg_restore. O documento discute os pontos positivos e negativos de cada ferramenta.
Alta performance em IA: uma abordagem praticaAlex Camargo
O documento discute alta performance em inteligência artificial (IA) de forma prática. Apresenta o palestrante Alex Camargo e seus projetos em IA aplicada, como sistemas de apoio médico. Discutem conceitos como aprendizado de máquina (ML), aprendizado profundo (DL) e ferramentas para desenvolvimento de IA como Python, TensorFlow e PyTorch. Demonstra experimentos com paralelismo em redes neurais profundas usando módulos como tf.data para melhorar a velocidade. Por fim, aborda considerações sobre o mercado de trabalho em
O que não fazer ao atualizar para o PHP 7 @ TDC SP 2018 Gabriel Machado
O documento resume as principais lições aprendidas ao atualizar um projeto do PHP 5 para o PHP 7. Em três frases: A migração enfrentou problemas com extensões incompatíveis e bugs não detectados pelos testes. É essencial preparar o código para facilitar atualizações, realizar profiling e não supor que o PHP 7 trará melhorias de performance automaticamente. Testes completos e monitoramento cuidadoso são fundamentais para uma migração bem-sucedida.
Haiku Deck is a presentation tool that allows users to create Haiku style slideshows. The tool encourages users to get started making their own Haiku Deck presentations which can be shared on SlideShare. In just a few sentences, it pitches the idea of using Haiku Deck to easily create visually engaging slideshows.
The document provides an overview of a user experience redesign for the Design*Sponge website. It includes sections on personas, heuristics analysis, sitemaps, and wireframes. For the personas, two primary user types are defined - "The Hipster" and "The Etsy Star". The heuristics introduction notes areas where the current site satisfies usability criteria as well as places it is lacking. The sitemaps show the current site structure and a proposed revised structure. The wireframes introduction explains a reworked homepage design with less articles initially displayed. Sketches then showcase homepage, navigation, and article page layouts.
Danko Smukov is a Serbian creative professional with over 20 years of experience in marketing communications, media production, and journalism. He has worked as a freelance copywriter, commercial video director, producer, and writer for newspapers and magazines. Smukov's experience includes work with marketing agencies, film festivals, and media outlets developing advertisements, campaigns, videos, and articles for brands in industries like telecoms, finance, and consumer goods. He holds a degree in film directing and has produced short films and assisted on feature films.
Este documento descreve um trabalho prático sobre implementação de serviços REST em nuvem, comparando as plataformas Amazon AWS e JElastic. Ele apresenta as ferramentas e linguagens utilizadas, como JAX-RS, e descreve teoricamente e na prática três consultas a uma API de cotações da BMF Bovespa hospedada nessas plataformas. Resultados de testes mostraram que AWS teve melhores tempos de resposta e taxa de sucesso, enquanto JElastic foi mais simples de configurar. Desafios incluíram definição da
Bigdata na pratica: Resolvendo problemas de performance com hadooptdc-globalcode
O Apache Hadoop tem se tornado o framework padrão para processamento de Big Data. Com ele, podemos processar grandes volumes de dados utilizando hardware de baixo custo de forma paralela e distribuída. Essas características podem ser úteis no cotidiano do desenvolvedor, otimizando a execução de rotinas batch e geração de relatórios, por exemplo. Nesta palestra serão mostrados os passos para desenvolver uma solução utilizando algumas ferramentas que fazem parte do ecossistema do Hadoop: MapReduce, HDFS e HBase.
A Academia do Programador é um programa de treinamento completo para formação de profissionais de desenvolvimento de softwares, desde os fundamentos até a prática. O curso é composto por 5 módulos que ensinam lógica de programação, hardware, banco de dados, redes e desenvolvimento prático, preparando os alunos para carreiras como programação web e robótica. Ao final os alunos estarão aptos a se especializarem em linguagens como Java, C, C# e Python.
Este documento fornece uma introdução aos conceitos básicos de Ciência de Dados com R. Ele explica o que é Ciência de Dados, o workflow típico de um projeto de Ciência de Dados, as principais linguagens utilizadas, as razões para se aprender R e apresenta o ambiente RStudio. Além disso, fornece dicas sobre como buscar ajuda e conceitos iniciais sobre o uso do R.
1. O documento apresenta uma introdução sobre ciência de dados com R, abordando tópicos como o que é ciência de dados, workflow da ciência de dados, linguagens para ciência de dados e o que é R e por que deve ser aprendido.
2. São apresentados conceitos básicos sobre o uso do R, incluindo o console, scripts, salvando scripts e buscando ajuda.
3. O documento serve como uma introdução geral sobre ciência de dados com R, apresentando conceitos fundamentais da área e da linguagem R.
Palestra TaSafo Conf-2015: Refatoração com MétricasClaudio Martins
O documento apresenta uma palestra sobre refatoração de código e métricas de software orientado a objetos. A palestra será dividida em três partes: motivação para refatoração, conceito de refatoração e métricas para medir qualidade de código OO.
Modelos e Sistemas para Computação Distribuída no Hadoop discute os desafios da computação distribuída e como diferentes modelos como MapReduce, BSP, Pregel e Spark abordam esses desafios. O documento também descreve sistemas como Hadoop, Giraph, Impala e Dremel que implementam esses modelos para processamento em batch, grafos e em tempo real.
O documento apresenta e resume diversas ferramentas para administração do banco de dados PostgreSQL, incluindo ferramentas de linha de comando como psql e pgAdmin III, ferramentas gráficas como PhpPgAdmin e PostgreSQL Maestro, e utilitários como pg_dump e pg_restore. O documento discute os pontos positivos e negativos de cada ferramenta.
Alta performance em IA: uma abordagem praticaAlex Camargo
O documento discute alta performance em inteligência artificial (IA) de forma prática. Apresenta o palestrante Alex Camargo e seus projetos em IA aplicada, como sistemas de apoio médico. Discutem conceitos como aprendizado de máquina (ML), aprendizado profundo (DL) e ferramentas para desenvolvimento de IA como Python, TensorFlow e PyTorch. Demonstra experimentos com paralelismo em redes neurais profundas usando módulos como tf.data para melhorar a velocidade. Por fim, aborda considerações sobre o mercado de trabalho em
O que não fazer ao atualizar para o PHP 7 @ TDC SP 2018 Gabriel Machado
O documento resume as principais lições aprendidas ao atualizar um projeto do PHP 5 para o PHP 7. Em três frases: A migração enfrentou problemas com extensões incompatíveis e bugs não detectados pelos testes. É essencial preparar o código para facilitar atualizações, realizar profiling e não supor que o PHP 7 trará melhorias de performance automaticamente. Testes completos e monitoramento cuidadoso são fundamentais para uma migração bem-sucedida.
TDC SP 2017 Trilha .NET - TechWar: Threads, ThreadPools e Tasks em C#Diego Gabriel Cardoso
A long time ago in a galaxy far, far away ….
Episodio Alternativo: TDC SP 2017
O Imperio criou uma arma chamada Estrela da Morte
Seu SuperLaser e capaz de destruir um planeta inteiro
Seu primeiro Teste foi um sucesso ( Planeta Alderaan )
Os Rebeldes descobriram sua a unica fragilidade:
Seu SuperLaser demora para carregar ( 10 segundos)
Seu escudo fica inativo enquanto carregamento em progresso
Missao do Imperio
Melhorar o processo de carregamento e evitar o ataque dos Rebeldes ( 4 segundos)
O documento fornece uma introdução ao Hadoop, MapReduce e Big Data, explicando que o Hadoop foi criado a partir do MapReduce do Google e é uma ferramenta open source para processar grandes volumes de dados de forma escalável. Ele também resume os principais componentes do Hadoop como HDFS, MapReduce, NameNode, DataNode e casos de uso como armazenamento e análise de logs.
Uma perspectiva histórica e o cenário atual das ferramentas de desenvolviment...Mario Guedes
Nessa palestra, José Mario Silva Guedes mostra a migração da abordagem Cliente Servidor para Multi Camadas passando pelo SOA (Soap) até chegar no ROA (Rest), por intermédio de uma linha do tempo do uso das linguagens VB, Delphi, Java chegando no Python, bem como, da evolução do banco de dados relacional para abordagem noSQL e suas variantes. Por fim, será abordado o cenário atual, mostrando a adoção de Machine Learning e tecnologias cognitivas, como por exemplo a adoção de Bots para o atendimento
O documento discute o projeto Sloan Digital Sky Survey (SDSS), que mapeia o céu e mede distâncias e propriedades de objetos celestes. Os dados do SDSS precisam ser processados rapidamente usando Big Data para direcionar telescópios. O framework Hive é usado para armazenar e analisar os dados do SDSS usando a linguagem HiveQL.
Resolvendo problemas de performance em aplicações Delphi e bancos de dadosAndreano Lanusse
O documento discute uma ferramenta chamada DB Optimizer para resolver problemas de performance em aplicações Delphi e bancos de dados. A ferramenta permite aos desenvolvedores identificar e corrigir problemas de performance no banco de dados antes de enviar a produção, através de recursos como profile, tune, load test e SQL IDE. O documento também discute como a ferramenta pode ajudar desenvolvedores, DBAs e gerentes a colaborar na otimização de performance.
Este documento apresenta um resumo das vantagens e desvantagens do uso de ferramentas de mapeamento objeto-relacional (ORM). Foram avaliadas três ferramentas ORM quanto a funcionalidades, suporte, desempenho e produtividade em comparação com acesso direto à base de dados. Os resultados mostraram que as ferramentas ORM oferecem quase o mesmo desempenho que o acesso direto, aumentam drasticamente a produtividade e possuem funcionalidades completas, exceto a DataMapper que apresenta alg
Semelhante a Apresentacao hadoop versao final (20)
1. João Bachiega Jr. / Rodrigo Pinheiro de Almeida
Disciplina: Tópicos em Sistemas de Computação – Computação em Nuvem
Trabalho Prático 01
Implementação do Modelo
Hadoop MapReduce
2. João Bachiega Jr. / Rodrigo Pinheiro de Almeida
Disciplina: Tópicos em Sistemas de Computação – Computação em Nuvem
Agenda
• Ferramentas utilizadas
• Linguagens utilizadas
• Descrição Teórica da Solução
• Descrição Prática da Solução
• Desafios
• Referências
3. João Bachiega Jr. / Rodrigo Pinheiro de Almeida
Disciplina: Tópicos em Sistemas de Computação – Computação em Nuvem
Ferramentas utilizadas
4. João Bachiega Jr. / Rodrigo Pinheiro de Almeida
Disciplina: Tópicos em Sistemas de Computação – Computação em Nuvem
Ferramentas utilizadas
Sucesso
Falha
Cluster EMR
5. João Bachiega Jr. / Rodrigo Pinheiro de Almeida
Disciplina: Tópicos em Sistemas de Computação – Computação em Nuvem
Ferramentas utilizadas
Ciclo de Vida - Cluster
6. João Bachiega Jr. / Rodrigo Pinheiro de Almeida
Disciplina: Tópicos em Sistemas de Computação – Computação em Nuvem
Linguagens utilizadas
7. João Bachiega Jr. / Rodrigo Pinheiro de Almeida
Disciplina: Tópicos em Sistemas de Computação – Computação em Nuvem
Descrição Teórica da Solução
8. João Bachiega Jr. / Rodrigo Pinheiro de Almeida
Disciplina: Tópicos em Sistemas de Computação – Computação em Nuvem
Descrição Teórica da Solução
Consultas elaboradas:
I. Valor total de benefícios pagos por estado;
II. Município que recebeu o maior valor de benefícios;
III. Valor total de benefícios pagos por estado da região nordeste;
IV.Verificar se algum servidor civil ou militar do Executivo Federal é beneficiário do Bolsa Família.
(execução da função join entre a base de dados da Bolsa Família e a base de dados de
situação funcional e remuneração dos servidores civis e militares)
9. João Bachiega Jr. / Rodrigo Pinheiro de Almeida
Disciplina: Tópicos em Sistemas de Computação – Computação em Nuvem
Descrição Teórica da Solução
Driver: Define os diretórios de entrada e saída de dados e controla a execução do job.
Mapper: mapeia pares de chave/valor de entrada para um conjunto de pares de
chave/valor intermediário.
Reducer: reduz um conjunto de valores intermediários que compartilham uma chave para
um conjunto menor de valores. Produz um arquivo texto contendo o resultado da
consulta realizada.
10. João Bachiega Jr. / Rodrigo Pinheiro de Almeida
Disciplina: Tópicos em Sistemas de Computação – Computação em Nuvem
Desafios
• Escolha do Provedor
• Custos
• Execução na Nuvem
11. João Bachiega Jr. / Rodrigo Pinheiro de Almeida
Disciplina: Tópicos em Sistemas de Computação – Computação em Nuvem
Desafios
12. João Bachiega Jr. / Rodrigo Pinheiro de Almeida
Disciplina: Tópicos em Sistemas de Computação – Computação em Nuvem
Desafios
Problema Detalhe Solução
Falta de
entendimento do
serviço de EMR
Inicialmente estávamos criando clusters via a API e Console
Web iniciando o processamento dos Steps logo após
configuração, porém os Jobs manipulavam o sistema de
arquivos Hdfs ocasionando problemas no momento de
execução no EMR.
Remover qualquer
manipulação direta do Hdfs.
Diferença entre
regiões Aws
Diferenças das regiões entre o Amazon S3 e EMR
ocasionavam erros de permissões.
Configurar a mesma região
para ambos os serviços.
Versão do Hadoop Inicialmente utilizou-se a versão 2.0.0-cdh4.0.0, porém no
momento de desenvolver o Job que realiza o join entre os
arquivos a versão não dava suporte para algumas facilidades.
Atualizar a hadoop para a
versão 2.5.1
Versão Hadoop –
EMR
Ao atualizar a versão do Hadoop, os Jobs não executavam
mais nos clusters configurados anteriormente devido a
instância das máquinas escolhidas não darem suporte.
Atualizar as instâncias dos
cluster para uma versão que
dava suporte ao Hadoop
2.5.1.
13. João Bachiega Jr. / Rodrigo Pinheiro de Almeida
Disciplina: Tópicos em Sistemas de Computação – Computação em Nuvem
Desafios
Problema Detalhe Solução
Documentação
ineficiente
Documentação confusa do Hadoop no momento de
desenvolver o job que realiza o Join.
Minerar a internet por
exemplos.
Upload de arquivos
grandes na Amazon
S3
API oferecida é básica sendo, havendo problemas ao
realizar upload de arquivos grandes.
Utilizar ferramentas de
upload de terceiros.
Atualização dos status
do cluster
O Console Web e API não prover uma atualização dos
status do cluster e job em tempo real.
Solução Console Web:
atualizar a página de listagem
de cluster;
Solução API: desenvolver
consultas ao cluster de tempo
em tempo.
14. João Bachiega Jr. / Rodrigo Pinheiro de Almeida
Disciplina: Tópicos em Sistemas de Computação – Computação em Nuvem
Referências
Amazon EC2. Disponível em: https://aws.amazon.com/pt/ec2/
Amazon EMR. Disponível em: http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-
what-is-emr.html
Google Cloud Plataform. Disponível em: https://cloud.google.com/compute/pricing
Map Reduce Tutorial. Disponível em: https://hadoop.apache.org/docs/current/hadoop-mapreduce-client/
hadoop-mapreduce-client-core/MapReduceTutorial.html#Overview
Microsoft Azure. Disponível em: https://azure.microsoft.com/pt-br/pricing/free-trial/
15. João Bachiega Jr. / Rodrigo Pinheiro de Almeida
Disciplina: Tópicos em Sistemas de Computação – Computação em Nuvem
Descrição Prática da Solução