Um Método para Paralelização Automática de Workflows Intensivos em Dados

Um Método para Paralelizaç ão Automática de
Workflows Intensivos em Dados
Elaine Naomi Watanabe
elainew@ime.usp.br
Orientadora: Profa. Dra. Kelly Rosa Braghetto
Defesa de Mestrado
Departamento de Ciência da Computaç ão
Instituto de Matemática e Estat´ıstica
Universidade de São Paulo
22 de maio de 2017
Este trabalho foi financiado por uma bolsa da CAPES

Introduç ão
Fundamentaç ão Teórica
Trabalhos Relacionados
Método para Paralelizaç ão Automática de Workflows
Avaliaç ão do Método Proposto
Consideraç ões Finais
Motivaç ão
Problema
Objetivos
Proposta
Validaç ão
Roteiro
1 Introduç ão
Motivaç ão
Problema
Objetivos
Proposta
Validaç ão
2 Fundamentaç ão Teórica
3 Trabalhos Relacionados
4 Método para Paralelizaç ão Automática de Workflows
5 Avaliaç ão do Método Proposto
6 Consideraç ões Finais
Elaine Naomi Watanabe (IME-USP) Paralelizaç ão Automática de Workflows Intensivos em Dados 2 / 51

Introduç ão
Motivaç ão
Problema
Objetivos
Proposta
Validaç ão
Motivaç ão
Análise de GRANDES CONJUNTOS DE DADOS:
Na ciência, indústria, administraç ão pública, etc
Desafio computacional

Introduç ão
Motivaç ão
Problema
Objetivos
Proposta
Validaç ão
Motivaç ão
Fluxos de atividades conectadas para análise de dados
Processos como filtragens, transformaç ões, agregaç ões
Foco em: WORKFLOWS INTENSIVOS EM DADOS
Dependência de uma Plataforma de Alto Desempenho

Introduç ão
Motivaç ão
Problema
Objetivos
Proposta
Validaç ão
Soluç ões Existentes para Execuç ão de Workflows
Modelos de Programaç ão Orientada a Fluxo de Dados
Exige conhecimento de computaç ão de alto desempenho
Ex.: MapReduce, Google Dataflow
Sistemas de Gerenciamento de Workflows (SGWfs)
Uso de modelo abstrato para descriç ão
Para usuários não-especialistas em computaç ão
paralela e distribu´ıda

Introduç ão
Motivaç ão
Problema
Objetivos
Proposta
Validaç ão
Como melhorar a eficiência da execuç ão de
Workflows Intensivos em Dados?
Agrupamento de atividades para a reduç ão da
transferência de dados [Singh et al., 2008]
Uso de informaç ões de localidade dos dados no
escalonamento [de Oliveira et al., 2015]
Modelos para paralelizaç ão da execuç ão
[Pautasso and Alonso, 2006]

Introduç ão
Motivaç ão
Problema
Objetivos
Proposta
Validaç ão
Problema
Em geral, estrutura do workflow define o paralelismo
SGWf desconhece o tipo de processamento do workflow
Execuç ão paralela automática limitada
Usuário define a estrutura do workflow (fluxo dos dados)
Estrutura deve fazer uso eficiente do ambiente distribu´ıdo
Tarefa não-trivial
Como aumentar a paralelizaç ão de workflows intensivos em
dados para reduzir seu tempo de execuç ão?

Introduç ão
Motivaç ão
Problema
Objetivos
Proposta
Validaç ão
Objetivos
Paralelizar de forma automática as atividades de um
workflow, sem a necessidade de um especialista em
computaç ão paralela e distribu´ıda.
Melhorar a eficiência de sua execuç ão, aumentando o
processamento distribu´ıdo e o acesso paralelo aos dados
manipulados.

Introduç ão
Motivaç ão
Problema
Objetivos
Proposta
Validaç ão
Método Proposto
Uso de anotaç ões para caracterizar:
A semântica do processamento realizado por atividade
A forma de apresentaç ão dos dados às atividades
O banco de dados utilizado
Criaç ão automática de estratégias para paralelizaç ão:
Uso das anotaç ões para caracterizaç ão do workflow
Uso das informaç ões sobre o ambiente de execuç ão
Reestruturaç ão do workflow
Modificaç ões do banco de dados

Introduç ão
Motivaç ão
Problema
Objetivos
Proposta
Validaç ão
Validaç ão
Protótipo implementado: Ferramenta Sciwonc-Dataflow
SGWf: Pegasus
SGBDs avaliados:
PostgreSQL (Relacional) e MongoDB (NoSQL)
Plataforma de execuç ão: Nuvem da AWS
Execuç ão: 21 cenários centralizados ou distribu´ıdos
Comparaç ão de workflows com e sem o uso do método
Avaliaç ão: Tempo de execuç ão e custo monetário

Introduç ão
Caracterizaç ão e Execuç ão de Workflows
Sistemas Gerenciadores de Bancos de Dados
Roteiro
1 Introduç ão

Introduç ão
Representaç ão de um Workflow

Introduç ão
Sistema de Gerenciamento de Workflows

Introduç ão
Sistemas Gerenciadores de Bancos de Dados (SGBDs)
SGBDs Relacionais
Soluç ão bem sucedida para gerenciamento de dados
Escalabilidade vertical
Sistemas NoSQL
Escalabilidade horizontal
Replicaç ão de dados
Fator de replicaç ão
Quórum de gravaç ão
Preferência de leitura
Fragmentaç ão de dados
Distribuiç ão baseada em Hashing ou Intervalo

Introduç ão
Roteiro
1 Introduç ão

Introduç ão
Modelo de Programaç ão Distribu´ıda
Ex. Hadoop, Oozie
Paralelizaç ão de Atividades
Gerenciamento de Dados

Introduç ão
Álgebra para Workflows Cient´ıficos (SciWfA)
[Ogasawara et al., 2011]
Operador foreach do Swift/T
[Wilde et al., 2011, Wozniak et al., 2013]
Análise do grafo que descreve o modelo do workflow
[Deelman et al., 2015]

Introduç ão
Desempenho e custo monetário de sist. de arquivos
distribu´ıdos x sist. de objetos na nuvem [Juve et al., 2012]
PostgreSQL x Cassandra para dados de proveniência
[Ferreira et al., 2014]
Comparaç ão do uso do PostgreSQL x HDFS para
armazenamento de grandes volumes de dados
[de Oliveira et al., 2014]

Introduç ão
Anotaç ões sobre o Workflow
Transformaç ões baseadas na Semântica do Workflow
Roteiro
1 Introduç ão

Introduç ão
ANOTAÇ ÕES PROPOSTAS

Introduç ão
Para melhor compreensão das anotaç ões...
Modelo de workflow fict´ıcio PlayFlow:
Análise de um log de execuç ões de músicas
de um usuário
Coleç ão LogPlaylist:
(Horário de In´ıcio, Horário de Término,
Usuário, Música, Artista, Duraç ão da Música)

Introduç ão
Coleç ões de Entrada e de Sa´ıda
CE (NomeColeç ão, DadosConexão
[, Esquema] [, Particionado] [, PreferênciaLeitura] )
CS (NomeColeç ão, DadosConexão
[, Esquema][, ConsistênciaEscrita] )
Atividade A: Calcula o total de objetos da coleç ão LogPlaylist
Salva esse total na coleç ão Status

Introduç ão
Seleç ão de Atributos
SA (ListaAtributos)
Atividade A: Seleciona apenas os atributos Horário de In´ıcio e
Horário de Término dos objetos da coleç ão LogPlaylist

Introduç ão
Ordenaç ão dos Objetos
OO(ListaAtributos)
Atividade B: Identifica as 5 músicas mais longas de LogPlaylist
Ordena os objetos pelo atributo Duraç ão da Música
Salva a lista na coleç ão Top5MúsicasMaisLongas

Introduç ão
Processamento por Objeto de dados
PO
Atividade C: Para cada objeto, verifica se a música foi executada
até o final ou apenas parcialmente
Atividade D: Verifica qual é o perfil de execuç ão predominante
a partir dos dados da atividade C

Introduç ão
Processamento de Grupos de Objetos
PG (ListaAtributosAgrupadores)
Atividade E: Conta o total de músicas por artista
Atividade F: Identifica o artista preferido

Introduç ão
Processamento de Janelas de Tempo
PJT(AtributoSeparador, TamanhoJanela, UnidadeTempo)
Atividade G: Conta o total de execuç ões por dia
Atividade H: Calcula a média de execuç ões por dia em um mês

Introduç ão
Processamento por Valor Distinto
PVD(Atributo)
Atividade I: Identifica a lista de músicas únicas de LogPlaylist
Atividade J: Conta o total de músicas únicas

Introduç ão
Transformaç ões Baseadas nas Anotaç ões
REESTRUTURAÇ ÃO DO WORKFLOW
Criaç ão de réplicas de uma atividade anotada como
Processamento por:
Objetos (PO)
Grupos (PG)
Janelas de Tempo (PJT)
Associaç ão de subconjuntos de objetos/grupos/janelas a
cada réplica

Introduc¸ ˜ao

Introduç ão
MODIFICAÇ ÕES NO BANCO DE DADOS
Criaç ão de ´ındices de suporte para as anotaç ões:
OO (ListaAtributos)
PG (ListaAtributosAgrupadores)
PJT (AtributoSeparador, TamanhoJanela, UnidadeTempo)
PDV (Atributo)

Introduç ão
MODIFICAÇ ÕES NO BANCO DE DADOS
Definiç ão do tipo de particionamento de coleç ões
intermediárias:
Análise de dependência entre atividades
Anotaç ões PO, PG e PJT

Introduç ão
Ambiente Experimental
Experimento 1: Workflow para Análise de Logs
Experimento 2: Workflow para Análise da Wikipédia
Roteiro
1 Introduç ão

Introduc¸ ˜ao

Introduç ão
Experimento 1:
Workflow para Análise de Logs

Introduç ão
DataSet Escolhido:
Registros de eventos relativos à execuç ão de tarefas em
um cluster do Google [Reiss et al., 2011]
Modelo de Workflow Implementado:
Avaliaç ão do perfil das tarefas executadas por
tipo de evento
Categorizaç ão de tarefa como intensivas em CPU, em
memória ou balanceadas para cada tipo de evento.
Coleç ão de entrada: + 2,8 milhões de objetos
Total de objetos manipulados: + 3,5 milhões de objetos.

Introduc¸ ˜ao

Introduc¸ ˜ao
Makespan (minutos)

Introduç ão
Custo Monetário (dólares)

Introduç ão
Atividade F - PG - Tempo de Execuç ão (minutos)

Introduç ão
Atividade G - PO - Tempo de Execuç ão (minutos)

Introduç ão
Atividade H - PG - Tempo de Execuç ão (segundos)

Introduç ão
Experimento 2:
Workflow para Análise de
Ediç ões da Wikipédia

Introduç ão
DataSet Escolhido:
Registros de ediç ões de páginas da Wikipédia
Modelo de Workflow Implementado:
Identificaç ão do usuário com o maior número de ediç ões
por sessão
Workflow baseado no pipeline TopWikipediaSessions do
Google Cloud Dataflow.
Uma sessão é um conjunto de ediç ões com intervalos
inferiores a uma hora
Coleç ão de entrada: + 19,4 milhões de objetos (ediç ões)
Total de objetos manipulados: + 20,4 milhões de objetos

Introduc¸ ˜ao

Introduc¸ ˜ao
Makespan (minutos)

Introduç ão
Custo monetário (dólares)

Introduç ão
Atividade C - PG - Tempo de Execuç ão (minutos)

Introduç ão
Atividade D - PJT - Tempo de Execuç ão (segundos)

Introduç ão
Resumo
Principais Contribuiç ões
Pesquisas Futuras
Roteiro
1 Introduç ão
Resumo
Pesquisas Futuras

Introduç ão
Resumo
Pesquisas Futuras
Resumo
Objetivo: Execuç ão eficiente de workflows intensivos em
dados
Soluç ão mais utilizada: Paralelismo de dados para
reduç ão do makespan
Limitaç ão: Exigência de um usuário especialista em
computaç ão paralela e distribu´ıda
Proposta: Um método que utiliza a semântica do
processamento para paralelizaç ão automática
Resultados: Reduç ão de até 66,6% do makespan sem
aumentar custo monetário

Introduç ão
Resumo
Pesquisas Futuras
Aspectos Negativos
Uso do quórum majoritário
para escrita
Balanceamento de carga do
MongoDB
Desempenho da estratégia
aplicada à anotaç ão PJT
Aspectos Positivos
Leitura e escrita de cópias
primárias: consistência
Consistência de escrita em
cópias primárias: sem
impacto no custo monetário
Modelos de workflows
avaliados: viabilidade das
anotaç ões PO e PG para
paralelizaç ão

Introduç ão
Resumo
Pesquisas Futuras
Proposta de nove anotaç ões para caracterizaç ão de
modelos de workflows
Um método para execuç ão mais eficiente de workflows
por meio da paralelizaç ão automática baseada na
semântica, não depende de conhecimento espec´ıfico
sobre programaç ão paralela.
Implementaç ão do método proposto como uma biblioteca
em Python
Avaliaç ão do método por meio de dois workflows reais
em 21 cenários e demonstraç ão de sua eficiência em
cenários distribu´ıdos

Introduç ão
Resumo
Pesquisas Futuras
Publicaç ão dos resultados parciais nos Anais do
XXXI Simpósio Brasileiro de Banco de Dados
(SBBD 2016)
Apresentaç ão do método na
VII Escola Regional de Alto Desempenho de SP
(ERAD-SP 2016)

Introduç ão
Resumo
Pesquisas Futuras
Pesquisas Futuras
Avaliaç ão de novos workflows e sistemas NoSQL
Comparaç ão entre sistema NoSQL e um relacional
escalável (NewSQL)
Experimentos para identificar a relaç ão entre o número de
partiç ões do banco de dados em funç ão do número de nós
usados para a execuç ão
Avaliaç ão da execuç ão em ambientes heterogêneos
Heur´ısticas para detecç ão automática da semântica de
uma atividade

Introduc¸ ˜ao
Resumo
Pesquisas Futuras
Muito obrigada!
elainew@ime.usp.br

Implementaç ão do Método I

de Oliveira, D. E. M., Boeres, C., Neto, A. F., and Porto, F. (2015).
Avaliaç ão da localidade de dados intermediários na execuç ão paralela de workflows BigData.
In Proceedings of 30th Brazilian Symposium on Databases, SBBD 2015, pages 29–40.
de Oliveira, D. E. M., Boeres, C., and Porto, F. (2014).
Análise de estratégias de acesso a grandes volumes de dados.
In Proceedings of 29th Brazilian Symposium on Databases, pages 27–36.
Deelman, E., Vahi, K., Juve, G., Rynge, M., Callaghan, S., Maechling, P. J., Mayani, R., Chen, W.,
Ferreira da Silva, R., Livny, M., and Wenger, K. (2015).
Pegasus: a workflow management system for science automation.
Future Generation Computer Systems, 46:17–35.
Ferreira, G. R., Jr, C. F., and de Oliveira, D. (2014).
Uso de SGBDs NoSQL na gerência da proveniência distribu´ıda em workflows cient´ıficos.
In Proceedings of the 29th Brazilian Symposium on Databases, SBBD 2014, pages 187–196.
Juve, G., Deelman, E., Berriman, G. B., Berman, B. P., and Maechling, P. (2012).
An evaluation of the cost and performance of scientific workflows on Amazon EC2.
Journal of Grid Computing, 10(1):5–21.
Ogasawara, E., Oliveira, D., Valduriez, P., Dias, J., Porto, F., and Mattoso, M. (2011).
An algebraic approach for data-centric scientific workflows.
Proceedings of the VLDB Endowment, 4(12):1328–1339.

Pautasso, C. and Alonso, G. (2006).
Parallel computing patterns for grid workflows.
In Proceedings of the 6th Workshop on Workflows in Support of Large-Scale Science, WORKS ’06, pages
1–10.
Reiss, C., Wilkes, J., and Hellerstein, J. L. (2011).
Google cluster-usage traces: format + schema.
Technical report, Google Inc., Mountain View, CA, USA.
Revised 2014-11-17 for version 2.1. Posted at https://github.com/google/cluster-data.
Singh, G., Su, M.-H., Vahi, K., Deelman, E., Berriman, B., Good, J., Katz, D. S., and Mehta, G. (2008).
Workflow task clustering for best effort systems with pegasus.
In Proceedings of the 15th ACM Mardi Gras Conference, MG ’08, pages 9:1–9:8.
Wilde, M., Hategan, M., Wozniak, J. M., Clifford, B., Katz, D. S., and Foster, I. (2011).
Swift: A language for distributed parallel scripting.
Parallel Computing, 37(9):633 – 652.
Wozniak, J. M., Armstrong, T. G., Wilde, M., Katz, D. S., Lusk, E., and Foster, I. T. (2013).
Swift/t: Large-scale application composition via distributed-memory dataflow processing.
In The 13th IEEE/ACM International Symposium on Cluster, Cloud, and Grid Computing, pages 95–102.

Um Método para Paralelização Automática de Workflows Intensivos em Dados

Recomendados

Recomendados

Mais conteúdo relacionado

Semelhante a Um Método para Paralelização Automática de Workflows Intensivos em Dados

Semelhante a Um Método para Paralelização Automática de Workflows Intensivos em Dados (20)

Mais de Elaine Naomi

Mais de Elaine Naomi (17)

Um Método para Paralelização Automática de Workflows Intensivos em Dados