presentation

Um Middleware para Coreografias
de Serviços Web Escaláveis em Ambientes
de Computação em Nuvem
Thiago Furtado de Mendonça
Orientador:
Prof. Dr. Fabio Kon – Universidade de São Paulo
Julho 2015

Um Middleware para Coreografias de Serviços Web Escaláveis em Ambientes de Computação em Nuvem
Introdução
Contexto
Projeto CHOReOS
A Internet do Futuro: grande número de usuários, dispositivos
e serviços interconectados
O Projeto CHOReOS foi criado para investigar Coreografias de
Grande Escala
Grupo de sistemas responsável pela criação do middleware
Coreografias são naturalmente consideradas mais adequadas
para a Internet do Futuro, oferecendo maior escalabilidade e
tolerância a falhas
Em coreografias todos os serviços são responsáveis por coordenar
a interação entre eles [PvdH07]
1/27

Introdução
Enactment Engine
Parte deste trabalho envolveu o Enactment Engine, um
middleware para automatizar:
Gestão de alocação de recursos em ambientes virtuais
O processo de implantação de serviços
A gestão de dependências em tempo de execução entre os
serviços
A adaptação dinâmica para manutenção de QoS
Nessa pesquisa, focamos nos mecanismos de adaptação
implementados no Enactment Engine
2/27

Introdução
Objetivos
Como estabelecer elasticidade em coreografias implantadas em
nuvem?
Ambientes de computação em nuvem já provêm elasticidade na
camada de recursos
Criação de um middleware para composições escaláveis
Coreografias como modelo de serviços
Laços de Monitoramento, Análise, Planejamento e Execução
(MAPE)
Processamento de Eventos Complexos (CEP) implementando
MAPE
3/27

Introdução
Trabalhos relacionados
Vários trabalhos definem modelos e taxonomias QoS
Abordagem de seleção de serviços pra manutenção de QoS é
mais encontrada
Reconfiguração (Calinescu [CGK + 11]), detecção de perfil de
uso de recursos [JPC10], e sistemas autônomos (Andre
[ADG10])
4/27

Conteúdo
1 Qualidade De Serviço
2 Sistemas autônomos
3 Middleware
4 Avaliação Experimental
5 Conclusões
4/27

Qualidade De Servic¸o
3 Middleware
5 Conclus˜oes
4/27

Qualidade de Serviço
Modelo de Qualidade de Serviço (QoS)
Como definir Qualidade de Serviço?
QoS mede a qualidade de acordo com propriedades não
funcionais
É necessário modelar serviços e atributos
5/27

Composições de Serviço
Modelos Composições de serviço
Serviços: componentes atômicos
ou compostos acess´ıveis por um
endereços (IP) [PTDL07]
Formas básicas de serviços
compostos
a) Sequência
b) Alternância
c) Laço
d) Paralelo
Serviço 1 Serviço 2
Serviço
N
...
Entrada Saída
Entrada
Serviço 1
Serviço 2
Serviço 2
Serviço 3
Saída
Entrada
Serviço 1
Serviço 3
Serviço 2
Serviço 2
Saída
Entrada
Serviço 1
Serviço 3
Saída
Serviço 2
(a)
(b)
(c)
(d)
6/27

Composições de Serviço
Coreografias
Agregação arquitetural de serviços baseado em Papéis
[PvdH07]
Servi¸cos são entidades abstratas que podem realizar um papel
Serviços implantados que correspondem aos serviços são
Instâncias de Servi¸cos
Máquinas virtuais são criadas sob-demanda para hospedar as
Instâncias
Exemplo
Papel realizado: serviço de autenticação
Serviço: Implementação de serviço espec´ıfico de HTTP Basic
Auth
7/27

Atributos e Métricas de QoS
Propriedades/Atributos de QoS
Atributos indicam a qualidade de um serviço de acordo com
propriedades não funcionais
Métricas definem uma maneira de medir um atributo
Métricas e valores limite são definidos para cada serviço
A definição de propriedades e métricas é flex´ıvel
O middleware permite que o usuário configure outras de acordo
com a necessidade
SLAs descrevendo as propriedades relevantes são inclu´ıdos na
especificação da coreografia
8/27

Service Level Agreements
Service Level Agreements
Formalização de contrato para QoS esperada [ADC10]
Ambientes de compartilhamento de recursos
Restrições são modeladas atribuindo valores limites aos
atributos de QoS
A violação dessas restrições causa penalidade (financeira)
9/27

Monitoramento de métricas
Monitoramento de métricas
Abordagem baseada em eventos criados a partir da coleta de
dados de monitoramento
Eventos locais capturados através de uma métrica
Eventos globais sintetizados com eventos que remetem ao
estado do sistema como um todo
10/27

Sistemas autˆonomos
3 Middleware
5 Conclus˜oes
10/27

MAPE
Monitoramento Análise
Execução Planejamento
Base de
Conhecimento
11/27

CEP
Processamento de Eventos Complexos
Abordagem de monitoramento com vantagens para sistemas
distribu´ıdos
Caracter´ıstica de monitoramento de fontes múltiplas
Evento: Uma mudança de estado que pode ser detectada
Fato: Um estado adquirido que tem significado duradouro
Evento Complexo: Correlação com significado lógico resultado
da junção de dois ou mais eventos
CEP: Análise de eventos para conclusão de estados relevantes
(ex.: causas raiz)
Janelas deslizantes de monitoramento
Conclusão pode levar a ativação de gatilhos
12/27

CEP - Operadores
Operac¸˜oes logicas aplicadas a um intervalo de tempo
Operador Tempo Operador Tempo
a Before b
a
b
a After b
b
a
a Includes b
a
b a During b
a
b
a Finishes b
a
b a Finished by b
a
b
a Meets b
a
b
a Met by b
a
b
a Overlaps b
a
b
a Overlaped by b
a
b
a Starts b
a
b a Started by b
a
b
a Coincides b
a
b
13/27

Middleware
3 Middleware
5 Conclus˜oes
13/27

Middleware
Arquitetura Geral
Componentes
Resource Manager
Aggregator (CEP
usado para análise
e planejamento)
Mantém cópia do
estado atual das
coreografias
Deployment
Manager (executa
as alterações nas
coreografias)
Node 1 Node N
Resource Manager
Aggregator
Rule Engine
Complex Event
Processing
Choreography
Deployer
Deployment
Monitor
Deployment
Manager
Deployment&
Reconfiguration
EventFeed
Reactive Reconfiguration Planning
Node N
Service Replicas
Monitoring
Probe
Enactment Engine
14/27

Middleware
Fases do MAPE
Monitoramento
Para ser capaz de
reconfigurar os recursos
virtuais, precisamos
monitorar serviços e
recursos de baixo n´ıvel
Monitoramento de
recursos virtuais com
Ganglia
Baixa intrusividade
Métricas de QoS
medidas com válvulas
do Tomcat
Cloud Node
RMA
Tomcat
Service Replica 11
Platform Monitoring
Ganglia
15/27

Middleware
Fases do MAPE
Análise
Correlação de medidas com Processamento de Eventos
Complexos (CEP)
Fatos de SLA e Eventos de QoS sinalizam a necessidade de
mudanças nas coreografias (ex: adição e remoção de réplicas)
Novos eventos (complexos) consolidando informações e
diferentes fontes
16/27

Middleware
Fases do MAPE
Planejamento
Captura de eventos complexos notifica consumidores em
execução
Escolha da ação a ser notificada leva em conta a pol´ıtica de
escalabilidade
Separação sólida em dois grupos de regras fica vis´ıvel
17/27

Middleware
Fases do MAPE
Como as regras funcionam
Desenvolvedores escrevem as regras de análise e planejamento
Blocos When-Then são usado para verificar a ocorrência de
certas condições
when
...
# [1] Análise de eventos do monitoramento
# [2] Captura de eventos complexos
# Fatos são usados para definir contexto de coreografias e serviços
then
...
# [1] Geração de eventos complexos por correlação de eventos
# [2] Notificação de plano de reconfiguração
end
18/27

Middleware
Fases do MAPE
Execução
Deployment
Manager consome
a fila de notificação
Aplica as mudanças
necessárias
Node 1 Node N
Resource Manager
Aggregator
Rule Engine
Complex Event
Processing
Choreography
Deployer
Deployment
Monitor
Deployment
Manager
Deployment&
Reconfiguration
EventFeed
Reactive Reconfiguration Planning
Node N
Service Replicas
Monitoring
Probe
Enactment Engine
19/27

Avaliação Experimental
3 Middleware
5 Conclusões
19/27

Composição pequena: dois serviços onde um deles foi
instrumentado para consumir CPU conforme a quantidade de
requisições.
Padrão de acesso baseado na Wikipedia: 24 horas de acesso
Objetivo: manter o tempo de resposta abaixo de 1
segundo e o uso de CPU entre 60% e 90%
Evitar sobrecarga levando em conta recursos subutilizados
0
1000
2000
3000
4000
5000
6000
7000
8000
00:00
01:00
02:00
03:00
04:00
05:00
06:00
07:00
08:00
09:00
10:00
11:00
12:00
13:00
14:00
15:00
16:00
17:00
18:00
19:00
20:00
21:00
22:00
23:00
NumberofRequests
Time of Day
20/27

Resultados
Escalabilidade Horizontal
100
1000
10000
0
0.5
1
1.5
2
2.5
3AverageResponseTime(ms)
Requestspersecond
Avg. Response Time
Requests per second
0
20
40
60
80
100
0 1000 2000 3000 4000 5000 6000 7000
CPUUsage(%)
Time (s)
Replica 1 Replica 2 Replica 3
21/27

Resultados
Escalabilidade Vertical
100
1000
10000
0
0.5
1
1.5
2
2.5
3AverageResponseTime(ms)
Requestspersecond
Avg. Response Time
Requests per second
0
20
40
60
80
100
0 1000 2000 3000 4000 5000 6000 7000
CPUUsage(%)
Time (s)
Small Medium Small Medium Large
22/27

Considerações
Durante a alteração de comportamento, o middleware reagiu
aos eventos, permitindo a manutenção correta de QoS
Desconsiderando o tempo inicial, houve 7% e 1,5% de violação
para escalabilidade horizontal e vertical, respectivamente
Número sobe para 22% e 3,5%
100
1000
10000
0
0.5
1
1.5
2
2.5
3
AverageResponseTime(ms)
Requestspersecond
Avg. Response Time
Requests per second
0
20
40
60
80
100
0 1000 2000 3000 4000 5000 6000 7000
CPUUsage(%)
Time (s)
Replica 1 Replica 2 Replica 3
100
1000
10000
0
0.5
1
1.5
2
2.5
3
AverageResponseTime(ms)
Requestspersecond
Avg. Response Time
Requests per second
0
20
40
60
80
100
0 1000 2000 3000 4000 5000 6000 7000
CPUUsage(%)
Time (s)
Small Medium Small Medium Large
23/27

Conclus˜oes
3 Middleware
5 Conclus˜oes
23/27

Conclusões
Conclusões
Conclusões
O middleware foi capaz de manter n´ıveis esperados de QoS
durante variações de carga
CEP permite a criação de regras arbitrariamente complexas
A pré-definição de regras reduz o trabalho de configuração do
provedor da composição
24/27

Conclusões
Conclusões
OrChor 2014
Towards an Enactment Engine for Dynamically Reconfigurable and
Scalable Choreographies
Proceedings of IEEE First International Workshop on Service Orchestration and
Choreography for the Future Internet (OrChor 2014)
Thiago Furtado, Em´ılio Francesquini, Nelson Lago e Fabio Kon
IEEE 10th World Congress on Services (SERVICES 2014), Anchorage, Alaska, USA
ARM 2014
A Middleware for Reflective Web Service Choreographies on the
Cloud
The 13th Workshop on Adaptive and Reflective Middleware (ARM 2014)
Thiago Furtado, Em´ılio Francesquini, Nelson Lago e Fabio Kon
ACM/IFIP/USENIX ACM International Middleware Conference 2014, Bordeaux,
France, December 8-12
25/27

Conclusões
Trabalhos Futuros
Trabalhos Futuros
Testes com grandes quantidades de serviços
Integração de CEP com implantação
Detecção de perfil dos serviços
Inclusão de padrões de monitoramento de serviços
Validação de QoS durante manutenções
Fam´ılia de regras reutilizáveis
Regras robustas
Estudo de padrões para service binding
Regras dinâmicas a partir de conhecimento (predição)
26/27

Acknowledgments
Obrigado
Thiago Furtado
tfurtado@ime.usp.br
http://ccsl.ime.usp.br/baile
http://www.choreos.eu/bin/view/Documentation/enactment_engine_doc
27/27

presentation

Recomendados

Recomendados

Mais conteúdo relacionado

Semelhante a presentation

Semelhante a presentation (20)

presentation