Como Otimizar Desempenho de Aplicações Web

Escalabilidade - Do S.O. ao Rails
Bruno Andrade Alves
bruno@dito.com.br

segunda-feira, 28 de fevereiro de 2011

Ideia


Execução


Publicação


Divulgação


Utilização


Satisfação


O que aconteceu?


Solução imediata


Feliz novamente


Produto é um sucesso!


#fail :(


Aplicativo no orkut, facebook e portal de futebol
com mais de 940 mil usuários cadastrados e mais
de 50 milhões de apostas


Game educativo para orkut para combate da dengue com
mais de 850 mil usuários cadastrados em menos de 2
meses


Solução utilizada em grande parte dos e-commerces
brasileiros dentre eles:


Aplicativo no orkut e no facebook com milhões de
usuários impactados


Primeiro organizador de compra coletivas do Brasil


Fluxo de uma aplicação web


Identiﬁque o gargalo


Pontos de otimização para a camada
do browser

CSS
Javascript
Cache
Imagens
Requisições


Ferramentas
YSlow Google Page speed


Gargalo no servidor web

+


Gargalo no servidor web

Veriﬁcar número máximo de clientes conﬁgurada
(maxclients)

KeepAlive

KeepAliveTimeout


Apache Server Status

Existem
workers livres


passenger-status


passenger-status

GARGALO


Gargalo na aplicação


Como identiﬁcar gargalos na
aplicação?


Newrelic


Newrelic

tempo médio
de requisição
36s
SELECT está
demorando 4,8s


Acompanhe o log durante o
desenvolvimento


Realize operações pesadas de modo
assíncrono

DelayedJob
Resque

Permitem criar uma ﬁla de jobs para serem executados,
ex.: Envio de emails, atualização de timeline de amigos, etc.


Problema Odrible.com

Com o crescimento dos usuários o ranking passou a
demorar mais de 1 dia para executar


Fatores complicadores

Grande parte do processamento da regra de negócio era
feita no ruby



feita no ruby

Muito tráfego de dados entre o MySQL e o Ruby



feita no ruby

Muito tráfego de dados entre o MySQL e o Ruby

Estrutura de dados não estava otimizada para o
processamento


Solução

Desnormalizar base, otimizando a estrutura


Solução
Desnormalizar base, otimizando a estrutura

A ordenação do ranking foi substituída de:


Solução
Desnormalizar base, otimizando o processamento


Por:


Solução
Desnormalizar base, otimizando o processamento


Por: Processamento no banco


Problema no parser de XML

O parser de XML desenvolvido passava em todos os
testes, porém quando foi para produção o XML aumentou
de tamanho e o tempo de processamento ﬁcou inviável


Solução

O parser que utilizava a biblioteca rexml teve que ser
reescrito utilizando a bliblioteca nokogiri


Conclusão

Quando for utilizar bibliotecas, procure saber de sua
performance antes de começar a implementação


Gargalo no banco de dados


MySQLTuner


MySQLTuner

apenas 100MB de
um banco 3,9 GB
está em memória


MySQLTuner

apenas 100MB de
um banco 3,9 GB
está em memória

Leia as
recomendações
e procure
entender o
signiﬁcado


MySQL

Procure manter o máximo possível do banco
em memória

Performance muito mais lenta quando se
utiliza disco

Ative o log de slow queries para ajudar a
identiﬁcar as queries que estão pesando o BD


MySQL
Para fulltext search utilize algum servidor de
busca por ex.: Solr e Sphinx

Utilizar índice nas tabelas quando necessário

Utilizar o “Explain” nas queries para veriﬁcar o
seu comportamento e otimizá-las se for o
caso

mysqlperformanceblog.com


Problema Odrible.com

Muitas apostas antigas que devem ser
guardadas porém pouco acessadas


Solução:

Passar dados armazenados na engine InnoDB
para Archive que gastam quase 83% menos
espaço


Resultado

Necessário menos memória para suportar
todo o banco em memória


Cache
(Varnish, Squid)


Cache Cache
(Page cache,action
(Varnish, Squid) cache, fragment
cache)


Cache Cache Cache
(Page cache,action
(Varnish, Squid) cache, fragment (Memcached)
cache)


Conclusão?


Cache


Cache

Cache


Cache

Cache

Cache


Faça benchmarks


Tudo deve ser monitorado!


Como monitorar?


Como monitorar?
Nagios, Munin dentre outros


Como monitorar?
Geração de gráﬁcos


Como monitorar?
Monitoramento proativo


Analytics para página de erros
Permite acompanhar o resultado para o usuário ﬁnal das soluções adotadas


Se o gargalo for hardware?


Escalabilidade vertical


Escalabilidade horizontal


Escalabilidade horizontal

Infra boo-box

+ 5 bilhões de
impressões
em 2010

Fonte: booblog.boo-box.com


Não existe receita para escalabilidade


Cada caso deve ser analisado
separadamente


Não se prenda a uma tecnologia.
Utilize a melhor para resolver o seu
problema


Perguntas?


Referências

http://highscalability.com/
http://www.mysqlperformanceblog.com/
http://railslab.newrelic.com/scaling-rails


Obrigado!
Bruno Andrade Alves
bruno@dito.com.br


Como Otimizar Desempenho de Aplicações Web

Recomendados

Recomendados

Mais conteúdo relacionado

Destaque

Destaque (20)

Como Otimizar Desempenho de Aplicações Web