Este documento descreve como aumentar a disponibilidade e desempenho da entrega de conteúdo para o portal UOL usando a JVM. Ele detalha como implementar cache, detecção de user agent, e configurações da JVM para suportar altas cargas de tráfego enquanto diminui acessos aos serviços backend e simplifica a infraestrutura.

1. Entregando conteúdo em
ambientes extremos
na JVM
ROd

2. ROd
Desenvolvedor especialista
em arquiteturas de alta
performance relacionadas a
publicação, busca e entrega
de conteúdo para o portal
UOL. Mestre pelo IME-USP
em 07/2012 =)
@rzdrigo

3. Objetivo
Aumentar a disponibilidade
da entrega de conteúdo do
Portal

4. Objetivo
Diminuir acesso aos
serviços de backend

5. Objetivo
Simplificar a infraestrutura
de entrega de conteúdo

6. Objetivo
Suportar múltiplos
formatos do conteúdo na
mesma URL

7. noticias.uol.com.br

8. noticias.uol.com.br

9. noticias.uol.com.br

10. MARRAKESH

11. Premissas
Estado imutável
Detecção de User Agent
Cache
Melhores práticas do HTTP
Proxy da engine de template

12. Detecção de User Agent
WURFL
– Web patch
Fast detection
– Bot
– Desktop

13. Cache
Cache replicado em todas as máquinas do pool
Separação entre conteúdo e máquina de estado
Cache de conteúdo “gzipado”
Bots não adicionam conteúdo no cache

14. HttpHandler
Content-Encoding: gzip
ETag e Last-Modified
– 11% da audiência ainda utiliza HTTP/1.0
Cache-Control
Connection: Close

15. Ambiente original

16. Novo ambiente

17. PRÉ PRODUÇÃO

18. Testes
Teste no hardware final
Ferramentas:
– HAProxy
– ab, request-simulator, siege
– visualvm e visualgc

19. JVM
-Xms == -Xmx
-XX:+AggressiveOpts
-XX:+UseAdaptiveSizePolicy
-XX:+UseParNewGC
-XX:ParallelGCThreads

20. JVM
-verbose:gc
-XX:+PrintGCDetails
-XX:+PrintGCDateStamps
-Dnetworkaddress.cache.ttl
-Dnetworkaddress.cache.negative.ttl

21. EM PRODUÇÃO

22. Migração
Beta com noticias.uol.com.br
Migração de todos os dominios de conteúdo
em 2 meses
– 42 áreas principais
– Mais de 80 dominios

23. Apache DocRoot
Apache envia redirect
– /busca → /busca/
Problema: Algumas funções JavaScript se
apoiavam nesta “feature”
Erro: /buscamontecarlo.htm → 404 Not Found

24. Negando conexões
Após morte do Chico Anysio requisições não
estabeleciam
Pico de 160k reqs/minuto por servidor
Pico de 3200 reqs/segundo por servidor

25. Negando conexões
Tentativas:
– Aumento de threads do Apache
– Pré alocação de threads do Apache
– Testes com nginx
Solução: ajustes nos valores do sysctl
net.ipv4.ip_local_port_range e net.ipv4.tcp_tw_reuse

26. Long GC Pauses
– Requisições tinham tempo alto de resposta
sem nenhum evento especial
– Análise de gc.log
– Full GCs levando 12 ~ 15 segundos, mesmo
após ajustes em pré produção

27. Long GC Pauses
– Após o solução do problema anterior as
alterações do Apache não foram desfeitas
– Threads pré alocadas fizeram o servidor
começar a consumir swap
– Monitoração da swap desativada

28. 500 Server Internal Error
– Diversas requisições retornando 500
– No mesmo momento outras retornando
“200 OK” para o mesmo resource
– Nenhuma mensagem de erro no log da
aplicação

29. 500 Server Internal Error
Suspeita: Connection Pool do Jetty
Análise: Sniffer entre Apache e Jetty
Problema:
– queryString no Apache 2.0.x não suporta
UTF-8
– Somente IE realizava esta transformação

30. Números
15k ~ 150k reqs/min (230k no pico → 3833 req/s)
98% cache hits
125 Mbps (225 Mbps pico)
55% de respostas “Not Modified” (304)
Redução de consultas ao Sistema de busca
– 500 → 250 queries/sec (-50%)

31. Próximos passos
Substituir Jetty → Netty
Armazenar uma semana de conteúdo em
memória
Integração com Metrics framework
Migração de outros serviços para a plataforma

32. Obrigado =)
http://slideshare.net/rzdrigo/entregando-conteudo-em-
ambientes-extremos-na-jvm

33. Entregando conteúdo em
ambientes extremos
na JVM
ROd