Transferir como PDF, PPTX
![cache
estratégia: cachear as instâncias e
também os relacionamentos
@staticmethod!
def get_by_status (status_id, rodada_id):!
!
atleta_rodada_ids = AtletaRodada()!
! ! ! ! ! ! .ids_by_status(status_id=status_id, rodada_id=rodada_id)!
!
atletas_lesionados = []!
!
for atleta_rodada_id in atleta_rodada_ids:!
atleta = AtletaRodada().get(atleta_rodada_id)!
atletas_lesionados.append(atleta)!
!
return atletas_lesionados](https://image.slidesharecdn.com/qconrio-2015-cartolafc-150829182941-lva1-app6892/75/Cuidando-de-mais-de-1-milhao-de-usuarios-por-rodada-no-CartolaFC-30-2048.jpg)
Carregado porAlexandre Saboia Fuziyama
Cuidando de mais de 1 milhão de usuários por rodada no CartolaFC
O documento detalha como o sistema CartolaFC suporta mais de 1 milhão de usuários simultaneamente durante as rodadas. Ele aborda a arquitetura do sistema, incluindo o uso de tecnologias como Beanstalkd e Nginx para otimização de desempenho, além de estratégias de cache e multiprocessamento para gerenciar o alto volume de acessos e dados. O autor também menciona a importância de testes de performance para garantir a eficiência do sistema em condições de alta concorrência.
Cuidando de mais de 1 milhão de usuários por rodada no CartolaFC
- 1. Cuidando de maisde 1 milhão de usuários por rodada no CartolaFC
- 2. Alexandre Saboia saboia@corp.globo.com @alexandresaboia - bacharelem informática PUC-Rio - full stack developer - ~ 10 anos de globo.com - ~ 6 anos em equipes ágeis AlexandreSaboia saboia@corp.globo.com @alexandresaboia
- 4. cultura futebol centradano Fonte: IBGE |Stochos Sports Entertainment
- 7.
- 10.
- 11. 0 450K 900K 1,350K 1,800K 2009 2010 20112012 2013 2014 2015 histórico de recordes de times escalados em uma rodada
- 12. histórico de recordesde times escalados em uma rodada 450K 900K 1,350K 1,800K 2009 2010 2011 2012 2013 2014 2015 1.766.349timesescaladosna rodada14
- 13. histórico de recordesde times escalados em uma rodada 450K 900K 1,350K 1,800K 2009 2010 2011 2012 2013 2014 2015 1,766K 1,371K 1,284K1,277K 1,151K 750K 573K +1Mi timesescaladosem menosde24hs
- 14. histórico de recordesde times escalados em uma rodada 450K 900K 1,350K 1,800K 2009 2010 2011 2012 2013 2014 2015 1,766K 1,371K 1,284K1,277K 1,151K 750K 573K +200Mi requestsaAPIem umdomingo
- 15.
- 16.
- 17.
- 18.
- 19.
- 20.
- 21.
- 22.
- 23.
- 24. outrospontosfortes reverse proxy cache expiraçãoativa load balancer baixo consumo alta performance https://www.digitalocean.com/community/tutorials/understanding-nginx-http-proxying-load-balancing-buffering-and-caching
- 25.
- 26.
- 27. outrospontosfortes open source assíncrono simples i/o nãobloqueante performance
- 28.
- 29.
- 30. cache estratégia: cachear asinstâncias e também os relacionamentos @staticmethod! def get_by_status (status_id, rodada_id):! ! atleta_rodada_ids = AtletaRodada()! ! ! ! ! ! ! .ids_by_status(status_id=status_id, rodada_id=rodada_id)! ! atletas_lesionados = []! ! for atleta_rodada_id in atleta_rodada_ids:! atleta = AtletaRodada().get(atleta_rodada_id)! atletas_lesionados.append(atleta)! ! return atletas_lesionados
- 31. ganhandovelocidade chamadas ajax montam determinadaspartes controller monta a estrutura cache estático dos jsons destas partes
- 32. ganhandovelocidade versionamento dos assets otimizaçãodos seletores jquery um único arquivo .js minificado redução no tamanho e no número de imagens
- 33.
- 34.
- 35.
- 36. cartolabox beanstalkd API GAME DEAMON DEAMON DEAMON DEAMON API eGame compartilham recursos
- 37.
- 38. beanstalkd API GAM DEAMON DEAMON DEAMON DEAMON boxesemaisboxes beanstalk API GAM DEAMON DEAMON DEAMON DEAMON beanstalk APIGAM DEAMON DEAMON DEAMON DEAMON beanstalk API GAM DEAMON DEAMON DEAMON DEAMON beanstalkd API GAM DEAMON DEAMON DEAMON DEAMON beanstalkd API GAM DEAMON DEAMON DEAMON DEAMON
- 39. volumedeacessos pense: requests dinâmicos comtempo de resposta em 100ms é aceitável? e se você tiver 300.000 conexões simultâneas? e se depois do request cachearmos por 15 min em um arquivo estático? e se você tiver 1.5Mi de times escalados? cenário: consulta a pontuação parcial via api
- 40. volumedeacessos requests > 100msviram problema neste cenário de concorrência ações: otimização para ter < 50ms rever a relevância de cada dado retornado pela API mudar a estratégia de entrega da api problemática cenário: consulta a pontuação parcial via api
- 41. testesdeperformance usar as ferramentasao longo do desenvolvimento para identificar gargalos http://httpd.apache.org/docs/2.2/programs/ab.html https://github.com/wg/wrk wrka HTTP benchmarking tool apache benchmark é possível acompanhar a performance do seu código rodando testes da sua máquina não é necessário que sua aplicação chegue em produção
- 42.
- 43.
- 44. slave masterfailover vip de leitura vipde escrita read only bancodedados
- 45. bancodedados slave masterfailover vip de leitura vipde escrita read only Atraso na replicação da escrita implica na retirada da máquina slave do vip
- 46. boasestratégias querys simples cruzar osdados na aplicação cachear resultados de querys básicas saber o que o ORM está fazendo update? delete + insert querys com tempo > 50 ms ?
- 47. tabela enorme partitions rodada 1 rodada2 rodada 3 rodada N …
- 48. tabela enorme partitions sub-tabela partition1 sub-tabela partition 2 sub-tabela partition 3 sub-tabela partition N … rodada 1 rodada 2 rodada 3 rodada N rodada 1 rodada 2 rodada 3 rodada N …
- 49.
- 50. multiprocesso multiprocesso em Python: http://sebastianraschka.com/Articles/2014_multiprocessing_intro.html https://docs.python.org/2.7/library/multiprocessing.html 24Cores CPU from multiprocessing import Process
- 51. 24 Cores CPU 24Cores CPU ... multiprocesso multiprocesso http://sebastianraschka.com/Articles/2014_multiprocessing_intro.html https://docs.python.org/2.7/library/multiprocessing.html
- 52. pré-cache dados básicos dados dosatletas • rodada, partidas, clubes, status, esquema tático … • info do atleta, pontuação, mercado e filtros estratégia: cachear as instâncias e também os relacionamentos
- 53. pré-cache dados dos times dadosdas ligas a estratégia: cachear as instâncias e também os relacionamentos • info do time, pontuação, escalação • info da liga, ranking, times de uma liga, ligas de um time
- 54.