Apresentação feita no SBRC 2012, Ouro Preto, MG

1. Uso de anycast para
globo balanceamento de
.com carga na Globo.com

2. Uso de Anycast para
balanceamento de carga
na Globo.com
Marcus Vinícius G. Cesário
marcus.vinicius@corp.globo.com
SBRC 2012 - 01/05/2012

3. Agenda
‣ Caracterização do tráfego
‣ Análise das soluções
‣ Estrutura Anycast

4. 1 Caracterização do tráfego

7. Demanda
Páginas Vistas
3.00
2.70
2.40
2.10
1.80
bilhões
1.50
1.20
0.90
0.60
0.30
0
dezembro/2011
Globo.com G1 Globoesporte.com
Ego. Receitas.com TechTudo
Futpedia Novelas 18:00 Novelas 19:00
Novelas 21:00
fonte: Google Analytics

8. Demanda

9. Demanda

10. Demanda
‣ Momentos de alta demanda
‣ ex: BBB com até 510 mil votos/min
600
450
300
150
0
26/03/2010 27/03/2010 28/03/2010 29/03/2010 30/03/2010 31/03/2010 01/04/2010
Votos por Minuto

11. Comportamento dos clientes
‣ Média de 4 a 8 conexões simultâneas
‣ 147 / 6 = 25
RTT do servidor
Tempo total (ms)
(ms)
7 175
25 625
50 1250
150 3750

12. Premissas
‣ Entrega de Conteúdo com grande consumo de
banda
‣ Percepção da Internet como um serviço 24/7/365
‣ necessidade de manutenções preventivas e
corretivas
‣ Distribuição de carga e tolerância a falhas
‣ Operação pelo Datacenter no RJ
‣ Operação e monitoração pela estrutura de NOC do Rio de Janeiro

13. Solução escalável, com
garantia de qualidade para
o usuário e baixo custo?

14. 2 Diferenças entre soluções

15. Esquemas de roteamento

16. Esquemas de roteamento

17. Esquemas de roteamento

18. Esquemas de roteamento

19. Global Server Load Balancing
1.1.1.1 DNS Server 2.2.2.2
Site 1 Site 2
1.1.1.1 2.2.2.2
Região A Região B

20. Global Server Load Balancing
1.1.1.1 DNS Server 2.2.2.2
X Site 1 Site 2
X
1.1.1.1 2.2.2.2
Região A Região B

21. Content Delivery Network
‣ Tecnologia dependente de Operadoras
‣ IP’s para cada localidade = mais suscetível a ataques
‣ Dimensionada para picos de acesso?
‣ Sistema de gerência dos pontos físicos

22. dig www.akamai.com
@Server Answer Avg RTT
200.182.35.144
201.7.183.120 10.564
200.182.35.163
8.8.8.8 72.246.216.42
(google) 157.753 +1493%
72.246.216.33
208.67.222.222 23.67.53.107
153.44 +1452%
(opendns.org) 23.67.53.144
4.2.2.1 69.31.72.115
(level 3) 152.381 +1442%
69.31.72.129
20/04/2012 - 15:00 as 15:10

23. Impacto da localidade

24. Impacto da localidade

25. Client subnet in DNS requests
‣ Opção EDNS0
‣ RFC2671 Agosto/1999
‣ Internet-draft 25/04/12
‣ Intended status: Experimental

26. Anycast
1.1.1.1 DNS Server 1.1.1.1
Site 1 Site 2
1.1.1.1 1.1.1.1
Região A Região B

27. Anycast
1.1.1.1 DNS Server 1.1.1.1
X Site 1 Site 2
1.1.1.1 1.1.1.1
Região A Região B

28. Uso comum do Anycast
‣ DNS
‣ Multicast Rendezvous Points (RP)
‣ Syslog
‣ Exportação de fluxos (flow)
‣ IPv4/IPv6 relay routers
‣ Sink hole networks

29. 3 Estrutura Anycast

30. Estrutura Anycast
‣ PoP’s conectados aos principais provedores de
serviço Internet - fixo / móvel / PTT Metro
‣ proximidade com o usuário
‣ Sessões BGP com anúncios simultâneos
‣ Possibilidade de crescimento em outros pontos
físicos sem alterações no projeto
‣ Facilidade de manutenção

31. Estrutura Anycast

32. Perfil de tráfego

33. Perfil de tráfego
‣ 97.65% Brasil

34. Perfil de tráfego
‣ 81.34% do tráfego a 1 AS HOP de distancia

35. “Pop Switch?”

36. “Pop Switch?”
‣ “Never heard of it”

37. Anycast
‣ Solução testada e confiável com TCP
‣ Barato e “Vendor Agnostic”
‣ Gerência simplificada
‣ Tolerância a falhas
‣ Melhor performance na entrega do conteúdo

38. Dúvidas?
marcus.vinicius@corp.globo.com