O documento discute as arquiteturas poliglotas utilizadas na plataforma de vídeos ao vivo da Globo.com, abordando a diversidade de problemas e soluções, como caching, armazenamento, encoding e CDNs. Práticas como testes, documentação e monitoramento são apresentadas para lidar com a complexidade e garantir a escalabilidade e disponibilidade do sistema.

1. Escalando uma plataforma
poliglota
A arquitetura de vídeos ao vivo da Globo.com

2. Contexto
● Macro visão da plataforma: necessidades e
desafios.
● As soluções poliglotas: motivos e problemas.
● Práticas e ferramentas para resolver
problemas.

3. Diversidade
Diversidade de problemas gera diversidade de soluções

4. Macro visão
encoder
CDN
ingest h264+aacrtmptcp
h264+aachttptcp
flash player
2º3º
5º
4º
ios
1º

5. Como funciona o HLS
seg1.ts
seg2.ts
seg3.ts
seg4.ts
240p.m3u8
480p.m3u8
720p.m3u8
seg1.ts
seg2.ts
seg3.ts
seg4.ts
seg1.ts
seg2.ts
seg3.ts
seg4.ts
1 - GET /variant.m3u8 (text)
2 - GET /720p.m3u8 (text)
240p.m3u8
variant.m3u8
480p.m3u8 720p.m3u8
3 - GET /seg3.ts (video)
4 - GET /seg4.ts (video)
5 - GET /720p.m3u8 (text)
6 - GET /seg5.ts (video)
7 - GET /seg6.ts (video)
8 - ...
http
http
seg3.ts
seg4.ts
seg5.ts
seg6.ts
seg3.ts
seg4.ts
seg5.ts
seg6.ts
seg3.ts
seg4.ts
seg5.ts
seg6.ts

6. Resumo
CDN API's Ingest

7. Desafios diversos
Diversidade de problemas gera diversidade de soluções

8. Latência
CDN API's Ingest
2000ms
4000ms
5000ms
7000ms
5ms
15ms
10ms
30ms
2000ms
5000ms
10s
15s

9. Caching (IO, Sharding)
CDN API's Ingest

10. Armazenamento
2h * 60m * 60s / 5s * 4.5mb ~= 6.4GB
}1.6MB 1.1MB 0.8MB 0.5MB 0.3MB 0.1MB
4.5MB
per 5s

11. Caching rotativo de milhares de objetos
agorapassado

12. Networking (20Gbps por nó)
CDN API's Ingest

13. Kernel network tuning
19Gpbs maxconn: 70k, cpu affinity
15Gpbs maxconn: 40k, cpu affinity
12Gpbs maxconn: 25k, irqbalance
packet loss
4Gbps, no fine tuning

14. Usabilidade de banda larga
ISP X
ISP Y
20Gbps
5Gbps
IXP
ISP K
80Gbps
8Gbps

15. CDN
CDN
CDN
CDN
Load balancing
CDN API's Ingest

16. Multihoming
ISPx
ISPy
ISPk
SPBGP annou
186.192.81.0/24
ISPx ISPy
ISPk
RJ
186.192.81.2
BGP annou
186.192.81.0/24
PoP
PoP

17. Armazenamento, localização ...
CDN API's Ingest

18. Encoding
CDN API's Ingest

19. Principais responsabilidades / desafios
CDN API's Ingest
Caching
Segurança
Load balancer
Localização
Banda larga
Usuário simul.
Agendamento
Encoding
Escalável
Alta disponibilidade
Monitoração

20. Diversidade de problemas = diversidade de soluções
CDN API's Ingest
IO
Network Bound
Stateless
Storage
CPU Intensive
CPU / GPU
Intensive
Stateful
Video CODEC
Stateful

21. Algumas das tecnologias / linguagens
CDN API's Ingest
nginx
lua C
Cassandra nginx
linux
ruby python
redis MySql
golang
lua puppet
puppet
mongo
ruby
MySql
mongo
logstash logstash
graphite
puppet

22. Diversidade de problemas = diversidade de soluções
CDN API's Ingest

23. Desafios
Diversidade tecnologica

24. Recursos limitados
CDN API'sIngest CDN
foco de trabalho
JAN FEV ABR MAR ABR MAI JUN JUL AGO SET OUT NOV DEZ
CDN

25. Contratação

26. Evolução / manutenção

27. Mais desafios
O que é o projeto?
Qual o problema que esse projeto resolve?
Como rodar localmente?
Como fazer deploy?
Como rodar os testes?
Quais melhores práticas na linguagem X?
...

28. Soluções
Práticas e tecnicas

29. Muitos testes de unidade
Source: https://twitter.com/Una

30. Alguns testes de integração
Source: https://twitter.com/Una

31. Poucos testes de "interface"
Source: https://twitter.com/Una

32. Testes (confiança, documentação, manutenção …)

33. README

34. Monitoração

36. Dependências

38. Deploy, rodar testes, rodar local

39. Quais melhores práticas da linguagem X?
LINTs
Ruby-lint, python-lint,
go-lint, xyz-lint

40. 12 factors

41. Crie novos times
CDN API's Ingest

42. E em último caso comente o código

43. Revisão das práticas
● Testes
● README
● Monitoração
● Dependências
● Automação de rodar loca, deploy, rodar testes …
● Lint
● 12 factors
● Repense os times
● Comentários

44. Nunca se esqueça das boas práticas de codificação
● Baixo acoplamento
● Alta coesão
● SOLID
● Testes
● DRY

45. Práticas a serem perseguidas continuamente
● Resolve 100% dos problemas?
● É fácil fazer para todo tipo de projeto?
● Não vou ter bugs em produção?
● Meu design de código vai ficar sempre ótimo?
X
X
X
X

46. Futuro
Migrações, testes e inovações

47. Migração / inovação / teste gradual
Existente
Novo
95%
5%

48. http {
upstream production {
s.api.intern.com;
}
upstream new_production {
new.s.api.intern.com;
}
split_clients "${arg_token}"
$appversion {
95% production;
* new_production;
}
server {
listen 80;
location / {
proxy_set_header Host $host;
proxy_pass http://$appversion;
}
}
}

49. Repensar soluções antigas

50. Preparado para mais "entropia"

51. Perguntas
https://leandromoreira.com.br
https://github.com/leandromoreira

52. Referências
● https://martinfowler.com/bliki/TestPyramid.html
● http://nginx.org/en/docs/http/ngx_http_split_clients_module.html
● https://twitter.com/Una/status/850451564527591424
● http://butunclebob.com/ArticleS.UncleBob.PrinciplesOfOod
● https://en.wikipedia.org/wiki/SOLID_(object-oriented_design)
● https://softwareengineering.stackexchange.com/questions/165356/equivalent-of-solid-principle
s-for-functional-programming
● https://12factor.net/
● https://robots.thoughtbot.com/back-to-basics-solid