Dentro da Globo.com o Twitter é utilizado como forma de publicar conteúdo dinâmico de coberturas em tempo real. Existiam diversas soluções internas para importar e distribuir os tweets para os produtos, cada uma com suas peculiaridades. Na palestra, mostro como desenvolvemos um serviço que distribui os tweets de forma agnóstica ao cliente, unificando as soluções.

1. Importação e
distribuição de tweets
para produtos globo.com

2. 2
Ícaro Heimig
@icaromh

3. 3

4. 4

5. 5

6. 6

7. “
e daí? e o twitter?
7

8. 8
Rock in Rio
2017
12/setembro ~ 25/setembro

9. 9
1647
tweets
210
posts

10. 10
3723
4 anos
1647
13 dias

11. “
11
E por que usar o
twitter?

12. VPN
já usou em um celular?
1

13. publicação móvel
aplicativo / PWA / app de terceiros
2

14. nome do jornalista
todos queremos aparecer um pouquinho
3

15. video, foto, texto, live
e tudo por conta do twitter
4

16. 16
e como era?

17. 17
plugin ES
descontinuado

18. 18
renew a cada 30 min
novos @usuarios ou #hashtags

19. 19
monolito django
código "legado"

20. 20
instalação por produto
G1 v0.9 / gshow v0.7 / globoesporte v0.42

21. 21
muitas soluções
cada time com a sua

22. “
22
TWS
(twitter subscription)

23. 23

24. 24

25. 25

26. 26

27. 27

28. Requisitos!
não vai subir ninguém sem
28

29. 29
subir units necessárias
2, 4, 8, 16, 32

30. 30
métricas, autoscale
newrelic, zabix, logs, tsuru-auto-scale

31. 31
planos de serviço
dbaas, rpaas, dev, prod, qa?

32. 32
garantir high availability
blue-green deploy, healthcheck

33. 33
suporte a produção
apresentar pra galera de infra

34. Restrições!
twitter </3
34

35. 35
uma conexão ativa
mata a mais antiga

36. 36
too many requests
ip banido

37. 37
ordem das mensagens
delete, create, create, create, delete

39. from to
API HTTP
Sync em até 1 min
Flask app
Tsuru
Solução única
Plugin do ES descontinuado
Sync a cada 30 minutos
Monolito Django
Instalação por cliente
Diversas soluções
39

40. diagrama
de arquitetura
40

41. 41

42. 42
uma conexão ativa

43. 43
unit-1 unit-2 unit-n

44. 44
unit-1 unit-2 unit-n

45. 45
unit-1 unit-2 unit-n

46. 46
unit-1 unit-2 unit-n

47. Lock
47

48. 48
unit-1 unit-2 unit-n
tws:lock unit-2
tws:timestamp 13819029

49. 49
unit-1 unit-2 unit-n
tws:lock unit-2
tws:timestamp 13819030
tws:subscription users: @icaro
hashtags: #g1

50. 50
unit-1 unit-2 unit-n
tws:lock unit-2
tws:timestamp 13819031
tws:subscription users: @icaro, @g1
hashtags: #g1
tws:app:has_update true

51. 51
unit-1 unit-2 unit-n
tws:lock unit-1
tws:timestamp 13819032
tws:subscription users: @icaro, @g1
hashtags: #g1
tws:app:has_update false

52. garante uma conexão ativa
timestamp e owner no redis
timeout 3s
renew em 30s (se tiver)
52
Lock

53. 53
garantir high availability

54. 54
listener-thread

55. 55
listener-thread
listener-thread[2]

56. 56
listener-thread
listener-thread[2]

57. 57
listener-thread
listener-thread[2]

58. 58
listener-thread
listener-thread[2]

59. 59
listener-thread[2]

60. Threading
60

61. abre 2 conexões com o stream
twitter mata a mais antiga
garante 0s de downtime
61
Threading

62. 62
ordem das mensagens
delete, create, create, create, delete

63. 63
tweet_id: 1 | action: delete
tweet_id: 2 | action: create
tweet_id: 2 | action: create
tweet_id: 1 | action: create
tweet_id: 2 | action: delete
tweet_id: 3 | action: delete
.
.
.

64. 64
tweet_id: 1 | action: delete
tweet_id: 2 | action: create
tweet_id: 2 | action: create
tweet_id: 1 | action: create
tweet_id: 2 | action: delete
tweet_id: 3 | action: delete
.
.
.

65. Trace
65

66. 66

67. 7 dias de histórico
TODOS tweets salvos
contexto que passou
mensagem human friendly
67
Trace

68. Resultados
spoiler: ficou top
68

69. 6666 tweets G1
2377 tweets GE
69
agosto ~ hoje

70. @icaromh
70
Obrigado