1. Arquitetura de Email
de Larga Escala

2. Renato Lucindo
@rlucindo
/lucindo

3. Agenda
• Arquiteturas de email convencionais
• Solução para email de larga escala
• Histórico e Detalhes
• Problemas e Soluções
• Lições Aprendidas

4. Arquitetura de Email Convencional
HTTP Webmail
IMAP/NFS
POP/IMAP Mail Server &
Internet
Storage
Maildir/Mbox
SMTP/LMTP
SMTP
SMTP (Mail Delivery &
Queue)

5. Arquitetura de Email Convencional
(escalando)
Webmail
Webmail
Webmail
Internet Mail Server &
Storage
SMTP
(Mail Delivery &
Queue)

6. Arquitetura de Email Convencional
(escalando)
Webmail
Webmail
Webmail
Internet Mail Server &
Storage
SMTP
(Mail Delivery &
Queue)

7. Arquitetura de Email Convencional
(escalando)
Webmail Diretório
Webmail
Webmail
Internet Mail Server &
Storage
SMTP
(Mail Delivery &
Queue)

8. Arquitetura de Email Convencional
(escalando)
Webmail Diretório
Webmail
Webmail
Internet Mail Server &
Storage
SMTP
(Mail Delivery &
Queue)

9. Arquitetura de Email Convencional
(escalando)
Webmail Diretório
Webmail
Webmail
Internet Mail Server &
Storage
SMTP
(Mail Delivery &
Queue)
Ponto único de falha

10. Arquitetura de Email Convencional
(escalando)
Webmail Diretório
Webmail
Webmail
Internet Mail Server &
Storage
SMTP
(Mail Delivery &
Queue)
Ponto único de falha

11. 2004

12. Requisitos do Projeto
• Performance
• Alta Disponibilidade
• Escalabilidade
• Baixo Custo

13. Requisitos do Projeto
Performance
Cache
Filas

14. Requisitos do Projeto
Alta Disponibilidade


15. Requisitos do Projeto
Alta Disponibilidade


16. Requisitos do Projeto
Alta Disponibilidade
  
Réplicas

17. Requisitos do Projeto
Alta Disponibilidade
Como manter consistência?

19. Requisitos do Projeto
Escalabilidade



20. Requisitos do Projeto
Escalabilidade
 

21. Requisitos do Projeto
Escalabilidade
   
Particionamento

22. Requisitos do Projeto
Escalabilidade
Como encontrar os dados?

23. Requisitos do Projeto
• Performance
– Caches, Filas, Código
• Alta Disponibilidade
– Replicas: Consistência
• Escalabilidade
– Particionamento: Índice
• Baixo Custo

24. Alta Disponibilidade
Escalabilidade

25. Time Inicial
• Desenvolvimento
– 2 desenvolvedores
– 2(3) administradores de sistemas
• Operação dedicada
– Principal fonte de requisitos

26. Visão geral da Arquitetura
HTTP Webmail
IMAP
POP/IMAP Mail Server &
Internet
Storage
LMTP
SMTP
SMTP (Mail Delivery &
Queue)

27. Visão geral da Arquitetura
HTTP Webmail
Mail Index
IMAP Server
POP/IMAP Front-end Mail
Internet Protocolo Interno
Server
Mail Data
LMTP
Server
SMTP
SMTP (Mail Delivery &
Queue)

28. Ferramentas
• C++
• CORBA
• ACE + TAO
• Shell Script, Perl, Java, Python, Ruby
• Erlang

29. Detalhes da Arquitetura
HTTP Webmail
Mail Index
IMAP Server
POP/IMAP Front-end Mail
Internet Protocolo Interno
Server
Mail Data
LMTP
Server
SMTP
SMTP (Mail Delivery &
Queue)

30. Detalhes da Arquitetura
HTTP Webmail
Mail Index
IMAP Server
POP/IMAP Front-end Mail
Internet Protocolo Interno
Server
Mail Data
LMTP
Server
SMTP
SMTP (Mail Delivery &
Queue)

31. Detalhes da Arquitetura
Front-end Index
A
B
Data
A
B

32. Detalhes da Arquitetura
Front-end Index
 A
 B
Data
 A
 B

33. Detalhes da Arquitetura
• Como se encontra qualquer dado?
– Servidores com heartbeat com estado (multicast)
– Índice interno volátil
get index
Internal Index
Index
Front-end
Data

34. Detalhes da Arquitetura
A
Internal
B
Index
Front-end
A
B

35. Detalhes da Arquitetura
A
Internal
B
Index
multicast discovery
Front-end
A
B

36. Detalhes da Arquitetura
get index
A
Internal
B
Index
multicast discovery
Front-end
A
B

37. Detalhes da Arquitetura
A
Internal
B
Index
Front-end
A
B

38. Detalhes da Arquitetura
 A
Internal
 B
Index
Front-end
A
B

39. Detalhes da Arquitetura
 A
Internal
 B
Index
Front-end
A
B

40. Detalhes da Arquitetura
 A
Internal
 B
Index
Front-end
A
B

41. Detalhes da Arquitetura
 A
Internal
 B
Index
Front-end
 A
 B

42. Detalhes da Arquitetura
 A
Internal
 B
Index
Front-end
 A
 B

43. Detalhes da Arquitetura
 A
Internal
 B
Index
Front-end
 A
 B

44. Detalhes da Arquitetura
 A
Internal
 B
Index
Front-end
 A
 B

45. O que acontece em
caso de falha?
(crescimento e manutenção do sistema)

46. Detalhes da Arquitetura

A 

B

47. Detalhes da Arquitetura
A
B

48. Detalhes da Arquitetura
A
B     

49. Detalhes da Arquitetura
A
B     

50. Detalhes da Arquitetura
A    
B

51. Mudanças Durante o Projeto
• Início com 2 cópias de cada mensagem
• Mudança para 3 cópias
• Volta para 2 cópias
• Mudança do Sistema de Arquivos
• Mudança de todo o hardware algumas vezes

52. Lições Aprendidas
Ferramentas Administrativas
(logs, contadores, monitoração)

53. Lições Aprendidas
Testes de Resiliência
Front-
Back A
end
Back C
Front-
Back B
end

54. Lições Aprendidas
Testes de Resiliência
Front-
Back A
end
Back C
Front-
Back B
end
$ kill –KILL …

55. Lições Aprendidas
Testes de Resiliência
Front-
Back A
end
Back C
Front-
Back B
end
$ kill –STOP …

56. Lições Aprendidas
• Nem sempre o problema é no seu código ou
arquitetura
– ReiserFS
– Kernel panic com mmap
–…

57. Lições Aprendidas

58. Muito mais
• ILM
• AntiSpam
• Contatos
• Webmail
• …

59. Obrigado!
Dúvidas?