Apresentação feita no Meetup Tech Trends: Escalando Sistemas Distribuídos nas Nuvens http://www.meetup.com/Tech-Trends/events/229233882/

1. Estratégias de I/O para
escalabilidade
Renato Lucindo

2. Sobre mim
Renato Lucindo
● Twitter: @rlucindo
● Github: /lucindo

3. Agenda
● Escalabilidade
● 2000: The C10K Problem
○ Threads
○ Events
○ Events + Threads
○ Events + Lightweight Threads
● 2013: The C10M problem

4. Escalabilidade
● Definição: + hardware ⇒ + carga
● Horizontal
○ hardware ⇒ mais máquinas
● Vertical
○ hardware ⇒ máquina maior

5. Disclaimer: Sistemas Distribuídos
PRINCIPAL
● Escala horizontal
● Alta disponibilidade
FOCO DA APRESENTAÇÃO
● Escala vertical ¯_(ツ)_/¯

6. Mean time...
● MTBF e MTTF
○ Mean time between failures (repair)
○ Mean time to failure (replace)
● MTTR
○ Mean time to repair

7. Trade-off
↑ Escalabilidade Vertical ⇒ ↑ MTTF | ↑ MTBF

8. Escalabilidade Vertical
Sistemas I/O bound ⇒ Escalabilidade de I/O

9. 2000: The C10K Problem
● Máquina $1200:
○ 1 core (1GHz)
○ 2 GB RAM
○ 1 GB placa de rede
● Objetivo:
○ 10K clientes silmultâneos (conexões)
○ 20K:
■ 50KHz
■ 100Kbytes
■ 50Kbits/sec
http://www.kegel.com/c10k.html

10. I/O e Paradigmas de Concorrência
I/O:
● Síncrono
● “Assíncrono”
Concorrência:
● Processos, threads e locks
● Eventos e callbacks
● Processos leves e mensagens

11. I/O no Unix (Linux)
Network I/O
● Sockets = file descriptors
● Operações atomicas = syscalls
● POSIX I/O
○ Default: blocante e buffered
○ Não Blocante: O_NONBLOCK
○ Assíncrono: aio_*
● Polling/Events

12. Thread per connection (B)
● 1 thread para cada conexão
● I/O blocante
● Isolamento de recursos entre threads
● Simples e fácil de programar
● 2016: 10K Threads no Linux

13. Thread pool (B)
Little's law: The long-term average number of customers in a stable system L is
equal to the long-term average effective arrival rate, λ, multiplied by the average
time a customer spends in the system, W; or expressed algebraically: L = λW.
The average number of threads in a system is equal average request
arrival rate (requests per sec), multiplied by the average response time.
Threads = (Requests/sec) X Response Time
Ex: com response time de 50ms são necessárias 500 threads para C10K

14. Single thread events (NB)
● I/O não blocante
● File descriptor polling (select, epool, etc)
● Reactor pattern
● Callbacks
● Subutilização de recursos
● Callback-hell

15. Single thread events (NB) (cont.)

16. Events + Threads (NB)
● I/O não blocante
● Evento e I/O tratados por threads diferentes
● Multithreaded reactor pattern
● Trade-off: Locks e callbacks

17. Events + Threads (NB) (cont.)

18. Events + Lightweight threads (NB)
● I/O não blocante
● Runtime/VM
● Escala para milhares de lightweight threads com poucas threads físicas
● CSP e Actor Model
○ Troca de mensagens
○ Funcional ou stateful
○ Scheduler preemptivo*

19. 2013: The C10M problem
● Máquina $1200:
○ 8 cores (?GHz)
○ 64 GB RAM
○ 10 GB placa de rede
● Objetivo:
○ 10M clientes silmultâneos (conexões)

20. Soluções C10M vs. C10K
● Kernel é o problema
● Kernel-bypass:
○ Packets (ou até stack do protocolo inteira)
○ Gerenciamento de memória
○ Gerenciamento de cores
○ Mas e a nuvem :~(
● Sugestões em 2000 para o C10K
http://c10m.robertgraham.com/p/manifesto.html

21. Recap
● Sistemas Distribuídos: Escalabilidade horizontal + alta disponibilidade.
● Escalabilidade vertical faz diferença.
● Escalabilidade de I/O (rede): não-blocante.
● Estratégias de concorrência
○ (B) Thread-per-connection/Thread-pools
○ (NB) Single-threaded events
○ (NB) Events + threads
○ (NB) Events + lightweight threads
● Fullstack: seu banco de dados acompanha sua aplicação ?

22. Obrigado :)

23. Leituras
● UNIX Network Programming (Third Edition)
● Seven Concurrency Models in Seven Weeks