Este documento discute como o Istio Service Mesh pode ser usado para sobreviver a situações caóticas em um sistema distribuído. Ele apresenta um workload hipotético com quatro microserviços sincronizados e dependentes, e descreve como o Istio fornece recursos como retry, circuit breaking e failover para aumentar a resiliência do sistema durante falhas simuladas.

1. Sobrevivendo
ao Caos
Com Istio Service Mesh

2. Matheus Fidelis
Site Reliability Engineer
@fidelissauro
linktr.ee/fidelissauro

3. PROPOSTA
O que esperar desse papo?

6. Istio Não é
Solução pra
código zoado

7. LET’S GET STARTED
● Artigo
● Istio Service Mesh
● Features para Resiliência
● Simular um sistema caotico
● Situação de Crise
● Diversas possibilidade de Falha
○ Sistemica
○ Capacity
○ Zonas de Disponibilidade
Proposta

8. Workload
Hipotético
● Malha de 4 micro serviços Síncronos
● Comunicação HTTP Síncrona
● Chamadas Altamente Dependentes
● Sem resiliência pragmática

9. LET’S GET STARTED
● Sobreviver
● Empresa / Workload Fictício
● Elastic Kubernetes Service
● Três zonas de
disponibilidade
● Istio por Default
● Kiali / Grafana
● K6 Load Test
● Chaos Mesh
● Gin-chaos-monkey
Premissas

10. LET’S GET STARTED
● Memory Assault
● CPU Assault
● Latency Assault (1000ms ~ 5000ms)
● Exception Assault - Injeção de 5xx
● AppKillerAssault - Runtime
Middleware de Chaos
Chaos Mesh
● Pod Failure
● Pod Kill

11. Istio Service Mesh

12. LET’S GET STARTED
● Pattern de Networking
● Arquitetura Distribuída
● Adicionar Funcionalidades a Rede
● Comportamentos
● Gestão de Tráfego
● Segurança
● Observabilidade
● Resiliência
Service Mesh

13. Tratar Networking
Como Software

14. LET’S GET STARTED
● Service Mesh de código aberto
● Kubernetes
● Gerenciar a comunicação entre
serviços distribuídos
● Recursos avançados para controle
● Gerenciamento de tráfego e
balanceamento de carga
● Definição de políticas de rede
Istio - Service Mesh

15. Envoy Proxy

16. LET’S GET STARTED
● Proxy Reverso
● Intermediário Cliente / Servidor
● Funções de manipulação de Layer 4 e
7
● Patterns de Cloud Native
● Alta Disponibilidade
● Observabilidade / Métricas
● Segurança
● API's abertas
● HTTP/1.x, HTTP/2, gRPC, TCP
Envoy

17. LET’S GET STARTED
● Sidecar
● Container Adicional (2/2)
● Integração com Istio Discovery
● Integração com CRD's do Istio
● Configuração Dinâmica
● Alterações sem Downtime
● Inbound / Outbound
● Métricas de utilização
● Proxy de Controle de Comunicação
Envoy / Istio / Sidecar

20. ENVOY
APP
POD

21. MECANISMOS DE
RESILIÊNCIA

22. LET’S GET STARTED
● Retry Automático de Requests
● Policy de Falhas Específicas
● HTTP
● Conexões
● gRPC
● Timeout
Retentativas

23. LET’S GET STARTED
● Workload preparado
● Idempotência
● Duplicidade
● Auto-DoS
● Não deve ser tratado como
mecanismo prioritário da
solução
Retentativas - Cuidado

24. retry_on
Nova tentativa quando o
upstream retornar erros
da familia 5xx
5xx
Retentativas em caso da
upstream retornar casos de
disconnect/reset/read timeout
diretamente da conexão TCP
reset
gateway-error
Retentativa em caso de falha
de conexão com o upstrem.
Timeout.
connect-failure
Nova tentativa em caso do
upstream redefinir a
conexão com
REFUSED_UPSTREAM
refused-stream
Similar aos 5xx porém
só haverá retentativas
em casos de 502, 503
ou 504

25. Retry_on gRPC
Nova tentativa se o código
de status gRPC nos
cabeçalhos de resposta for
"recurso esgotado"
resource-exhausted
Nova tentativa se o código
de status gRPC nos
cabeçalhos de resposta for
"cancelled"
cancelled
unavailable
Nova tentativa se o código
de status gRPC nos
cabeçalhos de resposta for
"deadline excedida"
deadline-exceeded
Nova tentativa se o
código de status gRPC
nos cabeçalhos de
resposta for
"indisponível"

26. LET’S GET STARTED
● Lidar com falhas
● Limitar o Tráfego
● Proteção de Capacity
● Limitador de Consumo
● Detecção de Falhas
● Evita falhas em cascata
● Isola recursos problematicos
● Baseado em métricas
● Detecção de Outliers
● Checagem Temporária
Circuit Breaking

27. LET’S GET STARTED
Circuit Breaking - Pool Ejection

28. LET’S GET STARTED
Circuit Breaking - Pool Ejection

29. LET’S GET STARTED
Circuit Breaking

30. LET’S GET STARTED
● ServiceEntry
● Capacidade de Roteamento
● Assumir a responsabilidade do
serviço principal
● Direcionar Tráfego para Fallbacks
● Garantir o serviço solicitado
● Serviços Internos e Externos
● Necessário que todos os fluxos
tenham o mesmo contrato
Failover

31. LET’S GET STARTED
Failover

32. Response Flags
Mais úteis
Conexão Finalizada pelo
Cliente
DC
Tentativas de Retry Excedidas
URX
UR
Falha de conexão com a
upstream
UF
Conexão Abortada por um
Fault Injection
FI
Conexão finalizada
com a upstream com
um 503
Upstream Timeout
UT
Upstream Overflow
Acionamento do Circuit Breaker
UO
Sem upstreams disponíveis
UH

34. …

35. Considerações
Importantes

36. LET’S GET STARTED
● Evitar o uso como mecanismo
primário ou único de resiliência
● Parte da composição de
resiliência, não a solução
definitiva para ela
● Optar por retentativas
pragmáticas e que façam parte da
lógica do negócio
● Invista em Idempotência
Considerações

37. @fidelissauro
linktr.ee/fidelissauro
Obrigado!