O documento introduz o Kubernetes, discutindo seus recursos básicos, arquitetura e como implementá-lo na produção na AWS. Problemas comuns como limitações de tabelas de rota e falhas no Kube-DNS são abordados, assim como casos de uso como limites de recursos e seletores de nó. A entrega contínua com Travis-CI e Wercker é apresentada.

1. Docker em Produção com Kubernetes
Fernando Landell de Moura Ruaro
Software Engineer na Meltwater

2. O que será apresentado?
Introdução ao Kubernetes
- Recursos Básicos
- Arquitetura
Confiabilidade do cluster
Production Issues/Use Cases
Entrega contínua

3. Kubernetes
“open-source system for automating
deployment, scaling and management
of containerized applications”
MINION MINIONMINION
MASTER
ETCD

4. Kubernetes - Tipos de Recursos

5. Kubernetes - Tipos de Recursos
ConfigMap
Container
CronJob
DaemonSet
Deployment
Endpoints
Ingress
Job
PersistentVolumeClaim
Pod
ReplicaSet
ReplicationController
Secret
Service
StatefulSet
StorageClass
Volume

6. Kubernetes - Tipos de Recursos
ConfigMap
Container
CronJob
DaemonSet
Deployment
Endpoints
Ingress
Job
PersistentVolumeClaim
Pod
ReplicaSet
ReplicationController
Secret
Service
StatefulSet
StorageClass
Volume

7. É um grupo de um ou mais containers
Esse containers são criados sempre
em conjunto
Compartilham o mesmo IP e range de
portas
Podem compartilhar volumes
Pod

8. Deployment
Definição do número de réplicas de
um pod
Você só precisa definir o estado
que você deseja
Rolling updates

9. Service
É uma forma de tornar os pods
acessíveis, tanto dentro do cluster
quanto externamente.
Utiliza o selector para selecionar
quais os pods respondem aquele
serviço.

10. Service
É uma forma de tornar os pods
acessíveis, tanto dentro do cluster
quanto externamente.
Utiliza o selector para selecionar
quais os pods respondem àquele
serviço.
A nível de implementação, cada
serviço possui um IP virtual, e
pode ou não ter uma porta dos hosts
vinculada a ele.
my-web-app-service
SERVER:30900
10.100.0.100:80
my-web-app-2:80
my-web-app-1:80
my-web-app-3:80

11. Kubernetes - Arquitetura

12. SERVIDORES
SERVER 2SERVER 1

13. DOCKER
SERVER 2
DOCKER
SERVER 1
DOCKER

14. KUBELET
SERVER 2
DOCKER
POD 1
KUBELET
POD 2
SERVER 1
DOCKER
POD 1
KUBELET
POD 2

15. SERVER 3
API SERVER
SERVER 2
DOCKER
POD 1
KUBELET
POD 2
API SERVER
SERVER 1
DOCKER
POD 1
KUBELET
POD 2

16. SERVER 3
SCHEDULER
SERVER 2
DOCKER
POD 1
KUBELET
POD 2
API SERVER
SCHEDULER
SERVER 1
DOCKER
POD 1
KUBELET
POD 2

17. SERVER 3
Rede
SERVER 2 - 10.200.2.*
DOCKER
POD 3
10.200.2.1
KUBELET
POD 4
10.200.2.2
API SERVER
SCHEDULER
SERVER 1 - 10.200.1.*
DOCKER
POD 1
10.200.1.1
KUBELET
POD 2
10.200.1.2

18. SERVER 3
AWS ROUTE TABLE
SERVER 2 - 10.200.2.*
DOCKER
KUBELET
AWS ROUTE TABLE
10.200.1.* → SERVER 1
10.200.2.* → SERVER 2
API SERVER
SCHEDULER
SERVER 1 - 10.200.1.*
DOCKER
KUBELET
POD 3
10.200.2.1
POD 4
10.200.2.2
POD 1
10.200.1.1
POD 2
10.200.1.2

19. SERVER 3
KUBE-PROXY
SERVER 2 - 10.200.2.*
IPTABLES
Node Port → SVC IP
SVC IP → POD IP
DOCKER
KUBE-PROXY
KUBELET
AWS ROUTE TABLE
10.200.1.* → SERVER 1
10.200.2.* → SERVER 2
API SERVER
SCHEDULER
SERVER 1 - 10.200.1.*
IPTABLES
Node Port → SVC IP
SVC IP → POD IP
DOCKER
KUBE-PROXY
KUBELET
POD 3
10.200.2.1
POD 4
10.200.2.2
POD 1
10.200.1.1
POD 2
10.200.1.2

20. SERVER 3
KUBE-PROXY
SERVER 2 - 10.200.2.*
IPTABLES
Node Port → SVC IP
SVC IP → POD IP
DOCKER
KUBE-PROXY
KUBELET
AWS ROUTE TABLE
10.200.1.* → SERVER 1
10.200.2.* → SERVER 2
API SERVER
SCHEDULER
SERVER 1 - 10.200.1.*
IPTABLES
Node Port → SVC IP
SVC IP → POD IP
DOCKER
KUBE-PROXY
KUBELET
POD 3
10.200.2.1
POD 4
10.200.2.2
POD 1
10.200.1.1
POD 2
10.200.1.2
SERVICE
my-web-app-service
10.100.0.100
POD 4
10.200.2.2
POD 1
10.200.1.1

21. SERVER 3
KUBE-DNS
SERVER 2 - 10.200.2.*
IPTABLES
Node Port → SVC IP
SVC IP → POD IP
DOCKER
KUBE-PROXY
KUBELET
AWS ROUTE TABLE
10.200.1.* → SERVER 1
10.200.2.* → SERVER 2
KUBE-DNS
API SERVER
SCHEDULER
SERVER 1 - 10.200.1.*
IPTABLES
Node Port → SVC IP
SVC IP → POD IP
DOCKER
KUBE-PROXY
KUBELET
POD 3
10.200.2.1
POD 4
10.200.2.2
POD 1
10.200.1.1
POD 2
10.200.1.2
SERVICE
my-web-app-service
10.100.0.100
POD 4
10.200.2.2
POD 1
10.200.1.1
http://my-web-app-service/

22. CONTROLLER MANAGER
SERVER 2 - 10.200.2.*
IPTABLES
Node Port → SVC IP
SVC IP → POD IP
DOCKER
KUBE-PROXY
KUBELET
AWS ROUTE TABLE
10.200.1.* → SERVER 1
10.200.2.* → SERVER 2
KUBE-DNS
API SERVER
CONTROLLER MANAGER
SCHEDULER
SERVER 1 - 10.200.1.*
IPTABLES
Node Port → SVC IP
SVC IP → POD IP
DOCKER
KUBE-PROXY
KUBELET
POD 3
10.200.2.1
POD 4
10.200.2.2
POD 1
10.200.1.1
POD 2
10.200.1.2

23. ETCD
SERVER 2 - 10.200.2.*
IPTABLES
Node Port → SVC IP
SVC IP → POD IP
DOCKER
KUBE-PROXY
KUBELET
AWS ROUTE TABLE
10.200.1.* → SERVER 1
10.200.2.* → SERVER 2
KUBE-DNS
API SERVER
CONTROLLER MANAGER
SCHEDULER
SERVER 1 - 10.200.1.*
IPTABLES
Node Port → SVC IP
SVC IP → POD IP
DOCKER
KUBE-PROXY
KUBELET
POD 3
10.200.2.1
POD 4
10.200.2.2
POD 1
10.200.1.1
POD 2
10.200.1.2
ETCD

24. Kubernetes - Resumo
MINION MINIONMINION
MASTER
ETCD
API SERVER
CONTROLLER MANAGER
SCHEDULER
DOCKER
KUBE-PROXY
KUBELET

25. Kubernetes em Produção na AWS

26. “Meu primeiro cluster”
Provisionamento/configuração do
cluster através comando kube-up

27. “Meu primeiro cluster”
Provisionamento/configuração do
cluster através comando kube-up
VPC
Subnets
Launch Configurations
Auto Scaling Groups
Route Table
Security Groups
Key Pairs
…

28. “Meu primeiro cluster”
Provisionamento/configuração do
cluster através comando kube-up
PRINCIPAIS PROBLEMAS:

29. “Meu primeiro cluster”
Provisionamento/configuração do
cluster através comando kube-up
PRINCIPAIS PROBLEMAS:
- Ponto único de falha (SPOF)
- Falta de controle sobre a
infraestrutura

30. MASTER CLUSTER
ETCD CLUSTER
Atual cluster
100% Infrastructure as a Code
Utilizando Terraform e Ansible para
provisionamento e configuração.
Adicionada redundância ao master e
etcd em diferentes zonas de
disponibilidade.
github.com/fernandoruaro/kubernetes
MINION MINIONMINION
MASTER
ETCD
ETCDETCD
MASTER MASTER

31. Issues/Use Cases

32. Issue: AWS Route Table
Problema: Nodos novos se
registravam no cluster mas o master
nenhum pod era atribuído a eles.
Razão: Limite padrão de 50
registros por Route Table
AWS ROUTE TABLE
10.200.1.* → SERVER 1
10.200.2.* → SERVER 2

33. Use Case: Limits e Request
Limites de RAM e CPU para um pod.
(limits)
Mínimo de recursos de RAM e CPU
necessários para rodar um pod em um
nodo. (requests)

34. Issue: KUBE-DNS
Problema: Esporadicamente havia
falhas na resolução de DNS.
Razão: Default do KUBE-DNS
- Somente 1 réplica
- Limite de 0.1 CPU

35. Use Case: Node Selector
Caso você tenha nodes
especializados para alguma
aplicação (GPU/SSD/NVMe/…)
Necessidade que determinado pod
seja instanciado numa zona
específica (Ex: EBS)

36. Entrega Contínua

37. Entrega Contínua
TRAVIS-CI
TEST/BUILD
PROJECT
ECR
ON PUSH DOCKER PUSH
WERCKER
UPDATE
VERSIONS
FILE
HTTP
POST
U
PD
A
TE
TRAVIS-CI
COMPUTE
TEMPLATES
ON PUSH
template.yaml.hbs
versions.json
DEPLOY.SH
kubectl apply --recursive --filename $repo_path
DEPLOYS TO CLUSTER
SSH

38. Obrigado!
Fernando Landell de Moura Ruaro
Software Engineer na Meltwater
landell.ruaro@gmail.com
github.com/fernandoruaro