O documento descreve como provisionar um cluster Kubernetes multi-master na AWS utilizando a ferramenta Kops. Ele explica o que é o Kops, demonstra como criar um cluster com três masters e três nodes em três zonas de disponibilidade diferentes, e instala vários "esteróides" ou addons como métricas, dashboard, monitoramento, ingress controller e auto escalonamento de cluster.

1. Provisionando um cluster K8S
multi-master, e com esteróides,
utilizando o Kops
+
Daniel Requena - DevOPS Engineer

2. 2
Agenda
+ Whoami
+ Objetivos
+ Kops
+ Demo
+ Esteróides
+ Referências

3. 3
Whoami
Daniel Requena
+ Sysadmin há 12 anos (3 anos de DevOPS)
+ LPI-1/LPI-2 e Zabbix Specialist
+ Bacharel em CCP / Mestre em Eng. da Computação.
+ Barista Júnior.

4. 4
Objetivos
◆ Explicar o que é o Kops e por que usá-lo
◆ Provisionar um cluster multi-master na AWS com o kops
◆ Destrinchar o que o kops provisionou
◆ Instalar os esteróides do cluster
◆ Testar
◆ Destruir tudo

5. 5
◆ Quem conhece/usa Kubernetes?
◆ Quem usa AWS?
◆ Quem conhece o Kops?
◆ Quem usa alguma alternativa ao Kops?
◆ Qual o sentido da vida, do universo e de tudo mais?
Rápida pesquisa

6. 6
O que é
● Provisionador e gerenciador de clusters K8S.
○ AWS / GCP / Digital Ocean / …
○ Install from 1.6 to 1.9
○ Updates
○ Upgrades
○ Customize config and cluster
○ kubectl experience
■ get
■ create
■ delete
■ update/rolling-update
■ upgrade
■ validate
■ describe

7. 7
O que é

8. 8
O que é
● Provisionador e gerenciador de clusters K8S.
○ YAML Objects syntax (kubectl edit ...)
○ Addons support
○ Single Go Binary
○ Multiple Network CNI options
■ weave
■ calico
■ flannell
■ … +5
○ RoadMap
○ Multi-master multi-zone clusters

9. 9
O que é

10. 10
Por que?
● Por que não existe EKS na sa-east-1
● Por que o EKS ainda tem limitações (HPA)
● Flexível (múltiplos CNIs)
● Rápido para subir ambientes de teste
● Possibilidade de testar várias versões de K8S
● Addons “homologados”

11. 11
Instance Groups (ig)
● Representam ASGs da Amazon
○ Master (1 para cada)
○ Nodes
● Podem ser criados mais IGs (nodes) com características diferentes
○ ec2-type
○ IOPS
○ Labels
○ Taints
○ etc...

12. 12
Pré-Requisitos
• EC2 na região com Admin role attached (amazon Linux)
• S3 na região para estado do cluster (ENV KOPS_STATE_STORE)
• Route53 internal zone (tdc-sp.intra.net.)
• Kops
• Kubectl
• Região Amazon com 3 AZs
• Limites da conta
• Permissões

13. 13
● DNS-controller
● Network daemon

14. Demo

15. 15
O que foi feito
kops create cluster
--cloud aws
--name kubernetes.tdc-sp.intra.net
--networking calico
--master-count 3
--master-zones us-east-2a,us-east-2b,us-east-2c
--master-size m4.large
--node-count 3
--zones us-east-2a,us-east-2b,us-east-2c
--node-size m4.large
-t private
--dns private
--vpc vpc-0f5d55dff431ae4c0
kops update cluster --name kubernetes.tdc-sp.intra.net --yes

16. 16
O que foi feito

17. 17
O que foi feito
● VPC
● Subnets
● Certificados
● Config do kubectl
● ASG
● SG
● Launch Config
● EC2 nodes
● EC2 master
● Elastic IP
● Route Tables
● EBS volumes
● Route 53 “A” records
● Internet Gateway

18. 18
Alterações no cluster

19. 19
Alterações no cluster

20. 20
Alterações no cluster

21. 21
Alterações no cluster

22. Esteróides
(addons)

23. 23
Objetivos
● Métricas
● Dashboard
● Monitoria
● Ingress Controller
● Cluster Auto-Scaler
● Logs

24. 24
Métricas
kubectl create -f
https://raw.githubusercontent.com/kubernetes/kops/master/addons/metrics-
server/v1.8.x.yaml
• Usadas para gerenciamento de recursos do cluster
• HPA
• Dashboard

25. 25
Objetivos
● Métricas
● Dashboard
● Monitoria
● Ingress Controller
● Cluster Auto-Scaler

26. 26
Dashboard
kubectl create -f
https://raw.githubusercontent.com/kubernetes/kops/master/addons/kubernet
es-dashboard/v1.8.3.yaml

27. 27
Dashboard
• RBAC
• Dashboard não tem mais acesso a nada
• Para a demonstração (!)
• Admin token criado (não faça isso em casa)

28. 28
Objetivos
● Métricas
● Dashboard
● Monitoria
● Ingress Controller
● Cluster Auto-Scaler

29. 29
Monitoria
• Prometheus Operator
• CoreOS
• Pacote de vários softwares
• Métricas do Kubernetes
• CRD
• ServiceMonitor
• AlertManager
kubectl apply -f
https://raw.githubusercontent.com/kubernetes/kops/master/addons/prometh
eus-operator/v0.19.0.yaml

30. 30
Monitoria
Prometheus
Operator
Alert Manager
ServiceMonitor
AlertManager

31. 31
Objetivos
● Métricas
● Dashboard
● Monitoria
● Ingress Controller
● Cluster Auto-Scaler

32. 32
Ingress Controller
• Objeto Ingress é nativo no Kubernetes
• Mas não tem um controller associado padrão.
• Opções:
• Nginx
• ALB (aws)
• Istio (gateway + virtualservice) *
• vários outros...
• Roteamento L7
• www.meudominio.com.br -> Kubernetes Service - MeuSite

33. 33
Ingress

34. 34
Ingress

35. 35
Ingress Controller
kubectl create -f
https://raw.githubusercontent.com/kubernetes/kops/master/addons/ingress-
nginx/v1.6.0.yaml

36. 36
Objetivos
● Métricas
● Dashboard
● Monitoria
● Ingress Controller
● Cluster Auto-Scaler

37. 37
Cluster Auto-Scaler
• Escalar os Nodes (ou outro IG) do cluster de forma automática
• Baseado nos recursos do Metrics
• Disparado quando não for possível alocar mais PODs
• Aplicação externa ao Kops/K8s
https://github.com/kubernetes/kops/tree/master/addons/cluster-autoscaler

38. 38
Cluster Auto-Scaler

39. 39
Objetivos
● Métricas
● Dashboard
● Monitoria
● Ingress Controller
● Cluster Auto-Scaler

40. LOGs

41. 41
LOGs
• Fluentd
• Redirect Stdout e Stderr p/ ES
• Cluster Elastic (dentro do K8s)
kubectl create -f
https://raw.githubusercontent.com/kubernetes/kops/master/addons/logging-
elasticsearch/v1.7.0.yaml

42. 42
LOGs
stdout/stderr
OU
+

43. 43
Bye Bye!
kops delete cluster --name kubernetes.tdc-sp.intra.net --yes

44. Obrigado!
Perguntas ?

45. 45
Referências
• https://github.com/kubernetes/kops
• https://github.com/kubernetes/kops/blob/master/docs/aws.md
• https://github.com/kubernetes/kops/tree/master/addons
• https://kubernetes.io/docs/tasks/tools/install-kubectl/#install-kubectl-binary-via-curl
• https://github.com/kubernetes/kops/releases/download/1.9.1/kops-linux-amd64

46. You can find me at @Daniel_Requena
(twitter)
www.linkedin.com/in/danielrequena/
daniel.requena@rivendel.com.br
requena@gmail.com
Daniel Requena