Estendendo o kubernetes
•
1 gostou•340 visualizações
O documento discute várias maneiras de estender o Kubernetes além de um orquestrador de container, incluindo: 1) criar Recursos Personalizados para suportar novos tipos de objetos, 2) usar o Service Catalog para integrar serviços de terceiros, e 3) desenvolver Controllers e Schedulers personalizados.
Recomendados
Recomendados
Mais conteúdo relacionado
Mais procurados
Mais procurados (20)
Semelhante a Estendendo o kubernetes
Semelhante a Estendendo o kubernetes (20)
Estendendo o kubernetes
- 1. Estendendo o Kubernetes Tornando o Kubernetes mais que um orquestrador de containeres
- 2. Eu, rapidão :) ● CKA, CKAD, LPIC3 (essa venceu…) ● Gerente de engenharia de Nuvem no SERPRO - Projeto Estaleiro ● Nesse mundo Linux desde 2004, no SERPRO desde 2009, mexendo com esses trecos desde 2014 ● Aficionado por aviação Essa palestra não representa a opinião da empresa em que trabalho e trata apenas de opniões pessoais :)
- 3. Kubernetes “Production grade CONTAINER Orchestration”
- 6. API Server
- 7. API Server API Server ● Repositório de objetos ○ POD ○ NODE ○ Service ○ Deployment ○ [........] (kubectl explain) ○ Custom Resource Definition (CRD) ● Validador de “Regras”
- 8. CRD ● Preciso que meu Cluster suporte um novo tipo de Objeto ○ É global ou por namespace? ○ Tem algum esquema pré definido ou posso escrever qualquer coisa?
- 9. Quem usa? ● Calico - Kubernetes Datastore ● Diversos Operators - coreos.com/operators/ ● Kong Ingress Controller ● Qualquer sistema integrado com o Kubernetes que demande armazenamento de objetos :)
- 10. CRD apiVersion: apiextensions.k8s.io/v1beta1 kind: CustomResourceDefinition metadata: name: crontabs.estaleiro.io spec: group: estaleiro.io version: v1 scope: Namespaced names: plural: crontabs singular: crontab kind: CronTab shortNames: - ct
- 11. Não confunda com CronJobs :)
- 12. CRD API: /apis/estaleiro.io/v1 apiVersion: "estaleiro.io/v1" kind: CronTab metadata: name: meu-primeiro-cron spec: cronSpec: "* * * * */5" command: comando-a-ser-executado kubectl get crontab / kubectl get ct / kubectl get crontabs kind: CronTab ?
- 13. CRD - Validação apiVersion: apiextensions.k8s.io/v1beta1 kind: CustomResourceDefinition metadata: name: crontabs.estaleiro.io spec: group: estaleiro.io validation: openAPIV3Schema: properties: spec: properties: cronSpec: type: string pattern: '^(d+|*)(/d+)?(s+(d+|*)(/d+)?){4}$' REGEX :)
- 14. DEMO - KARMAB GUITAR CENTER
- 15. Vantagens ● Uso do Kubernetes como um ‘Banco de Objetos’ ● Abstração de acessos ao ETCD ● Chamadas, modificações, leituras podem ser feitas com bibliotecas prontas do Kubernetes ou chamadas HTTP (e usar toda a Alta Disponibilidade que o ambiente tem) Guitar UI K8S
- 16. API Server Builder ● Build your own API Server - Bibliotecas em GO para a construção de uma nova API ● Aggregation layer - Você roteia um set de objetos para outra API Fonte: https://raw.githubusercontent.com/kubernetes-incubator/apiserver-builder/master/docs/concepts/extensionserver.jpg
- 18. Service Catalog ● Chamar uma outra API para determinados Workloads ● Padrão Open Service Broker ○ Azure, GCP, AWS, DIY ● Define Objetos que criam uma nova oferta de serviço, com o Broker e suas credenciais, a Classe, os planos disponíveis (gold, silver), e as instâncias
- 19. Demo - Service Catalog + GCP
- 20. Controllers
- 21. Apenas um para a mesma função deve existir
- 22. Controller / Cloud Controller Manager Controller ● Controla o estado dos objetos no Cluster ● Provisiona novos recursos em caso do estado estar NOK ○ Um ServiceAccount para um novo Namespace ○ Mais PODs para um ReplicaSet ○ Um novo Volume na GCE para ser disponibilizado como PV ○ Um novo LoadBalancer para um serviço
- 23. Exemplos de Controllers externos ● MetalLB - github.com/google/metallb ○ Verifica serviços do tipo ‘LoadBalancer’ e cria um balanceador BareMetal ● NGINX Ingress Controller - github.com/kubernetes/ingress-nginx ● Qualquer programa que fique ‘controlando’ os objetos na API e alterando seu Status
- 24. DEMO - METALLB e GUITAR CENTER (de novo!)
- 25. Topologia Guitar UI K8S MetalLB Controller Service LB Guitar Review Controller Lê guitarras (1) Dá reviews (2) Lê Services do tipo LB (1) Atribui IP físico (2) Lê IP e anuncia
- 26. Schedulers
- 29. Scheduler Scheduler ● Onde cabe cada workload? ● Taint / Affinity ○ Forçar um workload a rodar em um node ○ Forçar um workload a rodar junto ou separado de outros nodes ● Status “Pending”
- 30. Scheduler katz-scheduler API apiVersion: v1 kind: Pod metadata: name: nginx labels: app: nginx spec: schedulerName: katz-scheduler nodeName: null containers: - name: nginx image: nginx:1.10 Lê PODs
- 31. Scheduler katz-scheduler API apiVersion: v1 kind: Pod metadata: name: nginx labels: app: nginx spec: schedulerName: katz-scheduler nodeName: node123 containers: - name: nginx image: nginx:1.10 Aloca PODs
- 32. katz-scheduler while true; do for PODNAME in $(kubectl get pods -o json | jq '.items[] | select(.spec.schedulerName == "katz-scheduler") | select(.spec.nodeName == null) | .metadata.name' | tr -d '"'); do NODES=($(kubectl get nodes -o json | jq '.items[].metadata.name' | tr -d '"')) NUMNODES=${#NODES[@]} CHOSEN=${NODES[$[$RANDOM % $NUMNODES]]} curl --header "Content-Type:application/json" --request POST --data '{"apiVersion":"v1", "kind": "Binding", "metadata": {"name": "'$PODNAME'"}, "target": {"apiVersion": "v1", "kind": "Node", "name": "'$CHOSEN'"}}' http://SERVER/api/v1/namespaces/default/pods/$PODNAME/binding/ echo "Assigned $PODNAME to $CHOSEN" done sleep 1 done
- 33. Kubelet
- 34. Kubelet Kubelet ● Para Kubelets que lidam com containers: ○ CNI para estender rede ○ CSI para estender storage
- 35. Kubelet ETCD calicoctl K8s policy controller configurações kube-api Network policies (*) Objetosde regrasCalico Calico Node Calico Node Calico Node Configurações e regras de firewall (*) CNI Requisita IP, aloca rotas Network Policies
- 36. Kubelet Kubelet ● Para Kubelets que lidam com containers: ○ CNI para estender rede ○ CSI para estender storage ● E se eu quiser ter o meu próprio ‘Node’ que finge ser um kubelet? ● VIRTUAL KUBELET ○ Não confundir com projeto ‘kube-virt’
- 37. Virtual Kubelet Virtual Kubelet ● Finge ser um Kubelet ● Implementa interface para as principais funcionalidades de um Kubelet ○ Criar PODs ○ Ler ConfigMaps ○ Informar capacidade ○ Etc
- 38. Demo - AWS