Ferramentas para infraestrutura ágil

Brasília/DF
2013-04-27
Ferramentas para infraestrutura ágil
Guto Carvalho
sexta-feira, 16 de agosto de 13

Ferramentas para infraestrutura ágil
Guto Carvalho
gutocarvalho@gmail.com

José Augusto (Guto) Carvalho
Consultor/SysAdmin/DevOp (LPIC-3 e PCP-201);
14 anos de experiência com TI e FOSS;
Blogueiro TI/FOSS há 10 anos no site gutocarvalho.net;
Atuação em vários projetos de Governo no MDA, MINC, EBC/RADIOBRÁS,
MPS/DATAPREV, ITI/PR, CAIXA, MD/SIPAM, DETRAN/DF;
Entusiasta DevOps (sysadmin em recuperação) desde 2010.
whoami
FOSS => Free and Open Source Software

Plano de Trabalho
40 minutos de demonstração
10 minutos para perguntas
Faça perguntas quando quiser
Slidedeck disponível em slideshare.com/gutocarvalho

Agenda
Gerência de conﬁgurações
Infraestrutura como código
Puppet como solução de gerência de conﬁgurações
Puppet arquitetura, funcionamento e recursos
Mcollective
Perguntas

Infraestrutura Ágil
Orquestração (mcollective)
Gerência de Conﬁgurações / Automático (puppet)
Provisionamento (vagrant/razor/foreman/puppet)

Administração de sistemas e serviços

Virtualização

Cloud Computing

Administração Manual

Administração Manual
Tarefas repetitivas
Não existem padrões
Não existem procedimentos

Cada sysadmin faz do seu jeito

Tarefas Repetitivas
Criação de usuários
Elaboração de scripts
Configuração de serviços
Configurações de monitoramento
Criação de imagens de ambientes
Configuração do sistema operacional
Instalação, atualização e remoção de pacotes

A medida que o parque aumenta
administrá-lo ﬁca mais complicado

Você vai percerber que...
Fica mais difícil identiﬁcar e corrigir problemas
Fica mais difícil manter ambientes complexos funcionando
Fica mais difícil manter seu parque padronizado
Sua produtividade diminui a media que o ambiente cresce
Sua capacidade de entrega não é mais a mesma
Você nunca chega em casa no mesmo horário
Você trabalha muitos ﬁnais de semana e madrugadas

Maior risco de falhas

Maior tempo gasto para
executar mudanças

Criação de
usuário
450 máquinas
3 minutos por máquina
1350 minutos ou 22,5 horas
450 trocas de senhas

Procedimento para criar usuário
Acessar o servidor por ssh
Se tornar root
Criar usuário
Especiﬁcar senha temporária
Especiﬁcar permissões no sudoers

Instalação de
agente de
monitoramento
450 máquinas
10 minutos por máquina
4500 minutos ou 75 horas
9 dias trabalhando 8 h.p.d

Procedimento para instalar zabbix
Acessar servidor via ssh
Adicionar repositório APT
Atualizar índices
Instalar pacote
Ajustar arquivo zabbix_agentd.conf
Reiniciar agente zabbix
Remover agente antigo (nagios).

Documentação inexistente

Não há rastreamento de mudanças

Você começa a ter a sensação de estar sendo
engolido por seu ambiente?

Como resolver
estes problemas?
Como obtenho controle e
padronização em meu
ambiente ?

Gerência de Conﬁgurações

Padronização

Automatização

Controle

Integridade

Agilidade nas mudanças

Puppet
Ferramenta de nova geração
que implementa gerência de
conﬁgurações para seu
ambiente.

Puppet em poucas palavras

Puppet em poucas palavras
Nos permite parar de administrar e começar a desenvolver nossa infra
Nos permite reaproveitar código para construir conﬁgurações
Oferece linguagem declarativa para criar conﬁgurações
Sintaxe simples, prática e natural para sysadmins
Oferece suporte a Linux, BDBs, OSX e Windows

Sobre a ferramenta

Sobre a ferramenta
Ferramenta Open Source - Apache License
Ferramenta mantida pela empresa Puppetlabs
Empresa oferece suporte e versão enterprise
Criado por Luke Kaines (CEO e Fundador Puppetlabs)
Cases de uso com gandes players (HP, CISCO, VMWARE...)
Recebeu pesados investimentos

Feito por um SysAdmin para SysAdmins

Desenhada para uso DevOps

Visão DevOps

Tech Specs

Tech Specs
Escrito em Ruby
Extensível usando código Ruby
Funciona em modo autônomo (serverless)
Funciona em modo cliente.servidor
Usa RESTful API
Oferece comunicação segura com uso de certiﬁcados digitais

Cases Puppet Enterprise

Arquitetura
Como funciona o Puppet?

Resource Abstraction Layer
(RAL)

Camada de Abstração de Recursos
Fale o que você quer que seja feito
Não se preocupe em como será feito
O Puppet sabe como fazer

Instale Pacote X

Remova usuário Z

(Re)inicie serviço Y

Tratamento de
Informações
O grande diferencial do Puppet
é a forma como ele trata as
informações de seus nodes

Tratamento de informações

Tratamento de informações
No Puppet tudo é modelado e tratado como ‘dados’
O estado atual de um node (servidor) é um dado
Um pacote instalado em um node é um dado
Um usuário em um servidor é um dado

Os dados são inseridos em
catálogos pelo master
O catálogo é processado pelo node e as modiﬁcações
são aplicadas de acordo com o que foi declarado.

Processamento
do Catálogo
1) Agente Requisita Catálogo
1.1) Agente envia Fatos para Master
2) Master Processa Fatos e Compara
2.1) Master Produz e envia Catálogo
3) Node Recebe, Compara e Aplica
4) Node informa estado atual ao Master
5) Sistema reﬂete catálogo

Idempotência

Conﬁgurações
Voláteis e Dados
Puppet
Master
Módulos Estáticos
Visão ampla do Puppet
LDAP DNS MONIT SYSLOG
JBOSS APACHE MYSQL PGSQL
Puppet Agents
Camada de Aplicação
Camada de Serviços Estruturantes

Você pode fazer deploy de sua APP
Você pode controlar a versão de sua APP

Como funciona o modo cliente/servidor?

Modo Cliente/Servidor
O agente gera um certiﬁcado digital
O master precisa autorizar o certiﬁcado
Sem autorização o agente não pode se comunicar
Toda a comunicação entre agente e master é segura

Puppet Visão em Rede
Puppet Master
Puppet Client
8140 TCP
Client
puppetd -t
8139 TCP
Server
puppetrun
SSL

Fluxo Cliente/Servidor
Instalação do
node

Instalação do
node
Inicialização
do puppet

Instalação do
node
Geração de
Certiﬁcado
Inicialização
do puppet

Instalação do
node
Geração de
Certiﬁcado
Envio de
Certiﬁcado
Inicialização
do puppet

Instalação do
node
Geração de
Certificado
Master Assina
Certificado
Envio de
Certificado
Inicialização
do puppet

Instalação do
node
Geração de
Certificado
Agente
Sincroniza
Master Assina
Certificado
Envio de
Certificado
Inicialização
do puppet

Instalação do
node
Geração de
Certificado
Agente
Sincroniza
Master Assina
Certificado
Envio de
Certificado
Inicialização
do puppet
Modalidades de Assinatura de Certificado
Assinatura pode ser manual
Assinatura pode ser automática por domínio
Assinatura pode ser automática em qualquer requisição

O agente se comunica com o
master a cada N minutos

Quais recursos estão disponíveis?

Recursos do Puppet
Resource Types
Parâmetros e Meta-parâmetros
Templates e Deﬁnições
Classes e Módulos
Funções e Condicionais

Puppet Resource Types
Arquivos e Diretórios
Usuários
Alias
Pacotes
Serviços
Yum Repos
Augeas
Hosts
SSH
Cron
O puppet oferece 38 tipos de recursos nativos, e você pode estendê-lo.

Resource Type: Packages
Suporte a 23 tipos de
provedores de pacotes
Faz a abstração do OS
Declare se o pacote deve estar
presente ou ausente
Declare se o pacote deve
sempre estar em sua última
versão

Resource Type: Services
Suporta 11 tipos de sistemas
INIT para inicializar serviços
Declare se um serviço deve
estar sempre rodando
Declare se um serviço deve ser
carregado no boot
Declare se um serviço depende
de um pacote ou arquivo

Resource Type: File
Especiﬁque permissões e
owners
Declare arquivos,
diretórios e links
Controle de mudanças
usando até 15 tipos de
checksums

Exemplos

Instala, Conﬁgura e Inicia
# aptitude install apache2
# update-rc.d -f apache2 defaults
# cp ~/httpd.conf /etc/apache2/
# invoke-rc.d apache2 start
debian-way

package { 'apache2':
ensure => present,
}

service { 'apache2':
ensure => running,
enable => true,
}
ﬁle { 'httpd.conf':
path => “/etc/apache2/httpd.conf”,
source => “/etc/puppet/ﬁles/httpd.conf”,
}

package { 'apache2':
ensure => present,
}

service { 'apache2':
ensure => running,
enable => true,
}
ﬁle { 'httpd.conf':
path => “/etc/apache2/httpd.conf”,
source => “/etc/puppet/ﬁles/httpd.conf”,
}
resource type
parameter
title
value

Base Class
class linux-server {
include sysadmin-utils
include zabbix-agent
include ntpconf
include locales
include hosts
include users
include localmta
include vimrc
include backup-agent
include apt-repos
}

Declarando um node
node “servidor.dominio” {
include linux-server
include module
}
node “balancer.dominio” {
include linux-server
include cyrus::backend
include postﬁx::hub
include haproxy::mailproxy
}

Variáveis e Fatos
Fatos (facter)
vimpackage => vim-puppet,
apacheservice => apache2,
ntpconfrhel => ntp.conf.rhel,
Variáveisdomain
fqdn
hostname
interfaces
ipaddress_eth0
ipaddress_eth1
ipaddress_lo
lsbdistid
lsbdistrelease
=> hacklab,
=> puppetmaster.hacklab,
=> puppetmaster,
=> eth0,eth1,lo,
=> 10.0.2.15,
=> 192.168.56.150,
=> 127.0.0.1,
=> debian,
=> 6.0.5,

Condicionais
case $operatingsystem {
CentOS,RedHat: {
$package_name = 'ntp',
$service_name = 'ntpd',
$conf_ﬁle = 'ntp.conf.el',
}
Debian,Ubuntu: {
$package_name = 'ntp',
$service_name = 'ntp',
$conf_ﬁle = 'ntp.conf.debian',
}
}
....

Deﬁnições
proxy::squid { 'ProxyFilial' :
http_port
squid_mode
squid_hostname
cache_mem
maximum_object_size_in_memory
maximum_object_size
memory_replacement_policy
cache_replacement_policy
cache_dir
cache_mgr
cache_effective_user
cache_effective_group
dns_nameservers
ips_squid
}
=> '3128',
=> 'transparent',
=> 'proxy.4linux',
=> '2 GB',
=> '6 MB',
=> '128 MB',
=> 'heap GDSF',
=> 'heap LFUDA',
=> 'aufs /var/spool/squid 1024 16 256',
=> 'monitora@4linux.com.br',
=> 'proxy',
=> 'proxy',
=> '127.0.0.1 10.61.12.2 172.16.1.1',
=> '127.0.0.1 192.168.12.3',

Templates
myorigin = <%= hostname %>
mydestination = $myhostname, ..., localhost, <%= fqdn %>
Trecho do template postﬁx/main.cf
myorigin = servidor.dominio
mydestination = $myhostname, ..., localhost, servidor.dominio
Substituição de variáveis por fatos

Como acompanho mudanças?

Puppet Dashboard

Posso fazer mudanças em
tempo real? (orquestração)

Marionette Collective
Orquestrador de nodes
Execução de Tarefas Paralelas
Interação com centenas de nodes
Inventário descentralizado
Leitura de meta-dados do Puppet
Similar a Fabric e Capistrano

Posso provisionar VMs/Instâncias?

Ferramentas de Provisionamento
Puppet/Chef/Ansible
Foreman
Vagrant
Razor
Sprinkle

Qual o resultado concreto?

Documentação Instantânea

Processos bem deﬁnidos

Ambiente Padronizado

Restore e backup de mudanças

Tarefas Automatizadas

Benefícios Reais
Maior produtividade em menor tempo
Poucos sysadmins para muitos nodes
Diminuição de falhas humanas
Maior controle de todo o seu parque
Diminuição do tempo gasto em mudanças
Diminuição do custo de manutenção
Você chegará cedo em casa e suas madrugas e ﬁnais de semana serão seus

Comparando
Ambiente com 450 nodesAmbiente com 450 nodesAmbiente com 450 nodes
modo manual puppet
instalando zabbix 75 horas 10 minutos
criando usuário 22 horas 10 minutos

Tecnologia trabalhando para você

Boas Práticas

Insira o puppet nos templates
de seu hypervisor

Use o puppet para executar e
controlar mudanças em seu parque

Para de administrar e comece a
desenvolver a sua infraestrutura

Nova demanda? Já execute utilizando o Puppet,
escreva classes e módulos para que você só tenha
que fazer isto 1 vez e reaproveitar o código depois.

Versione as conﬁgurações (git)
criadas no Puppet.

Reaproveite código, escreva seus módulos
da forma mais ﬂexível possível.

Não precisa começar do zero, use
módulo prontos do GitHub e
PuppetForge.

Pesquise, há muita informação
sobre puppet na rede!

Puppet em números
727 pessoas online no canal
#puppet da irc.freenode.net
8.500 repositórios no GitHub
450 módulos no PuppetForge
4457 usuários ativos na lista
puppet-users com 7795 tópicos de
discussão
Dados coletados em 2012-08-06 às 10:34 PM

Puppet Labs

Site/Blog
http://www.puppetlabs.com
http://www.puppetlabs.com/blog/
http://puppet-br.org/
Twitter
@puppetlabs
GitHub
http://www.github.com/puppelabs
Puppet na rede
Google Groups
Puppet-camp,
puppet-users,
puppet-users-br,
puppet-dev
IRC
irc.freenode.org
#puppet
#puppet-br

Perguntas?

Obrigado!
Linkedin: http://br.linkedin.com/in/gutocarv
E-mail: gutocarvalho@gmail.com
Contato
Slides: slideshare.net/gutocarvalho
Blog: gutocarvalho.net
Twitter: @gutocarvalho

Ferramentas para infraestrutura ágil

Mais conteúdo relacionado

Mais procurados

Destaque

Semelhante a Ferramentas para infraestrutura ágil

Mais de Jose Augusto Carvalho

Ferramentas para infraestrutura ágil