As técnicas de TDD buscam garantir que, ao longo de sua evolução, um sistema continue atendendo a todos os seus requisitos e respeitando suas interfaces públicas. Entretanto, ao ser colocado em produção esse sistema vai depender de diversos serviços de infraestrutura, como rede, storage, caching e outros serviços e sistemas remotos. Como assegurar que essas dependências também estão respeitando as especificações originais? Nesta apresentação, mostramos a importância de realizar testes sobre a infraestrutura, desde os ambientes de desenvolvimento e QA até os ambientes de produção, aplicando os princípios do TDD a toda a cadeia de dependências de um sistema. Vamos também mostrar exemplos práticos com as ferramentas de testes usadas na Globo.com.

1. globo
.com
Test Driven
Infrastructure na
Globo.com
FernandoCaroloeRogérioSchneider
QConSãoPaulo2014

2. Quinta-feira
15:45

4. Uma turminha do
barulho aprontando
altas confusões
configurações

5. Tudo era feito à mão
!
!
PARTE 1

6. globo
.com
Configurar um servidor era tarefa manual
Instalar pacotes, editar arquivos
Alguns arquivos foram para um share NFS
/etc, /opt, /usr/local acertados manualmente
Trabalho repetido em vários hosts
ClusterSSH, Capistrano

7. globo
.com
Uma maneira melhor
Infraestrutura = código

8. globo
.com
Mesmos princípios
Controle de versão
Pair programming e revisão de código
Test driven development
Integração contínua

9. globo
.com
Ferramentas
Controle de versão
Automação
Máquinas virtuais
Integração contínua
Escolha as suas

10. globo
.com
Ferramentas que usamos
Controle de versão Git
Automação Kickstart, Puppet
Máquinas virtuais Vagrant
Integração contínua Jenkins
Não são as únicas

11. globo
.com
Kickstart
Instalação padronizada de SO
Imagens para boot via PXE
Apenas os pacotes básicos
Serviços essenciais (resolver, ntp, ldap)
Diferenças só por conta do hardware

12. globo
.com
Puppet
Configuração do host para um projeto
Pacotes de software
Arquivos de configuração
Controle do startup da máquina

13. globo
.com
Foreman
Front-end para o puppet master
Atribuição de papéis a cada host
Gerência de certificados do puppet
Status de cada host

14. globo
.com
Vagrant
Gerenciamento de máquinas virtuais
Criação de VMs por script
Compatível com Virtualbox, VMWare, etc
Ambiente completo no seu notebook

15. globo
.com
Jenkins
Integração contínua também para infra
Testes unitários nos módulos puppet
Montagem de ambientes com Vagrant
Instalação e testes do projeto

16. Aprendizado
!
!
PARTE 2

17. globo
.com
Puppet é funcional
Módulos descrevem o estado desejado
Pense em makefile, não em script
Dependências devem ser explícitas
Use requires e anchors
Desfazer é difícil
Usar ensure => absent fica confuso
Começar do zero é mais fácil

18. globo
.com
Unifique o código do seu projeto
Aplicação + módulos puppet
Versionamento em conjunto
Isole os parâmetros do código
Use defines separados ou hiera
Código legível é código bonito
puppet-lint

19. globo
.com
Separe os ambientes no Foreman
Versões para desenvolvimento, QA, produção
Cuidado com módulos compartilhados
Testes e eterna vigilância
Librarian-puppet pode ajudar
Decida como aplicar as mudanças
Use --onetime ao invés de rodar o agente
como daemon

20. Infraestrutura =
código dos outros
!
!
PARTE 3

21. globo
.com
Mudanças acontecem o tempo todo
Em outros lugares
Principalmente em produção
Nem tudo está do jeito desejado
Serviços externos, bases de dados,
servidores de arquivos, ACLs, etc
Precisamos de testes de aceitação

22. globo
.com
Nossa solução: TDI
Ferramenta para rodar testes sobre a infra
DNS, filesystem, HTTP, etc
Prática de TDD
Escreva o teste, rode, corrija os erros
Plano de teste num arquivo JSON
Pode ser gerado no build da aplicação
Ajustado ao papel de cada host
Torna-se teste de aceitação da infraestrutura

23. globo
.com
TDI
Ruby – gem install tdi
Open source (github)
Beta
Curta e compatilhe
Pull requests são bem-vindos

24. Demonstração
!
!
PARTE 4

25. globo
.com
Serviços externos via HTTP
URLs de serviços públicos na internet

26. globo
.com
{
"app": {
"desc": "Test service dependencies",
"http": {
"http://globoesporte.globo.com/healthcheck": {
"match": "WORKING"
},
"http://api.sde.globo.com": {
"code" : 301
},
"https://api.sde.globo.com": {
"code" : 401
},
"https://api.cartola.globo.com/mercado/status.json": {
"code" : 200
},
"https://api.cartola.globo.com/wrong-url": {
"code" : 200
}
}
}
}

27. globo
.com

28. globo
.com
Acessos de rede
Conexões em portas específicas

29. globo
.com
{
"app": {
"desc": "Test network connectivity",
"acl": {
"port": 80,
"www.globo.com": { },
"globoesporte.globo.com": { },
"g1.globo.com": { },
"www.example.com": {
"port": 9999
},
"localhost": {
"port": [22, 80, 65535]
}
}
}
}

30. globo
.com

31. Perguntas
!
!
FINAL

32. CRÉDITOS

33. globo
.com
Fernando Carolo
carolo@corp.globo.com
Rogério Schneider
rogerio.schneider@corp.globo.com
!
TDI
github.com/globocom/tdi
rubygems.org/gems/tdi

34. globo
.com
Kickstart
fedoraproject.org/wiki/Anaconda/Kickstart
Puppet
puppetlabs.com/puppet/puppet-open-source
Foreman
theforeman.org
Vagrant
www.vagrantup.com

35. Obrigado