O documento descreve o desenvolvimento do Rocket-engine, uma ferramenta para executar testes de forma automatizada e distribuída em várias máquinas. Inicialmente os testes eram executados manualmente 1x por semana, demorando 1-2 dias e reduzindo a produtividade da equipe. O Rocket-engine permitiu distribuir os testes em diferentes máquinas, reduzindo o tempo de build para 2h e permitindo executar testes várias vezes ao dia, aumentando a produtividade e qualidade.

2. Café + Código
Rocket-engine
Danilo De Luca
Francisco Portillo

3. Histórico da
situação do projeto

4. Nossos testes
Selenium+Integração
1090 10h
80% core business coberto

5. Nossos testes
Selenium+Integração Unitários
1090 10h 410 9min
80% core business coberto 3% core business coberto

6. Nossos testes
Selenium+Integração Unitários
1090 10h 410 9min
1 ou mais versões toda semana
80% core business coberto 3% core business coberto

7. Execução manual…

8. Demorava….
- 1 a 2 dias boa parte da equipe executando os testes
durante na semana
- Causava mau humor na equipe
- Em 1 semana boa, conseguíamos ter 3 dias de
desenvolvimento
- Testes eram executados 1x por semana

9. Iniciativas
MyContainer Grid
Rodar vários containers numa mesma máquina - Escalabilidade vertical
Testes rodaram em 15min, porém com falsos negativos/positivos e resultados
intermitentes

10. Iniciativas
MyContainer Grid
Rodar vários containers numa mesma máquina - Escalabilidade vertical
Testes rodaram em 15min, porém com falsos negativos/positivos e resultados
intermitentes
Problemas encontrados
Código do MyContainer Grid ficou muito desatualizado muito rápido, não
conseguimos fazer o merge da branch atualizada.
Na máquina mais rápida da época no EC2:
- 32 processadores físicos
- 64Gb+ RAM
Custo alto por hora($$)
Mostrou mais de 100% de utilização de CPU para algumas instâncias

11. Rocket-engine
Como surgiu?

12. Por que não
automatizar o
processo manual tal
como já era feito?

13. Tests distribuídos

14. Tests distribuídos
Distribuição do código entre as máquinas da Dextra

15. Tests distribuídos
Distribuição do código entre as máquinas da Dextra
Estilo Map-Reduce

16. Tests distribuídos
Distribuição do código entre as máquinas da Dextra
Estilo Map-Reduce
Display over ssh

17. Tests distribuídos
Distribuição do código entre as máquinas da Dextra
Estilo Map-Reduce
Display over ssh
Agregação de resultados ao final de cada parte

18. Tests distribuídos
Map Map
Results
Map Map
Results Results
Results

19. Primeiras versões
Divisão simples de suítes por máquinas, verificamos
que algumas máquinas ficavam ociosas
Identificamos que existiam vários testes
intermitentes 75-80% de sucesso

20. Resultados
Recuperação de 20 a 30% da produtividade do time
Recuperação do humor do time às segundas e terças
feiras o/
Escalabilidade horizontal
Build todo dia, mais de 1x ao dia o/

21. Resultados
Build time 2h em 4 máquinas
10h boa parte do time alocado
(ninguém alocado)

22. Resultados
Build time 2h em 4 máquinas
10h boa parte do time alocado
(ninguém alocado)
False negatives
75% success 99% success

23. Resultados
Build time 2h em 4 máquinas
10h boa parte do time alocado
(ninguém alocado)
False negatives
75% success 99% success
Build 10x ao dia
Segurança para mudar ou criar novas features

24. Resultados
Selenium+Integração Unitários
1090 1350 410
1920
80% core business coberto 19% core business coberto

25. Melhorias
Adaptações para ser utilizável para
outros projetos
Inclusão de novas máquinas em tempo
de build (testing)

26. Melhorias no SOCC
Aumento da granularidade nas suítes
de testes
100% success, atualmente estamos
em 99%