Baixar para ler offline
Carregado porLappis UnB
Pipeline de deploy continuo (DevOps) de chatbot
O documento descreve a experiência e as práticas em CI/CD do autor, incluindo o uso de ferramentas como Docker, GitLab CI e Jenkins. Ele aborda a implementação de pipelines de automação, destacando estágios e tarefas, além de problemas enfrentados e soluções para otimização do processo. O autor também compartilha sua experiência em engenharia de software e data science em projetos recentes.
Pipeline de deploy continuo (DevOps) de chatbot
- 1.
- 2.
- 3. Quem sou eu? ●Engenharia de Software (UnB) ● LAPPIS há 2 anos ○ Desenvolvimento Back-End ○ Infraestrutura ○ DevOps
- 4. LAPPIS + Ministérioda Cidadania ● SALIC-ML ○ Apoio ao processo de análise de prestação de contas ○ Data Science em ambiente de produção ● Tais + BotFlow ○ Acesso à informação via assistente virtual ○ Validação e criação de modelos durante o pipeline CI
- 5. “Como levar, continuamente,um assistente virtual do markdown à produção?”
- 6.
- 7. Ferramentas ● Docker +DockerHub ○ Infraestrutura como código ○ Isolamento dos serviços ○ Distribuição facilitada ● GitLabCI ○ Integração Contínua ○ Registry Docker (temporário)
- 8. GitLabCI ● Plataforma deIntegração Contínua ○ Jenkins, TravisCI, CircleCI… ● Configuração via .gitlab-ci.yml ○ Stages ○ Jobs ○ Images ○ Scripts
- 9. GitLabCI ● Stages ouEtapas ○ Abstração de processos sequenciais ○ Compostos por jobs ○ Exemplos: ■ 1) Test Stage ● Linters (verificação da sintaxe) ● Unit test ■ 2) Deploy Stage ● Push to Heroku ● Push to AWS
- 10. GitLabCI ● Jobs ouTarefas ○ Abstração de processos paralelos ○ Ambiente definido por uma image ○ Ações definidas por scripts ○ Exemplos: ■ Push to Heroku ● Image: ubuntu:latest ● Script: ○ git push heroku master
- 11. GitLabCI ● Test Stage: ○check syntax: ■ Image: python:3.7 ■ Script: ● cd /myproject ● flake8 ● Deploy Stage: ○ deploy to heroku: ■ Image: ubuntu:latest ■ Script: ● cd /myproject ● ./deploy_heroku.sh
- 12.
- 13. Pipeline Tais V1 ●Stages e Jobs ○ build ■ build stable ■ build latest ○ deploy ■ deploy to development ■ deploy to production
- 14. Boa prática: usode variáveis de ambiente
- 15.
- 16. “Como rodar dockerdentro de um container docker?”
- 17.
- 18.
- 19.
- 20.
- 21. Pipeline Tais V2 ●Mudanças arquiteturais ○ Separação das imagens Docker ■ Requirements ● pip install … && apt install ... ■ Coach ● FROM requirements:latest ● Modelo treinado empacotado ■ Bot ● FROM coach ● Configurações de conexão do bot
- 22. Pipeline Tais V2 ●Mudanças no processo ○ Testes automatizados ■ Para testar, é preciso treinar ○ Validação do formato das utters, intents e stories ■ Similar a um linter
- 23. Pipeline Tais V2 ●Stages e Jobs ○ test style ■ Linter ○ validate format ■ Validação do formato do conteúdo ○ test stories ■ Testes automatizados ○ build requirements ○ build coach ○ build ○ deploy
- 24.
- 25.
- 26.
- 27. Para testar, énecessário buildar!
- 28. pipeline com ostestes
- 29.
- 30. Pipeline Tais V3 ●Otimização de pipeline ○ Start and Scaling Devops in the Enterprise (Gary Gruver) ■ Problemas no processo ● Gastos desnecessários ■ Problemas técnicos ● Implementação inadequada
- 31. Pipeline Tais V3 ●Otimização de pipeline ○ Start and Scaling Devops in the Enterprise (Gary Gruver) ■ Problemas no processo ● Gastos desnecessários ■ Problemas técnicos ● Implementação inadequada* * Possível implementação inadequada durante a resolução do problema
- 32. Pipeline Tais V3 ●Problema ○ As builds do coach e do bot estão sendo feitas duas vezes ● Pergunta ○ Como reaproveitar uma build em outro processo do pipeline?
- 33. Pipeline Tais V3 ●Problema ○ As builds do coach e do bot estão sendo feitas duas vezes ● Pergunta ○ Como reaproveitar uma build em outro processo do pipeline? ● Solução ○ Docker Registry
- 34. Pipeline Tais V3 ●Stages e jobs ○ build requirements ○ build temp images ○ test style ○ validate format ○ test stories ○ push ■ push coach ■ push bot ■ push web ○ deploy
- 35.
- 36.
- 37.
- 38. temp registry comtags por commit
- 39. pipeline otimizado push temppull temp pull temp pull temp pull/push
- 40.
- 41.
- 42. redução do tempode pipeline
- 43.