Baixar para ler offline
Carregado porFIBRE Testbed
WPEIF 2019 - Evolução do testbed FIBRE
O documento descreve as evoluções recentes e planos futuros do testbed FIBRE, incluindo: 1) A adoção de um novo framework de controle baseado no OMF-6; 2) O desenvolvimento de um novo portal de experimentação; 3) A migração para uma nova rede virtualizada com switches de software.
WPEIF 2019 - Evolução do testbed FIBRE
- 1. Evolução do testbedFIBRE Gustavo Hermínio de Araújo, Marcos Felipe Schwarz, Luiz Eduardo Folly de Campos, Leandro Neumann Ciuffo, Michael Prieto Hernandez, Gustavo Neves Dias RNP Rede Nacional de Ensino e Pesquisa WPEIF 2019 - Workshop de Pesquisa Experimental da Internet do Futuro
- 2. 2 Evolução do testbedFIBRE • Framework de Controle • Portal de Experimentação • Backbone FIBREnet • Automação DevOps • FIBRE in-a-box • Indústria 4.0
- 3. 3 2018 Novo Framework deControle ̶ Baseado no OMF-6 (ORBIT Management Framework) ̶ Substituiu o antigo OCF 2017 2019 Planejamento Desenvolvimento 2016 Operação Implantação OMF-6
- 4. 4 OMF6 – Vantagens ̶Arquitetura Modular ̶ Facilidade de inclusão de novos recursos ̶ Gerenciamento efetivo centralizado ̶ Automação de experimentos ̶ Permissionamento de usuários
- 5.
- 6. 6 Ciclo de vidade um Recurso 6 Novo Recurso instalado UFPE - - - - - - - - - - - - - - - - - - UFBA - - - - - - - - - - - - - - - - - -
- 7. 7 Portal de Experimentação ̶100% desenvolvido pela equipe FIBRE ̶ Permite criar Projetos ̶ Criar experimentos (slices) ̶ Reservar recursos por um período específico ̶ Ativar e controlar os recursos ̶ Acessar a console quando aplicável ̶ Criar usuários, grupos e delegar permissões
- 8.
- 9. 9 Portal – Autenticaçãoe Permissões
- 10.
- 11. 11 Portal – Criandoum projeto
- 12. 12 Portal – Criandoum projeto
- 13. 13 Portal – Membrosdo projeto
- 14. 14 Portal – Criandoum experimento
- 15. 15 Portal – Criandoum experimento
- 16.
- 17.
- 18. 18 Portal – Topologiada rede
- 19. 19 Portal – Ediçãoda Topologia
- 20.
- 21. 21 Portal – Reservados Recursos
- 22. 22 Portal – Reservados Recursos
- 23. 23 OMF6 – Reservados Recursos 23
- 24. 24 Portal – Scriptsde Experimentação
- 25. 25 Portal – Execuçãode Script 25
- 26. 26 Portal – Execuçãode Script
- 27. 27 Portal – Scriptde Desativação
- 28. 28 Portal – Acessoà Console
- 29. 29 Portal – Acessoà Console
- 30.
- 31. 31 FIBREnet – Planode Dados 31 ̶ 10 Switches SDN openflow ̶ 15 enlaces de 1G no backbone para o Plano de Dados ̶ 1 VPLS de 1G para o Plano de Controle
- 32. 32 FIBREnet – Obstáculos ̶Vazão limitada a 1Gbps fisicamente ̶ Falta de suporte a OpenFlow 1.3 ̶ Firmware dos equipamentos sem horizonte de evolução previsto
- 33. 33 FIBREnet – Solução ̶SDN Overlay (IDS): • Hardware Aberto - Switches Whitebox • Software Aberto: • SO Linux – Fedora 27 • Aceleração de processamento de pacotes – DPDK (Intel) • Switches virtuais – Open vSwitch • Orquestração de redes virtuais – Portal SOLO
- 34. 34 FIBREnet – Migração Ilhade experimentação Datacom OpenFlow switch switches OpenFlow VM Server Instituição de ensino e pesquisa Top of Rack switch Bckbone Nós sem fio Supermicro SuperServer Whitebox PoP RNP FIBREnet
- 35. 35 FIBREnet – Migração Ilhade experimentação Datacom OpenFlow switch switches OpenFlow VM Server Instituição de ensino e pesquisa Top of Rack switch Bckbone Nós sem fio Supermicro SuperServer Whitebox Replica em Open vSwitch PoP RNP FIBREnet
- 36. 36 FIBREnet – Migração Ilhade experimentação switches OpenFlow VM Server Instituição de ensino e pesquisa PoP RNP Top of Rack switch Bckbone Nós sem fio FIBREnet Datacom OpenFlow switch Supermicro SuperServer Whitebox Replica em Open vSwitch
- 37. 37 FIBREnet – Migração Ilhade experimentação switches OpenFlow VM Server Instituição de ensino e pesquisa PoP RNP Top of Rack switch Bckbone Nós sem fio FIBREnet Datacom OpenFlow switch Supermicro SuperServer Whitebox Replica em Open vSwitch
- 38. 38 FIBREnet – Migração Ilhade experimentação switches OpenFlow VM Server Instituição de ensino e pesquisa PoP RNP Top of Rack switch Bckbone Nós sem fio FIBREnet Datacom OpenFlow switch Supermicro SuperServer Whitebox Replica em Open vSwitch
- 39.
- 40. 40 FIBREnet - NovaArquitetura ̶ Interfaces de 10Gbps ̶ Encaminhamento próximo ao de switches tradicionais, com menor custo ̶ Suporte a OpenFlow 1.0 a 1.5 ̶ Maior flexibilidade para topologias advinda da virtualização de redes ̶ Herança de roadmap Open vSwitch
- 41.
- 42. 42 Automação - Procedimentos ̶Capacitação prévia de operadores ̶ Instalação da pilha de software ̶ Documentação ̶ Capacitação de operação e manutenção ̶ Inclusão de novas funcionalidades
- 43. 43 Automação - Frentesde trabalho ̶ Máquinas físicas (baremetal) ̶ Configuração de hosts e aplicações ̶ Conteinerização ̶ Integração e entrega contínua (CI/CD)
- 44. 44 Máquinas Físicas ̶ Operaçãoremota e automatizada ̶ Acesso remoto ao terminal ̶ Controle de energia e reset ̶ Instalação do SO remotamente
- 45. 45 Máquinas Físicas MAAS: ̶ Facilidadede uso ̶ Rico em funcionalidades ̶ Discovery, registro e ciclo de vida de servidores BareMetal ̶ Cobre todos os servidores e whiteboxes do FIBRE ̶ 1 MAAS por PoP, para instalações a atualizações
- 46. 46 Gerência de configuração AmbienteFIBRE via Ansible ̶ Rápida assimilação ̶ Suporta NEs de rede e servidores ̶ Arquitetura “Agentless” ̶ Execução de tarefas em receitas reprodutíveis (Playbooks) ̶ Personalização via Modelos e Parâmetros ̶ Instalações, atualizações e recuperações
- 47. 47 Conteinerização Docker ̶ Substituição deVMs por Conteineres Docker ̶ Redução no consumo de recursos ̶ Infraestrutura imutável ̶ Agilidade e confiabilidade em mudanças ̶ Orquestração via Kubernetes ̶ Auto-regeneração via Kubernetes ̶ Alta disponibilidade via Kubernetes
- 48. 48 Integração e entregacontínua (CI/CD) ̶ Evitar retrabalhos em conflitos de “merges” ̶ Agilidade para novas funcionalidades ̶ Descoberta rápida de bugs ̶ Implementação ágil de atualizações críticas ̶ Base para futura instalação contínua
- 49. 49 Integração e entregacontínua (CI/CD) ̶ GitLab: controle de versão de código ̶ Jenkins: automação e orquestração do processo de CI/CD ̶ Nexus: repositórios para os artefatos de software e configurações ̶ SonnarQube: qualidade do código via análise e teste de execução ̶ Ansible: implantação em ambiente de homologação para validação final
- 50.
- 51. 51 FIBRE in-a-box /FIBRE in-a-laptop ̶ FIBRE versão “portátil” ̶ Ilha mínima + Framework + Portal ̶ Recursos virtualizados ̶ Nós de computação em containeres ̶ Rede emulada ̶ Recursos dedicados ̶ Sem autenticação ̶ Salvar e Exportar Switches OpenFlow VMs Server Switch ToR Nós sem fio
- 52. 52 Sinergias – FIBRE2.0 (As-Is) Instituição 3 Instituição 16 Abordagem BYOR Hardware Heterogêneo Instituição 1 Instituição 2 Internet Pública Servidor VMs Switch OpenFlow APs Wi-Fi Usuários: Pesquisadores e Estudantes ... Rede isolada Descrição do Experimento (Script OEDL) Loren ipson nono Loren ipson nono oren ipson nono Portal de Experimentação Link L2 UE Link L2 EUA
- 53. 53 Sinergias – 2019-2020Roadmap Instituição 1 Instituição 2 Instituição 3 Instituição N Internet Pública Portal de Experimentação Repositório de Experimentos (Marketplace OEDL) Sensores IoT Kit SDR ... Link L2 EUA Link L2 UE testbed CloudNEXT (servidores bare-metal) Usuários: Pesquisadores e Estudantes e PMEs Nuvem RNP Rede isolada Topologia customizável (full networking slicing) Descrição do Experimento (Script OEDL) Loren ipson nono Loren ipson nono oren ipson nono Servidor VMs Switch OpenFlow APs Wi-Fi
- 54. 54 Sinergias – FIBRE“2.1” ̶ Aplicações Distribuídas • FUTEBOL • http://www.ict-futebol.org.br ̶ Infraestruturas de Cloud • CloudNext • http://cloudlab-barsil.rnp.br/testbed ̶ Infraestruturas de IoT • Ind4FIBRE
- 55. 55 Ind4FIBRE – Indústria4.0 ̶ Motivação • Fomento de tecnologias para a Industria 4.0 ̶ Coordenação • INESC P&D Brasil ̶ Financiamento • ABDI - Agência Brasileira de Desenvolvimento Industrial ̶ Objetivo • Experimentação em ambiente real em IoT para a indústria
- 56. 56 Ind4FIBRE – NovasIlhas Roteadores Wi-Fi Máquinas Virtuais e Switches programáveis UFPE UFES UFFUFRJCPqD USP UFSCar RNP UFG UFPA UFMG UFRGS UNIFACS UFBA UFU PUC-RS SC UFSC Sensores para Industria 4.0 - Laboratório de Robótica (LAR) - Laboratório de Engenharia de Sistemas (LABESys) - Ambiente de Simulação
- 57. 57 Ind4FIBRE – Arquitetura PortalFIBRE Sensores e atuadores instalados na UFSC Sensores e atuadores instalados na UFBA Repositório de dados coletados pelos sensores, em cada experimento Software FlexSim consome os dados para gerar simulações Rede FIBRE
- 58. 58 Ind4FIBRE – Desenvolvimento ̶1 vaga para Desenvolvedor de RC ̶ Bolsa para doutorando ou mestrando ̶ Integração dos recursos do Ind4FIBRE ̶ Atuação remota com eventuais viagens ̶ Inscrições até 15/05/19 pelo link: http://programadebolsas.inescbrasil.org.br/index.php/pt/
- 59. 59 Conclusão • Novo Frameworkde Controle • Novo Portal de Experimentação • Novo Backbone FIBREnet • Iniciativas de Automação DevOps • Futuro FIBRE in-a-box • Sinergia Indústria 4.0
- 60. • Aberto paratoda a comunidade acadêmica • www.fibre.org.br • portal.fibre.org.br • www.facebook.com/fibre.testbed • info@fibre.org.br 4º Workshop do testbed FIBRE e CloudNEXT Para conhecer mais
- 61. Obrigado! 61 Luiz Eduardo Follyde Campos Diretoria de Pesquisa e Desenvolvimento – RNP luiz.campos@rnp.br
Notas do Editor
- #2 Boa tarde a todos, eu sou o Luiz Eduardo Folly, trabalho na equipe de Pesquisa e Desenvolvimento da RNP, e estou diretamente envolvido com o FIBRE, que é um projeto de experimentação em Redes e Sistemas Distribuídos.
- #3 - No ano passado, fizemos uma apresentação sobre o Backbone do testbed FIBRE, a FIBREnet. E falamos sobre as grandes mudanças que estávamos planejando para o Backbone. Desde aquela época, não só a FIBREnet tem passado por grandes mudanças, mas o testbed como um todo tem passado por uma grande evolução, rumo a um estado de evolução contínua, como parte da nossa estratégia de manter um testbed atualizado e alinhado com as demandas de pesquisas em Internet do Futuro. Então esse ano nós iremos falar do testbed como um todo, de evoluções feitas desde o WPEIF passado, as que estão em andamento e tb algo da nossa visão de futuro, dentro dos tópicos:
- #4 - A principal evolução, e a mais visível para o usuário, foi a mudança do antigo Framework baseado no OCF (Ofelia Control Framework), para um novo framework baseada no OMF6 (ORBIT Management Framework). - Entende-se por framework , toda a pilha de software que conecta portal de experimentação aos recursos nas ilhas,q são utilizados nos experimentos. - O OMF 6 teve seu planejamento entre 2017-01 a 2017-06, foi desenvolvido de 2017-07 a 2018-06, e foi implantado entre 2018-07 a 2018-12
- #5 De início, o OMF6 já oferece algumas vantagens em relação ao OCF: Arquitetura modular, facilitando o desenvolvimento de novas funcionalidades Inclusão de novos componentes – o OCF foi desenvolvido pensando em controlar sws OF, e para adicionar novos recursos era necessário alterar o código principal, sem abstrações adequadas. O OMF6 já é preparado para o desenvolvimento de controladores de recursos e pluga-los à arquitetura, controlando-os através de comandos em scripts. Gerenciamento centralizado – No OCF havia uma falta de definição sobre experimentos locais serem feitos via portal local ou geral, alguns experimentadores entravam no portal local esperando ver os recursos de outras ilhas, etc, o que gerava confusão. Já o OMF6 tem um agregador único para os experimentos, e adicionalmente foi definido fazer apenas um portal único geral. Automação de experimentos – OMF6 permite o uso de scripts para automação, e estamos usando o OEDL. O novo framework tb permite maior granularidade de permissões em experimentos
- #6 Uma parte instalada e mantida por cada ilha, e uma parte global no NOC. Broker local q faz o cadastro dos recursos, RCs locais Recursos, que podem ser Máquinas Virtuais, Switches Openflow, Nós sem fio, Sensores, etc. No nível global temos o Broker Central e consolida toda a infra de recursos disponíveis, o controlador de experimentos A clearing House que controla permissões dos usuários e portal que foi desenvolvido pela nossa equipe como o novo front-end do testbed, que se conecta tb com a rede café para autenticação.
- #7 Primeiro a ilha cadastra o recurso no Broker Local, que repassa essa informação ao Broker Central via uma API REST, a SFA AM. Essa API é um protocolo de alocação de recursos, desenvolvida pelo testbed GENI, e q tb é usada no Fed4FIRE, uma federação de testbeds, como um protocolo de alocação de recursos. Cada ilha pode inclusive desenvolver um RC local para um novo recurso, instalá-lo localmente e disponibilizar esse recurso para uso de todo o testbed. A partir desse momento o novo recurso fica disponível para uso dos usuários junto aos ouros recursos de todo o testbed.
- #8 Como o usuario utiiza o recurso? O novo portal foi totalmente desenvolvido pela equipe do FIBRE, e nele é possível: - criar projetos - reservar recursos de experimentação - ativar o uso dos recursos - acessar a console dos equipamentos quando aplicável - criar usuários, criar grupos de usuários, delegar permissões a usuários
- #9 - O usuário pode se autenticar no portal através da rede CAFe, ou, caso ele não tenha um usuário na rede café, pode também usar um usuário criado no próprio portal.
- #10 - Após a autenticação, ele recebe as permissões de seu usuário através da Clearing House. Atualmente temos 2 tipos de usuário: 1) um usuário padrão, q pode apenas executar experimentos. 1) e um usuário completo, que pode criar grupos de usuários, projetos e experimentos Como exemplo, um professor pode ser um usuário completo, criar um grupo, alguns experimentos, e adicionar seus alunos a um projeto, como usuários restritos, para executarem os experimentos como num laboratório.
- #22 O usuário marca o período de reserva dos recursos Isso quer dizer q os recursos estarão disponíveis para serem utilizados neste período.
- #24 Quando o usuário faz a reserva de recursos, o Broker Central aciona os brokers locais e reserva os recursos do experimento por aquele período de tempo. - Isso não quer dizer q os recursos estarão ativos, mas apenas reservados. Por ex, uma VM não estará up, mas os recursos q ela precisa estarão alocados para quando ela estiver up.
- #25 O usuário então é apresentado aos scripts de experimento, em uma linguagem própria chamada OEDL (OMF Experiment Description Language). Cada experimento já vem configurado com 2 scripts por padrão, um para iniciar os recursos e outro para desativar os recursos. O usuário pode fazer novos scripts e eles podem ser executados para controlar o comportamento dos recursos durante o experimento. Podem ser feitos e usados vários scripts no mesmo de experimento, e pode ser executado mais de um script ao mesmo tempo. O usuário então descreve o seu experimento em uma linguagem específica (Domain Specific Language) chamada OEDL. Os scripts OEDL padrão já vêm com o controlador Ryu configurado com app de simple L2 switch.O usuário pode isntalar outros controladores ou alterar o script para que o slice aponte para um controlador externo em ip publico.
- #26 Quando o usuário manda executar um script, o Portal envia o script para o Controlador de experimentos, que o executa e então entra em contato com os RCs que controlarão os recursos diretamente. Essa comunicação é feita através do AMQP, protocolo de comunicação push/subscribe.
- #30 - Ficou muito mais intuitivo
- #31 O backbone do FIBRE é uma rede SDN sobreposta ao backbone que interconecta as ilhas, chamada FIBREnet
- #32 , e ao fim de 2017 era composta de: 2017: 10 Switches SDN Openflow 15 enlaces de backbone de 1G para o Plano de dados 1 VPLS de 1G para o plano de controle
- #33 A arquitetura original tinha algumas limitações, que não atendiam aos nossos requisitos para evolução do testebed: - Vazão limitada a 1Gbps (apenas interfaces 1Gbps nos NEs) - Suporte a apenas OpenFlow 1.0 - Firmware sem roadmap com novas funcionalidades
- #34 Foi planejada e desenvolvida uma nova arquitetura para a FIBREnet, chamada de SDN Overlay, q seria tb uma rede SDN overlay sobre o bb RNP. A solução compreende 3 partes principais: - Hardware de padrão conhecido e aberto (os chamados whiteboxes) - Código aberto: -- SO Linux -- aceleração de pacotes DPDK -- switches virtuais OpenvSwitch) - Software para orquestraçaõ de redes virtuais em cima dessa infraestrutura - SOLO
- #35 Essa solução foi viabilizada através do projeto IDS, q teve uma demo nesse WRNP, e o FIBRE ficou sendo então o primeiro e principal cliente dessa rede, inclusive com interfaces dedicadas para o projeto.
- #36 Essa solução foi viabilizada através do projeto IDS, q teve uma demo nesse WRNP, e o FIBRE ficou sendo então o primeiro e principal cliente dessa rede, inclusive com interfaces dedicadas para o projeto.
- #37 Essa solução foi viabilizada através do projeto IDS, q teve uma demo nesse WRNP, e o FIBRE ficou sendo então o primeiro e principal cliente dessa rede, inclusive com interfaces dedicadas para o projeto.
- #38 Essa solução foi viabilizada através do projeto IDS, q teve uma demo nesse WRNP, e o FIBRE ficou sendo então o primeiro e principal cliente dessa rede, inclusive com interfaces dedicadas para o projeto.
- #40 O OMF6 instancia experimentos sobre a rede virtual Open vSwitch interligados por links do backbone RNP.
- #41 - O que ganhamos com essa evolução
- #42 - Atualmente a equipe do FIBRE lida com um grande numero de equipamentos, são mais de 100 NEs em diferentes categorias, netfpga, swof, sws tor, servidores de virtualização, servidores, perfsonar.
- #43 E tb com vários procedimentos para manutenção e crescimento do testbed A equipe tem pensado em algumas estratégias de automação para diminuir esforços nestes pontos e focar os esforços no uso e manutenção em sí do testbed.
- #44 Foram pensados ações de automação em 4 frentes: Máquinas físicas (baremetal); Configuração Conteinerização Integração e entrega contínua (CI/CD)
- #45 4) Máquinas físicas (baremetal) - operação remota e automatizada: - acesso remoto ao terminal - controle de energia e reset - Instalação do SO
- #46 MAAS: - Facilidade de uso - Rico em funcionalidades - Faz o discovery, registro e ciclo de vida de um servidor BM - já podera controlar todos os servidores e whitebox do FIBRE, sedo implantado 1 em cada pop, acessando remotamente as ilhas, para novas instalações a atualizações.
- #47 Gerência de configuração e pacotes A 2a frente é a preparação do SO e do ambiente com a pilha de software e as configurações e ferramentas que são requisitos do FIBRE, para isso foi escolhido o Ansible: - Rápido aprendizado - Suporta NEs de rede e servidores agentless Após o SO ser instalado, o ansible executa receitas (paybooks) para instalar apps, configurar e ajustar configuraçõe como as de rede. Os playbooks podem ser reaproveitados utilziando parâmetros personalizados para cada ilha.
- #48 Conteinerização (de VMs para Containeres) Substituição de aplicações em VMs por aplicações em conteineres Redução no consumo de recursos – VM aloca recursos subutilizados Infraestrutura imutável – atualizações são feitas por migrações, sem alteraçoes Agilidade e confiabilidade em mudanças – app testado antes, retorno ao original em caso de falha Orquestração via Kubernetes – Containeres com microserviços podem ser instanciados na ordem correta Auto-regeneração via Kubernetes – Conjuntos de conteineres podem ser recriados automaticamente em caso de falha Alta disponibilidade via Kubernetes – Conjuntos de containeres podem ser replicados para a mesma aplicação, inclusive em hosts distintos, recebendo tráfego via load-balancer
- #49 integrar o código desenvolvido ao projeto principal na mesma frequência com que as funcionalidades são desenvolvidas
- #50 integrar o código desenvolvido ao projeto principal na mesma frequência com que as funcionalidades são desenvolvidas
- #58 Integração FIBRE: Portal, RCs serão desenvolvidos para sensores e braço mecânico, uso de OEDL, Armazenamento dos experimentos no repositório RDP.
- #59 a RNP está em busca de um bolsista de doutorado ou mestrado para trabalhar no projeto IND4Fibre. A missão do bolsista neste projeto será integrar os novos elementos desenvolvidos como parte do escopo do projeto com a infraestrutra do testbed Fibre. Para mais informações sobre a bolsa ofertada acesse o link: http://programadebolsas.inescbrasil.org.br/index.php/pt/ (Projeto IND4FIBRE - Vaga 01). As inscrições vão somente até o dia 15/05/19. Importante ressaltar que o trabalho pode ser realizado de forma remota, com eventuais viagens durante o projeto.