CLOUD | Meetup OpenStack - Nubeliu - OpenStack Swift @ ISP Brasileira

634 visualizações

Publicada em

Esta apresentação fala sobre o projeto de armazenamento da Nubeliu durante o MeetUp OpenStack Swift @ ISP Brasileira.

TOTVS. Juntos, fazemos melhor.

Aproveite também para conferir as novidades no site da TOTVS. Acesse: http://www.totvs.com. Ficou interessado? Agende uma visita com um de nossos consultores: https://www.totvs.com/contatos.

Siga a TOTVS nas redes sociais:
Facebook: https://www.facebook.com/totvs
Twitter: https://twitter.com/TOTVS
LinkedIn: https://www.linkedin.com/company/totvs

Publicada em: Software
0 comentários
2 gostaram
Estatísticas
Notas
  • Seja o primeiro a comentar

Sem downloads
Visualizações
Visualizações totais
634
No SlideShare
0
A partir de incorporações
0
Número de incorporações
24
Ações
Compartilhamentos
0
Downloads
8
Comentários
0
Gostaram
2
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide
  • RDO
    NetApp vs Ceph
  • CLOUD | Meetup OpenStack - Nubeliu - OpenStack Swift @ ISP Brasileira

    1. 1. OpenStack Swift @ ISP Brasileira
    2. 2. ISP Brasileiro Área Responsável por Serviços prestados aos assinantes: - DNS - E-mail Todo serviço tem potencial de 60M de clientes dentro da base instalada. - Escala é essencial - Adoção é sempre uma dúvida
    3. 3. Novo Serviço a ser Oferecido Requerimento de Storage para armazenar objetos: - ~1PB para "começar pequeno" - Preparar para crescimento significativo - Disponibilidade “Padrão Operadora” - Lançamento em Agosto de 2015
    4. 4. Premissas do Projeto - Uso de OpenStack Juno - Object Storage como backend – OpenStack Swift - Possibilidade de Crescimento Significativo (que que quer dizer isso?) - 3 Zonas - 1 Aplicação apenas - 4096 Containers - 1 Usuário - Grava arquivos de 4MB - Deixar o ambinete pronto para outras aplicações no futuro
    5. 5. Arquitetura Física 57 Servidores de Discos (Data Nodes) - 2x Intel(R) Xeon(R) CPU E5-2609 v2 - 64GB de RAM - 2x 1TB SATA HDD em RAID1 (System) - 12x 4TB SATA HDD (Data) 4 Servidores de Proxy (Proxy Nodes) - 2x Intel(R) Xeon(R) CPU E5-2670 v2 - 32GB of RAM - 2x 1TB SATA HDD in RAID1 2 Servidores de Infra - 2x Intel(R) Xeon(R) CPU E5-2670 v2 - 32GB of RAM - 2x 1TB SATA HDD in RAID1
    6. 6. O Projeto
    7. 7. Fase 1: Determinação da Arquitetura 2 Servidores de Infra - mySQL Galera - 2 nodes, active/active, multimaster - KeyStone - PKIZ for Auth - TenTails - HAProxy + KeepaliveD - Load-balancing do mySQL, do Keystone e dos Servidores de Proxy 4 Servidores de Proxy - Balanceados - Ativo-Ativo
    8. 8. Fase 1: Determinação da Arquitetura 57 Servidores de Dados - Redundância: 3 cópias - Partition power de 17: 131072 partições criadas - ~2300 partições por servidor - ˜192 partições por HDD - Cada partição com ~22MB - Total de 131072*3 = 393216 partições replicadas gerenciadas pelo Swift - 3 Zonas - 1 Região
    9. 9. Fase 1: Determinação da Arquitetura Topologia de Rede Lógica: Simples Backbone Rede Rede Externa Rede Replicação Rede Interna
    10. 10. Fase 2: Deployment Fase meio sem graça – foi rápido! 1. OS em todos (ubuntu 14.04.02) 2. mySQL Galera nos nós de Infra 3. Keystone nos nós de Infra 4. Rede, VLANs e Topologia 5. Swift Data Nodes 6. Swift Proxy Nodes Tudo automatizado com TenTails – aprox. 1 dia de trabalho Tentails para SWIFT: 8 mil linhas de código
    11. 11. Fase 3: Testes Testes de Resiliência: - Falha de Disco - Falha de Servidor - Falha de Região - Falha de Link de Rede - Falha de nó do SQL - Falha de KeyStone - Falha de Proxy Node Todos os componentes toleram falhas sem incidente. Todos os componentes podem crescer para aumentar resiliência (mais nós).
    12. 12. Advertências ao Cliente Ambiente merecia Load Balancer - Throughput vai ser muito alto Ambiente merecia SSD - ~120 discos SS seriam ideal – 2 por Data Node. - Armazenar Container data e user data. Idealmente, fazer o deployment de 4 Zonas e não de 3 - Ficou para o futuro – expandir em número de zonas e nao em tamanho das zonas
    13. 13. Conclusão Projeto foi executado em aproximadamente 2 semanas Em produção internamente, sem erros Redundância sendo testada durante a produção
    14. 14. Contact hello@nubeliu.com Richard Hager richard@nubeliu.com 11-98173-6600

    ×