Este documento discute sistemas de arquivos distribuídos, definindo conceitos como arquivos, diretórios e suas características. Também descreve como sistemas de arquivos distribuídos permitem acesso transparente a arquivos remotos e exemplos como NFS, GFS e GlusterFS.

1. Sistemas Distribuídos
Sistemas de Arquivos Distribuídos
Frederico Madeira
LPIC-1, LPIC-2, CCNA
fred@madeira.eng.br
www.madeira.eng.br

2. Referências
- Tanenbaum, A.; Steen, M.; Sistemas Distribuídos, princípios
e paradigmas. Capítulo 11.
- Coulouris, G.;Dollimore, J.; Kindberg, T.;
SISTEMAS DISTRIBUIDOS CONCEITOS E PROJETO. Capítulo 8.

3. Parte importante dos sistemas operacionais, pois ele fornece
uma visão abstrata dos dados persistentes, além de ser
responsável pelo serviço de nomes, acesso à arquivos e de sua
organização geral.
Sistema de Arquivo

4. Conceitos
• Arquivo
✔
Uma sequencia de bytes.
✔
Um sistema especifico de uma estrutura
interna.
✔
Atributos Tamanho, acesso, datas, dono.
• Diretório (arquivo especial)
✔
Mapeia os nomes para os identificadores.
✔
Pode conter subdiretórios (arvore).

5. Sistema de Arquivo Distribuído
Permite aos programas armazenarem e acessarem
arquivos remotos exatamente como se fossem locais,
possibilitando que os usuários acessem arquivos a partir de
qualquer computador em uma rede. O desempenho e a
segurança no acesso aos arquivos armazenados em um
servidor devem ser comparáveis aos arquivos armazenados em
discos locais.
[Coulourus, G.; Dollimore, J.; Kindberg, T. Sistemas Distribuídos Conceitos e
Projeto] – Cap 8.

6. Sistema de Arquivo Distribuído
São organizados no modelo da arquitetura cliente/servidor

7. Características Importantes
✔
Diferentes clientes remotos podendo acessar arquivos em
servidores de arquivos.
✔
Esquema de compartilhamento bem estruturado.
✔
Clientes dispersos
✔
Ponto de vista centralizado

8. Por que SAD ?
✔
Devido ao problema do compartilhamento de recursos.
✔
Compartilhamento de espaço em disco
➔
cada maquina não tem que armazenar arquivos que irá
acessar.
✔
Compartilhamento da administração
➔
administração e backup fáceis de fazer.
✔
Acesso de arquivos particulares de diferentes computadores.

9. O quê um SAD provê ?
✔
Provê acesso a dados armazenados nos servidores
de arquivo através das Interfaces de sistemas de
arquivo.
✔
Interfaces são partes do sistema de arquivo com
as funções de:
➔
Abrir arquivo, checar estado, fechar.
➔
Ler ou escrever dados em um arquivo
➔
Bloquear um arquivo ou partes dele.
➔
Listar arquivos em um diretório.
➔
Apagar, renomear um arquivo ou diretório, etc

10. O quê um SAD provê ?

11. O quê um SAD deve suportar ?
✔
Compartilhamento de informações remotas
✔
Permitir que um arquivo seja acessado
transparentemente em qualquer nó, independente
da sua localização.
✔
Mobilidade do Usuário
✔
Usuário pode trabalhar em qualquer nó em
diferentes momentos (Flexibilidade)

12. Formas de armazenamento
✔
O sistema de arquivo inteiro é armazenado em um
único servidor.
✔
Arquivos são armazenados nos vários discos
rígidos de diferentes computadores.

13. Serviços Ofertados por um SAD
✔
Serviço de Nomes Distribuído
➔
O serviço de nomes cuida de indicar a
localização de um determinado arquivo dado o
seu nome ou caminho.
✔
Serviço de Arquivos Distribuído
➔
Responsável por fornecer operações sobre os
arquivos que compõe o sistema.
➔
Os arquivos podem ser armazenados de
diferentes formas, dependendo do seu tipo e
uso.

14. Serviços Ofertados por um SAD
✔
Serviço de Diretórios Distribuído
➔
Responsável por manter a organização dos
arquivos armazenados no sistema.
➔
Ele fornece uma interface para que os usuários
possam arranjar seus arquivos num formato
hierárquico, que é estruturado em diretórios e
subdiretórios.

15. Características Procuradas em um SAD
✔
Tolerância a Falhas
➔
Se um servidor cair ou ficar fora do ar ou da
rede, o sistema de arquivos não pode perder
informações e nem ficar indisponível total ou
parcialmente
✔
Acesso Concorrente
➔
Vários usuários podem acessar vários arquivos,
ou os mesmos arquivos, sem sofrer danos,
perda de performance ou quaisquer outras
restrições
✔
Replicação de Arquivos
➔
Com esta funcionalidade, a confiança e a
eficiência do serviço de arquivos é aumentada
significativamente

16. Características de um SAD ?
✔
Transparência
✔
Usuários acessam pastas locais
✔
Concorrência
➔
Usuários concorrendo pelo mesmo arquivo
✔
Replicação
➔
Arquivos são replicados
✔
Heterogeneidade
➔
Diferentes recursos
✔
Segurança
➔
Controle de acesso / autenticação de clientes
✔
Eficiência
➔
Escalabilidade e usuários concorrentes. Latência

17. Características de um SAD ?
✔
Transparência
✔
Usuários acessam pastas locais
✔
Concorrência
➔
Usuários concorrendo pelo mesmo arquivo
✔
Replicação
➔
Arquivos são replicados
✔
Heterogeneidade
➔
Diferentes recursos
✔
Segurança
➔
Controle de acesso / autenticação de clientes
✔
Eficiência
➔
Escalabilidade e usuários concorrentes. Latência

18. Características de um SAD ?
✔
Tolerância a falhas
➔
Queda de servidores ou comunicação
✔
Consistência
➔
Todas as copias dos arquivos como se fossem uma apenas
✔
Escalabilidade
➔
Prever o crescimento de nós e usuários no sistema
✔
Integridade dos dados
➔
Arquivo é compartilhado por vários usuários.

19. Arquitetura de Exemplo

20. NFS
✔
Exemplo Canônico de SAD
✔
Arquitetura simples Cliente-Servidor
✔
Muito popular no Unix
✔
Ideia Fundamental:
✔
Cada servidor de Arquivos fornece uma visão
padronizada de seu sistema local de arquivos
✔
Fornece ao cliente acesso transparente a um
sistema de arquivos que é gerenciado por um
servidor remoto
✔
É utilizada um sistema de Arquivo Virtual (VFS)
✔
Todas as requisições ao FS do servidor são
realizadas via RPC (Remote Procedure Call)

21. NFS

22. SAD baseados em Cluster
✔
Clusters normalmente são usados para
computação paralela
✔
Algo semelhante pode ser feito em SAD como file
stripping (arquivos em tiras) através dos
servidores
✔
Funciona bem se os dados tiverem uma
estrutura bem regular
✔
Para aplicações de uso geral e dados
irregulares e com diferentes estruturas esse
modelo não será muito efetivo
✔
Outra abordagem possível é armazenar arquivos
inteiros em servidores, sem particionar o arquivo

23. Modelos de armazenamento de arquivos em SAD

24. GFS (Google File System)
✔
Bem descrito no artigo de Ghemawet, 2003
✔
O artigo o descreve como:
✔
SAD escalar para grandes aplicações
distribuídas e orientada ao uso de intensivo de
dados (Arquivos)
✔
Provê tolerância a falhas, roda em hardware
comum e economicamente viável, e oferece
alta performance agregada a um conjunto
grande de clientes
✔
Cada cluster GFS consiste em vários servidores de
dados e um mestre
✔
Arquivos GFS são divididos em porções de 64Mb
✔
O mestre(servidor de metadados) possui o
endereço onde cada arquivo se encontra no SAD.

25. GFS (Google File System)

26. É um sistema de arquivo open source, que trabalha em
cluster e é capaz de escalar diversos petabytes e gerenciar
milhares de clientes. Se encaixa bem para tarefas “data-
intensive” como armazenamento na núvem e streaming de
media
- GlusterFS User Guide at gluster.readthedocs.io
GlusterFS

27. Funcionalidades
Principais funcionalidades, implementadas através de
tradutores:
✔
Replicação e espelhamento em nível de arquivos
✔
Striping em nível de arquivos
✔
Load balancing em nível de arquivos
✔
Volume failover
✔
Scheduling e disk caching
✔
Storage quotas

28. Configuração
✔
Arquitetura Modular
➔
Pode ser configurado em modo standalone (1
servidor)
➔
O sistema pode crescer ao tempo de acordo
com a necessidade

29. Características Importantes
✔
Sistema de arquivos distribuído e descentralizado
✔
Agregação de múltiplas unidades de armazenamento
remotas (bricks) em um único volume
✔
Funcionalidades implementadas através de tradutores
(translators)
✔
Descarta a necessidade da utilização de servidores de
metadados

30. Arquitetura
Volume Distribuído

31. Arquitetura
Volume Replicado

32. Arquitetura
Volume Distribuído e Replicado

33. Arquitetura
Volume Striped

34. Exemplos de SAD
✔
NFS
✔
GFS(Global FileSystem)
✔
GFS(Google FileSystem)
✔
GlusterFS
✔
PVFS (parallel virutal file system)
✔
AFS (Andrew FileSystem)
✔
DFS
✔
CODA (Constant Data Availability)
✔
SUN Network Filesystem
✔
GlusterFS
✔
Hadoop
✔
Ceph
✔
XteemFS
✔
Lustre

35. Sistemas Distribuídos
Sistemas de Arquivos Distribuídos
Frederico Madeira
LPIC-1, LPIC-2, CCNA
fred@madeira.eng.br
www.madeira.eng.br