SlideShare uma empresa Scribd logo
1 de 40
Sistema LOCKSS 
Arthur Heleno Lima R de Souza 
Engenheiro de Computação 
http://carniana.ibict.br 
cariniana@ibict.br 
Curso de Preservação Digital
OBJETIVO DO CURSO 
Capacitar profissionais no entendimento da ferramenta de 
Preservação Digital Distribuída LOCKSS, solução 
tecnológica utilizada na Rede Cariniana. 
Compreender as funcionalidades mais importantes, 
procedimentos e o gerenciamento da ferramenta.
SUMÁRIO 
 Sistema LOCKSS 
 Conceitos 
 Características técnicas; 
 Caixa LOCKSS; 
 Props Server; 
 Rede Privada LOCKSS (PLN) 
 Conceitos 
 Arquitetura distribuída 
 Como criar uma PLN 
 Processos de Preservação Digital 
do LOCKSS 
 Ingestão 
 Teste de Integridade 
 Acesso 
 Gerência
CARACTERÍSTICAS 
 Lot Of Copies Keep Stuff Safe(LOCKSS); 
 Desenvolvido pela Stanford University; 
 Arquitetura distribuída; 
 Segue o modelo OAIS.
SISTEMA LOCKSS 
Código Aberto 
Manutenção de baixo 
custo (contribuições da 
comunidade) 
Customizações 
Interoperabilidade 
Integração 
Linguagem 
Java 
Modular 
Extensão LOCKSS Plugins 
Requisitos mínimos do 
Sistema LOCKSS 
Processamento Intel x86 (ou 
compatível), 
1 GHZ, 1 núcleo 
Memória 1 GB 
Espaço em 
disco 
4 TeraByte+ 
(Cariniana)
CAIXA LOCKSS 
Uma caixa LOCKSS é a instalação do software 
LOCKSS em um hardware apropriado. Capaz de 
coletar, preservar e reparar danos do conteúdo 
preservado.
CAIXA LOCKSS 
Daemon Interface Conteúdo
PROPS SERVER 
É um servidor web de apoio às caixas 
LOCKSS. Fornece dados nos formatos .XML e 
.JAVA, contendo informações sobre os nós da 
rede, dados sobre a preservação e 
atualizações.
PROPS SERVER 
Base de dados de 
Metadados 
• [METS] Metadata Encoding and 
Transmission Standard 
Base de dados de Títulos 
• [XML] 
• Definições dos objetos preserváveis 
• Lista dos endereços IP 
Repositório de Plugins 
• [JAVA –XML] 
• Plugins 
Props 
Server 
Gerência do cache 
• …
PRIVATE LOCKSS NETWORK (PLN) 
 Rede Privada LOCKSS para preservação do patrimônio cultural; 
 Uma rede de comunicação entre caixas LOCKSS com capacidade 
de buscar dados no servidor de suporte (props server) 
 Estudos apontam que cada rede deve ter no mínimo 6 nós 
(parceiros); 
 Geograficamente dispersas; 
 Comunica-se via P2P, utilizando a rede mundial de computadores 
(internet).
REDE PRIVADA LOCKSS 
Caixa 
LOCKSS 1 
Caixa 
LOCKSS 2 
Caixa 
LOCKSS 3 
Caixa 
LOCKSS 4 
Caixa 
LOCKSS 6 
Caixa 
LOCKSS 5 
Props server
??? 
Mas desta forma, o sistema não se caracterizaria como um sistema 
centralizado? 
O Props server age apenas como um repositório de 
informações para que não precise modificar esses 
dados em cada caixa manualmente. Não compete a ele 
nenhum tipo de processamento de dados.
ANALOGIA: SISTEMAS 
DISTRIBUÍDOS [BITTORRENT] 
Client 
BitTorrent 
1 
Tracker BitTorrent 
Client 
BitTorrent 
2 
Client 
BitTorrent 
3 
Client 
BitTorrent 
4 
Client 
BitTorrent 
6 
Client 
BitTorrent 
5
P2P 
Peer-to-peer é uma arquitetura de redes de computadores onde 
cada um dos pontos ou nós da rede funciona tanto como cliente 
quanto como servidor, permitindo compartilhamentos de serviços e 
dados sem a necessidade de um servidor central de 
processamento. 
Segundo Tanenbaum & Steen, uma das arquiteturas para a 
construção de sistemas distribuídos é a arquitetura P2P e sua 
principal característica é a descentralização.
ARQUITETURA DISTRIBUÍDA – CÓPIAS 
GEOGRAFICAMENTE DISPERSAS
CRIANDO UMA REDE PRIVADA 
LOCKSS 
Passo 1: Instalar uma caixa LOCKSS.
CRIANDO UMA REDE PRIVADA 
LOCKSS 
Passo 2 : Configurar a caixa e apontar para um Props Server 
Guia de Instalação 
LOCKSS
CRIANDO UMA REDE PRIVADA 
LOCKSS 
Passo 3 : Configurar acesso e rede 
P2P: 9729 [LCAP] 
Interface: 8081 
Proxy: 8080
CRIANDO UMA REDE PRIVADA 
LOCKSS 
Passo 4 : Gerencie as caixas LOCKSS via uma interface 
http://caixalockss.instituicao.br/8081 
• Gerenciamento e 
configuração 
• Intuitivo 
• Acesso remoto e seguro 
Guia da 
interface 
administrativa 
LOCKSS
PROCESSOS 
Ingestão 
• Conteúdo 
• Metadados 
Armazenamento 
• Autenticidade 
• Integridade 
Gerência 
• Interface Gráfica 
• Integração 
• Baixo custo 
Acesso 
• Proxy 
• Migração
DIAGRAMA OAIS
HARVEST & INGEST 
Ingestão 
Planejamento de Preservação 
Repositório 
de dados
INGESTÃO (PERIÓDICOS 
SEER/OJS) 
Periódico / Conteúdo 
Base de dados 
Crawler 
Unidade de Arquivamento 
(UA) 
Metadados 
Outros dados 
Ciencia da 
Informação 
LOCKSS Plugin
TESTE DE INTEGRIDADE 
Gestão de 
Dados 
Administração
PRESERVAÇÃO – TESTE DE 
INTEGRIDADE 
Votes
PRESERVAÇÃO – TESTE DE 
INTEGRIDADE 
UAs 
Conteúdo preservado 
8D77GFDGH77SD 
44SDF66SDG9HJ7 
SD56FS6DF4SD4 
G7H88SDF66DF6 
DF7S5DF5SDF4S 
D4F79DF8 
DAEMON Hash 
Identificação
PRESERVAÇÃO – TESTE DE 
INTEGRIDADE 
Teste de integridade 
Ingestão
PRESERVAÇÃO 
Polls - Integridade 
Ingestão 
Hash - Identificação 
UA 
Conteúdo 
preservado 
1 
3 
8D77GFDG 
H77SD44S 
DF66 
DAEMON Hash 
Votes - Quorum 
1 2
ACESSO 
Planejamento de Preservação 
Administração 
Acesso 
Gestão de 
Dados
ACESSO - “MIGRATION ON ACCESS” 
Leitor 
Caixa 
LOCKSS 
Formato acessível 
On the 
fly 
Formato obsoleto (Sem 
possibilidade de leitura) 
Conteúdo 
1 
2 
6 
5 
3 4
GERÊNCIA 
Planejamento de Preservação 
Administração 
Acesso 
Gestão de 
Dados 
Repositório 
de dados
GERÊNCIA - INTERFACE GRÁFICA
GERÊNCIA – ADICIONANDO TÍTULOS
GERÊNCIA - SEGURANÇA
GERÊNCIA – TRANSFERÊNCIA
GERÊNCIA – TRANSFERÊNCIA
TRANSFERÊNCIA (PROXY)
DÚVIDAS?
REFERÊNCIAS 
K. SKINNER AND M. SCHULTZ - A Guide to Distributed Digital Preservation., 
Eds. (Atlanta, GA: Educopia Institute, 2010). 
LOCKSS TEAM – LOCKSS Support pages. Disponível em: < http://www.lockss.org/support > Acesso: 15 nov. 2013. 
MARDERO ARELLANO, Miguel Angel. Critérios para a preservação digital da informação científica. 
2008. 354 f. Tese (doutorado) - Universidade de Brasília, 
Departamento de Ciência da Informação, 2008. 
Disponível em: <http://eprints.rclis.org/15412/1/Tese_Miguel_Angel_Mardero_Arellano.pdf>. Acesso em: 20 nov. 2013. 
REICH, Victoria A. Lots of copies keep stuff safe as a cooperative archiving solution for ejournals. 
Issues in Science and Technology Librarianship, [s.l.], fall 2002. 
Disponível em: <http://www.library.ucsb.edu/istl/02-fall/article1.html>. Acesso em: 09 out. 2013. 
TANENBAUM, A. S., STEEN, M. V. - Distributed Systems: Concepts and Design. 4ª Edição (2005).
http://carniana.ibict.br 
arthurheleno@ibict.br 
Obrigado! 
The end

Mais conteúdo relacionado

Destaque

Repositórios confiáveis
Repositórios confiáveisRepositórios confiáveis
Repositórios confiáveisCariniana Rede
 
Apresentação cariniana jbb-2014
Apresentação cariniana jbb-2014Apresentação cariniana jbb-2014
Apresentação cariniana jbb-2014Cariniana Rede
 
Cariniana e os sistemas de gestão eletrônica
Cariniana e os sistemas de gestão eletrônicaCariniana e os sistemas de gestão eletrônica
Cariniana e os sistemas de gestão eletrônicaCariniana Rede
 
Relatório Cariniana - outubro 2014
Relatório Cariniana - outubro 2014Relatório Cariniana - outubro 2014
Relatório Cariniana - outubro 2014Cariniana Rede
 
Apresentação cariniana rbsp-2014
Apresentação cariniana rbsp-2014Apresentação cariniana rbsp-2014
Apresentação cariniana rbsp-2014Cariniana Rede
 
Apresentação Cariniana
Apresentação CarinianaApresentação Cariniana
Apresentação CarinianaCariniana Rede
 
Curso de soluções tecnológicas em PD
Curso de soluções tecnológicas em PDCurso de soluções tecnológicas em PD
Curso de soluções tecnológicas em PDCariniana Rede
 
Preservação de Periódicos eletrônicos no Brasil: Primeiros Passos
Preservação de Periódicos eletrônicos no Brasil: Primeiros PassosPreservação de Periódicos eletrônicos no Brasil: Primeiros Passos
Preservação de Periódicos eletrônicos no Brasil: Primeiros PassosCariniana Rede
 
Repositórios, Acesso Livre e Preservação Digital
Repositórios, Acesso Livre e Preservação DigitalRepositórios, Acesso Livre e Preservação Digital
Repositórios, Acesso Livre e Preservação DigitalCariniana Rede
 
Apresentação Cariniana 2013
Apresentação Cariniana 2013Apresentação Cariniana 2013
Apresentação Cariniana 2013Cariniana Rede
 
Apresentação Rede Cariniana Histórico
Apresentação Rede Cariniana HistóricoApresentação Rede Cariniana Histórico
Apresentação Rede Cariniana HistóricoCariniana Rede
 
LOCKSS - Como funciona
LOCKSS - Como funcionaLOCKSS - Como funciona
LOCKSS - Como funcionaCariniana Rede
 
Dataverse at Cariniana network
Dataverse at Cariniana networkDataverse at Cariniana network
Dataverse at Cariniana networkCariniana Rede
 
Políticas e Práticas de Preservação Digital
Políticas e Práticas de Preservação DigitalPolíticas e Práticas de Preservação Digital
Políticas e Práticas de Preservação DigitalCariniana Rede
 
Preservação Digital da Informação Técnico Científica
Preservação Digital da Informação Técnico CientíficaPreservação Digital da Informação Técnico Científica
Preservação Digital da Informação Técnico CientíficaCariniana Rede
 
Cariniana 2016 preservando dados de pesquisa
Cariniana 2016   preservando dados de pesquisaCariniana 2016   preservando dados de pesquisa
Cariniana 2016 preservando dados de pesquisaCariniana Rede
 
Aspectos gerenciales de una red de preservación digital distribuída
Aspectos gerenciales de una red de preservación digital distribuídaAspectos gerenciales de una red de preservación digital distribuída
Aspectos gerenciales de una red de preservación digital distribuídaCariniana Rede
 

Destaque (20)

Repositórios confiáveis
Repositórios confiáveisRepositórios confiáveis
Repositórios confiáveis
 
Apresentação cariniana jbb-2014
Apresentação cariniana jbb-2014Apresentação cariniana jbb-2014
Apresentação cariniana jbb-2014
 
Cariniana e os sistemas de gestão eletrônica
Cariniana e os sistemas de gestão eletrônicaCariniana e os sistemas de gestão eletrônica
Cariniana e os sistemas de gestão eletrônica
 
Relatório Cariniana - outubro 2014
Relatório Cariniana - outubro 2014Relatório Cariniana - outubro 2014
Relatório Cariniana - outubro 2014
 
Apresentação cariniana rbsp-2014
Apresentação cariniana rbsp-2014Apresentação cariniana rbsp-2014
Apresentação cariniana rbsp-2014
 
Apresentação Cariniana
Apresentação CarinianaApresentação Cariniana
Apresentação Cariniana
 
Curso de soluções tecnológicas em PD
Curso de soluções tecnológicas em PDCurso de soluções tecnológicas em PD
Curso de soluções tecnológicas em PD
 
Preservação de Periódicos eletrônicos no Brasil: Primeiros Passos
Preservação de Periódicos eletrônicos no Brasil: Primeiros PassosPreservação de Periódicos eletrônicos no Brasil: Primeiros Passos
Preservação de Periódicos eletrônicos no Brasil: Primeiros Passos
 
Repositórios, Acesso Livre e Preservação Digital
Repositórios, Acesso Livre e Preservação DigitalRepositórios, Acesso Livre e Preservação Digital
Repositórios, Acesso Livre e Preservação Digital
 
Apresentação Cariniana 2013
Apresentação Cariniana 2013Apresentação Cariniana 2013
Apresentação Cariniana 2013
 
Apresentação Rede Cariniana Histórico
Apresentação Rede Cariniana HistóricoApresentação Rede Cariniana Histórico
Apresentação Rede Cariniana Histórico
 
LOCKSS - Como funciona
LOCKSS - Como funcionaLOCKSS - Como funciona
LOCKSS - Como funciona
 
Dataverse at Cariniana network
Dataverse at Cariniana networkDataverse at Cariniana network
Dataverse at Cariniana network
 
Preservação Digital
Preservação DigitalPreservação Digital
Preservação Digital
 
Políticas e Práticas de Preservação Digital
Políticas e Práticas de Preservação DigitalPolíticas e Práticas de Preservação Digital
Políticas e Práticas de Preservação Digital
 
Preservação Digital da Informação Técnico Científica
Preservação Digital da Informação Técnico CientíficaPreservação Digital da Informação Técnico Científica
Preservação Digital da Informação Técnico Científica
 
Preservação
Preservação Preservação
Preservação
 
Preservação 2
Preservação 2Preservação 2
Preservação 2
 
Cariniana 2016 preservando dados de pesquisa
Cariniana 2016   preservando dados de pesquisaCariniana 2016   preservando dados de pesquisa
Cariniana 2016 preservando dados de pesquisa
 
Aspectos gerenciales de una red de preservación digital distribuída
Aspectos gerenciales de una red de preservación digital distribuídaAspectos gerenciales de una red de preservación digital distribuída
Aspectos gerenciales de una red de preservación digital distribuída
 

Semelhante a Sistema LOCKSS: Preservação Digital Distribuída

Aula03 - protocolo ldap
Aula03 -  protocolo ldapAula03 -  protocolo ldap
Aula03 - protocolo ldapCarlos Veiga
 
Pervasive Encryption por Eugênio Fernandes (IBM)
Pervasive Encryption por Eugênio Fernandes (IBM)Pervasive Encryption por Eugênio Fernandes (IBM)
Pervasive Encryption por Eugênio Fernandes (IBM)Joao Galdino Mello de Souza
 
Palestra SFD OpenSolaris
Palestra SFD OpenSolarisPalestra SFD OpenSolaris
Palestra SFD OpenSolarisRenato Puccini
 
Auditoria de banco_de_dados_sql_server_em_conformidade_com_a_sox
Auditoria de banco_de_dados_sql_server_em_conformidade_com_a_soxAuditoria de banco_de_dados_sql_server_em_conformidade_com_a_sox
Auditoria de banco_de_dados_sql_server_em_conformidade_com_a_soxSQLServerRS
 
Alta Disponibilidade
Alta DisponibilidadeAlta Disponibilidade
Alta Disponibilidadeelliando dias
 
Data Mesh: O que é e quais tecnologias facilitam sua implementação?
Data Mesh: O que é e quais tecnologias facilitam sua implementação?Data Mesh: O que é e quais tecnologias facilitam sua implementação?
Data Mesh: O que é e quais tecnologias facilitam sua implementação?Denodo
 
Aula Teste Fatec - Projeto de Redes de Computadores
Aula Teste Fatec - Projeto de Redes de ComputadoresAula Teste Fatec - Projeto de Redes de Computadores
Aula Teste Fatec - Projeto de Redes de ComputadoresDalton Martins
 
Preservação digital em repositórios confiáveis (PART II)
Preservação digital em repositórios confiáveis (PART II)Preservação digital em repositórios confiáveis (PART II)
Preservação digital em repositórios confiáveis (PART II)Miguel Angel Mardero Arellano
 
Introdução ao OpenSolaris
Introdução ao OpenSolarisIntrodução ao OpenSolaris
Introdução ao OpenSolarisguest830f1
 
Introdução ao OpenSolaris
Introdução ao OpenSolarisIntrodução ao OpenSolaris
Introdução ao OpenSolarisCindy Dalfovo
 
Boas práticas de segurança no acesso a dados em Web Apps - SQLSaturday #972 -...
Boas práticas de segurança no acesso a dados em Web Apps - SQLSaturday #972 -...Boas práticas de segurança no acesso a dados em Web Apps - SQLSaturday #972 -...
Boas práticas de segurança no acesso a dados em Web Apps - SQLSaturday #972 -...Renato Groff
 
P2P - Sistemas Distribuídos
P2P - Sistemas DistribuídosP2P - Sistemas Distribuídos
P2P - Sistemas DistribuídosGustavo Monteiro
 

Semelhante a Sistema LOCKSS: Preservação Digital Distribuída (20)

Aula03 - protocolo ldap
Aula03 -  protocolo ldapAula03 -  protocolo ldap
Aula03 - protocolo ldap
 
Pervasive Encryption por Eugênio Fernandes (IBM)
Pervasive Encryption por Eugênio Fernandes (IBM)Pervasive Encryption por Eugênio Fernandes (IBM)
Pervasive Encryption por Eugênio Fernandes (IBM)
 
slides
slidesslides
slides
 
Palestra SFD OpenSolaris
Palestra SFD OpenSolarisPalestra SFD OpenSolaris
Palestra SFD OpenSolaris
 
Apresentação
ApresentaçãoApresentação
Apresentação
 
Auditoria de banco_de_dados_sql_server_em_conformidade_com_a_sox
Auditoria de banco_de_dados_sql_server_em_conformidade_com_a_soxAuditoria de banco_de_dados_sql_server_em_conformidade_com_a_sox
Auditoria de banco_de_dados_sql_server_em_conformidade_com_a_sox
 
TRABALHO DE TI
TRABALHO DE TITRABALHO DE TI
TRABALHO DE TI
 
Software DSpace 2 de 4
Software DSpace 2 de 4Software DSpace 2 de 4
Software DSpace 2 de 4
 
Alta Disponibilidade
Alta DisponibilidadeAlta Disponibilidade
Alta Disponibilidade
 
Construindo um data lake na nuvem aws
Construindo um data lake na nuvem awsConstruindo um data lake na nuvem aws
Construindo um data lake na nuvem aws
 
Data Mesh: O que é e quais tecnologias facilitam sua implementação?
Data Mesh: O que é e quais tecnologias facilitam sua implementação?Data Mesh: O que é e quais tecnologias facilitam sua implementação?
Data Mesh: O que é e quais tecnologias facilitam sua implementação?
 
Aula Teste Fatec - Projeto de Redes de Computadores
Aula Teste Fatec - Projeto de Redes de ComputadoresAula Teste Fatec - Projeto de Redes de Computadores
Aula Teste Fatec - Projeto de Redes de Computadores
 
Preservação digital em repositórios confiáveis (PART II)
Preservação digital em repositórios confiáveis (PART II)Preservação digital em repositórios confiáveis (PART II)
Preservação digital em repositórios confiáveis (PART II)
 
Software DSpace 3 de 4
Software DSpace 3 de 4Software DSpace 3 de 4
Software DSpace 3 de 4
 
Introdução ao OpenSolaris
Introdução ao OpenSolarisIntrodução ao OpenSolaris
Introdução ao OpenSolaris
 
Introdução ao OpenSolaris
Introdução ao OpenSolarisIntrodução ao OpenSolaris
Introdução ao OpenSolaris
 
Artigo Nosql
Artigo NosqlArtigo Nosql
Artigo Nosql
 
Boas práticas de segurança no acesso a dados em Web Apps - SQLSaturday #972 -...
Boas práticas de segurança no acesso a dados em Web Apps - SQLSaturday #972 -...Boas práticas de segurança no acesso a dados em Web Apps - SQLSaturday #972 -...
Boas práticas de segurança no acesso a dados em Web Apps - SQLSaturday #972 -...
 
P2P - Sistemas Distribuídos
P2P - Sistemas DistribuídosP2P - Sistemas Distribuídos
P2P - Sistemas Distribuídos
 
Introducao.2s
Introducao.2sIntroducao.2s
Introducao.2s
 

Mais de Cariniana Rede

Cariniana network methodology
Cariniana network methodologyCariniana network methodology
Cariniana network methodologyCariniana Rede
 
Desafios da preservação de dados de pesquisa no Brasil
Desafios da preservação de dados de pesquisa no BrasilDesafios da preservação de dados de pesquisa no Brasil
Desafios da preservação de dados de pesquisa no BrasilCariniana Rede
 
A preservação distibuída de coleções de obras raras digitalizadas
A preservação distibuída de coleções de obras raras digitalizadasA preservação distibuída de coleções de obras raras digitalizadas
A preservação distibuída de coleções de obras raras digitalizadasCariniana Rede
 
La Preservación Digital del Acceso Abierto
La Preservación Digital del Acceso AbiertoLa Preservación Digital del Acceso Abierto
La Preservación Digital del Acceso AbiertoCariniana Rede
 
Os Desafios da Preservação de Documentos Digitais
Os Desafios da Preservação de Documentos DigitaisOs Desafios da Preservação de Documentos Digitais
Os Desafios da Preservação de Documentos DigitaisCariniana Rede
 
A Preservação de Repositórios Digitais dentro do Modelo OAIS
A Preservação de Repositórios Digitais dentro do Modelo OAISA Preservação de Repositórios Digitais dentro do Modelo OAIS
A Preservação de Repositórios Digitais dentro do Modelo OAISCariniana Rede
 
Esquema de suporte e gestão de dados científicos em organizações de pesquisae...
Esquema de suporte e gestão de dados científicos em organizações de pesquisae...Esquema de suporte e gestão de dados científicos em organizações de pesquisae...
Esquema de suporte e gestão de dados científicos em organizações de pesquisae...Cariniana Rede
 
Dataverse cariniana 2017
Dataverse cariniana 2017Dataverse cariniana 2017
Dataverse cariniana 2017Cariniana Rede
 
OS DESAFIOS DA PRESERVAÇÃO NA ERA DIGITAL
OS DESAFIOS DA PRESERVAÇÃO NA ERA DIGITALOS DESAFIOS DA PRESERVAÇÃO NA ERA DIGITAL
OS DESAFIOS DA PRESERVAÇÃO NA ERA DIGITALCariniana Rede
 
Preservação e Curadoria de Dados Científicos
Preservação e Curadoria de Dados CientíficosPreservação e Curadoria de Dados Científicos
Preservação e Curadoria de Dados CientíficosCariniana Rede
 
Preservação Digital de Arquivos Audiovisuais
Preservação Digital  de Arquivos AudiovisuaisPreservação Digital  de Arquivos Audiovisuais
Preservação Digital de Arquivos AudiovisuaisCariniana Rede
 
Evolution of Cariniana Network Data Repository
Evolution of Cariniana Network Data RepositoryEvolution of Cariniana Network Data Repository
Evolution of Cariniana Network Data RepositoryCariniana Rede
 
MINICURSO 3 CURADORIA E PRESERVAÇÃO EM REPOSITÓRIOS DIGITAIS
MINICURSO 3CURADORIA E PRESERVAÇÃO EM REPOSITÓRIOS DIGITAISMINICURSO 3CURADORIA E PRESERVAÇÃO EM REPOSITÓRIOS DIGITAIS
MINICURSO 3 CURADORIA E PRESERVAÇÃO EM REPOSITÓRIOS DIGITAISCariniana Rede
 
Políticas de preservação Digital para Repositórios Institucionais
Políticas de preservação Digital para Repositórios InstitucionaisPolíticas de preservação Digital para Repositórios Institucionais
Políticas de preservação Digital para Repositórios InstitucionaisCariniana Rede
 
Red Brasileña de Servicios de Preservación Digital
Red Brasileña de Servicios de Preservación DigitalRed Brasileña de Servicios de Preservación Digital
Red Brasileña de Servicios de Preservación DigitalCariniana Rede
 

Mais de Cariniana Rede (16)

LOCKSS E CARINIANA
LOCKSS E CARINIANALOCKSS E CARINIANA
LOCKSS E CARINIANA
 
Cariniana network methodology
Cariniana network methodologyCariniana network methodology
Cariniana network methodology
 
Desafios da preservação de dados de pesquisa no Brasil
Desafios da preservação de dados de pesquisa no BrasilDesafios da preservação de dados de pesquisa no Brasil
Desafios da preservação de dados de pesquisa no Brasil
 
A preservação distibuída de coleções de obras raras digitalizadas
A preservação distibuída de coleções de obras raras digitalizadasA preservação distibuída de coleções de obras raras digitalizadas
A preservação distibuída de coleções de obras raras digitalizadas
 
La Preservación Digital del Acceso Abierto
La Preservación Digital del Acceso AbiertoLa Preservación Digital del Acceso Abierto
La Preservación Digital del Acceso Abierto
 
Os Desafios da Preservação de Documentos Digitais
Os Desafios da Preservação de Documentos DigitaisOs Desafios da Preservação de Documentos Digitais
Os Desafios da Preservação de Documentos Digitais
 
A Preservação de Repositórios Digitais dentro do Modelo OAIS
A Preservação de Repositórios Digitais dentro do Modelo OAISA Preservação de Repositórios Digitais dentro do Modelo OAIS
A Preservação de Repositórios Digitais dentro do Modelo OAIS
 
Esquema de suporte e gestão de dados científicos em organizações de pesquisae...
Esquema de suporte e gestão de dados científicos em organizações de pesquisae...Esquema de suporte e gestão de dados científicos em organizações de pesquisae...
Esquema de suporte e gestão de dados científicos em organizações de pesquisae...
 
Dataverse cariniana 2017
Dataverse cariniana 2017Dataverse cariniana 2017
Dataverse cariniana 2017
 
OS DESAFIOS DA PRESERVAÇÃO NA ERA DIGITAL
OS DESAFIOS DA PRESERVAÇÃO NA ERA DIGITALOS DESAFIOS DA PRESERVAÇÃO NA ERA DIGITAL
OS DESAFIOS DA PRESERVAÇÃO NA ERA DIGITAL
 
Preservação e Curadoria de Dados Científicos
Preservação e Curadoria de Dados CientíficosPreservação e Curadoria de Dados Científicos
Preservação e Curadoria de Dados Científicos
 
Preservação Digital de Arquivos Audiovisuais
Preservação Digital  de Arquivos AudiovisuaisPreservação Digital  de Arquivos Audiovisuais
Preservação Digital de Arquivos Audiovisuais
 
Evolution of Cariniana Network Data Repository
Evolution of Cariniana Network Data RepositoryEvolution of Cariniana Network Data Repository
Evolution of Cariniana Network Data Repository
 
MINICURSO 3 CURADORIA E PRESERVAÇÃO EM REPOSITÓRIOS DIGITAIS
MINICURSO 3CURADORIA E PRESERVAÇÃO EM REPOSITÓRIOS DIGITAISMINICURSO 3CURADORIA E PRESERVAÇÃO EM REPOSITÓRIOS DIGITAIS
MINICURSO 3 CURADORIA E PRESERVAÇÃO EM REPOSITÓRIOS DIGITAIS
 
Políticas de preservação Digital para Repositórios Institucionais
Políticas de preservação Digital para Repositórios InstitucionaisPolíticas de preservação Digital para Repositórios Institucionais
Políticas de preservação Digital para Repositórios Institucionais
 
Red Brasileña de Servicios de Preservación Digital
Red Brasileña de Servicios de Preservación DigitalRed Brasileña de Servicios de Preservación Digital
Red Brasileña de Servicios de Preservación Digital
 

Sistema LOCKSS: Preservação Digital Distribuída

  • 1. Sistema LOCKSS Arthur Heleno Lima R de Souza Engenheiro de Computação http://carniana.ibict.br cariniana@ibict.br Curso de Preservação Digital
  • 2. OBJETIVO DO CURSO Capacitar profissionais no entendimento da ferramenta de Preservação Digital Distribuída LOCKSS, solução tecnológica utilizada na Rede Cariniana. Compreender as funcionalidades mais importantes, procedimentos e o gerenciamento da ferramenta.
  • 3. SUMÁRIO  Sistema LOCKSS  Conceitos  Características técnicas;  Caixa LOCKSS;  Props Server;  Rede Privada LOCKSS (PLN)  Conceitos  Arquitetura distribuída  Como criar uma PLN  Processos de Preservação Digital do LOCKSS  Ingestão  Teste de Integridade  Acesso  Gerência
  • 4. CARACTERÍSTICAS  Lot Of Copies Keep Stuff Safe(LOCKSS);  Desenvolvido pela Stanford University;  Arquitetura distribuída;  Segue o modelo OAIS.
  • 5. SISTEMA LOCKSS Código Aberto Manutenção de baixo custo (contribuições da comunidade) Customizações Interoperabilidade Integração Linguagem Java Modular Extensão LOCKSS Plugins Requisitos mínimos do Sistema LOCKSS Processamento Intel x86 (ou compatível), 1 GHZ, 1 núcleo Memória 1 GB Espaço em disco 4 TeraByte+ (Cariniana)
  • 6. CAIXA LOCKSS Uma caixa LOCKSS é a instalação do software LOCKSS em um hardware apropriado. Capaz de coletar, preservar e reparar danos do conteúdo preservado.
  • 7. CAIXA LOCKSS Daemon Interface Conteúdo
  • 8. PROPS SERVER É um servidor web de apoio às caixas LOCKSS. Fornece dados nos formatos .XML e .JAVA, contendo informações sobre os nós da rede, dados sobre a preservação e atualizações.
  • 9. PROPS SERVER Base de dados de Metadados • [METS] Metadata Encoding and Transmission Standard Base de dados de Títulos • [XML] • Definições dos objetos preserváveis • Lista dos endereços IP Repositório de Plugins • [JAVA –XML] • Plugins Props Server Gerência do cache • …
  • 10. PRIVATE LOCKSS NETWORK (PLN)  Rede Privada LOCKSS para preservação do patrimônio cultural;  Uma rede de comunicação entre caixas LOCKSS com capacidade de buscar dados no servidor de suporte (props server)  Estudos apontam que cada rede deve ter no mínimo 6 nós (parceiros);  Geograficamente dispersas;  Comunica-se via P2P, utilizando a rede mundial de computadores (internet).
  • 11. REDE PRIVADA LOCKSS Caixa LOCKSS 1 Caixa LOCKSS 2 Caixa LOCKSS 3 Caixa LOCKSS 4 Caixa LOCKSS 6 Caixa LOCKSS 5 Props server
  • 12. ??? Mas desta forma, o sistema não se caracterizaria como um sistema centralizado? O Props server age apenas como um repositório de informações para que não precise modificar esses dados em cada caixa manualmente. Não compete a ele nenhum tipo de processamento de dados.
  • 13. ANALOGIA: SISTEMAS DISTRIBUÍDOS [BITTORRENT] Client BitTorrent 1 Tracker BitTorrent Client BitTorrent 2 Client BitTorrent 3 Client BitTorrent 4 Client BitTorrent 6 Client BitTorrent 5
  • 14. P2P Peer-to-peer é uma arquitetura de redes de computadores onde cada um dos pontos ou nós da rede funciona tanto como cliente quanto como servidor, permitindo compartilhamentos de serviços e dados sem a necessidade de um servidor central de processamento. Segundo Tanenbaum & Steen, uma das arquiteturas para a construção de sistemas distribuídos é a arquitetura P2P e sua principal característica é a descentralização.
  • 15. ARQUITETURA DISTRIBUÍDA – CÓPIAS GEOGRAFICAMENTE DISPERSAS
  • 16. CRIANDO UMA REDE PRIVADA LOCKSS Passo 1: Instalar uma caixa LOCKSS.
  • 17. CRIANDO UMA REDE PRIVADA LOCKSS Passo 2 : Configurar a caixa e apontar para um Props Server Guia de Instalação LOCKSS
  • 18. CRIANDO UMA REDE PRIVADA LOCKSS Passo 3 : Configurar acesso e rede P2P: 9729 [LCAP] Interface: 8081 Proxy: 8080
  • 19. CRIANDO UMA REDE PRIVADA LOCKSS Passo 4 : Gerencie as caixas LOCKSS via uma interface http://caixalockss.instituicao.br/8081 • Gerenciamento e configuração • Intuitivo • Acesso remoto e seguro Guia da interface administrativa LOCKSS
  • 20. PROCESSOS Ingestão • Conteúdo • Metadados Armazenamento • Autenticidade • Integridade Gerência • Interface Gráfica • Integração • Baixo custo Acesso • Proxy • Migração
  • 22. HARVEST & INGEST Ingestão Planejamento de Preservação Repositório de dados
  • 23. INGESTÃO (PERIÓDICOS SEER/OJS) Periódico / Conteúdo Base de dados Crawler Unidade de Arquivamento (UA) Metadados Outros dados Ciencia da Informação LOCKSS Plugin
  • 24. TESTE DE INTEGRIDADE Gestão de Dados Administração
  • 25. PRESERVAÇÃO – TESTE DE INTEGRIDADE Votes
  • 26. PRESERVAÇÃO – TESTE DE INTEGRIDADE UAs Conteúdo preservado 8D77GFDGH77SD 44SDF66SDG9HJ7 SD56FS6DF4SD4 G7H88SDF66DF6 DF7S5DF5SDF4S D4F79DF8 DAEMON Hash Identificação
  • 27. PRESERVAÇÃO – TESTE DE INTEGRIDADE Teste de integridade Ingestão
  • 28. PRESERVAÇÃO Polls - Integridade Ingestão Hash - Identificação UA Conteúdo preservado 1 3 8D77GFDG H77SD44S DF66 DAEMON Hash Votes - Quorum 1 2
  • 29. ACESSO Planejamento de Preservação Administração Acesso Gestão de Dados
  • 30. ACESSO - “MIGRATION ON ACCESS” Leitor Caixa LOCKSS Formato acessível On the fly Formato obsoleto (Sem possibilidade de leitura) Conteúdo 1 2 6 5 3 4
  • 31. GERÊNCIA Planejamento de Preservação Administração Acesso Gestão de Dados Repositório de dados
  • 39. REFERÊNCIAS K. SKINNER AND M. SCHULTZ - A Guide to Distributed Digital Preservation., Eds. (Atlanta, GA: Educopia Institute, 2010). LOCKSS TEAM – LOCKSS Support pages. Disponível em: < http://www.lockss.org/support > Acesso: 15 nov. 2013. MARDERO ARELLANO, Miguel Angel. Critérios para a preservação digital da informação científica. 2008. 354 f. Tese (doutorado) - Universidade de Brasília, Departamento de Ciência da Informação, 2008. Disponível em: <http://eprints.rclis.org/15412/1/Tese_Miguel_Angel_Mardero_Arellano.pdf>. Acesso em: 20 nov. 2013. REICH, Victoria A. Lots of copies keep stuff safe as a cooperative archiving solution for ejournals. Issues in Science and Technology Librarianship, [s.l.], fall 2002. Disponível em: <http://www.library.ucsb.edu/istl/02-fall/article1.html>. Acesso em: 09 out. 2013. TANENBAUM, A. S., STEEN, M. V. - Distributed Systems: Concepts and Design. 4ª Edição (2005).

Notas do Editor

  1. Caixas irão ter a replica dos dados – Mas caso ocorra falhas na transmissão, ou perdas de bits, como poderemos garantir a integridade dos dados? (ver próximo slide)
  2. Caixas irão ter a replica dos dados – Mas caso ocorra falhas na transmissão, ou perdas de bits, como poderemos garantir a integridade dos dados? (ver próximo slide)
  3. Por questões de segurança (Perda de dados por motivos de catástrofes naturais, incêndios, erros humanos, etc), as cópias podem ser alocadas em locais dispersos, não limitando-se a regiões nacionais. Worldwide stuff.
  4. 5 processos fundamentais do funcionamento, englobando também características do sistema;
  5. A partir das informações integradas ao plugin lockss, as caixas são capazes de rastrear os dados do Portal que possui periódicos, e encontrar os dados pertinentes à preservação: Unidade de arquivamento (objeto), metadados e manifesto lockss (permissão para coleta).
  6. O teste de integridade com sistemas distribuídos é muito mais seguro e robusto. No início do processo, o sistema irá criar seu quórum de comparação, pois segundo estudos (stanford), não é necessário utilizar uma PLN inteira.
  7. Daemon (processo automativo) irá gerar uma “chave” identificadora do conteúdo preservado, um hash (lockss utiliza a codificação SHA)
  8. Após comparar os identificadores hash, o(s) mais destoante(s) do grupo irão proceder com o processo de ingestão novamente. (caso o dado original não esteja disponível, poderá buscar das outras caixas com índices maiores de acordo)
  9. Processo completo
  10. Estudos indicam que no futuro, alguns formatos poderão não ser mais acessados, gerando dificuldades para acessar dados preservados. LOCKSS poderá migrar um arquivo com formato obsoleto para um formato acessível em tempo de execução.
  11. O lockss poderá gerar um script para proxies, de diversos sistemas: squid, pac, ez, etc. Desta forma, editores podem configurar seus portais para buscar o conteúdo nas caixas caso o servidor do conteúdo original esteja com problemas.