Avaliação de repositórios institucionais: análise comparativa

533 visualizações

Publicada em

Avaliação de repositórios institucionais: análise comparativa - Maria João Amante, Susana Lopes, Clarisse Pais, Eduarda Rodrigues, Teresa Segurado

Publicada em: Tecnologia
0 comentários
0 gostaram
Estatísticas
Notas
  • Seja o primeiro a comentar

  • Seja a primeira pessoa a gostar disto

Sem downloads
Visualizações
Visualizações totais
533
No SlideShare
0
A partir de incorporações
0
Número de incorporações
6
Ações
Compartilhamentos
0
Downloads
21
Comentários
0
Gostaram
0
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide

Avaliação de repositórios institucionais: análise comparativa

  1. 1. AVALIAÇÃO DE REPOSITÓRIOS INSTITUCIONAIS ANÁLISE COMPARATIVA Maria Eduarda Pereira Rodrigues (IPCB) Maria João Amante (ISCTE) Teresa Segurado (ISCTE) Clarisse Pais (IPB) Susana Lopes (ISCTE)
  2. 2. AVALIAÇÃO DE REPOSITÓRIOS INSTITUCIONAIS: ANÁLISE COMPARATIVA AGENDA  INTRODUÇÃO: CONTEXTO E ÂMBITO  OBJETIVOS  MATERIAL E MÉTODOS  APRESENTAÇÃO E DISCUSSÃO DE RESULTADOS  CONCLUSÕES Maria Eduarda Pereira Rodrigues; Maria João Amante; Teresa Segurado; Clarisse Pais; Susana Lopes
  3. 3. AVALIAÇÃO DE REPOSITÓRIOS INSTITUCIONAIS: ANÁLISE COMPARATIVA INTRODUÇÃO: CONTEXTO  Movimento Open Access  Projeto RCAAP  Repositórios Institucionais Consolidação da estrutura tecnológica Consolidação do enquadramento funcional Boas práticas com reflexos nacionais e internacionais Recursos humanos atentos e informados Excelente aceitação dos pressupostos do Open Access Maria Eduarda Pereira Rodrigues; Maria João Amante; Teresa Segurado; Clarisse Pais; Susana Lopes
  4. 4. AVALIAÇÃO DE REPOSITÓRIOS INSTITUCIONAIS: ANÁLISE COMPARATIVA INTRODUÇÃO: ÂMBITO ÂMBITO DE APLICAÇÃO REPOSITÓRIOS INSTITUCIONAIS – INSTITUIÇÕES DE ENSINO SUPERIOR AVALIAÇÃO DE DESEMPENHO Maria Eduarda Pereira Rodrigues; Maria João Amante; Teresa Segurado; Clarisse Pais; Susana Lopes
  5. 5. AVALIAÇÃO DE REPOSITÓRIOS INSTITUCIONAIS: ANÁLISE COMPARATIVA OBJETIVOS  Verificar a possibilidade de monitorizar o desempenho dos repositórios científicos com recurso a indicadores de desempenho comuns  Avaliar o desempenho/registo de performance O que representam? (Institucional/Individual) Como evoluem? (Crescimento/Desenvolvimento) Impactos (Nacional/Internacional) Qual o melhor caminho? (…/…)  Comparar o desempenho em função das respetivas metas Maria Eduarda Pereira Rodrigues; Maria João Amante; Teresa Segurado; Clarisse Pais; Susana Lopes
  6. 6. AVALIAÇÃO DE REPOSITÓRIOS INSTITUCIONAIS: ANÁLISE COMPARATIVA MATERIAL E MÉTODOS Recolha de dados – 3 Repositórios Institucionais DADOS Repositório Científico Repositório Institucional Biblioteca Digital Maria Eduarda Pereira Rodrigues; Maria João Amante; Teresa Segurado; Clarisse Pais; Susana Lopes Base de Dados Indicadores de medida (IM)
  7. 7. AVALIAÇÃO DE REPOSITÓRIOS INSTITUCIONAIS: ANÁLISE COMPARATIVA APRESENTAÇÃO E DISCUSSÃO DE RESULTADOS  Após a recolha excluíram-se os dados que não correspondiam a indicadores comuns aos três repositórios em estudo.  Os dados resultantes foram tratados com recursos ao SPSS.  Para alguns parâmetros foi determinada a média e o desvio padrão. Sempre que necessário foi utilizada a ANOVA e como teste de comparações múltiplas, o teste de Tukey. Em alguns casos foi calculado a coeficiente de correlação de Pearson. Maria Eduarda Pereira Rodrigues; Maria João Amante; Teresa Segurado; Clarisse Pais; Susana Lopes
  8. 8. AVALIAÇÃO DE REPOSITÓRIOS INSTITUCIONAIS: ANÁLISE COMPARATIVA APRESENTAÇÃO E DISCUSSÃO DE RESULTADOS Indicadores de medida (IM) IM1 – N.º de documentos arquivados IM3 – N.º de documentos por tipologia IM9 – % de artigos “Peer review” produzidos face aos depositados IM14 – Total de downloads IM15 – Total de consultas IM16 – N.º de artigos de revistas JCR depositados IM21 – N.º de documentos em Open Access IM23 – N.º de downloads por autor IM24 – N.º de consultas por autor IM33- %de downloads por país de origem IM34 – % de consultas por país de origem IM35 – N.º de pedidos de cópia IM36 – N.º de artigos de revistas SJR Maria Eduarda Pereira Rodrigues; Maria João Amante; Teresa Segurado; Clarisse Pais; Susana Lopes
  9. 9. AVALIAÇÃO DE REPOSITÓRIOS INSTITUCIONAIS: ANÁLISE COMPARATIVA APRESENTAÇÃO E DISCUSSÃO DE RESULTADOS IM1 – N.º de documentos arquivados 1437 3371 2011 IPB BDIPB 1159 1197 371 879 1112 1538 536 624 567 476 4000 3500 3000 2500 2000 1500 1000 500 0 2010 2011 2012 2013 IPB IPCB ISCTE Maria Eduarda Pereira Rodrigues; Maria João Amante; Teresa Segurado; Clarisse Pais; Susana Lopes Crescimento/Desenvolvimento Política de depósito de documentos + Sistema de avaliação de docentes/investigadores = + documentos arquivados + Open Access
  10. 10. AVALIAÇÃO DE REPOSITÓRIOS INSTITUCIONAIS: ANÁLISE COMPARATIVA APRESENTAÇÃO E DISCUSSÃO DE RESULTADOS IM3 – N.º de documentos por tipologia ANO 2010 2011 2012 2013 Maria Eduarda Pereira Rodrigues; Maria João Amante; Teresa Segurado; Clarisse Pais; Susana Lopes Total geral Produção científica % do total IPB 1418 3326 1139 1185 7068 94,7% IPCB 319 542 444 402 1707 83,8% ISCTE 515 794 885 1342 3536 87,0% Artigos com revisão por pares (86,3%) Documentos de conferência (64,6%) Dissertações de mestrado (82,1%) Coleções com mais documentos BDIPB RCIPCB RISCTE
  11. 11. AVALIAÇÃO DE REPOSITÓRIOS INSTITUCIONAIS: ANÁLISE COMPARATIVA APRESENTAÇÃO E DISCUSSÃO DE RESULTADOS IM9 – % de artigos “Peer review” depositados face aos produzidos 2010 2011 2012 2013 BDIPB % depositados 100 100 100 100 RCIPCB % depositados 20,3 19,5 13,7 32,1 RISCTE % depositados 21,1 60,1 84,4 71,6 Boas práticas da BDIPB! Maria Eduarda Pereira Rodrigues; Maria João Amante; Teresa Segurado; Clarisse Pais; Susana Lopes 2 1 3 RISCTE Qualidade RCIPCB
  12. 12. AVALIAÇÃO DE REPOSITÓRIOS INSTITUCIONAIS: ANÁLISE COMPARATIVA APRESENTAÇÃO E DISCUSSÃO DE RESULTADOS IM14 – Total de downloads IM15 – Total de consultas 214,173 188,017 625,598 404,392 874,419 581,982 1,326,290 44,696 122,874 250,279 932,741 391,794 1,400,000 1,200,000 1,000,000 800,000 600,000 400,000 200,000 0 2010 2011 2012 2013 IPB IPCB ISCTE (R=0,757; P<0,01) Mais documentos /Mais downloads 1,400,000 1,200,000 1,000,000 800,000 600,000 400,000 200,000 Maria Eduarda Pereira Rodrigues; Maria João Amante; Teresa Segurado; Clarisse Pais; Susana Lopes 311,743 277,693 213,451 403,936 465,459 1,225,861 44,127 110,274 183,374 452,553 568,692 1097676 0 2010 2011 2012 2013 IPB IPCB ISCTE (R=0,759; P<0,01) Mais documentos /Mais Consultas Internacionalização Interesse dos conteúdos Imagem
  13. 13. AVALIAÇÃO DE REPOSITÓRIOS INSTITUCIONAIS: ANÁLISE COMPARATIVA APRESENTAÇÃO E DISCUSSÃO DE RESULTADOS IM16 – N.º de artigos de revistas JCR IM36 – N.º de artigos de revistas SJR Maria Eduarda Pereira Rodrigues; Maria João Amante; Teresa Segurado; Clarisse Pais; Susana Lopes Qualidade 2020 2011 2012 2013 JCR SJR JCR SJR JCR SJR JCR SJR BDIPB 100 106 110 112 124 132 100 95 RCIPCB 19 12 9 13 2 4 4 7 RISCTE 6 6 1 1 2 3 51 58 A BDIPB é o repositório que mais artigos possui publicados em revistas indexadas no JCR e no SJR. Considerando os valores obtidos no indicador IM9, não é possível dizer que o IPB seja a instituição que mais artigos indexados nos JCR e no SJR produz.
  14. 14. AVALIAÇÃO DE REPOSITÓRIOS INSTITUCIONAIS: ANÁLISE COMPARATIVA APRESENTAÇÃO E DISCUSSÃO DE RESULTADOS IM21 – N.º de documentos em Open Access Ano 2010 2011 2012 2013 IPB 1271 3133 1076 1106 IPCB 344 579 526 442 ISCTE 102 399 437 434 Maria Eduarda Pereira Rodrigues; Maria João Amante; Teresa Segurado; Clarisse Pais; Susana Lopes Open Access Considerando os dados do indicador IM1, é o RCIPCB que proporcionalmente disponibiliza mais documentos em Open Access. RCIPCB – 92,94% BDIPB – 91,56% RISCTE – 75,87%
  15. 15. AVALIAÇÃO DE REPOSITÓRIOS INSTITUCIONAIS: ANÁLISE COMPARATIVA APRESENTAÇÃO E DISCUSSÃO DE RESULTADOS IM23 – N.º de downloads por autor IM24 – N.º de consultas por autor TOP 10 Ano 2010 2011 2012 2013 IPB 71.328 151.563 218.269 320.040 37,9% 37,5% 37,5% 24,1% IPCB 17.141 27.937 61.778 93.632 38,4% 22,7% 24,7% 23,9% ISCTE 24.097 50.805 57.554 60.629 11,3% 8,1% 6,6% 6,5% Ano 2010 2011 2012 2013 IPB Maria Eduarda Pereira Rodrigues; Maria João Amante; Teresa Segurado; Clarisse Pais; Susana Lopes 12207 27517 45172 86196 5,7% 6,8% 9,7% 7,0% IPCB 4318 4614 6549 8141 9,8% 4,2% 3,6% 2,6% ISCTE 7746 9884 9828 13045 2,8% 2,2% 1,7% 1,2%  O TOP 10 dos autores com mais downloads contribui de forma evidente para o número total de downloads no RCIPCB e no RISCTE.  Relativamente ao TOP 10 dos autores com mais consultas, o seu contributo para o número total de consultas não é tão substancial.
  16. 16. AVALIAÇÃO DE REPOSITÓRIOS INSTITUCIONAIS: ANÁLISE COMPARATIVA APRESENTAÇÃO E DISCUSSÃO DE RESULTADOS TOP 10 Verificou-se não existirem diferenças estatisticamente significativas entre as médias para os 4 anos (P>0,05), tendo-se obtido os seguintes resultados: BDIPB 94,7% (±1,45); RCIPCB 92,9% (±3,09); RISCTE 90,5% (±2,61). Maria Eduarda Pereira Rodrigues; Maria João Amante; Teresa Segurado; Clarisse Pais; Susana Lopes Alcance 2010 2011 2012 2013 P P P A A A A A A A A A BDIPB RCIPCB RISCTE A tendência verificada em termos de origem das consultas foi semelhante para os três repositórios em estudo e semelhante à obtida para o IM33. P- Portugal A-Estados Unidos da América IM34 – % de consultas por país de origem
  17. 17. AVALIAÇÃO DE REPOSITÓRIOS INSTITUCIONAIS: ANÁLISE COMPARATIVA APRESENTAÇÃO E DISCUSSÃO DE RESULTADOS IM33- %de downloads por país de origem TOP 10 Não se verificaram diferenças estatisticamente significativas entre as médias para os 4 anos (P>0,05), tendo-se obtido os seguintes resultados: BDIPB 87,9% (±2,89); RCIPCB 90,2% (±2,56); RISCTE 83,2% (±9,58). Maria Eduarda Pereira Rodrigues; Maria João Amante; Teresa Segurado; Clarisse Pais; Susana Lopes Alcance 2010 2011 2012 2013 P P P A P P P A P P P A BDIPB RCIPCB RISCTE A tendência verificada em termos de origem dos downloads foi semelhante para os três repositórios em estudo. P- Portugal A-Estados Unidos da América
  18. 18. AVALIAÇÃO DE REPOSITÓRIOS INSTITUCIONAIS: ANÁLISE COMPARATIVA APRESENTAÇÃO E DISCUSSÃO DE RESULTADOS IM35 – N.º de pedidos de cópia IPB IPCB ISCTE 2010 2011 2012 2013 2010 2011 2012 2013 2010 2011 2012 2013 90 586 1203 3494 3 42 89 187 296 2771 2987 4050 166 434 480 238 675 83 91 1104 27 45 41 34 1200 1000 800 600 400 200 0 2010 2011 2012 2013 IPB IPCB ISCTE Maria Eduarda Pereira Rodrigues; Maria João Amante; Teresa Segurado; Clarisse Pais; Susana Lopes A BDIPB E O RISCTE REGISTAM MAIOR NÚMERO DE PEDIDOS DECÓPIA.  No caso do RISCTE pode estar relacionado com o elevado n.º de documentos em acesso não livre.  No caso da BDIPB pode estar relacionado com o elevado nº de documentos dos quais apenas está disponível o resumo (36 coleções de resumos presentes na BDIPB com mais de 2600 documentos distribuídos por essas coleções.) Documentos em acesso não livre
  19. 19. AVALIAÇÃO DE REPOSITÓRIOS INSTITUCIONAIS: ANÁLISE COMPARATIVA APRESENTAÇÃO E DISCUSSÃO DE RESULTADOS  A dimensão do repositório não determina diferença substancial no funcionamento.  Permite compreender as deficiências de funcionamento.  Ajudar a construir novas abordagens/estratégias que promovam maior sucesso.  Identificar os pontos fracos e definir a respetiva atuação.  É importante que o repositório possua metas bem definidas. Maria Eduarda Pereira Rodrigues; Maria João Amante; Teresa Segurado; Clarisse Pais; Susana Lopes
  20. 20. AVALIAÇÃO DE REPOSITÓRIOS INSTITUCIONAIS: ANÁLISE COMPARATIVA CONCLUSÕES  Embora pertençam a instituições diferentes os repositórios possuem uma estrutura organizacional semelhante que procura refletir os interesses e a organização funcional das respetivas organizações. todavia  Em todos os repositórios foi possível aplicar os indicadores de medida propostos. No entanto, estes nem sempre são autonomamente verificáveis necessitando, em alguns casos, de ser complementados com informação da própria instituição.  Existem disparidades de funcionamento que produzem resultados de agregação diferentes. Todavia existe um fator crítico de sucesso: A complementaridade entre a Política de Depósito de Documentos e o Sistema de Avaliação de Docentes/Investigadores, com a inclusão de recompensa ou a obrigatoriedade de depósito imposta aos serviços, no caso das teses, v.g. Maria Eduarda Pereira Rodrigues; Maria João Amante; Teresa Segurado; Clarisse Pais; Susana Lopes
  21. 21. AVALIAÇÃO DE REPOSITÓRIOS INSTITUCIONAIS ANÁLISE COMPARATIVA Maria Eduarda Pereira Rodrigues (IPCB) Maria João Amante (ISCTE) Teresa Segurado (ISCTE) Clarisse Pais (IPB) Susana Lopes (ISCTE)

×