SlideShare uma empresa Scribd logo
Confiabilidade da revisão por pares
                recíproca anônima de propostas de
                mestrado em Ciência da Informação

                  Vinícius M. Kern, Marta Denisczwicz (Bolsista PIBIC CNPq/UFSC)
                                        Universidade Federal de Santa Catarina

                                      kern@cin.ufsc.br, marta.denisczwicz@gmail.com




     Esta apresentação disponível em http://www.slideshare.net/vmkern

GT7 ENANCIB 2012: Confiabilidade da revisão por pares recíproca anônima de propostas de mestrado em Ciência da Informação (Kern; Denisczwicz)
Problema e objetivo
                                     Críticas ao processo: confiabilidade, validade, generalizabilidade e
                                     potenciais vieses [1]. Faltam indicadores quantitativos de gestão [2]

   • Revisão por pares
                                     Formação precária de pareceristas: Há iniciativas na PG [3, 4]

                                     Processo de RP recíproco anônimo de propostas de mestrado em CI
                                     Confiabilidade (concordância entre pares) [-1, +1] = ―Can we trust grads?‖


   1 MARSH, H. W.; JAYASINGHE, U. W.; BOND, N. W. Improving the peer-review process for grant applications—reliability,
     validity, bias, and generalizability. American Psychologist, v. 63, n. 3, p. 160-168, 2008.
   2 JENNINGS, C. G. Quality and value: The true purpose of peer review. What you can't measure, you can't manage: the need
     for quantitative indicators in peer review (Nature Peer Review Debate). Nature, 2006.
   3 KERN, V. M. et al. Growing a peer review culture among graduate students. In: TATNALL, A.; JONES, A. (Orgs.) Education
     and technology for a better world. Proceedings of WCCE. Berlin, Heidelberg, New York: Springer, 2009. p. 388-397.
   4 YANKULOV, K.; COUTO, R. (2012), Peer review in class: Metrics and variations in a senior course. Biochem. Mol. Biol.
     Educ., v. 40, n. 3, p. 161-168, 2012.
                                                                                                                                                2
GT7 ENANCIB 2012: Confiabilidade da revisão por pares recíproca anônima de propostas de mestrado em Ciência da Informação (Kern; Denisczwicz)
Trabalhos relacionados

   • No Brasil: Processo de avaliação de artigos (não especificamente relacionados;
      não enfocam confiabilidade)
   COSTA, S. M. S. Controle de qualidade em periódicos científicos eletrônicos disponibilizados na Internet: a questão do
     julgamento pelos pares. R. bibl. Brasília, v. 20, n. 2, p. 227-236, 1996.
   CASTRO, R. C. F.; NEGRÃO, M. B.; ZAHER, C. R. Procedimentos editoriais na avaliação de artigos para publicação em
     periódicos de ciência da saúde da América Latina e Caribe. Ci. Inf., v. 25, n. 3, p. 352-356, 1996.
   MUELLER, S. P. M. A seleção de artigos científicos p/ publicação em revistas brasileiras: um levto. de práticas e procedimentos
    adotados pelas ver. científicas brasileiras financ. p/ CNPq e INEP, 1995-1996. R. bibl. Brasília, v. 21, n. 2, p. 229-250, 1997.
   PESSANHA, C. Critérios editoriais de avaliação científica: notas para discussão. Ci. Inf., v. 27, n. 2, p. 226-229, 1998.
   STUMPF, I. R. C. Avaliação pelos pares nas revistas de comunicação: visão dos editores, autores e avaliadores. Perspect. ci.
     inf., v. 13, n. 1, p. 18-32, 2008.
   PAVAN, C.; STUMPF, I. R. C. Avaliação pelos pares nas revistas brasileiras de ciência da informação: procedimentos e
     percepções dos atores. Enc. Bibli, v. 14, n. 28, p. 73-92, 2009.


   • Métricas de confiabilidade: metaestudos
   WELLER, A. C. Editorial peer review: Its strengths and weaknesses. Second printing (ASIST monograph series).
    Medford, New Jersey (EUA): Information Today, Inc. 2002. 342 p.
   BORNMANN, L. Scientific peer review. ARIST, v. 45, n. 1, p. 199-245, 2011.
                                                                                                                                                3
GT7 ENANCIB 2012: Confiabilidade da revisão por pares recíproca anônima de propostas de mestrado em Ciência da Informação (Kern; Denisczwicz)
Procedimentos metodológicos

   • Revisão por pares de propostas de mestrado (n=12)
      Anônima, recíproca (9 a 11 revisões/proposta), com diretrizes [1]

   • 7 pontos de avaliação em escala Likert-6
           • Escala de 1 (discordo totalmente) a 6 (concordo totalmente)
           • Itens de avaliação:                                                 Existe um problema de pesquisa
                      Problema e objetivos                                            relevante e claramente
                      Fundamentação                                            enunciado, bem contextualizado na
                      Abordagem metodológica                                      literatura, com objetivo geral
                      Resultados esperados e conclusões                       coerente com o problema e objetivos
                      Referências                                                           específicos
                      Linguagem e estilo                                      mensuráveis, atingíveis, realistas, re
                      Formatos
                                                                                        alizáveis no tempo
                                                                              disponível, específicos e consistentes
                                                                                              entre si.
   1 SMITH, A. J. The task of the referee. Computer, v. 23, n. 4, p. 65–71, 1990.
                                                                                                                                                4
GT7 ENANCIB 2012: Confiabilidade da revisão por pares recíproca anônima de propostas de mestrado em Ciência da Informação (Kern; Denisczwicz)
Procedimentos metodológicos

   • Seleção do indicador: intraclass correlation ICC(2,1) [1]
   • Para dispor de algum termo de comparação...
           • Conduzimos outro processo em artigos (n=11, 2 rev/aluno ou 4/artigo) de
             duplas em disciplina de PG de programa interdisciplinar (mestr./dout.)
           • Coletamos índices de confiabilidade nos metaestudos de Weller [2] e
             de Bornmann [3]



   1 SHROUT, P. E.; FLEISS, J. L. Intraclass correlations: Use in assessing rater reliability. Psychol. Bull., v. 86, n. 2, p. 420-428,
     1979.
   2 WELLER, A. C. Editorial peer review: Its strengths and weaknesses. Second printing (ASIST monograph series). Medford,
     New Jersey (EUA): Information Today, Inc. 2002. 342 p.
   3 BORNMANN, L. Scientific peer review. ARIST, v. 45, n. 1, p. 199-245, 2011.
                                                                                                                                                5
GT7 ENANCIB 2012: Confiabilidade da revisão por pares recíproca anônima de propostas de mestrado em Ciência da Informação (Kern; Denisczwicz)
Resultados até o momento




   Esperávamos: ICC de mestrandos em CI < ICC de profissionais no fomento e publicação
   Não esperávamos: ICCs CI frequentemente < ICCs de pós-graduandos interdisciplinares
                                                                                                                                                6
GT7 ENANCIB 2012: Confiabilidade da revisão por pares recíproca anônima de propostas de mestrado em Ciência da Informação (Kern; Denisczwicz)
Discussão / conclusão


   • Tratamos da formação sistemática de novos revisores

   • Um passo na direção de criar indicadores de gestão da RP
      (Acordo preliminar c/ Enc Bibli para levar sistemática aos periódicos)

   • Confiabilidade (mestrandos em CI): positivo que em ¾ predomine
     a concordância
      (E slide anterior – confirmação e quebra de expectativas nas comparações)

   • Alcance dos resultados: estudo pontual; precisa mais,
     preferencialmente estudos longitudinais (pesquisa atual)
                                                                                                                                                7
GT7 ENANCIB 2012: Confiabilidade da revisão por pares recíproca anônima de propostas de mestrado em Ciência da Informação (Kern; Denisczwicz)
UFSC/CED/CIN – Programa de Pós-Graduação em Ciência da Informação
                                     Grupo de Pesquisa em Informação Científica – InfoCient




                                                                  OBRIGADO!
                                                      kern@cin.ufsc.br, www.kern.prof.ufsc.br




                                          Ao CNPq (bolsa PIBIC)
                                          Ao PGCIN/UFSC (permissão para fazer, input dos colegas
                                          professores)
                                          Aos alunos participantes




                                                                                                                                                8
GT7 ENANCIB 2012: Confiabilidade da revisão por pares recíproca anônima de propostas de mestrado em Ciência da Informação (Kern; Denisczwicz)

Mais conteúdo relacionado

Semelhante a Confiabilidade da revisão por pares recíproca anônima de propostas de mestrado em Ciência da Informação

Análise de Dados
Análise de DadosAnálise de Dados
Análise de Dados
Lucila Pesce
 
Avaliacao online: instrumentos e classificacao
Avaliacao online: instrumentos e classificacaoAvaliacao online: instrumentos e classificacao
Avaliacao online: instrumentos e classificacao
Neuza Pedro
 
Apresentação metodologia qualitativa
Apresentação metodologia qualitativaApresentação metodologia qualitativa
Apresentação metodologia qualitativa
Fernando Dantas
 
Apresentação rep discente coppe 50 completo
Apresentação rep discente coppe 50 completoApresentação rep discente coppe 50 completo
Apresentação rep discente coppe 50 completo
Beatriz Watanabe
 
Mapas conceituais para avaliação da aprendizagem: tornando visíveis as relaçõ...
Mapas conceituais para avaliação da aprendizagem: tornando visíveis as relaçõ...Mapas conceituais para avaliação da aprendizagem: tornando visíveis as relaçõ...
Mapas conceituais para avaliação da aprendizagem: tornando visíveis as relaçõ...
Paulo Correia
 
Aula 6 - O estudo e a avaliacao da producao cientifica: criterios e indicadores
Aula 6 - O estudo e a avaliacao da producao cientifica: criterios e indicadoresAula 6 - O estudo e a avaliacao da producao cientifica: criterios e indicadores
Aula 6 - O estudo e a avaliacao da producao cientifica: criterios e indicadores
Leticia Strehl
 
Pesquisa qualitativa versus pesquisa quantitativa esta é a questão- - hartmu...
Pesquisa qualitativa versus pesquisa quantitativa  esta é a questão- - hartmu...Pesquisa qualitativa versus pesquisa quantitativa  esta é a questão- - hartmu...
Pesquisa qualitativa versus pesquisa quantitativa esta é a questão- - hartmu...
Nei Cesario Espindola
 
É possível prever o Prêmio Nobel?
É possível prever o Prêmio Nobel?É possível prever o Prêmio Nobel?
É possível prever o Prêmio Nobel?
Osame Kinouchi
 
Pesquisa Qualitativa e Quantitativa
Pesquisa Qualitativa e Quantitativa Pesquisa Qualitativa e Quantitativa
Pesquisa Qualitativa e Quantitativa
Fernanda Carneiro Leão Goncalves
 
AVALIAÇÃO DOS IMPACTOS DO PROGRAMA DE PESQUISA PARA O SUS - PPSUS/RS NO PERF...
 AVALIAÇÃO DOS IMPACTOS DO PROGRAMA DE PESQUISA PARA O SUS - PPSUS/RS NO PERF... AVALIAÇÃO DOS IMPACTOS DO PROGRAMA DE PESQUISA PARA O SUS - PPSUS/RS NO PERF...
AVALIAÇÃO DOS IMPACTOS DO PROGRAMA DE PESQUISA PARA O SUS - PPSUS/RS NO PERF...
VI EBBC - Encontro Brasileiro de Bibliometria e Cientometria
 
AVALIAÇÃO DOS IMPACTOS DO PROGRAMA DE PESQUISA PARA O SUS - PPSUS/RS NO PERFI...
AVALIAÇÃO DOS IMPACTOS DO PROGRAMA DE PESQUISA PARA O SUS - PPSUS/RS NO PERFI...AVALIAÇÃO DOS IMPACTOS DO PROGRAMA DE PESQUISA PARA O SUS - PPSUS/RS NO PERFI...
AVALIAÇÃO DOS IMPACTOS DO PROGRAMA DE PESQUISA PARA O SUS - PPSUS/RS NO PERFI...
VI EBBC - Encontro Brasileiro de Bibliometria e Cientometria
 
Atores, fatores, relações e mecanismos da revisão por pares editorial
Atores, fatores, relações e mecanismos da revisão por pares editorialAtores, fatores, relações e mecanismos da revisão por pares editorial
Atores, fatores, relações e mecanismos da revisão por pares editorial
Vinícius M. Kern
 
Aspectos normativos da avaliação da ciência: reflexões para a pesquisa em His...
Aspectos normativos da avaliação da ciência: reflexões para a pesquisa em His...Aspectos normativos da avaliação da ciência: reflexões para a pesquisa em His...
Aspectos normativos da avaliação da ciência: reflexões para a pesquisa em His...
Conferência Luso-Brasileira de Ciência Aberta
 
Resumo sobre Recovering from a decade: a systematic mapping of information re...
Resumo sobre Recovering from a decade: a systematic mapping of information re...Resumo sobre Recovering from a decade: a systematic mapping of information re...
Resumo sobre Recovering from a decade: a systematic mapping of information re...
Avelino Ferreira Gomes Filho
 
SIDIII 1º versão artigo betina lopes
SIDIII 1º versão artigo betina lopesSIDIII 1º versão artigo betina lopes
SIDIII 1º versão artigo betina lopes
Maria Joao Loureiro
 
Apresentação do artigo “The relationship between teaching and learning concep...
Apresentação do artigo “The relationship between teaching and learning concep...Apresentação do artigo “The relationship between teaching and learning concep...
Apresentação do artigo “The relationship between teaching and learning concep...
Marisa Paço
 
51048512 aula-metodologia-1
51048512 aula-metodologia-151048512 aula-metodologia-1
51048512 aula-metodologia-1
Stella Maria Maffra
 
Anális de conteúdo bauer
Anális de conteúdo bauerAnális de conteúdo bauer
Anális de conteúdo bauer
João Vianna
 
SIICUSP 2014 - Desenvolvimento de exemplo trabalhado sobre proposições para e...
SIICUSP 2014 - Desenvolvimento de exemplo trabalhado sobre proposições para e...SIICUSP 2014 - Desenvolvimento de exemplo trabalhado sobre proposições para e...
SIICUSP 2014 - Desenvolvimento de exemplo trabalhado sobre proposições para e...
Paulo Correia
 
Repositórios de produção científica e seu potencial nos sistemas de avaliação
Repositórios de produção científica e seu potencial nos sistemas de avaliaçãoRepositórios de produção científica e seu potencial nos sistemas de avaliação
Repositórios de produção científica e seu potencial nos sistemas de avaliação
Roberto C. S. Pacheco
 

Semelhante a Confiabilidade da revisão por pares recíproca anônima de propostas de mestrado em Ciência da Informação (20)

Análise de Dados
Análise de DadosAnálise de Dados
Análise de Dados
 
Avaliacao online: instrumentos e classificacao
Avaliacao online: instrumentos e classificacaoAvaliacao online: instrumentos e classificacao
Avaliacao online: instrumentos e classificacao
 
Apresentação metodologia qualitativa
Apresentação metodologia qualitativaApresentação metodologia qualitativa
Apresentação metodologia qualitativa
 
Apresentação rep discente coppe 50 completo
Apresentação rep discente coppe 50 completoApresentação rep discente coppe 50 completo
Apresentação rep discente coppe 50 completo
 
Mapas conceituais para avaliação da aprendizagem: tornando visíveis as relaçõ...
Mapas conceituais para avaliação da aprendizagem: tornando visíveis as relaçõ...Mapas conceituais para avaliação da aprendizagem: tornando visíveis as relaçõ...
Mapas conceituais para avaliação da aprendizagem: tornando visíveis as relaçõ...
 
Aula 6 - O estudo e a avaliacao da producao cientifica: criterios e indicadores
Aula 6 - O estudo e a avaliacao da producao cientifica: criterios e indicadoresAula 6 - O estudo e a avaliacao da producao cientifica: criterios e indicadores
Aula 6 - O estudo e a avaliacao da producao cientifica: criterios e indicadores
 
Pesquisa qualitativa versus pesquisa quantitativa esta é a questão- - hartmu...
Pesquisa qualitativa versus pesquisa quantitativa  esta é a questão- - hartmu...Pesquisa qualitativa versus pesquisa quantitativa  esta é a questão- - hartmu...
Pesquisa qualitativa versus pesquisa quantitativa esta é a questão- - hartmu...
 
É possível prever o Prêmio Nobel?
É possível prever o Prêmio Nobel?É possível prever o Prêmio Nobel?
É possível prever o Prêmio Nobel?
 
Pesquisa Qualitativa e Quantitativa
Pesquisa Qualitativa e Quantitativa Pesquisa Qualitativa e Quantitativa
Pesquisa Qualitativa e Quantitativa
 
AVALIAÇÃO DOS IMPACTOS DO PROGRAMA DE PESQUISA PARA O SUS - PPSUS/RS NO PERF...
 AVALIAÇÃO DOS IMPACTOS DO PROGRAMA DE PESQUISA PARA O SUS - PPSUS/RS NO PERF... AVALIAÇÃO DOS IMPACTOS DO PROGRAMA DE PESQUISA PARA O SUS - PPSUS/RS NO PERF...
AVALIAÇÃO DOS IMPACTOS DO PROGRAMA DE PESQUISA PARA O SUS - PPSUS/RS NO PERF...
 
AVALIAÇÃO DOS IMPACTOS DO PROGRAMA DE PESQUISA PARA O SUS - PPSUS/RS NO PERFI...
AVALIAÇÃO DOS IMPACTOS DO PROGRAMA DE PESQUISA PARA O SUS - PPSUS/RS NO PERFI...AVALIAÇÃO DOS IMPACTOS DO PROGRAMA DE PESQUISA PARA O SUS - PPSUS/RS NO PERFI...
AVALIAÇÃO DOS IMPACTOS DO PROGRAMA DE PESQUISA PARA O SUS - PPSUS/RS NO PERFI...
 
Atores, fatores, relações e mecanismos da revisão por pares editorial
Atores, fatores, relações e mecanismos da revisão por pares editorialAtores, fatores, relações e mecanismos da revisão por pares editorial
Atores, fatores, relações e mecanismos da revisão por pares editorial
 
Aspectos normativos da avaliação da ciência: reflexões para a pesquisa em His...
Aspectos normativos da avaliação da ciência: reflexões para a pesquisa em His...Aspectos normativos da avaliação da ciência: reflexões para a pesquisa em His...
Aspectos normativos da avaliação da ciência: reflexões para a pesquisa em His...
 
Resumo sobre Recovering from a decade: a systematic mapping of information re...
Resumo sobre Recovering from a decade: a systematic mapping of information re...Resumo sobre Recovering from a decade: a systematic mapping of information re...
Resumo sobre Recovering from a decade: a systematic mapping of information re...
 
SIDIII 1º versão artigo betina lopes
SIDIII 1º versão artigo betina lopesSIDIII 1º versão artigo betina lopes
SIDIII 1º versão artigo betina lopes
 
Apresentação do artigo “The relationship between teaching and learning concep...
Apresentação do artigo “The relationship between teaching and learning concep...Apresentação do artigo “The relationship between teaching and learning concep...
Apresentação do artigo “The relationship between teaching and learning concep...
 
51048512 aula-metodologia-1
51048512 aula-metodologia-151048512 aula-metodologia-1
51048512 aula-metodologia-1
 
Anális de conteúdo bauer
Anális de conteúdo bauerAnális de conteúdo bauer
Anális de conteúdo bauer
 
SIICUSP 2014 - Desenvolvimento de exemplo trabalhado sobre proposições para e...
SIICUSP 2014 - Desenvolvimento de exemplo trabalhado sobre proposições para e...SIICUSP 2014 - Desenvolvimento de exemplo trabalhado sobre proposições para e...
SIICUSP 2014 - Desenvolvimento de exemplo trabalhado sobre proposições para e...
 
Repositórios de produção científica e seu potencial nos sistemas de avaliação
Repositórios de produção científica e seu potencial nos sistemas de avaliaçãoRepositórios de produção científica e seu potencial nos sistemas de avaliação
Repositórios de produção científica e seu potencial nos sistemas de avaliação
 

Mais de Vinícius M. Kern

Curadoria de informação na Wikipédia: Lições para a comunicação científica (I...
Curadoria de informação na Wikipédia: Lições para a comunicação científica (I...Curadoria de informação na Wikipédia: Lições para a comunicação científica (I...
Curadoria de informação na Wikipédia: Lições para a comunicação científica (I...
Vinícius M. Kern
 
Kern & Uriona (2018). Hipercrescimento e colapso: Conjeturando cenários da so...
Kern & Uriona (2018). Hipercrescimento e colapso: Conjeturando cenários da so...Kern & Uriona (2018). Hipercrescimento e colapso: Conjeturando cenários da so...
Kern & Uriona (2018). Hipercrescimento e colapso: Conjeturando cenários da so...
Vinícius M. Kern
 
A redução ao sistema como operação epistêmica: Metodologia e aplicação à ciên...
A redução ao sistema como operação epistêmica: Metodologia e aplicação à ciên...A redução ao sistema como operação epistêmica: Metodologia e aplicação à ciên...
A redução ao sistema como operação epistêmica: Metodologia e aplicação à ciên...
Vinícius M. Kern
 
Sistemas-de-informacao-2o-Reducao-Ao-Sistema_Bunge
Sistemas-de-informacao-2o-Reducao-Ao-Sistema_BungeSistemas-de-informacao-2o-Reducao-Ao-Sistema_Bunge
Sistemas-de-informacao-2o-Reducao-Ao-Sistema_Bunge
Vinícius M. Kern
 
Visión Sistémica de la Evaluación Por Pares en Ciencia
Visión Sistémica de la Evaluación Por Pares en Ciencia Visión Sistémica de la Evaluación Por Pares en Ciencia
Visión Sistémica de la Evaluación Por Pares en Ciencia
Vinícius M. Kern
 
Cosmovisión, estrategia y métodos de investigación: opciones teórico-metodoló...
Cosmovisión, estrategia y métodos de investigación: opciones teórico-metodoló...Cosmovisión, estrategia y métodos de investigación: opciones teórico-metodoló...
Cosmovisión, estrategia y métodos de investigación: opciones teórico-metodoló...
Vinícius M. Kern
 
Repositório institucional como sistema técnico-social: composição, ambiente e...
Repositório institucional como sistema técnico-social: composição, ambiente e...Repositório institucional como sistema técnico-social: composição, ambiente e...
Repositório institucional como sistema técnico-social: composição, ambiente e...
Vinícius M. Kern
 
Reunião do grupo de pesquisa Informação Científica - UFSC - 26/04/2012
Reunião do grupo de pesquisa Informação Científica - UFSC - 26/04/2012Reunião do grupo de pesquisa Informação Científica - UFSC - 26/04/2012
Reunião do grupo de pesquisa Informação Científica - UFSC - 26/04/2012
Vinícius M. Kern
 
Painel Científico EGC/UFSC 2012: Abertura
Painel Científico EGC/UFSC 2012: AberturaPainel Científico EGC/UFSC 2012: Abertura
Painel Científico EGC/UFSC 2012: Abertura
Vinícius M. Kern
 
O sistemismo de Bunge: fundamentos, abordagem metodológica e aplicação a sist...
O sistemismo de Bunge: fundamentos, abordagem metodológica e aplicação a sist...O sistemismo de Bunge: fundamentos, abordagem metodológica e aplicação a sist...
O sistemismo de Bunge: fundamentos, abordagem metodológica e aplicação a sist...
Vinícius M. Kern
 
Currículo Lattes como credencial do pesquisador no sistema nacional de inovação
Currículo Lattes como credencial do pesquisador no sistema nacional de inovaçãoCurrículo Lattes como credencial do pesquisador no sistema nacional de inovação
Currículo Lattes como credencial do pesquisador no sistema nacional de inovação
Vinícius M. Kern
 
Plataformas e-gov como sistemas sociotecnológicos
Plataformas e-gov como sistemas sociotecnológicosPlataformas e-gov como sistemas sociotecnológicos
Plataformas e-gov como sistemas sociotecnológicos
Vinícius M. Kern
 
Growing a Peer Review Culture among Graduate Students (WCCE 2009)
Growing a Peer Review Culture among Graduate Students (WCCE 2009)Growing a Peer Review Culture among Graduate Students (WCCE 2009)
Growing a Peer Review Culture among Graduate Students (WCCE 2009)
Vinícius M. Kern
 
Emergo: Academic Performance Assessment and Planning with a Data Mart (WCCE 2...
Emergo: Academic Performance Assessment and Planning with a Data Mart (WCCE 2...Emergo: Academic Performance Assessment and Planning with a Data Mart (WCCE 2...
Emergo: Academic Performance Assessment and Planning with a Data Mart (WCCE 2...
Vinícius M. Kern
 
Convergência Tecnológica
Convergência TecnológicaConvergência Tecnológica
Convergência Tecnológica
Vinícius M. Kern
 
Introdução ao sistemismo bungeano aplicado à engenharia do conhecimento
Introdução ao sistemismo bungeano aplicado à engenharia do conhecimentoIntrodução ao sistemismo bungeano aplicado à engenharia do conhecimento
Introdução ao sistemismo bungeano aplicado à engenharia do conhecimento
Vinícius M. Kern
 
O que Martinho da Vila entende de BD? (sobre abstrações de abstrações e model...
O que Martinho da Vila entende de BD? (sobre abstrações de abstrações e model...O que Martinho da Vila entende de BD? (sobre abstrações de abstrações e model...
O que Martinho da Vila entende de BD? (sobre abstrações de abstrações e model...
Vinícius M. Kern
 

Mais de Vinícius M. Kern (17)

Curadoria de informação na Wikipédia: Lições para a comunicação científica (I...
Curadoria de informação na Wikipédia: Lições para a comunicação científica (I...Curadoria de informação na Wikipédia: Lições para a comunicação científica (I...
Curadoria de informação na Wikipédia: Lições para a comunicação científica (I...
 
Kern & Uriona (2018). Hipercrescimento e colapso: Conjeturando cenários da so...
Kern & Uriona (2018). Hipercrescimento e colapso: Conjeturando cenários da so...Kern & Uriona (2018). Hipercrescimento e colapso: Conjeturando cenários da so...
Kern & Uriona (2018). Hipercrescimento e colapso: Conjeturando cenários da so...
 
A redução ao sistema como operação epistêmica: Metodologia e aplicação à ciên...
A redução ao sistema como operação epistêmica: Metodologia e aplicação à ciên...A redução ao sistema como operação epistêmica: Metodologia e aplicação à ciên...
A redução ao sistema como operação epistêmica: Metodologia e aplicação à ciên...
 
Sistemas-de-informacao-2o-Reducao-Ao-Sistema_Bunge
Sistemas-de-informacao-2o-Reducao-Ao-Sistema_BungeSistemas-de-informacao-2o-Reducao-Ao-Sistema_Bunge
Sistemas-de-informacao-2o-Reducao-Ao-Sistema_Bunge
 
Visión Sistémica de la Evaluación Por Pares en Ciencia
Visión Sistémica de la Evaluación Por Pares en Ciencia Visión Sistémica de la Evaluación Por Pares en Ciencia
Visión Sistémica de la Evaluación Por Pares en Ciencia
 
Cosmovisión, estrategia y métodos de investigación: opciones teórico-metodoló...
Cosmovisión, estrategia y métodos de investigación: opciones teórico-metodoló...Cosmovisión, estrategia y métodos de investigación: opciones teórico-metodoló...
Cosmovisión, estrategia y métodos de investigación: opciones teórico-metodoló...
 
Repositório institucional como sistema técnico-social: composição, ambiente e...
Repositório institucional como sistema técnico-social: composição, ambiente e...Repositório institucional como sistema técnico-social: composição, ambiente e...
Repositório institucional como sistema técnico-social: composição, ambiente e...
 
Reunião do grupo de pesquisa Informação Científica - UFSC - 26/04/2012
Reunião do grupo de pesquisa Informação Científica - UFSC - 26/04/2012Reunião do grupo de pesquisa Informação Científica - UFSC - 26/04/2012
Reunião do grupo de pesquisa Informação Científica - UFSC - 26/04/2012
 
Painel Científico EGC/UFSC 2012: Abertura
Painel Científico EGC/UFSC 2012: AberturaPainel Científico EGC/UFSC 2012: Abertura
Painel Científico EGC/UFSC 2012: Abertura
 
O sistemismo de Bunge: fundamentos, abordagem metodológica e aplicação a sist...
O sistemismo de Bunge: fundamentos, abordagem metodológica e aplicação a sist...O sistemismo de Bunge: fundamentos, abordagem metodológica e aplicação a sist...
O sistemismo de Bunge: fundamentos, abordagem metodológica e aplicação a sist...
 
Currículo Lattes como credencial do pesquisador no sistema nacional de inovação
Currículo Lattes como credencial do pesquisador no sistema nacional de inovaçãoCurrículo Lattes como credencial do pesquisador no sistema nacional de inovação
Currículo Lattes como credencial do pesquisador no sistema nacional de inovação
 
Plataformas e-gov como sistemas sociotecnológicos
Plataformas e-gov como sistemas sociotecnológicosPlataformas e-gov como sistemas sociotecnológicos
Plataformas e-gov como sistemas sociotecnológicos
 
Growing a Peer Review Culture among Graduate Students (WCCE 2009)
Growing a Peer Review Culture among Graduate Students (WCCE 2009)Growing a Peer Review Culture among Graduate Students (WCCE 2009)
Growing a Peer Review Culture among Graduate Students (WCCE 2009)
 
Emergo: Academic Performance Assessment and Planning with a Data Mart (WCCE 2...
Emergo: Academic Performance Assessment and Planning with a Data Mart (WCCE 2...Emergo: Academic Performance Assessment and Planning with a Data Mart (WCCE 2...
Emergo: Academic Performance Assessment and Planning with a Data Mart (WCCE 2...
 
Convergência Tecnológica
Convergência TecnológicaConvergência Tecnológica
Convergência Tecnológica
 
Introdução ao sistemismo bungeano aplicado à engenharia do conhecimento
Introdução ao sistemismo bungeano aplicado à engenharia do conhecimentoIntrodução ao sistemismo bungeano aplicado à engenharia do conhecimento
Introdução ao sistemismo bungeano aplicado à engenharia do conhecimento
 
O que Martinho da Vila entende de BD? (sobre abstrações de abstrações e model...
O que Martinho da Vila entende de BD? (sobre abstrações de abstrações e model...O que Martinho da Vila entende de BD? (sobre abstrações de abstrações e model...
O que Martinho da Vila entende de BD? (sobre abstrações de abstrações e model...
 

Confiabilidade da revisão por pares recíproca anônima de propostas de mestrado em Ciência da Informação

  • 1. Confiabilidade da revisão por pares recíproca anônima de propostas de mestrado em Ciência da Informação Vinícius M. Kern, Marta Denisczwicz (Bolsista PIBIC CNPq/UFSC) Universidade Federal de Santa Catarina kern@cin.ufsc.br, marta.denisczwicz@gmail.com Esta apresentação disponível em http://www.slideshare.net/vmkern GT7 ENANCIB 2012: Confiabilidade da revisão por pares recíproca anônima de propostas de mestrado em Ciência da Informação (Kern; Denisczwicz)
  • 2. Problema e objetivo Críticas ao processo: confiabilidade, validade, generalizabilidade e potenciais vieses [1]. Faltam indicadores quantitativos de gestão [2] • Revisão por pares Formação precária de pareceristas: Há iniciativas na PG [3, 4] Processo de RP recíproco anônimo de propostas de mestrado em CI Confiabilidade (concordância entre pares) [-1, +1] = ―Can we trust grads?‖ 1 MARSH, H. W.; JAYASINGHE, U. W.; BOND, N. W. Improving the peer-review process for grant applications—reliability, validity, bias, and generalizability. American Psychologist, v. 63, n. 3, p. 160-168, 2008. 2 JENNINGS, C. G. Quality and value: The true purpose of peer review. What you can't measure, you can't manage: the need for quantitative indicators in peer review (Nature Peer Review Debate). Nature, 2006. 3 KERN, V. M. et al. Growing a peer review culture among graduate students. In: TATNALL, A.; JONES, A. (Orgs.) Education and technology for a better world. Proceedings of WCCE. Berlin, Heidelberg, New York: Springer, 2009. p. 388-397. 4 YANKULOV, K.; COUTO, R. (2012), Peer review in class: Metrics and variations in a senior course. Biochem. Mol. Biol. Educ., v. 40, n. 3, p. 161-168, 2012. 2 GT7 ENANCIB 2012: Confiabilidade da revisão por pares recíproca anônima de propostas de mestrado em Ciência da Informação (Kern; Denisczwicz)
  • 3. Trabalhos relacionados • No Brasil: Processo de avaliação de artigos (não especificamente relacionados; não enfocam confiabilidade) COSTA, S. M. S. Controle de qualidade em periódicos científicos eletrônicos disponibilizados na Internet: a questão do julgamento pelos pares. R. bibl. Brasília, v. 20, n. 2, p. 227-236, 1996. CASTRO, R. C. F.; NEGRÃO, M. B.; ZAHER, C. R. Procedimentos editoriais na avaliação de artigos para publicação em periódicos de ciência da saúde da América Latina e Caribe. Ci. Inf., v. 25, n. 3, p. 352-356, 1996. MUELLER, S. P. M. A seleção de artigos científicos p/ publicação em revistas brasileiras: um levto. de práticas e procedimentos adotados pelas ver. científicas brasileiras financ. p/ CNPq e INEP, 1995-1996. R. bibl. Brasília, v. 21, n. 2, p. 229-250, 1997. PESSANHA, C. Critérios editoriais de avaliação científica: notas para discussão. Ci. Inf., v. 27, n. 2, p. 226-229, 1998. STUMPF, I. R. C. Avaliação pelos pares nas revistas de comunicação: visão dos editores, autores e avaliadores. Perspect. ci. inf., v. 13, n. 1, p. 18-32, 2008. PAVAN, C.; STUMPF, I. R. C. Avaliação pelos pares nas revistas brasileiras de ciência da informação: procedimentos e percepções dos atores. Enc. Bibli, v. 14, n. 28, p. 73-92, 2009. • Métricas de confiabilidade: metaestudos WELLER, A. C. Editorial peer review: Its strengths and weaknesses. Second printing (ASIST monograph series). Medford, New Jersey (EUA): Information Today, Inc. 2002. 342 p. BORNMANN, L. Scientific peer review. ARIST, v. 45, n. 1, p. 199-245, 2011. 3 GT7 ENANCIB 2012: Confiabilidade da revisão por pares recíproca anônima de propostas de mestrado em Ciência da Informação (Kern; Denisczwicz)
  • 4. Procedimentos metodológicos • Revisão por pares de propostas de mestrado (n=12) Anônima, recíproca (9 a 11 revisões/proposta), com diretrizes [1] • 7 pontos de avaliação em escala Likert-6 • Escala de 1 (discordo totalmente) a 6 (concordo totalmente) • Itens de avaliação: Existe um problema de pesquisa Problema e objetivos relevante e claramente Fundamentação enunciado, bem contextualizado na Abordagem metodológica literatura, com objetivo geral Resultados esperados e conclusões coerente com o problema e objetivos Referências específicos Linguagem e estilo mensuráveis, atingíveis, realistas, re Formatos alizáveis no tempo disponível, específicos e consistentes entre si. 1 SMITH, A. J. The task of the referee. Computer, v. 23, n. 4, p. 65–71, 1990. 4 GT7 ENANCIB 2012: Confiabilidade da revisão por pares recíproca anônima de propostas de mestrado em Ciência da Informação (Kern; Denisczwicz)
  • 5. Procedimentos metodológicos • Seleção do indicador: intraclass correlation ICC(2,1) [1] • Para dispor de algum termo de comparação... • Conduzimos outro processo em artigos (n=11, 2 rev/aluno ou 4/artigo) de duplas em disciplina de PG de programa interdisciplinar (mestr./dout.) • Coletamos índices de confiabilidade nos metaestudos de Weller [2] e de Bornmann [3] 1 SHROUT, P. E.; FLEISS, J. L. Intraclass correlations: Use in assessing rater reliability. Psychol. Bull., v. 86, n. 2, p. 420-428, 1979. 2 WELLER, A. C. Editorial peer review: Its strengths and weaknesses. Second printing (ASIST monograph series). Medford, New Jersey (EUA): Information Today, Inc. 2002. 342 p. 3 BORNMANN, L. Scientific peer review. ARIST, v. 45, n. 1, p. 199-245, 2011. 5 GT7 ENANCIB 2012: Confiabilidade da revisão por pares recíproca anônima de propostas de mestrado em Ciência da Informação (Kern; Denisczwicz)
  • 6. Resultados até o momento Esperávamos: ICC de mestrandos em CI < ICC de profissionais no fomento e publicação Não esperávamos: ICCs CI frequentemente < ICCs de pós-graduandos interdisciplinares 6 GT7 ENANCIB 2012: Confiabilidade da revisão por pares recíproca anônima de propostas de mestrado em Ciência da Informação (Kern; Denisczwicz)
  • 7. Discussão / conclusão • Tratamos da formação sistemática de novos revisores • Um passo na direção de criar indicadores de gestão da RP (Acordo preliminar c/ Enc Bibli para levar sistemática aos periódicos) • Confiabilidade (mestrandos em CI): positivo que em ¾ predomine a concordância (E slide anterior – confirmação e quebra de expectativas nas comparações) • Alcance dos resultados: estudo pontual; precisa mais, preferencialmente estudos longitudinais (pesquisa atual) 7 GT7 ENANCIB 2012: Confiabilidade da revisão por pares recíproca anônima de propostas de mestrado em Ciência da Informação (Kern; Denisczwicz)
  • 8. UFSC/CED/CIN – Programa de Pós-Graduação em Ciência da Informação Grupo de Pesquisa em Informação Científica – InfoCient OBRIGADO! kern@cin.ufsc.br, www.kern.prof.ufsc.br Ao CNPq (bolsa PIBIC) Ao PGCIN/UFSC (permissão para fazer, input dos colegas professores) Aos alunos participantes 8 GT7 ENANCIB 2012: Confiabilidade da revisão por pares recíproca anônima de propostas de mestrado em Ciência da Informação (Kern; Denisczwicz)