O slideshow foi denunciado.
Seu SlideShare está sendo baixado. ×

Avaliação de Produção Técnica Tecnológica em CTI

Anúncio
Anúncio
Anúncio
Anúncio
Anúncio
Anúncio
Anúncio
Anúncio
Anúncio
Anúncio
Anúncio
Anúncio
Próximos SlideShares
Road mt fapesp
Road mt fapesp
Carregando em…3
×

Confira estes a seguir

1 de 29 Anúncio

Avaliação de Produção Técnica Tecnológica em CTI

Baixar para ler offline

Discussão apresentada em reunião de coordenadores dos programas de Modelagem Computacional e de Ciência e Tecnologia dos Materiais sobre a avaliação de produção técnica e tecnológica.

Foram apresentados os resultados do Grupo de Trabalho que propôs mudanças para a avaliação da produção técnica e tecnológica na pós-graduação brasileira e sua relação com o mapeamento de informações e tipos de aplicação deste tipo de avaliação para a pós-graduação.

Discussão apresentada em reunião de coordenadores dos programas de Modelagem Computacional e de Ciência e Tecnologia dos Materiais sobre a avaliação de produção técnica e tecnológica.

Foram apresentados os resultados do Grupo de Trabalho que propôs mudanças para a avaliação da produção técnica e tecnológica na pós-graduação brasileira e sua relação com o mapeamento de informações e tipos de aplicação deste tipo de avaliação para a pós-graduação.

Anúncio
Anúncio

Mais Conteúdo rRelacionado

Diapositivos para si (20)

Semelhante a Avaliação de Produção Técnica Tecnológica em CTI (20)

Anúncio

Mais de Roberto C. S. Pacheco (20)

Mais recentes (20)

Anúncio

Avaliação de Produção Técnica Tecnológica em CTI

  1. 1. AVALIAÇÃO DE CT&I E PRODUÇÃO TÉCNICA-TECNOLÓGICA Roberto C. S. Pacheco 17.10.2017
  2. 2. AGENDA 1. Nossa trajetória e nossas lentes 2. Avaliação de CT&I 3. GTs CAPES 4. Produção técnica e tecnológica 5. Próximos passos e desafios
  3. 3. 1 – NOSSA TRAJETÓRIA E NOSSAS LENTES Qual foi nosso histórico profissional e como ele nos posiciona no tema da avaliação da produção técnica e tecnológica?
  4. 4. 1. LENTES E-GOV 1997-2004 2004-2011 2005-2007 2011-2012 2016-2017 2009-2011
  5. 5. 1. LENTES CAINTER/CAPES 2002-2004 2007 2013 2015 2016-2017 https://previews.123rf.com/images/epicstockmedia/epicstockmedia1511/epicstockmedia151100083/48345335-Happy-Father-and-Son-Having-Fun-Playing- Soccer-on-the-Beach-at-Sunset-Stock-Photo.jpg
  6. 6. 2 - AVALIAÇÃO O que é, quais são os seus propósitos e como pode ser feita no caso de itens de diversificação como a PTT?
  7. 7. AVALIAÇÃO O que é Método de verificar criticamente e medir o valor de fatores, atores, processos e resultados segundo o grau de conformidade desses com padrões esperados. Serve para avaliar: 1. Demandas 2. Prioridades (Portfólio) 3. Propostas de pesquisa 4. Andamento de pesquisa 5. Pesquisa concluída 6. Resultados de pesquisa 7. Impacto 8. Programas e gestão Horton e Mackay (2003) Tipos I. Avaliação de eficiência no uso de recursos e no alcance de resultados (governança e prestação de contas); II. Avaliação de performance em pesquisa (bibliometria, avaliação por pares) III. Avaliação de impacto ex-ante ou ex-post de tecnologia e inovação na sociedade (avaliação de impacto). Salles-Filho et. al (2011) http://blogs.ubc.ca/focus/files/2012/08/schools_evaluation.jpg
  8. 8. LEIDEN MANIFESTO Fonte: Baseado em Diana Ricks and Paul Wouters Avaliações Quali-Quanti Dados quantitativos devem apoiar avaliações qualitativas e as decisões dos especialistas avaliadores (e não visar substituir avaliadores). Estratégia Programas organizacionais devem ser a base/alvo da avaliação. A escolha de indicadores deve considerar o amplo espectro de propósitos da ciência (não há um modelo único de avaliação para todos os contextos) Proteção à Excelência Regional Indicadores de impacto são indexações americanas. Devem ser criadas métricas que cubram a mensuração de qualidade de produção que não esteja no idioma inglês. Transparência A coleta de dados e os processos analíticos devem ser abertos, transparentes e simples. Simplicidade é uma virtude para indicadores, porque promove transparência e rastreabilidade. Feedback e Qualidade de Dados Deve haver esforço direcionado para melhoria na qualidade de dados, por autoverificação ou auditoria externa. Quem é avaliado deve poder verificar dados e análises e deve haver investimento em qualidade. Diversidade temática Considerar a variedade de ênfases e práticas entre os diversos campos da ciência (ex. tipos de veículos, prática de citação, coautoria, etc). Trajetórias individuais Avaliação qualitativa é crucial à análise de trajetórias individuais (ainda que possa ser apoiada por indicadores) Diversidade de indicadores Deve-se evitar a falsa precisão e concretude de indicadores. Deve-se usar múltiplos indicadores para se ter uma visão mais plural e robusta. Efeitos colaterais da avaliação Indicadores modificam os sistemas segundo os incentivos que oferecem. É sempre aconselhável ter múltiplos indicadores para evitar a “gamificação” da avaliação.. Atualização dos indicadores A missão das organizações e o próprio sistema científico evoluem continuamente. Métricas deixam de ser úteis e devem ser substituídas.
  9. 9. OUTRAS ANÁLISES 85 referências nacionais que analisam o sistema de avaliação da CAPES 35 referências internacionais sobre sistemas de avaliação Fonte: Roberto Pacheco (material ofertado ao GT sobre o Sistema de Avaliação da CAPES)
  10. 10. 4 – GTS CAPES
  11. 11. GRUPOS DE TRABALHO CAPES (2016 A 2017) Proposta Corpo Docente Corpo Discente Produção Intelectual Inserção Social GT 01 – Sistemas de Informação GT 02 – Educação Básica GT 03 – Sistema de Avaliação GT 04 – Qualis Periódicos GT 05 – Qualis Livros GT 06 – Qualis Produção TT GT 07 – Qualis Eventos GT 08 – Mestrados Profissionais GT 09 – Tabela de Áreas do conhecimento GT 10 – Impacto GT 11 – Risco GT 12 – RBPG
  12. 12. 5 – PRODUÇÃO TÉCNICA E TECNOLÓGICA
  13. 13. RESULTADOS DO GT 06
  14. 14. DIFERENCIAÇÃO ENTRE TÉCNICA E TECNOLOGIA O GT da PTT indica a necessidade de se diferenciar os tipos técnico e tecnológico na avaliação de produtos da pós-graduação.
  15. 15. QUAL É A DIFERENÇA? Técnica Prática ou conhecimento advindo da prática que permite a realização de uma determinada tarefa. Exemplos: 1. Assessoria 2. Cirurgia 3. Construção de edificações Tecnologia Conhecimento de base científica embarcado em processo, método, instrumento, procedimentos ou relações que permitem a resolução da tarefa. Exemplos: 1. Modelo para prestação de assessoria 2. Técnica ou procedimento de cirurgia 3. Materiais e Instrumentos para edificação
  16. 16. EIXOSEixo1 •Produtos e Processos Caracteriza-se pelo desenvolvimento de produto técnico ou tecnológico, passível ou não de proteção, podendo gerar ativos de propriedade industrial/ propriedade intelectual. Eixo2 •Formação Caracteriza-se por atividades de educação relacionadas a diferentes níveis de formação profissional, com público alvo interno ou externo a instituição de origem. Eixo3 •Divulgação da produção Atividades relacionadas à divulgação da produção. Eixo4 •Serviços técnicos Serviços realizados junto à sociedade/instituiç ões, órgãos governamentais, agências de fomento, vinculados à assistência, extensão, produção do conhecimento.
  17. 17. EIXO 1 1. Base de dados técnico-científica 2. Carta, mapa ou similar 3. Cultivar 4. Curadoria de coleções biológicas 5. Declaração de impacto de produção técnica ou tecnológica 6. Declaração de interesse do setor empresarial em produção sob sigilo 7. Desenho Industrial 8. Desenvolvimento de material didático e instrucional 9. Desenvolvimento de processo patenteável 10. Desenvolvimento de produto patenteável 11. Desenvolvimento de Tecnologia social 12. Indicação geográfica 13. Manual de operação técnica 14. Marca 15. Processo/Tecnologia não patenteável 16. Processos de gestão 17. Produção de acervos 18. Software (Programa de computador) 19. Protocolo tecnológico experimental/aplicação ou adequação tecnológica (ex. POP) 20. Topografia de circuito integrado
  18. 18. EIXO 2 1. Docência em atividade de capacitação, em diferentes níveis. 2. Criação de atividade de capacitação, em diferentes níveis. 3. Organização de atividade de capacitação, em diferentes níveis.
  19. 19. EIXO 3 1. Apresentação de trabalho 2. Artigo em jornal ou revista de divulgação 3. Artigo publicado em revista técnica 4. Palestrante ou conferencista 5. Participação em mesa redonda 6. Participação em veículo de comunicação 7. Prefácio ou Posfácio 8. Produção de programas de mídia 9. Produção de programas de veículos de comunicação 10. Publicação - Nota prévia 11. Resenha ou crítica artística 12. Responsabilidade por Coluna em jornal ou revista 13. Texto em catálogo de exposição ou de programa de espetáculo
  20. 20. EIXO 4 1. Assessoria e consultoria 2. Auditoria 3. Avaliação de tecnologia, projeto, programa, institucional ou política 4. Avaliação na área da saúde 5. Certificação/Acreditação de produção técnica ou tecnológica 6. Conservação/restauração 7. Curadoria de mostras e exposições 8. Elaboração de norma ou marco regulatório 9. Elaboração de taxonomia, ontologias e tesauros 10. Estudos de regulamentação 11. Laudo técnico 12. Membro de conselho gestor ou comitê técnico 13. Organização de catálogo de produção artística 14. Organização de evento 15. Organização de livro, catálogo, coletânea e enciclopédia 16. Organização de revista, anais (incluindo editoria e corpo editorial) 17. Outro tipo de serviço técnico especializado 18. Parecer de artigo de revista 19. Parecer de trabalho 20. Participação em comissão científica 21. Participação em comissão técnico-científica 22. Pesquisa de mercado 23. Projetos de extensão à comunidade 24. Relatório técnico conclusivo
  21. 21. GLOSSÁRIO O GT definiu todos os tipos propostos para os 4 eixos da avaliação.
  22. 22. TIPOLOGIA ATUAL DE DADOS Um dos principais desafios da avaliação de Produção Tecnológica e Produção Técnica é o seu correto mapeamento de dados. O GT PTT estabeleceu uma relação de comparação entre os tipos atuais na Plataforma Lattes e na Plataforma Sucupira. Há 31 tipos faltantes em ambas plataformas!
  23. 23. DETALHAMENTO DOS DADOS O GT PTT avaliou comparativamente os campos que detalham os tipos existentes no Lattes e na Sucupira O detalhamento é fundamental para que se analise a viabilidade de se buscar informações para cálculo qualitativo
  24. 24. CRITÉRIOS DE AVALIAÇÃO Autoria •Descrição do(s) discente(s) autor(es) se houver •Descrição do(s) docente(s) permanente(s) autor(es), no caso de produção de autoria somente discente, este campo não será obrigatório. Aderência (obrigatória) •Projeto de pesquisa vinculado à produção •Linha de pesquisa vinculada a produção (com exceção para projetos isolados) Impacto • Demanda • Objetivo da pesquisa • Área impactada pela produção Aplicabilidade • Abrangência realizada • Abrangência potencial • Replicabilidade Inovação • Produção com alto teor inovativo. • Produção com médio teor inovativo. • Produção com baixo teor inovativo. Complexidade • Produção com alta complexidade. • Produção com média complexidade. • Produção com baixa complexidade.
  25. 25. ACESSO ÀS PRODUÇÕES TECNOLÓGICAS O GT PTT indicou a necessidade de prover acesso às evidências da Produção Técnica e Tecnológica do Programa (não apenas ao seu metadado coletado na Sucupira) Esta foi uma das demandas que mapeamos no GT01 de Sistemas de Informação.
  26. 26. ACESSO ÀS PRODUÇÕES TECNOLÓGICAS As TICs atuais permitem a produção de repositórios de evidências de produção técnica e tecnológica, incluindo links às evidências originais, além de comunidades contínuas de coprodução
  27. 27. 5 – PRÓXIMOS PASSOS E DESAFIOS Como viabilizar a avaliação da PTT?
  28. 28. DESAFIOS 1. Propósito da avaliação da Produção Técnica e Tecnológica? Programas Acadêmicos x Programas Profissionais (Doutorado Profissional? https://pt.slideshare.net/rpacheco/interdisciplinaridade-e-a-modalidade-profissional-no-sistema-nacional-de-ps-graduao (ver slides 31 a 37) 2. Tipologia e Coleta de Dados Acordo entre CAPES e CNPq para que haja governança na tipologia dos dados 3. Critérios e Ponderações 3. Como serão ponderados e avaliados cada tipo de PTT? 4. Continuidade 3. Como fazer uma transição entre os sistemas atual e futuro da avaliação?
  29. 29. AVALIAÇÃO DE CT&I E PRODUÇÃO TÉCNICA-TECNOLÓGICA Roberto C. S. Pacheco 17.10.2017 pacheco@egc.ufsc.br

×