O documento discute a avaliação de pesquisa pública no Japão, com foco nos sistemas de monitoramento e avaliação de follow-up conduzidos pelas agências NEDO e METI. O processo japonês utiliza peer review, avaliação de especialistas e indicadores para medir impactos a longo prazo. A avaliação de follow-up, feita 5 anos após projetos, fornece lições sobre gestão que melhoram as políticas de P&D.

1. Enhancing Public Research
Performance through Evaluation,
Impact Assessment and Priority Setting
OCDE - Directorate for Science, Technology and Innovation
http://www.oecd.org/sti/inno/Enhancing-Public-Research-Performance.pdf
http://www.oecd.org/sti/inno/impact-assessment-public.htm
Giuliano Sposito
gsposito@ciandt.com
http://google.com/+GiulianoSposito

2. Objetivos do Relatório
● Avaliação de políticas como chave para equalizar e possibilitar a distribuição
mais efetiva do investimento público em P&D
● Demanda por ferramentas efetivas de avaliação, para suprir o processo
decisório para as políticas públicas de investimento de P&D

3. Primeira Parte
Define o contexto e discutindo os pontos chaves na avaliação da pesquisa pública
em ciência e tecnologia
1. Principais pontos no processo avaliação de S&T: arquitetura da avaliação,
peer review como ferramenta de avaliação e interconexão entre avaliação e
priorização
2. Peer Review & Expert Reviews
3. Avaliação de Impacto: Racional, métodos e ferramentas
4. Analiza o papel da priorização

4. Segunda Parte
Apresenta 6 casos de estudo de avaliação de programas de S&T
1. China
2. Finlândia
3. Israel
4. Noruega
5. Japão
6. Austria

5. Japão
Follow-up Evaluation as a Tool for R&D Policy
Caso de estudo examina o papel das avaliações de acompanhamento (follow-up evaluations) no
objetivo de verificar o impacto dos programas, políticas e projetos. O Japão faz uso de Peer e Expert
Review durante a execução do projeto e análise de impacto nas avaliações de follow-up.

6. Contexto
● Economia do Japão começou a estagnar a partir da década 1990.
● Uma das razões foi o desencontro entre o desenvolvimento tecnológico
industrial convencional e a emergência das indústrias de base científica (IT e
Biotech)
● Plano Básico para Ciência e Tecnologia, que promove a política de
inovação, prioriza os campos de pesquisa e indica o orçamento necessário
● 3a. Edição do Plano Básico (2006-2010)

7. http://www.oecd.org/science/inno/41377237.pdf

8. http://www.oecd.org/science/inno/41377237.pdf

9. ● METI | Ministry of Economy, Trade and Industry
○ Missão: Assegurar o crescimento econômico sustentável do Japão
○ Responsável pelas políticas: (1) manufatura industrial, (2) comércio exterior, (3) informação,
comunicação e serviços, (4) pequenas e médias empresas, (5) energia e meio-ambiente e (6)
nuclear e segurança industrial
○ 34 programas e aproximadamente 120 R&D projects
● NEDO | New Energy and Industrial Development Organization
○ Missão: promover o aprimoramento da competitividade industrial japonesa.
○ Agência de “funding” para pesquisas aplicadas
○ Gestão e acompanhamento dos projetos
○ Cooperação com agentes privados
● AIST | National Institute of Advanced Industrial Scince and Technology
○ Instituto encarregado de conduzir a pesquisa básica
○ Licenciamento e agência de inovação

10. Processo de Avaliação
● Avalia inteiramente as fases de pesquisa e desenvolvimento, e procura
melhorar o processo de orçamento e diminuir redundâncias.
● Constantemente provê ajustes e avanços na política de inovação
● Ferramentas e metodologias bem estabelecidas e padronizadas
● Identifica elementos que acelera ou impedem o processo de inovação.
● METI e NEDO conduzem as avaliações de follow-up, mas com diferentes
horizontes:
○ NEDO: short-term outcomes and project goals
○ METI: long-term outputs to achieve policy objective

11. Alcance da avaliação
http://www.oecd.org/science/inno/41377237.pdf

12. Alcance da avaliação
http://www.oecd.org/science/inno/41377237.pdf

13. METI’s Evaluation Process
● Avaliações Ex-post e Follow-ups são feitas por comites externos
● Ex-ante via self assessment
Entre 1 à 2 projetos por ano
5 anos após a conclusão
>1 bilhão de yenes
Um projeto por campo técnico

14. METI’s Evaluation Process
● O produto da pesquisa (output) é avaliado via Peer-review
○ De 4 a 5 membros revisam projetos específicos de P&D
● O resultado é feito por revisão de especialistas
○ 10 membros revisam todos os projetos de P&D
● Avaliação de Follow-up é feita usando:
○ Indicadores de avaliação
○ Avaliação quantitativa
○ Entrevistas e questionários
● Follow-up não é feita para todos os projetos (1 à 2 projetos por ano)
● Feita em projetos que completaram à 5 anos

15. http://www.oecd.org/science/inno/41377237.pdf

16. Papel Central da Avaliação de Follow-UP
● Análise de Impacto:
○ Impacto Tecnológico
○ Melhoria de Performance de P&D
○ Benefício Econômico ⇒ análise de custo/benefício
○ Melhoria Social (life)
○ Feedback para a Política
● Feita após 5 anos de conclusão do projeto e assume o ponto de vista “após
o fato” para identificar efeitos de longo prazo
● METI incorpora análises de fatores internos (maturidade, recursos), externos
(competitividade, mudanças de mercado) e políticos que podem afetar o fluxo
da pesquisa através de entrevista dos participantes

17. Avaliação de Follow-UP busca
● Elementos de impacto positivos e negativos
● Links claros entre esses elementos (evidência)
● Accountability para os envolvidos
● Avançar a estratégida de P&D
● Identificar aspectos não cobertos pelo programa (funding, regulação, etc)

18. Follow-UP ⇒ Alterações na Política
● Usa um modelo de difusão para desenhar um grande número de possíveis
produtos do projeto/programa de pesquisa
● A função da avaliação é coletar evidênciaspara identificar e compreender os
links entre produtos da pesquisa e tecnologia: evidenciando elementos
impeditivos e oportunísticos

19. http://www.oecd.org/sti/inno/Enhancing-Public-Research-Performance.pdf

20. Case
● De 1992 à 2001 - METI conduziu “Programa Descentralizado de Baterias”
que resultou na geração de três novos projetos de pesquisa, um para
“baterias estacionárias” e outra para “baterias de automóveis”
● A avaliação de follow-up permitiu ao METI entender que o declínio do preço e
demanda por eletricidade e ambiente regulatório propício abria espaço e
oportunidade para uso de baterias estacionárias para estabilizar energia
proveniente de geradores eólicos.
● NEDO (pesquisa aplicada) lançou o projeto de “Baterias de Lítio
Estacionárias”

21. https://higherlogicdownload.s3.amazonaws.com/EVAL/271cd2f8-8b7f-49ea-b925-e6197743f402/UploadedImages/2007-01-Ogasahara_K-Analysis.pdf

22. Acompanhar os maiores eventos ao longo do
projeto e compreender os pontos chaves na
gestão e as razões porque certos eventos
acontecem.
Deriva implicações concretas para melhoria da
gestão de projetos de P&D
NEDO - Evaluation Goals

23. http://www.rieti.go.jp/jp/events/07090301/pdf/04_E_Miyata_Presentation.pdf

24. NEDO Follow-up Evalution
● NEDO conduz o monitoramento (follow-up) observando diretamente o
produto da pesquisa.
● Monitora as atividades dos participantes do projeto anualmente
● Coleta evidências relacionadas a elementos (gestão) quanto a aceleração ou
impedimento.
● As evidências coletadas, em conjunto com a avaliação ex-post, permite
reconstruir a tendência da tecnologia ⇒ Follow-Up Charts

25. Follow-Up Charts
http://www.oecd.org/sti/inno/Enhancing-Public-Research-Performance.pdf

26. Follow-Up Charts
● Ferramenta para identificar e visualizar cronologicamente eventos
significativos no fluxo da gestão do projeto.
● O objetivo é mostrar possíveis cenários de “sucesso” e “falha” a um corpo
executivo.
● A figura reflete a mudança do uso prático da tecnologia ao longo do tempo,
bem como os efeitos da gestão na pesquisa.
● A coleta de evidências é feita entrevistando empresas envolvidas no projeto,
o entrevistado é uma pessoa que compreende o projeto todo e sabe avaliar
os seus resultados até o momento.
● É difícil quantificar as possibilidades de uso da tecnologia, então o eixo
vertical é baseado na opinião do entrevistado.

27. Follow-Up Monitoring & Evaluation Systems for National R&D at NEDO - American Evaluation Association Conference - October 28, 2005 - Hiroshi Sano

28. Follow-Up Monitoring & Evaluation Systems for National R&D at NEDO - American Evaluation Association Conference - October 28, 2005 - Hiroshi Sano

29. Resultados
● Baseado na entrevista das companhias envolvidas, NEDO define 4 categorias de
resultado:
○ Tipo A: corpo executivo consistentemente (steadly) supera todos os problemas
técnicos, com uma clara visão do uso/necessidades.
○ Tipo B: em que problemas técnicos durante as fases iniciais foram subestimados
(optimistic) mas o breakthrough ocorreu após a metade do projeto.
○ Tipo C: problemas técnicos foram consistentemente resolvidos, mas logo após o
lançamento problemas de custo e/ou competitividade prejudicaram os produtos.
○ Tipo D: em que o corpo executivo foi muito otimista sobre a capacidade de
resolver os problemas técnicos e falhou em obter o breakthrough.

30. http://www.oecd.org/sti/inno/Enhancing-Public-Research-Performance.pdf

31. http://www.oecd.org/sti/inno/Enhancing-Public-Research-Performance.pdf

32. Vantagens da avaliação de Follow-Up
1. Knowledge Sharing: as lições de gerenciamento aprendidas e obtidas pela
avaliação de follow-up são disponibilizadas no Guia de Gestão de Projeto de
R&D do NEDO e acessível via Intranet
2. Disseminação e Promoção: o monitoramento permite encontrar
desenvolvimentos tecnológicos “no vale da morte”. Se necessário o NEDO
pode promover assistência financeira para remoção de obstáculos.
3. Proposição de Políticas: lições aprendidas podem virar propostas de
reformas de leis e políticas relacionadas ao sistema nacional de inovação
4. Intercâmbio com a indústria: lições derivadas do monitoramento de
follow-up são compartilhadas e discutidas com as companhias que participam
dos projetos do NEDO.

33. Dificuldades e desvantagens
● Como o follow-up é feito ex-post pode haver dificuldade em colocar os
eventos numa sequência temporal
● Como (no caso do METI) é feito 5 anos após a conclusão, é um trabalho
grande fazer o levantamento histórico.
● O processo de monitoramento follow-up não captura fatores intangíveis que
eventualmente possam afetar o projeto de P&D
● Pode haver falta de elementos técnicos que evidenciam os links entre saídas
e produtos. É necessário estabelecer modelos lógicos para levantar quais
são as saídas e produtos esperados.

34. Referências
● Enhancing Research Performance through Evaluation, Impact Assessment and Priority Setting
○ Directorate for Science, Technology and Innovation - OECD Report
○ http://www.oecd.org/sti/inno/Enhancing-Public-Research-Performance.pdf
● Analysis of Follow-up Evaluation Results of Research and Development (R&D) Projects Applying Logic Model to Elucidate the
Process of Innovation
○ AEA Annual Conference in Baltimore 2007 - Kazuki Ogasahara, et al.
○ https://higherlogicdownload.s3.amazonaws.com/EVAL/271cd2f8-8b7f-49ea-b925-e6197743f402/UploadedImages/2007-01-Ogasah
ara_K-Analysis.pdf
● Follow-up Evaluation to Advance R&D Policy: Scenario from long term vision
○ Yasukuni OKUBO, Ph.D., 2008
○ http://www.oecd.org/science/inno/41377237.pdf
● Introduction to NEDO
○ Seizo Miyata, 2007
○ http://www.rieti.go.jp/jp/events/07090301/pdf/04_E_Miyata_Presentation.pdf
● Knowledge Transfer Support Tool for R&D Project Management: Linking Awareness-on-Project and Awareness-in-Project
○ Naoshi Uchihira, International Conference on Project Management, 2015
○ http://www.jaist.ac.jp/~uchihira/papers/ProMAC2015-uchihira.pdf

35. Giuliano Sposito
gsposito@ciandt.com
http://google.com/+GiulianoSposito