Este documento discute a importância de avaliar o impacto de políticas públicas. Resume que avaliações de impacto são importantes para: 1) Melhorar o desenho e implementação de programas; 2) Tornar o gasto público mais eficiente, alocando recursos de forma mais efetiva; 3) Gerar conhecimento sobre quais políticas funcionam e por quê.

1. Por que avaliar o impacto de políticas
públicas?
Claudio Ferraz
Professor da PUC-Rio
Pesquisador afiliado do J-PAL

2. Objetivos
• Entender o que é uma avaliação de impacto
• Compreender a importância das avaliações de impacto
• Conhecer os principais obstáculos para a produção e o uso das avaliações
de impacto
2

3. Questão central em políticas públicas
Se recursos humanos e financeiros usados para o desenho e
implementação de políticas públicas são limitados
...em que iniciativas devemos focar para
enfrentar os problemas sociais?
3

4. Como aumentar a participação escolar?
(número de matrículas e frequência)
Suponha que você trabalhe no Ministério da
Educação e uma das prioridades do governo é
aumentar a frequência escolar
O ministro diz que há R$ 10 milhões disponíveis para
investir em um programa para alcançar esse objetivo
Ele te pergunta em que programa você recomenda
investir. O que você responde?
Fonte:
J-PAL

5. Como aumentar a frequência escolar?
5
Uniformes
escolares
Novas
escolas
Livros
gratuitos
Informação sobre
retornos à
educação
Transferências
monetárias
Bolsas de
estudo por
mérito

6. Estrutura
1. Tipos de avaliação
2. A importância de se avaliar impacto
3. Produção e uso de avaliações de impacto
4. Conclusão
6

7. Tipos de avaliação

8. Avaliação é o processo que consiste em emitir juízos de valor sobre as
atividades e resultados de uma política, estratégia ou projeto
Implica, necessariamente, dois elementos:
• Construir uma descrição detalhada e precisa do desempenho de um
programa
• Comparar com um critério ou padrão pré-estabelecido para julgar o
desempenho
O que é avaliação?
9

9. O que é avaliação?
Avaliação
Avaliação
de
programas
Avaliação
de impacto
10

10. Tipos de avaliação de programas
Impact Evaluation
Cost-Effectiveness Analysis
Avaliação de Necessidades
Avaliação Teórica
Avaliação de Processos
Avaliação de Impacto
Avaliação de Eficiência
10

11. Avaliação de necessidades
Impact Evaluation
Cost-Effectiveness Analysis
Avaliação de Necessidades
Avaliação Teórica
Avaliação de Processos
Avaliação de Impacto
Avaliação de Eficiência
11

12. Avaliação de necessidades
Estudo sistemático que
• Identifica a natureza, o alcance e as
causas de uma necessidade
• Define e descreve a população-
alvo a ser atendida
• Determina a intervenção necessária
para solucionar a necessidade
Resultados
atuais
Resultados
desejados
Necessidade
Necessidade População-alvo Solução
12

13. Perguntas que requerem uma avaliação de necessidades
• Qual é a natureza e a magnitude do problema ou necessidade?
• Quais são as possíveis causas?
• Quais são as características da população-alvo?
• Quais programas são os mais pertinentes para essa população?
• Quais programas já existem para resolver o problema?
13

14. Exemplo: Construção de moradias em comunidades
vulneráveis na América Latina
Fonte: Techo 14
Organização da sociedade civil
que visa superar a situação de
pobreza em comunidades
vulneráveis por meio da
construção de moradias. Atua
em países na América Latina,
inclusive no Brasil

15. Número de domicílios em favelas (assentamentos
irregulares) no Brasil
15
Fonte: Censos de 1991, 2000 e 2010, em Pasternak e D’Otaviano (2016), “Favelas no Brasil e em São Paulo:
Avanços nas Análises a Partir da Leitura Territorial do Censo de 2010”. Cad. Metrop São Paulo, Vol 18, n° 35, p.79.
0
500.000
1.000.000
1.500.000
2.000.000
2.500.000
3.000.000
3.500.000
1980 1991 2000 2010
Domicílios em comunidades subnormais no Brasil

16. Avaliação teórica
16
Impact Evaluation
Cost-Effectiveness Analysis
Avaliação de Necessidades
Avaliação Teórica
Avaliação de Processos
Avaliação de Impacto
Avaliação de Eficiência

17. Avaliação teórica
• Avalia a teoria que está por trás do programa:
– É viável e factível?
– Atende às necessidades da população-alvo?
• Marco Lógico
• Teoria da Mudança
Descrever
a teoria
• Revisão da literatura
• Painel de especialistas
• Entrevistas
Determinar
sua
qualidade
17

18. Perguntas que requerem uma avaliação da teoria
• Quais são os resultados finais que são esperados alcançar com o
programa?
• Como se pretende chegar a esses resultados finais? (Por meio de quais
insumos, atividades, produtos e resultados intermediários?)
• Que suposições e riscos estão implícitos em nossa teoria da mudança?
• Quão razoáveis são essas suposições, e quão grandes são os riscos?
18

19. Teoria da Mudança do TECHO
19
Altos níveis de pobreza em
assentamentos precários
Voluntários
Maior satisfação
Maior disposição à
acumulação de ativos
Maior sensação de
segurança
Melhores relações
familiares
Melhores moradias
Material de
construção
Maior
empregabilidade
Problema /
necessidade
Resultados
finais
Resultados
intermediários
Produto
Insumos /
atividades

20. Avaliação de processos
Impact Evaluation
Cost-Effectiveness Analysis
Avaliação de Necessidades
Avaliação Teórica
Avaliação de Processos
Avaliação de Impacto
Avaliação de Eficiência
20

21. Da teoria à prática
• A teoria da mudança nos diz como o programa deveria funcionar, mas
implementar um programa de acordo com o planejado não é fácil
• Assim, é importante estudar o que acontece na prática, e uma avaliação
de processos avalia a implementação de um programa
21

22. Perguntas que requerem uma avaliação de processos
O programa está sendo implementado corretamente?
• Segundo o planejado?
• Cumpre com os padrões relevantes?
• Permite alcançar os objetivos?
– Quantas pessoas estão recebendo o serviço? São as pessoas certas?
– O serviço recebido é adequado em termos de quantidade, qualidade e tipo?
– A equipe que executa o programa conta com todas as competências requeridas?
– Como os recursos são geridos?
22

23. Avaliação de processos do TECHO
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
Tutorias
educativas
Fomento
produtivo
Assessorias
jurídicas
Oficinas
optativas
Plano de
saúde
Bibliotecas Oficinas
populares
% de áreas onde foram implementadas intervenções
Fonte: CIS 2009, Processos de intervenção social de UTP CH em acampamentos em que se formaram comités na região metropolitana.
23

24. Avaliação de processos do TECHO
24
0%
5%
10%
15%
20%
25%
30%
35%
40%
Coordenação com
o escritório
Participação nas
atividades de
campo além da sua
atribuição
Constância da
atividade
Compromisso com
a comunidade
Relação com as
familias
Aspectos em que se deve melhorar o trabalho dos
voluntários nas comunidades
Fonte: CIS 2009, Processos de intervenção social de UTP CH em
acampamentos em que se formaram comités na região metropolitana.

25. Avaliação de impacto
25
Impact Evaluation
Cost-Effectiveness Analysis
Avaliação de Necessidades
Avaliação Teórica
Avaliação de Processos
Avaliação de Impacto
Avaliação de Eficiência

26. O que é impacto?
Mudanças diretamente atribuíveis ao programa
(Gertler et al.)
26

27. Contrafactual
O que é impacto?
27
Resultado dos beneficiários
depois de participarem
do programa
Resultado que esses mesmos
beneficiários obteriam, no caso
hipotético de não terem
participado do programa
IMPACTO

28. Perguntas que requerem uma avaliação de impacto
O programa teve os efeitos esperados sobre os beneficiários?
• Esses efeitos se mantiveram com o tempo?
• Todos os componentes do programa são necessários para obter impacto?
• Alguns grupos de beneficiários estão mais afetados pela intervenção do que outros?
• Existem efeitos adversos não planejados?
28

29. Fonte:
Techo
Avaliação de impacto - TECHO
Avaliação de impacto
das casas emergenciais
em comunidades
vulneráveis de três países
• El Salvador
• Uruguai
• México

30. Qual foi o impacto?
30
Satisfação com a qualidade de vida
Satisfação com a proteção que a residência
oferece contra a chuva
20%
16%
Não houve impacto em:
• Consumo de bens
• Mercado de trabalho
• Saúde

31. Processos
vs.
Impacto
Avaliação de Processos
Como? Por que?
Mede o progresso em
relação aos objetivos
Monitoramento contínuo e
frequente
Realizada durante a
implementação do
programa
Pode ser realizada pela
equipe do programa ou
parceiro externo
Evidência descritiva
Avaliação de Impacto
Quanto?
Mede quanto do progresso em
relação aos objetivos é
causado pelo programa
Pontual, limitada no tempo
Desenhada antes da
implementação, com resultados
finais após programa ser
implementado
De preferência, realizada
externamente com apoio das
equipes do programa
Evidência causal

32. Avaliação de eficiência
32
Impact Evaluation
Cost-Effectiveness Analysis
Avaliação de Necessidades
Avaliação Teórica
Avaliação de Processos
Avaliação de Impacto
Avaliação de Eficiência

33. Avaliação de eficiência
Análise custo-benefício: compara os benefícios do
programa com seus custos
• Implica monetizar os custos e benefícios
• É realizada geralmente ex-ante
Análise custo-efetividade: compara a mudança
na variável de impacto principal com os custos do
programa
• Permite comparar o impacto relativo de diferentes
intervenções
• É realizada geralmente ex-post
33

34. Perguntas que requerem uma avaliação de eficiência
O impacto foi alcançado de uma maneira eficiente?
• O custo do programa é razoável em relação à magnitude do impacto?
• Existem intervenções alternativas que cumpririam os mesmos objetivos a um menor
custo?
• Os recursos são usados de maneira eficiente?
34

35. Análise custo-benefício em casas emergenciais
Mudança na medida de impacto (taxa de pobreza)
dividido por
medida de custo (reais)
Custo do
programa
35

36. Em resumo
•O programa está baseado em uma boa conceituação
do problema que se busca solucionar?
Avaliação de Necessidades
•A teoria por trás do programa é factível?
Avaliação Teórica
•O programa está sendo implementado segundo o
planejado?
Avaliação de Processos
•O programa alcançou os objetivos para os quais foi
desenhado?
Avaliação de Impacto
•O impacto foi alcançado de maneira eficiente?
Avaliação de Eficiência
38

37. A importância de se avaliar impacto

38. Por que avaliar impacto?
Existem vários motivos pelos quais estamos interessados em avaliar um programa:
1. Melhorar o programa
2. Tornar o gasto público mais eficiente
3. Gerar conhecimento sobre políticas públicas
41

39. 1. Melhorar o programa
Gerar informação focada no desenho ou na reformulação do programa,
com a finalidade de melhorar seu desempenho e resultados
• Encontrar soluções concretas e as implementar em curto prazo
• Permite entender a importância relativa dos componentes e processos
do programa
42

40. 2. Tornar o gasto público mais eficiente
Emitir um juízo sobre o uso eficiente dos recursos
• Útil para tomar decisões em relação à alocação de recursos,
continuidade do programa
• Interessa aos tomadores de decisão de alto nível (ex. governadores,
prefeitos, legisladores)
43

41. 3. Responder perguntas de relevância geral
Gerar bens públicos, contribuindo para o conhecimento em ciências
sociais e econômicas
– Produz conhecimento sobre mecanismos e efeitos de uma
intervenção
– Serve de base para inovações e novos enfoques, com potencial
para replicações e ganhos de escala
44

42. Exemplo: Programas de transferência de renda
(ex. Bolsa Família)
Fonte: Fiszbein y Schady, Banco Mundial; 2009

43. Grande crescimento em dez anos
Relevância global de
se conhecer o impacto
desta política
Fonte: Fiszbein y Schady, Banco Mundial; 2009

44. O exemplo do programa no México
47

45. Exemplo: programa de transferência de renda no México
O que permitiu o êxito do programa?
• Evidência científica sobre impactos
• Avaliação rigorosa feita por acadêmicos externos sem interesses políticos
48

46. Exemplo: programa de transferência de renda no
México
Qual foi o papel da evidência?
• Deu sustentabilidade política ao programa no tempo
• Entregou informação ao mundo sobre a efetividade da inovação
(a custo político e financeiro muito baixo)
• Ajudou a melhorar o desenho do programa ao longo do tempo
49

47. Avaliações de impacto e o uso de seus
resultados

48. Como decidimos quais programas implementar?
48
Programas/
Políticas
Conhecimento
Evidência
Experiência
pessoal ou
coletiva
Ideologia
Própria
Externa
Apoio
Orçamento
Político
Capacidade

49. 49
Política pública baseada
em ideologia e opinião
Política pública baseada
em evidência
Como decidimos quais programas implementar?
Fonte: Brandon Reynolds, apoiado pela University of Cape Town Graduate School of Development Policy and Practice

50. Precisamos de mais evidência e de um
maior uso da evidência existente
50

51. Crescimento de avaliações aleatorizadas
51
Número de avaliações aleatorizadas publicadas na área de desenvolvimento internacional
Ano de publicação
Fonte: Cameron et al (2016)

52. Fonte: https://ClinicalTrials.gov
11 de janeiro de 2017
Mas ainda há muito trabalho a ser feito
Evidência em medicina
234.107 estudos clínicos

53. 53
1. Medir impacto fora do laboratório é complexo
• Problema de confiabilidade do impacto estimado
• Importância de uma análise de dados adequada e bem justificada
– Estamos isolando o efeito do programa de outros elementos relevantes?
– Qual é a estratégia de identificação causal?
– Estamos trabalhando com grupos comparáveis?
Por que existe tão pouca evidência?

54. Por que existe tão pouca evidência?
54
2. Difícil pensar na avaliação a tempo
• Precisamos pensar na avaliação de um programa antes
de ser implementado
3. Incentivos
• Governos querem respostas rápidas, mas avaliações bem
feitas tomam tempo
• Conhecimento sobre políticas públicas é um bem público

55. 55
Mesmo quando existe evidência rigorosa, muitas vezes ela não é usada
sistematicamente para o desenho de programas
• Dificuldade em identificar a diferença entre a evidência “rigorosa” e
aquela que não é…
– Baixa credibilidade por seu mau uso
– Pouco conhecimento de causalidade
• Falta de cultura de avaliação e aprendizagem
• Validade externa: resultados de uma avaliação se aplicam a outros
contextos?
Uso de evidência

56. Quando não avaliar impacto?
• Quando já existe evidência suficiente sobre a efetividade de uma intervenção
• Quando o programa não está maduro e seu desenho está sujeito a alterações
• Quando não é possível identificar um grupo de comparação válido
60

57. Quando avaliar impacto?
• Quando existem perguntas causais sem resposta
• Quando existe incerteza sobre a melhor estratégia de intervenção para
atacar um problema
• Quando está sendo implementado um programa-piloto
• Quando se prevê ampliar um programa
• Quando um programa está sendo implementado de maneira gradual
• Quando o programa incorpora novos serviços ou beneficiários
61

58. Conclusões

59. Em resumo
• Existem diferentes tipos de avaliações. Neste curso, focaremos em
avaliações de impacto, que respondem a perguntas sobre causa e efeito
• Avaliar impacto pode ajudar a melhorar o desenho dos programas
sociais, aumentar a eficiência do gasto público e aprender sobre políticas
bem sucedidas
• Há grande espaço para mais produção e uso de evidência empírica
rigorosa
59