João Pedro Azevedo identifica as perguntas, os metodos e gargá-los enfrentados em suas experiências Latino Americanas.

1. A fronteira do tema Avaliação:
desafios e perspectivas futuras
João Pedro Azevedo
Banco Mundial
II Seminário de Avaliação de Políticas Públicas e Qualidade do Gasto
Porto Alegre, 28 e 29 de Setembro de 2009.

2. Ciclo de Gestão de Políticas Públicas
Teoria Desenho
Monitoramento
Orçamento
e Avaliação
Execução

3. Ciclo de Gestão de Políticas Públicas
Prática
Monitoramento
Desenho Orçamento Execução
e Avaliação

4. Algumas razões para a quebra do ciclo!
• Modelos causais frequentemente implicitos
• Dificuldades na execução
• Ciclo políticos
• Incompatibilidade entre os diferentes
“tempos” deste processo
– Politico, Técnico (programa), Técnico (avaliação), e
Financeiro

5. É importante reconhecer avanços...
• Gestores públicos e sociedade civil com foco crescente
em resultados
– Movimento Brasil Competitivo; disseminação de
ferramentas de gestão modernas (i.e. escritorio de
projetos; balanced score cards; avaliações de impacto)
• Existência de instituições tecnicamente capazes
– IBGE, IPEA, Fundações Estaduais, Universidades, TCU
• Construção de foruns nacionais para troca de
experiência sobre o tema
– Rede Brasileira de Monitoramento e Avaliação; Movimento
Todos pela Educação; Forum de Segurança; eventos
como este!

6. ..., alguns limites
• Não existe um único caminho para se
construir um robusto sistema de avaliação e
monitoramento
– A experiência internacional ajuda (i.e.
Mexico, Colombia, Chile, India), contudo este
processos são fruto de uma confluência de atores
e interesses próprios que podem e devem ser
respeitados.

7. ... e oportunidades.
• Heterogeneidade entre setores e regiões
• Programas de ajuste fiscal
• Construção de Estratégias de Desenvolvimento
• Eleição de programas prioritários
• Crises economicas

8. Alguns desafios
• O que perguntar?
• Como responder?
• Quando responder?
• Como utilizar?

9. Formatando as perguntas...
Mobilização
• Existe um continuo de Recursos
perguntas relevantes Efficiência
Servicos
• Para ser estratégico e Eficiência
poder priorizar é Impacto
importante mapear as
Participantes
possibilidades.
Resultados

10. ... Identificando as ferramentas...
• Marco lógico • Análise de Desviante Positivo
• Avaliação ex-antes • Benchmarking
• Dinamica de sistema • Modelos de Equilibrio Geral
• Métodos Qualitativos Computável
– Grupos focais • Avaliações nutricionais
– Entrevistas estruturados • Avaliações de proficiência
• Métodos Quantitativos educacional
– Desenhos experimentais • Ferramentas de BI
– Desenhos não-experimentais • Outros...
– Implementação
– Análise de disposição a pagar
– Análises de custo-benefício
– Análises de custo-efetividade

11. ..., viabilizando o plano de trabalho
• Dados
– Registros administrativos
– Dados secundários
– Coleta primária de dados
• Instituições
– Demandantes de informação
– Geradores de informação
• Prazos

12. ..., utilizando os resultados.
• Relevância
• Representatividade
• Viabilidade
• Precisão

13. Estudos de caso
• Colombia
• México
• República Dominicana
• Minas Gerais

14. Objetivo
• Identificar as perguntas, métodos, e gargá-los
enfrentados em algumas experiências Latino
Americanas.
• Criar um documento único

15. Desafios
• Uso de modelos causais explicitos
• Maior uso de avaliações ex-antes durante a fase de
planejamento do governo
• Reconhecimento da importância da triangulação de
métodos
• Maior uso dos dados existentes
• Melhoria da qualidade dos dados existentes
• Geração de pesquisas domicíliares mais apropriadas
para avaliar programas
• Desenhos aleatórios de programas alternativos
• Avaliações dos determinantes de impacto

16. Perspectiva futura
• Geração e sistematização do conhecimento
como um bem público
• Política de ESTADO

17. Obrigado!
jazevedo@worldbank.org

18. Primeiro: Será que as metas são factíveis?
• Benchmark comparando paises
• Benchmark comparando estados dentro de um pais
• Benchmark comparando municípios ou unidades decisórias
(escola, hospitais, pontos de saúde) dentro de um estado
• Pode-se analisar as distribuições não condicionada dos desempenhos
• ….ou as condicionadas nas características iniciais.
• Nossa contribuição. Ao invés de estimarmos a medida de desempenho e
condicionada as caracteristica iniciais na média (MQO), podemos estimar
estas relações em todos os pontos da distribuição utilizado a técnica de
regressões quantílicas.
Ferramentas

19. Benchmarking
International
National
Subnational
Ferramentas

20. Benchmarking: Internacional, Nacional e
Local
• Brasil esta em uma posição relativa baixa na nas
comparação internacionais de leitura, ciências e
matemática (PISA)
• Minas Gerais esta em uma posição alta da
distribuição de performance dentro do Brasil, e
apresenta um ritmo de crescimento relativametne
alto
• Observa-se uma variação considerável entre o
crescimento das notas dentro do Estado de Minas
Gerais.
Ferramentas

21. Referencia
• Metas devem ser ambiciosas porem realistas
• As tendências históricas são um ponto de
partida importante
Ferramentas

22. • Os eixos representam indicadores (H; CV; CVP)
ou unidades de análise (RISPs)
• Três performances:
– Desempenho histórico (2000-2007)
– Desempenho recente (2004-2007)
– Meta 2007-2009
Ferramentas

23. Exemplo 1
Ferramentas

24. Exemplo 2
Ferramentas

25. Exemplo 3
Ferramentas

26. Exemplo 4
Ferramentas

27. SEGURANÇA PÚBLICA
Ferramentas

28. Casos a serem explorados
(com Gráfico de Radar)
sugestão
• Homicídio
– Unaí vs Barbacena
• Nível semelhante (<70)
• Variação histórica e recente proxima (< -2)
• Porque metas tão diferentes?
– Pato de Minas e Divinópolis
• Performance recente muito pior do que a
histórica, qual a estratégia para reverter o quadro?
– Belo Horizonte e Contagem
• Caso de sucesso (o que foi feito)?
Ferramentas

29. Ferramentas

30. Casos a serem explorados
(com Gráfico de Radar)
sugestão
• Crimes Violentos contra o Patrimônio
– Montes Claros e Uberaba
• Porque as metas são tão maiores do que o seu
desempenho relativo histórico e recente?
– BH, Contagem, Teofilo Otoni, e Vespasiano
• Porque as metas são tão menores do que seu
desempenho relativo recente?
– Unaí e Divinópolis
• Porque a posição relativa das metas superior ao
desempenho recente?
Ferramentas

31. Ferramentas

32. Comparando RISPs
• Barbacena
– Metas um pouco superiores ao desepenho
relativo recente
• Divinópolis
– Metas muito superiores ao desempenho relativo
recente
• Belo Horizonte
– Em alguns indicadores metas muito superiores em
outros muito abaixo
Ferramentas

33. Ferramentas

34. Ferramentas

35. Ferramentas

36. EDUCAÇÃO
Ferramentas

37. Ferramentas

38. Ferramentas

39. Ferramentas

40. Ferramentas

41. Ferramentas

42. Uma vez que acreditamos que as metas
são viáveis….
• Qual será a estratégia para alcançar as metas?
• Quanto vai custar?
• Quanto tempo vai demorar para alcançar as metas?
• Qual a previsão para monitorar e avaliar o progresso
e qual será o processo caso o sistema de
monitoramento indicar que mudanças são
necessárias?
• Tanto as áreas de finanças/planejamento quanto os
ministérios setoriais tem interesse em responder
estas perguntas
Ferramentas

43. Uma marco lógico é um instrumento que pode facilitar a
comunicação entre a área de finanças/planejamento e os
setores
Fonte: FAO, http://www.fao.org/Wairdocs/X5405E/x5405e0p.htm Ferramentas

44. Marco Logico, cont. -
• Em 80% dos casos, é possível que isto seja tudo que
se necessita
• Em outros casos, pode não ser suficiente
– Quando tempos processos de retroalimentação no sistema
(A – B – C, mas C afeta A)
– Quando temos uma elemento dinamico no problema,
– Quando programas múltiplos contribuem para um mesmo
objetivo estratégico
– Quando temos que entender as diferenças de
desempenho entre implementações distintas
Ferramentas

45. Dinamica de Sistemas
• A Dinamica de Sistemas é uma metodologia para estudar e gerenciar
sistemas complexos de retroalimentação, que podem ser encontrados em
sistemas empresariais ou sociais
• A metodologia:
– Identifica um problema,
– Desenvolve uma hipotese dinamica que explica a causa do problema,
– Constroi um modelo de simulação do comportamento do sistema,
– Verifica a capacidade do modelo de reproduzir tendências que se
observam na realidade,
– Identifica politicas alternativa que podem solucionar o problema y se
testa o potencial que cada alterantiva possui para solucionar o
problema, e
– Identifica indicadores que o modelo deveria acompanhar através de
um sistema de monitoramento e avaliação.
• Existem aplicações em diversos setores e principalmente no setor privado
(GM, Boeing, Shell, preparação dos jogos Olimpicos em Atenas)
Ferramentas

46. Exemplo do Control de Malaria
na Bolivia
Ferramentas

47. Nosso modelo metal esta implicito no processo
A melhoria da estrategia e implementação requer a abertura da “caixa
preta”
Para…
1. Descrever precisamente o que esta
acontecendo e o que deve acontecer? Estratégia
2. Determinar rigorasametne as causas Aplicando o método para
subjacentes?
3. Simular o que deve ser feito para melhorar desenvolver uma
a situação? visão, estratégia, e metas
4. Conquistar adeptos para implementar as
mudanças
5. Desenvolver um sistema de monitramento
capaz de alertar as necessidades de
mudança
Paradigmas &
Avaliação Implementação
Sensibilizar condições Modelos Mentais Desenvolvendo táticas
Correntes em relação Conjunto de hipóteses e ações
as metas estabelecidas sobre como o mundo
funciona e o que
é importante
Impacts
Ferramentas

48. Documento Único
• Marco Lógico
• População em risco
• Parâmetros Fonte:
Literatura
– Efetividade M&E
Orçamento
– Eficiência Projeto
– Custo Metas
• Metas
Ferramentas

49. Por que pensamos que estas duas ferramentas podem
melhorar a qualidade das discussões e negociações
• Menos risco para se ter metas irrealistas
• O processo de escolha de metas passa a ser baseado em
evidências empíricas
• Com um marco lógico, ou quando se justifica, com um modelo
de dinamica de sistema, pode-se contruir um “documento
único” que representa o entendimento entre os atores sobre o
plano que se alcançar a meta
• Ao invés de controlar um grande número de
indicadores, pode-se simplificar o processo ao pactuar através
de uma plano crível, que pode ser revisto periodicamente, no
qual as decisões finais poderão ser tomadas quando as ações
não apresentam o efeito esperado.
Ferramentas

50. Análise de Desviantes Positivos
• Quando a tecnologia não é conhecida, muitas
vezes pode-se explorar a heterogeneidade de
performance do próprio sistema para gerar
hipóteses.
• Exemplos:
– Nutrição no Vietman
– Saúde
– Educação
Ferramentas

51. Como gerar conhecimento de maneira
sistematica?
Avaliação
Tecnologia
conhecida Ações
Resultado
Objetivo
Avaliação
Usamos dados
Tecnologia para
desconhecida Escala
identificar Ações
hipoteses
Ferramentas

52. Ferramentas

53. Ferramentas

54. Ferramentas

55. Ferramentas

56. Alguns resultados interessantes a respeito dos
mecanismos de feedback criados pelas SEE/MG...
– Segundo os diretores as escolas de melhor
performance sabem que estão indo bem (q24a e
q24b)
– Os diretores parecem conhecer a posição relativa da
sua escola em suas respectivas de SREs (q27)
– Os diretores das escolas de melhor resultado
atribuem seu rendimento no PROEB a um trabalho
diferenciado com os alunos e a um esforço maior da
escola (q25b)
– A matriz de avaliação do PROEB parece ser melhor
conhecida nas escolas de melhor peformance (q69b)
Ferramentas

57. Em relação ao Acordo de resultado no contexto educacional de
Minas Gerais a percepção encontrada foi que...
• Os diretores das escolas com melhor resultado parecem acreditar
que o Acordo de Resultado contribuiu para melhorar o despenho
dos alunos (q73c e q73e)…
• ...contudo, 10% dos diretores das escolas com melhor resultado
indicaram que nas metas pactuadas nao foram nada desafiadoras
(q78)
• Os diretores das escolas com pior resultado discordam do processo
de implementação do Acordo de Resultado (q74a)
• Os diretores das escolas de melhor resultado acreditam que o PGDI
contribui positivamente para um melhor conhecimento das equipes
(q75c)
Ferramentas

58. Em relação aos professores...
• Os professores das escolas com melhor resultado
estavam mais habilitados a lecionar (e não apenas
autorizados).
• Os professores das escolas com melhor resultado
avaliam que o ambiente de trabalho, disciplina dos
alunos e funcionamento global da escola é bom ou
muito bom (q33b, q33e, q33g)
• Os professores das escolas com melhor desempenho
parecem ser melhor informados sobre as metas e
objetivos da sua escola (q41a), e estão mais engajados
em atividade de troca de experiência com outras
escolas (q41f).
Ferramentas

59. Em relação aos mecanimos de
feedback...
• Os professores das escolas de pior desepenho são
entre 2 ou 3 vezes mais propensos a afirma que
desconhecem o rendimento de sua escola entre
2006 e 2008, tanto no PROALFA quando PROEB.
• Os professores das escolas de melhor
desempenho participaram mais ativamente da
construção do seu PGDI
• 73% dos professores acreditam na manutenção
do prêmio de produtividade em 2010 (resultado
idêntido nos dois tipos de escolas visitadas)
Ferramentas

60. AVALIAÇÃO DE IMPLEMENTAÇÃO
Ferramentas

61. Matriz de avaliação por escola
Divulgação Integração
e interação Processos Apropriação
e mobilização
Da equipe 3 do PEJ
3
2 2
Planos de trabalho Participação nas
Conhecimento do PEJ elaborados e executados Entrega e reuniões de equipe
pelos alunos pelo coordenador Atualização dos dados (0,5)
(0,5) (0,5) (1)
Capacidade de resolução
Planos de trabalho de
Elaborado e executados situações que afetam o
Envolvimento Pelo estagiário de Capacidade de coordenar desenvolvimento do PEJ
e participação dos alunos pedagogia Aplicação de avaliações (05)
(1) (0,5) e ficha de beneficiário
(1)
Estratégias de retorno
Planos de trabalho para a comunidade
Adoção de estratégias elaborado Escolar
Permanentes de e executado pelo tutor Capacidade de planejar e
(0,5)
Mobilização dos alunos (0,5) Coordenar as atividades
(1) Extras
(1) Incentivo dado
pela escola
Estratégias de ao aluno
Adoção de estratégias manutenção (0,5)
de mobilização do do fluxo de comunicação
Corpo docente (0,5)
(0,5)
Ferramentas

62. Níveis de classificação
Excelente contribuição à maioria dos fatores considerados. Existem pontos muito
Excelente favoráveis e nenhuma deficiência de maior importância. Os pontos favoráveis
100% predominam amplamente frente a eventuais deficiências.
ALTO Alta contribuição à maioria dos fatores considerados. Os pontos favoráveis
suplantam as deficiências existentes. Todas as deficiências são facilmente
70%
corrigíveis.
MÉDIA A contribuição à maioria dos fatores considerados é modesta. Os pontos
50% favoráveis e as deficiências se equivalem. As deficiências são corrigíveis.
BAIXO Pequena contribuição a vários dos fatores considerados. As deficiências
suplantam quaisquer pontos favoráveis eventualmente existentes e são difíceis de
30%
corrigir.
INSATISFATÓRIO Não existem pontos favoráveis a ressaltar além de existirem importantes
0% deficiências. Essas deficiências são muito difíceis de corrigir.
Ferramentas

63. Matriz de Avaliação por Escola Avaliação Níveis
5 = EXCELENTE
4 = ALTA
Local: ( )RJ ( ) JF ( ) ES 3 = MÉDIA
Escola Estadual: _____________________________Data _____________________ 2 = ABAIXO DA MÉDIA
1 = INSATISFATÓRIA
Indicador Itens Avaliação
- Conhecimento dos objetivos do PEJ pelos alunos da escola
Divulgação e mobilização - Envolvimento e participação dos alunos no PEJ
(frequência, participação nas atividades extras, etc)
- Adoção de estratégias permanentes de mobilização dos alunos
- Adoção de estratégias de mobilização do corpo docente
- Planos de trabalho elaborados e sendo executados pelo coordenador
Integração e interação da
equipe do PEJ na escola - Planos de trabalho elaborados e sendo executados pelo estagiário de
pedagogia
- Planos de trabalho elaborados e sendo executados pelos tutores
- Adoção de estratégias para manter o fluxo de informação
- Entrega e atualização dos dados (frequência, notas, banco de alunos)
- Capacidade de coordenar a aplicação das avaliações e ficha de
Processos beneficiário
- Capacidade de planejar,coordenar e executar as atividades extras
(passeio cultural e gincana)
- Participação nas reuniões de equipe (supervisores/coordenação local)
- Capacidade de resolução de situações que afetam o desenvolvimento
do PEJ (merenda, transporte, outros)
Apropriação do PEJ - Incentivo dado ao aluno pela escola
- Estratégias de retorno dos resultados do PEJ para a comunidade
escolar (inscrição em curso oferecidos pelo IU, reunião com corpo Ferramentas
docente e discente, etc)

64. Divulgação e Integração e interação da Apropriação do PEJ -
Escolas Processos - 15 Nota Final
mobilização - 15 equipe - 10 10
Escola 1 63.3 55.0 66.7 50 60.0
Escola 2 66.7 75.0 73.3 75 72.0
Escola 3 40.0 35.0 60.0 45 46.0
Escola 4 76.7 65.0 100.0 65 79.0
Escola 5 43.3 50.0 60.0 45 50.0
Escola 6 63.3 65.0 60.0 55 61.0
Escola 7 63.3 75.0 80.0 60 70.0
Escola 8 60.0 70.0 80.0 65 69.0
Escola 9 33.3 45.0 40.0 40 39.0
Escola 10 53.3 45.0 53.3 55 52.0
Escola 11 66.7 60.0 46.7 70 60.0
Escola 12 60.0 50.0 60.0 55 57.0
Escola 13 56.7 60.0 66.7 60 61.0
Escola 14 66.7 70.0 73.3 65 69.0
Escola 15 46.7 45.0 66.7 50 53.0
Escola 16 40.0 25.0 33.3 40 35.0
Escola 17 63.3 75.0 80.0 65 71.0
Escola 18 43.3 50.0 40.0 40 43.0
Escola 19 26.7 30.0 26.7 30 28.0
Ferramentas

65. AVALIAÇÃO DE IMPACTO
Ferramentas

66. Diferença em Diferenças
Com este desenho podemos descobrir o efeito
do programa nas escolas tratadas, levando em
conta externalidades positivas e negativas
geradas pela intervenção.
proficiência
Sorteio *
Pré
Teste
Pós
Teste
B
A
tempo
Nota: (*) ou pareamento Impacto = B - A Ferramentas

67. Desenho do Programa
• O programa EJ não foi desenhado para
atender todos os alunos de uma mesma
escola
• Alunos se inscrevem voluntariamente no
programa
Ferramentas

68. Tripla Diferença
Com este desenho podemos descobrir o efeito
do programa sobre os alunos participantes.
proficiência
Pré Pós
Sorteio*
Teste Teste
tempo
Nota: (*) ou pareamento Ferramentas

69. Desenho da Avaliação (cont.)
• Muitas vezes avaliações assumem que a intervenção
possui um caráter dicotômico (recebem ou não
recebem o programa).
• Esta premissa pode ser falsa. Participantes podem
receber exposições diferenciadas ao programa.
• No caso do EJ 2008, este indicador é a taxas de
freqüência.
– Para isso a equipe de implementação do programa
monitorou cuidadosamente este aspecto do programa, e
estes dados foram também utilizados na avaliação.
Ferramentas

70. Linha de Base
Dimensões Controle Intervenção Diferença Sig Estat
Vc gostaria de fazer um curso de reforço de
português ou matemática (Sim) 60.2 59.8 -0.4 ns
Você fez um curso de reforço no ano passado (Não) 89.7 88.4 -1.3 ns
Vc teria tempo para fazer um curso de reforço (Sim) 53.7 55.8 2.1 ns
Seu pai sabe ler e escrever (Sim) 87.5 87.7 0.2 ns
Sua mae sabe ler e escrever (sim) 93.3 93.5 0.2 ns
Você mora com sua mãe (sim) 86.1 85.4 -0.7 ns
Você já foi reprovado (Não) 57.9 56.3 -1.6 ns
Trabalho fora de casa (Não) 72.7 74.2 1.5 ns
Leitura de jornal (sempre) 45.2 46.5 1.3 ns
Vc esta fazendo algum curso de reforço escolar (Sim) 4.5 16 11.5 1%
Ferramentas

71. Perguntas
• Qual o impacto do EJ 2008 nas escolas que
participaram do programa em 2008?
• Qual o impacto do EJ 2008 nos alunos que
participaram do programa em 2008?
• Qual o impacto da freqüência do programa EJ 2008?
• Em termos relativos, a magnitude do impacto é
relevante?
Ferramentas

72. Quadro Resumo
Dimensões da avaliação de impacto
Impacto Português Matemática
Escola X X
Beneficiário X X
Freqüência X X
Ferramentas

73. Resultados
• O número de alunos beneficiários do programa não foi suficiente
para gerar um impacto estatisticamente significativo ao nível da
escola.
• No entanto, os beneficiários das classes de reforço das escolas de
tratamento apresentaram um rendimento superior e
estatisticamente significativo, quando comparado a alunos
semelhantes das escolas de controle (1/4 desvio padrão).
• A evidência deste impacto é mais contundente em Vitória: 1/2
desvio padrão (desenho aleatório) .
• Os alunos que freqüentaram mais intensamente o programa
apresentaram um rendimento superior aqueles que não
freqüentaram o programa com a mesma intensidade (1/3 desvio
padrão)
• Os impactos da freqüência são não lineares. Ganhos mais do que
proporcionais com o passar do tempo em matemática.
Ferramentas

74. Resultados (Vitória)
Impacto Português Matemática
Escola 1.81 1.27
Beneficiário 24.15** 23.31**
Freqüência 14.03** 21.18**
Nota: significância estatística: + p<0.01, * p<0.05, ** p<0.01; Modelo: Diferença (dupla ou tripla);
erro padrão clusterizado por aluno; painel desbalanceado; ponderado pelo erro padrão; desvio
padrão nas escolas de tratamento no pré-teste: Português = 47.64 e Matemática = 46.71. Ferramentas

75. HETEROGENEIDADE DO IMPACTO
Ferramentas

76. Matemática (Vitória)
Ferramentas

77. Português (Vitória)
Ferramentas

78. AVALIAÇAO EX-ANTE
Ferramentas

79. Ferramentas

80. Ferramentas

81. Ferramentas

82. DESENHO NÃO-EXPERIMENTAL
Ferramentas

83. Ferramentas

84. Ferramentas

85. Ferramentas

86. Ferramentas