METODOS DE AVALIAÇÃO DE PROGRAMAS E POLITICAS PUBLICAS

1. Modelos e Metodologia de
Avaliação de Programas e
Políticas Públicos
Bernard Perret
Outubro de 2007

2. A avaliação das políticas públicas
 Definições – finalidades da avaliação
 Elementos históricos
 Atualidade da avaliação
 Elementos de metodologia
 As ferramentas de avaliação
 Exemplos

3. A avaliação das ações públicas, uma forma
de avaliação entre outras
Podemos avaliar :
 O pessoal (nível de conhecimento,
competências, práticas profissionais)
 As estruturas (instituições, organismos,
serviços)
 As técnicas (produtos, processos,
procedimentos)
 As ações (políticas, programas, projetos)

4. Vários tipos de ações
 Políticas
 Programas
 Projetos
 Normas, regulamentação (leis, decretos)
 Procedimentos
 Dispositivos
 Funções

5. A avaliação : um momento no
ciclo de vida das ações
Avaliação ex-ante
Avaliação concomitante
Avaliação a meio caminho
Avaliação ex-post

6. Politica pública
 Conjunto de meios e dispositivos de ação,
implementados em conseqüência das
decisões de uma ou várias autoridades
públicas, no intuito de alcançar um
objetivo ou de atingir uma finalidade
ligada ao interesse geral.

7. Definição da avaliação das
políticas (ações) públicas (I)
Avaliar uma política consiste em
“avaliar sua eficiência, comparando
seus resultados com os objetivos
fixados e os meios utilizados”
(Decreto de 18/11/1998)

8. Definição da avaliação (V)
 Atividade de estudo e análise sobre a
implementação e os resultados de uma
ação pública
 Realizada num quadro metodológico e
institucional (mais ou menos) formalizado
 No intuito de prestar contas e/ou de
melhorar essa ação

9. Três dimensões da avaliação
 Cognitiva
 Normativa
 Instrumental

10. Controle
Auditoria
Consultoria
Pesquisa social
Análise de políticas
Medição da performance
Benchmarking
AVALIAÇÃO

11. Avaliação versus fiscalização
“A avaliação procura ter como
resultado um parecer compartilhado
a respeito da eficiência da política
avaliada, e não apenas verificar a
conformidade com normas
administrativas ou técnicas”
(Circular de 28 de dezembro de 1998)

12. Fronteiras imprecisas com a auditoria
Em regra geral :
- a auditoria é realizada sobre funções ou
estruturas (organismos, serviços, instituições,
funções...)
- a avaliação é feita sobre ações (políticas,
programas, projetos)
Nem sempre a situação fica tão clara, como
demonstram 2 exemplos franceses :
- avaliação dos estabelecimentos sociais e
médico-sociais (Lei de 02/01/2002)
-auditoria dos programas orçamentários

13. Finalidade da avaliação
 Prestar contas sobre o “bom uso dos fundos
públicos” (accountability)
 Tomar decisões em base mais racional
estratégia (relação com a prospectiva)
otimização do uso dos recursos
 Mobilizar-se, dar sentido à ação
 Compartilhar informações, fazer convergir as
representações

14. Uma pluralidade de mecanismos de
retroação
 Controle hierárquico
 Inspeção / auditoria interna
 Controle de gestão
 Controle externo (Tribunal de Contas)
 Indicadores de performance / benchmarks
 Avaliação das políticas e programas públicos
 “Avaliação política” (pesquisas de opinião,
eleições)

15. Políticos Administrativos Atividade dos
agentes
Outputs Resultados
Satisfação e
opinião do
público
Controle hierárquico
Controle de gestão
Controles externos
Avaliação das políticas públicas
Eleições, pesquisas de opinião (avaliação política)

16. A avaliação enquanto modo de
elaboração da ação pública
 O paradigma do decisor racional
 A abordagem “cognitiva” das políticas
públicas

17. Avaliação e “abordagem cognitiva” das
políticas públicas
 “As políticas públicas são a conseqüência de
interações sociais, que resultam na produção
de idéias, representações e valores comuns”
(Yves Surel)
 Nessa perspectiva, a avaliação aparece como
um esforço de amplificação e sistematização
dos processos de interação e de conhecimento
que “produzem” as políticas públicas.

18. As origens americanas
 Intervenções federais contestadas
 Programas sociais com pouca legitimidade
 Democracia = Accountability
 A orientação empirista das ciências sociais
 O objetivo de uma “política baseada em
provas” (Evidence-based policies)

19. Os pontos fortes da avaliação no mundo anglófono
Uma real integração da avaliação ao
processo orçamentário
O caráter programático da ação pública
O papel ativo do Parlamento e do
Tribunal de Contas
A orientação empirista das ciências
sociais
A profissionalização dos avaliadores

20. Algumas datas da avaliação na França
 A Racionalização das escolhas orçamentárias (1970-
1984)
 As tentativas de institucionalização da avaliação
pluralista como ferramenta da governança pública :
Criação de um Conselho Científico da Avaliação (1990)
Transformação em Conselho Nacional da Avaliação
(1998)
Fracasso relativo e supressão do CNE (2002)
 A avaliação nos procedimentos contratuais (1993)
 A avaliação dos fundos estruturais europeus (1993)
 A avaliação na nova lei orçamentária (2001)
 A Revisão geral das políticas públicas (2007)

21. Os desafios da ação pública
 Novas exigências sociais / complexidade
 Aperto da pressão orçamentária
 Crise das ideologias e da autoridade
(deficit de legitimidade da ação pública)
 Novas formas de governança e de
regulação (globalização, Europa,
descentralização, parcerias, passagem do
“fazer” para o “mandar fazer”)
 Crise da administração pública, demanda
de “significado” no trabalho

22. Das utilizações potenciais às utilizações
reais: o caso francês
 Uma contribuição muito fraca ao debate público
 Utilizações orçamentárias relativamente raras, pelo
menos na França
 O lugar da avaliação na governança mundial (UE, Banco
Mundial…)
 Um auxílio real para o monitoramento das políticas
 A importância da dimensão “formativa”
 A contribuição para a elaboração de visões
compartilhadas
 Na maioria das vezes, efeitos adiados e indiretos

23. Vários pontos de vista possíveis
A avaliação “Goal free”
A avaliação econômica
A avaliação baseada nos objetivos
A avaliação baseada na “teoria” da
política
 O ponto de vista mais natural e mais
legítimo para realizar uma avaliação
institucionalizada consiste em partir
dos objetivos.

24. Princípios da avaliação como
procedimento institucional
 A avaliação institucional utiliza os
resultados da pesquisa avaliativa
 Trata-se de um trabalho coletivo,
monitorado e sintetizado por uma
instância de avaliação
 Toda avaliação começa pela elaboração
coletiva de um projeto (referencial,
questionamento, hipóteses, métodos)

25. “Num mundo onde a atenção constitui um
recurso importante e dos mais escassos, a
informação pode ser um luxo caro, pois ela
pode desviar nossa atenção daquilo que é
importante para aquilo que não é. Não
podemos nos dar o luxo de tratar uma
informação pelo simples motivo que ela
está aí” (Herbert Simon)

26. Etapas de uma avaliação
 Carta de mandato
 Elaboração de um projeto de avaliação
 Constituição de uma instância de avaliação,
que valida o projeto
 Lançamento de um programa de estudo
 Acompanhamento e validação dos estudos
 Redação e validação do relatório
 Acompanhamento e valorização das
conclusões

27. O PROJETO DE AVALIAÇÃO
 Contexto, expectativas, apostas
 Delimitação das ações a serem avaliadas
 Critérios de avaliação (referencial)
 Diagnóstico e hipóteses
 Questionamento (agenda analítica)
 Balanço informacional
 Programa de estudo (entrevistas, pesquisas)
 Escolha dos operadores

28. Papel da instância de avaliação
 Elaborar uma lista de questionamentos com
base no mandato
 Escolher um (uns) método(s)
 Juntar informações e documentos pertinentes
 Realizar audições
 Organizar e conduzir as pesquisas
 Sintetizar e interpretar seus resultados
 Redigir o relatório de avaliação
 Comunicar, explicar, divulgar

29. Elaborar um referencial:
Transformar objetivos imprecisos,
contraditórios e incompletos em um
sistema hierarquizado de resultados ou de
impactos esperados, suscetíveis de serem
medidos ou objetivados através de
indicadores ou de descritores

30. Distinguir diferentes níveis de resultados
 Outputs (“resultados operacionais”) :
resultado direto da atividade dos serviços,
bens e serviços produzidos no âmbito de
um programa
 Outcomes (impacto, efeitos): efeitos
econômicos e sociais do programa, a curto,
médio ou longo prazo
 A cadeia dos resultados

31. Um exemplo simples : O policial e a segurança
rodoviária
 Os efetivos da polícia (os “meios”)
 As horas de trabalho disponíveis do
policial (o “potencial”)
 Os controles de alcoolismo
 Os controles positivos
 As sanções
 A informação pública
 A dissuasão
 A redução do alcolismo ao volante
 A redução do número de mortos
“Saídas”
ou
“Impactos”
“Meios”
ou
“Recursos”
“Outputs”
ou
“Produções”

32. Os principais objetos do questionamento
 Implementação (conformidade, mobilização dos
atores)
 Alcance dos objetivos (como o problema evolui)
 Efeitos líquidos sobre os objetivos (eficácia)
 Efeitos inesperados (efeitos de sistema…)
 Mecanismos de ação (porquê e como a política
opera)
 Influência do contexto (circunstâncias influindo
na implementação e na eficácia)

33. “Meta-critérios” de avaliação
 PERTINÊNCIA (objetivos / finalidades /
necessidades)
 COERÊNCIA (meios / dispositivo / objetivos)
 EFICÁCIA (resultados / objetivos)
 EFICIÊNCIA (resultados / meios / custos)
 IMPACTO SISTÊMICO (impacto global sobre
o sistema)

34. Problemas
Necessidades Problemas
Necessidades
Ambiente
Sociedade
Resultados Efeitos
POLÍTICA
Objetivos – Meios – Recursos – Atores
COERÊNCIA
EFICIÊNCIA
EFICÁCIA
IMPACTO SISTÊMICO
PERTINÊNCIA

35. Onde encontrar as informações ?
 Dados quantitativos
exploração de arquivos estatísticos
informações administrativas
pesquisa por sondagem (questionário,
telefone, entrevista)
 Dados qualitativos
entrevistas abertas ou semi-abertas
análise de documentos
vídeos
discussão em grupo
observação participativa

36. O que é um indicador ?
 Um número que fornece uma informação
a respeito de um fenômeno ou da sua
evolução
 Um “dispositivo de agregação otimizada
da informação”
 Sua função é de chamar a atenção sobre
um fato ou uma tendência importante
 Em geral, ele não basta para formar um
juízo a respeito do sucesso de uma ação

37. Lugar dos indicadores na avaliação
 Toda avaliação está baseada em números
 Os indicadores ocupam um lugar que
varia muito enquanto ponto de apoio das
conclusões :
Às vezes, eles respondem por si só às
perguntas da avaliação
Em regra geral, eles precisam ser
interpretados e completados por
informações qualitativas

38. Os métodos da análise causal
 Objetivo : comprovar e quantificar uma
relação causal entre um “tratamento” e
um efeito observável
 Uma tarefa central na ótica de uma
racionalização da decisão
 Método preferido : a experimentação
controlada
 Outro método : a estimativa de um
modelo econométrico

39. O modelo da experimentação social
 Um “tratamento” social é aplicado a uma
amostra aleatória de beneficiários
 Uma amostra estatisticamente equivalente de
não-beneficiários é formada
 A situação dos indivíduos em relação aos
objetivos é observada antes, durante e após a
implementação do programa
 Testes estatísticos permitem estabelecer em
qual medida o tratamento “faz a diferença”

40. Limites e dificuldades da experimentação
 Utilização limitada a certos tipos de
programas (efeitos específicos,
existência de um ”contrafactual”)
 Obstáculos éticos / práticos
 Custos, prazos
 Problemas de validade externa
(generalização)

41. Métodos microeconométricos
 Exigem muitos dados individuais a
respeito dos beneficiários de um
“tratamento”
 Sua validade depende da validade dos
modelos explicativos subjacentes

42. Modelos macroeconométricos
 Exigem séries temporais bastante
longas
 Sua validade depende da validade do
modelo explicativo subjacente
 Na prática : utilização limitada à
análise dos efeitos econômicos das
políticas

43. A avaliação não se limita à análise causal
 A avaliação visa tanto explicar mecanismos
quanto medir efeitos
 Ela participa tanto da explicitação do significado
da ação quanto da sua racionalização
 Ela deve produzir uma argumentação apropriada
para convencer um público diversificado…
 e para fundamentar novas ações / decisões com
base em informações heterogêneas
 agindo por indução mais do que por
demonstração

44. Os métodos qualitativos
 Pesquisas qualitativas (entrevistas…)
 Estudos de casos, monografias
 Análise de documentos
 Etno-metodologia
 Utilização de material audiovisual
 “Palavra de especialistas”
 Métodos de trabalho em grupo

45. As técnicas de decisão
 Custo – eficácia: comparação de relações
custo / resultados para diferentes
programas comparáveis
 Custo – benefícios : os resultados e os
impactos são traduzidos em termos
monetários e comparados ao custo do
programa
 Análise multicritérios

46. Fonte : Guia da Comissão
Avaliando as Despesas da UE
Redigir um relatório de avaliação
o que o leitor deve poder entender :
 Objetivo da avaliação
 Delimitação exata do objeto
 Como a avaliação foi planejada e conduzida
 Quais fatos foram estabelecidos
 Quais conclusões foram tiradas
 Quais recomendações resultaram dela

47. A Carta da Sociedade Francesa
para a Avaliação (SFE)
 Princípios de :
Pluralidade
Distanciamento
Competência
Respeito das pessoas
Transparência
Oportunidade
Responsabilidade