IV Seminário de Avaliação de Políticas Públicas eQualidade do Gasto    Monitoramento eAvaliação no mundo real:     necessi...
1   Vetores da modernização da gestão pública2   Experiência Internacional e conceitos gerais de    monitoramento e avalia...
1    Vetores da modernização da    gestão pública
Vetores da modernização da gestão pública4 vetores de transformação Disciplina fiscal e estabilidade da moeda: um valor s...
Vetores da modernização da gestão públicaCrise do Estado diante de um novo padrão deprodução e sociedade democrática Cris...
2    Experiência internacional e    conceitos gerais de avaliação
Experiência internacional e conceitos gerais de avaliação         Forte incremento nos últimos 20 anos, porque? Inerente ...
Experiência internacional e conceitos gerais   de avaliaçãoTrês modelos principais de estruturação da função avaliativa   ...
Experiência internacional e conceitos gerais de avaliação Sistemas públicos de avaliação: dois modelos principais Sistema...
Sistemas de Monitoramento e Avaliação pelo ladoda demanda (incentivos vindo dos usuários)                  Coordenação    ...
Experiência internacional e conceitos gerais de avaliação                        Coordenação e Sistemas de M.A. Inerente ...
Experiência internacional e conceitos gerais   de avaliação                           Coordenação e Sistemas de M.A. Gove...
Experiência internacional e conceitos gerais  de avaliação         Participação dos beneficiários e Sistemas de M.A. Cada...
Experiência internacional e conceitos geraisde avaliação     Participação dos beneficiários e Sistemas de M.A.            ...
Experiência internacional e conceitos gerais de avaliação     Relação entre a avaliação e orçamento: combinação           ...
Experiência internacional e conceitos gerais de avaliação     Relação entre a avaliação e orçamento: combinação           ...
Experiência internacional e conceitos gerais   de avaliação      Relação entre a avaliação e orçamento: combinação        ...
Sistemas de Monitoramento e Avaliação pelo ladoda oferta (incentivos aos produtores de informação)                        ...
Experiência internacional e conceitos gerais de avaliação                                  4 procedimentos essenciais Def...
Experiência internacional e conceitos geraisde avaliação                                           Porque avaliar      Ap...
Experiência internacional e conceitos geraisde avaliação                       O que avaliar Políticas e Programas – aval...
Experiência internacional e conceitos gerais   de avaliação                                            EvoluçãoMenos frequ...
Experiência internacional e conceitos gerais   de avaliaçãoDiferença entre avaliação e pesquisa está na finalidade distint...
Experiência internacional e conceitos geraisde avaliação                                  Quanto ao promotor Auto-avaliaç...
Experiência internacional e conceitos geraisde avaliação                               Quanto a temporalidade Avaliação e...
Experiência internacional e conceitos gerais de avaliação O paradoxo entre necessidade de recursos e qualidade e          ...
3    Experiência do Governo    Federal
Experiência do Governo Federal                       Vários sistemas estruturados de M.A.                                 ...
Experiência do Governo Federal                               Sistema de M.A. do PPA Abrangente – toda a atuação de govern...
Experiência do Governo Federal                    Sistema de Avaliação Externa de                             Programas de...
Experiência do Governo Federal        Sistema de Avaliação e monitoramento das                     políticas e programas s...
Experiência do Governo Federal                 Sistema de Monitoramento do PAC Monitoramento físico-financeiro Apoio do ...
Experiência do Governo Federal                                 Lições da experiência São superpostos, embora complementar...
Alguns desafios dos Sistemas de M.A. que  merecem destaque Sistemas de M.A seletivos, no Alto Governo, com sistemas  abra...
Obrigado pela oportunidade Ariel.pares@mma.gov.br     (61) 2028-1224
Próximos SlideShares
Carregando em…5
×

IV Seminário de Avaliação de Políticas Públicas e Qualidade do Gasto - Ariel Pares

754 visualizações

Publicada em

PortoAlegre, 05 dezembro de 2011 Monitoramento e Avaliação no mundo real, necessidades, dificuldades e potencialidades

Publicada em: Notícias e política
0 comentários
0 gostaram
Estatísticas
Notas
  • Seja o primeiro a comentar

  • Seja a primeira pessoa a gostar disto

Sem downloads
Visualizações
Visualizações totais
754
No SlideShare
0
A partir de incorporações
0
Número de incorporações
1
Ações
Compartilhamentos
0
Downloads
10
Comentários
0
Gostaram
0
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide

IV Seminário de Avaliação de Políticas Públicas e Qualidade do Gasto - Ariel Pares

  1. 1. IV Seminário de Avaliação de Políticas Públicas eQualidade do Gasto Monitoramento eAvaliação no mundo real: necessidades, dificuldades e potencialidades Porto Alegre, 05 dezembro de 2011
  2. 2. 1 Vetores da modernização da gestão pública2 Experiência Internacional e conceitos gerais de monitoramento e avaliação3 Experiência do Governo Federal
  3. 3. 1 Vetores da modernização da gestão pública
  4. 4. Vetores da modernização da gestão pública4 vetores de transformação Disciplina fiscal e estabilidade da moeda: um valor societário Democracia estável: demandas sociais crescentes, controle social, transparência, descentralização e governança Globalização e competitividade: convergência do padrão gerencial e de produtividade entre o setor público e o privado Sociedade da informação: governo-eletrônico, produtividade, controle e transparência
  5. 5. Vetores da modernização da gestão públicaCrise do Estado diante de um novo padrão deprodução e sociedade democrática Crise 1: fiscal ou déficit fiscal Crise fiscal X democracia = crise de legitimidade Crise 2: de legitimidade ou déficit de legitimidade Crise de legitimidade X Capacidade do Estado = crise do Estado burocrático - reconhecimento das demandas da sociedade pela administração pública Crise 3: do Estado burocrático ou déficit de eficiência Mudança na forma de criação do valor público comparado ao valor privado
  6. 6. 2 Experiência internacional e conceitos gerais de avaliação
  7. 7. Experiência internacional e conceitos gerais de avaliação Forte incremento nos últimos 20 anos, porque? Inerente à gestão por desempenho Inerente ao fortalecimento da democracia com participação social, transparência e controle social Preocupações crescentes com a qualidade do gasto e a produtividade do setor público
  8. 8. Experiência internacional e conceitos gerais de avaliaçãoTrês modelos principais de estruturação da função avaliativa no setor público  Constituição de sistemas de avaliação: Canadá é o exemplo mais antigo e bem sucedido, seguido da Austrália, Inglaterra, Chile, Espanha (casos menos freqüentes)  Avaliações aleatórias, dependentes da orientação gerencial de cada organização, sem obrigações para com o órgão responsável pela administração do serviço público: EUA (caso mais freqüente)  Prestação de contas anual: Holanda, Suécia, mais recentemente a França etc.
  9. 9. Experiência internacional e conceitos gerais de avaliação Sistemas públicos de avaliação: dois modelos principais Sistema descentralizado de avaliação – a avaliação é contratada e executada pelo Ministério; depende de rede de avaliadores externos credenciados e mercado de avaliação forte; há órgão central que lidera o sistema (mais freqüente) Sistema centralizado – a avaliação é contratada pelo cabeça de sistema - é o caso do Chile, cujo órgão responsável é a Secretaria de orçamento, do Ministério de Economia (pouco freqüente)
  10. 10. Sistemas de Monitoramento e Avaliação pelo ladoda demanda (incentivos vindo dos usuários) Coordenação de Governo Sumario Relacionado Beneficiários ao e Formadores orçamento de opinião
  11. 11. Experiência internacional e conceitos gerais de avaliação Coordenação e Sistemas de M.A. Inerente ao bom desempenho da coordenação de governo O peso da personalidade do mandatário e sua assessoria dificultam a institucionalização de sistemas M.A. de suporte ao funcionamento do Alto Governo Inexistência de quadros permanentes e os aspectos cumulativos das especificidades de cada governo afetam o seguinteNão é frequente o uso de mecanismos especializados para a tomada de decisão no Alto Governo:  Prevalece o caráter discricionário e pautado pela emergência Os instrumentos de apoio tendem a limitar a intervenção direta e pessoal do Mandatário
  12. 12. Experiência internacional e conceitos gerais de avaliação Coordenação e Sistemas de M.A. Governo FHC 1 e 2 (experiências)  Brasil em Ação + Câmaras de Governo (sem vasos comunicantes)  Avança Brasil + Câmaras de Governo (sem vasos comunicantes) Governo Lula 1 e 2 (experiências):  Sistema de Metas Presidenciais + SIGOV/PNUD Gestão da Agenda presidencial (vasos comunicantes)  Programa de Aceleração do Crescimento (PAC)+ SIGOV/PNUD Gestão da Agenda presidencial (vasos comunicantes) + Salas de Situação responsáveis pela supervisão e resolução de gargalosGoverno Dilma (experiências): Ainda é cedo para saber como funciona, mas o esquema está mantido embora o PAC esteja no MPOG
  13. 13. Experiência internacional e conceitos gerais de avaliação Participação dos beneficiários e Sistemas de M.A. Cada vez mais frequente Faz parte da boas práticas de gestão de risco público É sequência natural de processos de planejamento com participação social Há risco do cidadão e mesmo gestores públicos compararem serviços públicos com serviços privados equivalentes Participação tem começado na fase inicial de formulação de políticas
  14. 14. Experiência internacional e conceitos geraisde avaliação Participação dos beneficiários e Sistemas de M.A. BARCELONA - ESPANHA
  15. 15. Experiência internacional e conceitos gerais de avaliação Relação entre a avaliação e orçamento: combinação de difícil execução Do orçamento incremental para o orçamento por desempenho, de uma cultura orientada pelo gasto para outra orientada pelo resultado ( gastar com qualidade e eficiência) O problema central no orçamento não é o conflito distributivo e sim a forma de arbitragem (importância do planejamento e da avaliação) A responsabilização c/ maior autonomia administrativa, baseada na contratualização e avaliação, depende da estabilidade de recursos
  16. 16. Experiência internacional e conceitos gerais de avaliação Relação entre a avaliação e orçamento: combinação de difícil execução Os resultados da avaliação não substituem a negociação política que influencia o orçamento Rigidez orçamentária: fixação da despesa por lei específica e crescimento de contribuições no perfil tributário Assimetria temporal: defasagem entre o tempo da avaliação e a sua influencia possível no gasto
  17. 17. Experiência internacional e conceitos gerais de avaliação Relação entre a avaliação e orçamento: combinação de difícil execução Experiência chilena revela algumas disfunções quando o M.A. está no Tesouro ou no Orçamento  Doença dos 100% de resultado  Uso de indicadores de baixo risco, inócuos  Organizações com 2 grupos de indicadores, os de baixo risco para o contrato de gestão e os desafiadores  Efeito Túnel (OCDE) metas de produtos ou intermediárias, de curto prazo desvinculadas de outras organizações, porque não há indicadores de resultados na sociedade associados a desempenho de longo prazo
  18. 18. Sistemas de Monitoramento e Avaliação pelo ladoda oferta (incentivos aos produtores de informação) Independência e transparência Órgãos de estatística Auditoria de Pesquisa de opinião e terceira parte Sumario avaliação participativa Registros Sistemas de administrativos M.A. setoriais
  19. 19. Experiência internacional e conceitos gerais de avaliação 4 procedimentos essenciais Definir o problema ou a oportunidade para a elaboração de política, programa, projeto de investimento – Marco Lógico Melhorar a capacidade de decisão sobre novas políticas, programas e projetos – Fase de apreciação, vai além do modelo lógico  Existem maneiras melhores de atingir este objetivo?*  Existem usos melhores para estes recursos?* Avaliar os riscos de implementação Criar ou fortalecer Sistemas de M.A.* Livro Verde, Guia do Departamento do Tesouro do UK
  20. 20. Experiência internacional e conceitos geraisde avaliação Porque avaliar  Apreender com a ação (nem sempre é lembrado, além disso responsabilização e culpa dificultam)  Melhorar a tomada de decisão (como mitigar a influência da intervenção direta, pessoal, política e do valor da intuição dos decisores)  Melhorar a alocação de recursos (como conviver com a rigidez orçamentária)  Prestar contas aos parlamentos e a sociedade (como evitar a inapetência desses segmentos)
  21. 21. Experiência internacional e conceitos geraisde avaliação O que avaliar Políticas e Programas – avaliação de políticas públicas (mede sobretudo efetividade) Projetos de Investimentos – avaliação ex-ante de custos, prazos, qualidade e impactos ambientais Servidores - avaliação de desempenho individual (problemático) Organizações – avaliação institucional, geralmente baseada na experiência ISO (mede frequentemente apenas a eficiência e a eficácia, raramente resultados)
  22. 22. Experiência internacional e conceitos gerais de avaliação EvoluçãoMenos frequentee,no entanto a maisimportante das Resultadosmedições Efetividade (impactos na sociedade) Outputs Valor da Eficácia Mudança (atendimento à demanda) Processos Eficiência (custos e produtividades) Inputs
  23. 23. Experiência internacional e conceitos gerais de avaliaçãoDiferença entre avaliação e pesquisa está na finalidade distinta  O compromisso da avaliação de programas está em gerar informações relevantes sobre o desempenho com vistas a melhoria contínua do programa (incide sobre o programa ou projeto)  O compromisso da pesquisa avaliativa é o de gerar conhecimento, teste de teorias, estabelecimento de “verdades” e/ou Melhorar a alocação de recursos (incide sobre as diretrizes das políticas públicas)
  24. 24. Experiência internacional e conceitos geraisde avaliação Quanto ao promotor Auto-avaliação com meta-avaliação (se pratica no Brasil) Avaliação independente (se pratica no Chile e no Brasil) Pesquisa avaliativa (se pratica no EUA) Auto-avaliação, com participação social, combinada com pesquisa avaliativa(promissora)
  25. 25. Experiência internacional e conceitos geraisde avaliação Quanto a temporalidade Avaliação ex-ante  Qualidade da intervenção e definição da linha de Base Avaliação durante a execução  Monitoramento de desempenho - rotineiro  Avaliação de impactos - tópico Avaliação ex-post (mais adequada a projetos)  Avaliação de impactos
  26. 26. Experiência internacional e conceitos gerais de avaliação O paradoxo entre necessidade de recursos e qualidade e eficiência do gasto Dicotomia entre carências sociais e econômicas graves e dificuldade fiscal não se resolve apenas com mais recursos Desafio de ser mais eficiente no gasto mostra-se com maior intensidade nos períodos de crise, mas geralmente a urgência embaça a oportunidade para grandes mudanças de cultura gerencial Outro problema grave é administrar na prosperidade – gastar é tão complicado, no setor público, como gastar de forma eficiente e efetiva
  27. 27. 3 Experiência do Governo Federal
  28. 28. Experiência do Governo Federal Vários sistemas estruturados de M.A. operando ao mesmo tempo Sistema de M.A. do PPA (Secretaria de Planejamento e Investimentos Estratégicos - MPOG) Sistema de Avaliação Externa de Programas de Governo (Tribunal de Contas da União) Sistema de Avaliação e Monitoramento das Políticas e Programas Sociais (Secretaria de Avaliação e Gestão da Informação – MDS) Sistema de Monitoramento do PAC (Presidência da República, governo Lula, MPOG no governo Dilma)
  29. 29. Experiência do Governo Federal Sistema de M.A. do PPA Abrangente – toda a atuação de governo, escapa o que é realizado fora da função, no abrigo das ações orçamentárias Auto-avaliação com meta-avaliação por parte do MPOG Correlacionado ao orçamento Avaliação de projetos de grande impacto – funciona mal Avalia programas, política setorial do Ministério e estratégia do plano – o primeiro mais consistente e os dois últimos apresentam fraca consistência Combina SIGPLAN sistema centralizado de informática com InfraSigs, sistemas por Ministério Referência para o Balanço Geral da União e Mensagem Presidencial – Doc. com forte mediação política
  30. 30. Experiência do Governo Federal Sistema de Avaliação Externa de Programas de Governo Combina instrumentos de auditoria com pesquisa primária juntos aos órgãos implementadores e envolve o beneficiário Tenciona com a tradição da auditoria de contas de caráter punitivo no consumo interno (TCU) das informações Procura enfatizar o caráter de aprendizado, mas gera nos órgãos desconfiança com uso da informação pelo TCU Fortalece a cultura de resultados no Executivo, valoriza uso de indicadores, de bons indicadores nos programas do PPA Avaliações rápidas, profundas e focadas Informações checadas e confiáveis
  31. 31. Experiência do Governo Federal Sistema de Avaliação e monitoramento das políticas e programas sociais Focado nos programas do MDS Promove o monitoramento físico financeiro dos programas (21 programas em 2007, correspondendo a 6 no PPA) Avalia os impactos na realidade social Avaliação de terceira parte, independente Uso de métodos sofisticados, quantitativos Realiza pesquisas de opinião
  32. 32. Experiência do Governo Federal Sistema de Monitoramento do PAC Monitoramento físico-financeiro Apoio do Alto Governo na resolução de gargalos à execução Possui incentivos baseado no caráter privilegiado da alocação e execução financeira – os recursos pertencem ao Alto Governo e não aos Ministérios setoriais Mobiliza a agenda do Alto Governo e Presid. – SIGOV/PNUD Execução ancorado em salas de situação na Presidência Esteve no período Lula na Presidência, agora está no MPOG
  33. 33. Experiência do Governo Federal Lições da experiência São superpostos, embora complementares Aumenta a informação e melhora o M.A. Há canais de comunicação entre os Sistemas, com sinergias Pluralidade de Sistemas atende a diversidade e complexidade da Administração Pública e da demanda Os Sistemas informatizados tem baixa interoperabilidade Uma estimativa de custos dos 4 Sistemas, registrava em 2007, valor de R$ 24,1 milhões/ano, 0,0058% do Orçamento da União, quando se aceita até 2% internacionalmente (Humberto Falcão Martins – CLAD) Estratégia de institucionalização e partir de uma oferta e criar a demanda
  34. 34. Alguns desafios dos Sistemas de M.A. que merecem destaque Sistemas de M.A seletivos, no Alto Governo, com sistemas abrangentes para o resto do governo (restrições do resto do governo afetam o desempenho das prioridades) Sistema de M.A. associado ao processo orçamentário Funcionamento descentralizado do sistema de M.A. com unidades nos setoriais Combinar auto-avaliação com meta-avaliação Avaliação com participação social, sobretudo quando envolve serviços públicos Avaliação de projetos ex-anteCriar incentivos associados ao bom desempenho Enfrentar a polêmica dos indicadores: mais vale uma métrica do que um indicador preciso
  35. 35. Obrigado pela oportunidade Ariel.pares@mma.gov.br (61) 2028-1224

×