Semelhante a Marco Cepik Diretor do Centro de Estudos Internacionais sobre Governo - AVANÇOS E INOVAÇÕES NA AVALIAÇÃO E MONITORAMENTO DE POLÍTICAS PÚBLICAS - 2013
Semelhante a Marco Cepik Diretor do Centro de Estudos Internacionais sobre Governo - AVANÇOS E INOVAÇÕES NA AVALIAÇÃO E MONITORAMENTO DE POLÍTICAS PÚBLICAS - 2013 (20)
Marco Cepik Diretor do Centro de Estudos Internacionais sobre Governo - AVANÇOS E INOVAÇÕES NA AVALIAÇÃO E MONITORAMENTO DE POLÍTICAS PÚBLICAS - 2013
1. AVANÇOS E INOVAÇÕES NA AVALIAÇÃO
E MONITORAMENTO DE POLÍTICAS
PÚBLICAS
Marco Cepik
Diretor do Centro de Estudos
Internacionais sobre Governo
2. PLANO DE APRESENTAÇÃO
1) Apresentação CEGOV
2) Democracia, Capacidade Estatal e Era Digital
3) Modelo Integrado de Transformação Institucional
4) Monitoramento e Avaliação de Políticas Públicas
CEGOV
V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
4. 1) APRESENTAÇÃO CEGOV
O Centro de Estudos Internacionais sobre Governo (CEGOV) da
Universidade Federal do Rio Grande do Sul (UFRGS) é um centro
interdisciplinar vinculado à Reitoria, cujo objetivo é estudar a ação
governamental no Brasil e no mundo.
CEGOV
V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
7. 2) DEMOCRACIA, CAPACIDADE ESTATAL E ERA DIGITAL
• DEMOCRACIA diz respeito à combinação dos valores obtidos a
partir da institucionalização de mecanismos universais de
participação e de exercício do direito à oposição política.
Requisitos (Dahl, 1971):
i)
ii)
iii)
iv)
v)
vi)
vii)
viii)
CEGOV
a liberdade de formar e aderir a organizações;
a liberdade de expressão;
o direito de voto;
elegibilidade para cargos públicos;
o direito de políticos disputarem apoio e votos;
a existência de fontes alternativas de informação;
eleições livres e idôneas;
instituições para fazer com que as políticas governamentais
dependam de eleições e de outras manifestações de preferências.
V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
8. 2) DEMOCRACIA, CAPACIDADE ESTATAL E ERA DIGITAL
• CAPACIDADE ESTATAL relaciona-se ao conjunto de
características funcionais e institucionais dos Estados
contemporâneos, relativas:
– à mobilização de recursos sociais,
– à produção de regras e à adjudicação de conflitos,
– ao provimento de bem-estar e segurança (WEISS, 1998;
BELL & HINDMORE, 2009).
CEGOV
V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
9. 2) DEMOCRACIA, CAPACIDADE ESTATAL E ERA DIGITAL
• Democracia e capacidade estatal relacionam-se em um
processo aberto, de reforço mútuo (autocatalítico), sujeito aos desafios de adaptação a contextos
tecnológicos, demográficos, temporais e
socioeconômicos variáveis.
“Sem uma adequada capacidade institucional de fazer valer as regras
e implementar as decisões tomadas pelos sujeitos políticos, ou sem a
capacidade de garantir o cumprimento dos direitos e deveres
associados à cidadania, um regime democrático torna-se *...+ ‘um
pacto suicida’” (CEPIK, 2005: 78).
CEGOV
V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
10. 2) DEMOCRACIA, CAPACIDADE ESTATAL E ERA DIGITAL
capacidade
estatal
zonas de
autoritarismo
zona de cidadania
1
0
0
democracia
1
zona de tirania
fragmentada
Fonte: Tilly (2003)
CEGOV
V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
11. 2) DEMOCRACIA, CAPACIDADE ESTATAL E ERA DIGITAL
policy-seeking
office-seeking
partidos
competem
cidadãos
problemas e temas
mídia
grupos de interesse
participam governo
representação
sistema
eleitoral
governo
+
burocracia
sistema
partidário
formação
de políticas
estrutura
mediação
de interesses
resultados políticas públicas
CEGOV
V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
12. 2) DEMOCRACIA, CAPACIDADE ESTATAL E ERA DIGITAL
• ERA DIGITAL:
– Aumento da capacidade de criação, processamento, acesso,
partilha e de informações.
– Concentração e redistribuição das condições de exercício de
poder político.
– Habilitação de novas dinâmicas produtivas e colaborativas entre
os diferentes atores sociais.
– Integração o local, o regional, o nacional e o internacional.
– Impacto na forma com a qual os Estados organizam sua
burocracia, interagem com seus cidadãos, fazem a guerra, e
constroem alternativas institucionais para a resolução de seus
conflitos.
CEGOV
V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
13. 2) DEMOCRACIA, CAPACIDADE ESTATAL E ERA DIGITAL
Vigilância
Banco de
Dados A
Banco de
Dados A
Controle
Diagnóstico
Capacidade
Estatal
Tomada de
decisão
Banco de
Dados B
Banco de
Dados B
Monitoramento
Gestão
Avaliação
Banco de
Dados C
Banco de
Dados C
Banco de
Dados D
Banco de
Dados D
Acesso à
Informação
Controle Social
Democracia
Transparência
CEGOV
Participação
V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
16. 4
MONITORAMENTO E
AVALIAÇÃO DE POLÍTICAS
PÚBLICAS
CEGOV
V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
17. 4) MONITORAMENTO E AVALIAÇÃO DE POLÍTICAS PÚBLICAS
Definindo Políticas Públicas
Política como conflito ubíquo na sociedade e como problema
constitucional (coordenação dos sujeitos e organização dos
conflitos); objeto da Ciência Política.
Políticas Públicas como campo de estudos focado na
organização do processo de interação entre os lados do input
e do output do processo decisório governamental e seus
conflitos inerentes.
Política pública é o “Estado em Ação”
Politics, Policy and Polity
Fonte: Reis (2000)
CEGOV
V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
18. 4) MONITORAMENTO E AVALIAÇÃO DE POLÍTICAS PÚBLICAS
Mais Algumas Definições
•
Políticas Públicas como um campo dentro do estudo da política que analisa o
governo à luz de grandes questões públicas - Mead (1995)
•
Políticas Públicas como um conjunto de ações do governo que irão produzir
efeitos específicos - Lynn (1980)
•
Política pública é a soma das atividades dos governos, que agem diretamente
ou através de delegação, e que influenciam a vida dos cidadãos - Peters (1986)
•
Política pública como “o que o governo escolhe fazer ou não fazer”. - Dye
(1984)
•
Política pública como análise sobre quem ganha o quê, por quê e que
diferença isso faz - Lasswell (1936)
Fonte: Souza (2006:24)
CEGOV
V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
19. 4) MONITORAMENTO E AVALIAÇÃO DE POLÍTICAS PÚBLICAS
Por que Avaliar e Monitorar Políticas Públicas?
Porque esta é a maneira mais eficiente, eficaz, efetiva e legítima de lidar com os
problemas de assimetria informacional previstos pela teoria de agente e
principal: seleção adversa de agentes e risco moral.
Seja S o conjunto de resultados ou estados possíveis observáveis apenas pelo executor (agente). Seja A o conjunto de ações
do agente observáveis apenas por ele próprio. E seja Q o conjunto de resultados ou estados possíveis observáveis por
ambos, agente e principal. Portanto, um resultado Q depende de incentivos (os quais têm custo) proporcionados pelos
principais para os agentes: I = ɸ (Q). Os agentes então escolhem suas ações A maximizando sua utilidade esperada EU, a qual
depende do conjunto de estados observáveis pelo próprio agente e pelos principais: max [EU (A,I, S)]. Ou seja, o resultado Q
buscado pelo principal esta relacionado às ações A e o estado S por uma função de produção: Q = Q(A,S). As ações ótimas Ã
dos agentes para produzir o resultado máximo Q são obtidas resolvendo a função de produção por A, ou: Ã = H(S).
Finalmente, a utilidade esperada do principal EV é calculada como uma função das ações à do agente antecipadas pelo
principal, o custo para o principal de induzir o agente a otimizar a produção (I = ɸ (~Q)), e o estado relevante S. Ou: EV = EV (ɸ
(~Q), ~Q, Ã, S). O problema do principal, portanto, é escolher um sistema de incentivos ɸ que maximize a sua função de
utilidade: max[EV].
Sob condições de incerteza, assimetria informacional e racionalidade limitada (SIMON, 1971), o
risco moral advém do fato de que as ações, competências e intenções do agente não podem ser
plenamente observadas após o pacto, contrato ou investidura. Como se trata de um conflito,
pode-se minimizar o problema, mas ele é constituinte da própria política
CEGOV
V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
20. 4) MONITORAMENTO E AVALIAÇÃO DE POLÍTICAS PÚBLICAS
Monitoramento e Avaliação
• Monitoramento é um processo contínuo, que utiliza dados
sobre indicadores específicos, para fornecer aos interessados
informações sobre o desenvolvimento e o progresso no
alcance dos objetivos a serem alcançados com a alocação de
determinados recursos.
• Avaliação como o estudo sistemático e objetivo da
concepção, implementação e dos resultados de um projeto,
programa ou política, com a finalidade de determinar sua
relevância, eficiência, eficácia, impacto e sustentabilidade.
Fonte: Kusek e Rist (2004).
CEGOV
V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
21. 4) MONITORAMENTO E AVALIAÇÃO DE POLÍTICAS PÚBLICAS
• INDA: capacidade estatal e democracia
o utilização e cruzamento de dados entre órgãos e esferas de
governo, para fins de
diagnóstico, monitoramento, avaliação e consequente
melhora da tomada de decisão (CHAVES & BRETAS, 2013).
o realização do direito à informação (LAI) e fomento da
transparência, do controle social, da participação.
o Empoderamento da sociedade por meio da utilização dos
dados públicos abertos na criação de novos serviços de
utilidade pública, bem como na construção de estudos
alternativos sobre os resultados da ação estatal.
CEGOV
V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
22. 4) MONITORAMENTO E AVALIAÇÃO DE POLÍTICAS PÚBLICAS
Sistema de Monitoramento e Avaliação
Monitoramento e avaliação possuem definições distintas, porém
complementares.
Monitoramento fornece informações sobre o andamento de uma
política, programa ou projeto em determinado momento e em
relação às metas e resultados previstos.
Por meio da avaliação procuramos analisar processos, produtos e
consequências ou impactos da ação coletiva.
CEGOV
V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
23. 4) MONITORAMENTO E AVALIAÇÃO DE POLÍTICAS PÚBLICAS
Sistema de Monitoramento e Avaliação
Pontos de interseção entre monitoramento e avaliação Kusek e Rist (2004).
– As atividades podem ser sequencialmente complementares, visto que as
informações geradas por meio do monitoramento podem gerar questões
a serem respondidas pela avaliação, ou o inverso, as informações
resultantes de uma avaliação podem originar novas áreas de
monitoramento.
– As atividades possuem informações complementares, já que tanto o
monitoramento quanto a avaliação podem usar os mesmos dados, mas
responderem a perguntas diferentes.
– As atividades possuem interação, visto que monitoramento e avaliação
podem ser utilizados conjuntamente.
CEGOV
V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
24. 4) MONITORAMENTO E AVALIAÇÃO DE POLÍTICAS PÚBLICAS
Indicadores de Desempenho
①
Produção ou Output: e.g. alunos formados na UFRGS; quantidade de artigos
científicos produzidos
②
Impacto: e.g. índice de citações científicas; inserção profissional dos
egressos.
③
Consequências ou outcomes: e.g. valor agregado da produção de C&T e
contribuição para o PIB da cidade, estado e país;
④
Eficiência: e.g. custo por aluno-ano; relação número alunos por professor.
⑤
Satisfação: e.g. valores atribuídos pelos alunos à qualidade da formação
recebida.
⑥
Legitimidade: e.g. índice de citações favoráveis na mídia; manifestações
formais da comunidade; desempenho da comunidade acadêmica em
avaliações gerais do sistema universitário.
CEGOV
V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
25. 4) MONITORAMENTO E AVALIAÇÃO DE POLÍTICAS PÚBLICAS
Sistema de Monitoramento e Avaliação
Ferramentas para
análise comparativa
no tempo e espaço
Pesquisas
do IBGE
Indicadores estratégicos
Indicadores referentes a processos operacionais
Sistema
Monitoramento e
Avaliação
Aspetos Técnicos:
Interoperabilidade, Portais, Dados
Abertos
Cadastros
públicos
Registros de
outros
ministérios
Indicadores
de recursos
Indicadores
de processos
Indicadores
de resultados
Indicadores de
eficiência
qualidade
Registros de
gestão dos
programas
Indicadores de
contexto
Indicadores
de impactos
Dados de
execução
orçamentária
Fonte: SOUZA MELO, 2012, p. 46.
CEGOV
V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
26. 4) MONITORAMENTO E AVALIAÇÃO DE POLÍTICAS PÚBLICAS
Comparação PPA 2008-2011 / 2012-2015
Fonte: SOUZA MELO, 2012, p. 46.
CEGOV
V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
27. 4) MONITORAMENTO E AVALIAÇÃO DE POLÍTICAS PÚBLICAS
Sistemas de M&A
CEGOV
V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
28. 4) MONITORAMENTO E AVALIAÇÃO DE POLÍTICAS PÚBLICAS
Dimensões Críticas do M&A
Capacidade Estatal
Tecnologia da Informação
•
•
•
•
•
•
Software x Portal
Interoperabilidade (e-Ping)
Dados Abertos
Data warehouses
Integração
Tecnologias Móveis
•
•
•
•
•
•
•
Programas de Governo
Políticas Públicas
Áreas de Competência
Planejamento Estratégico
Processos
Projetos
Execução Orçamentária
Estrutura Organizacional
•
•
•
•
Ciclos de M&A
Fluxogramas
Regulamentação
Competências e atribuições
CEGOV
Democracia
• Transparência
• Controle Social
• Acesso à Informação
V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
29. 4) MONITORAMENTO E AVALIAÇÃO DE POLÍTICAS PÚBLICAS
Portal de Monitoramento e Avaliação
Tecnologia
Usuários
Portal M&A
Indicadores Métodos
Análise
Políticas
Programas
PPA
PEI
Projetos
Processo
Pessoas
Fluxos e
Normas
CEGOV
V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
30. 4) MONITORAMENTO E AVALIAÇÃO DE POLÍTICAS PÚBLICAS
CENTRAL DE M&A
CEGOV
V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
31. Exemplos de Monitoramento e Avaliação
Portal MEC
http://painel.mec.gov.br
CEGOV
V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
32. Exemplos de Monitoramento e Avaliação
Portal MDS
CEGOV
V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
33. Exemplos de Monitoramento e Avaliação
Portal MDS
http://aplicacoes.mds.gov.br/sagi/PainelBPC/#
CEGOV
V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
34. Exemplos de Monitoramento e Avaliação
Portal da Saúde
http://189.28.128.178/sage/
CEGOV
V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
35. Exemplos de Monitoramento e Avaliação
Portal Dados Abertos
http://dados.gov.br/
CEGOV
V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
36. Exemplos de Monitoramento e Avaliação
VisPública
http://vispublica.gov.br/vispublica/index.jsp
CEGOV
V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
37. Exemplos de Monitoramento e Avaliação
Portal LAI – Governo do Estado do RS
http://www.acessoinformacao.rs.gov.br/#
CEGOV
V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
38. Exemplos de Monitoramento e Avaliação
Portal LAI – Governo do Estado do RS
http://www.acessoinformacao.rs.gov.br/#
CEGOV
V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
39. Portal Transparêncaia RS
Exemplos de Monitoramento e Avaliação
http://www.acessoinformacao.rs.gov.br/#
CEGOV
V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
40. Portal TCE-RS
Exemplos de Monitoramento e Avaliação
http://www1.tce.rs.gov.br/portal/page/portal/tcers/institucional/acesso_a_informacao/disponiveis
CEGOV
V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
41. 4) MONITORAMENTO E AVALIAÇÃO DE POLÍTICAS PÚBLICAS
Avanços, Inovações e Desafios
Portais de Avaliação de Planos e Programas de Governo
Ferramentas de Visualização de Dados
Alinhamento dos Ciclos de M&A com os Ciclos de Planejamento Estratégico
e Políticos
Interoperabilidade entre sistemas de informações e bases de dados
Arranjos federativos e coordenação interagência
Capacitação massiva de gestores, agentes políticos e cidadãos
CEGOV
V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
42. 4) MONITORAMENTO E AVALIAÇÃO DE POLÍTICAS PÚBLICAS
VI Seminário Nacional da Rede Brasileira de
Monitoramento e Avaliação
Quando: Novembro de 2014
Onde: Universidade Federal do Rio Grande do Sul
Informações: http://www.ufrgs.br/cegov/
http://redebrasileirademea.ning.com/
CEGOV
V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
43. REFERÊNCIAS
•
BARROS, A.; CANABARRO, D. R.; CEPIK, M. A. C. “Para além da e-Ping: o desenvolvimento de
uma Plataforma de Interoperabilidade para e-Serviços no Brasil”. In: BRETAS, N. L.;
MESQUITA, C. (ed.). Panorama da Interoperabilidade no Brasil. Brasília: Ministério do
Planejamento, Orçamento e Gestão, 2010, p. 137-157.
•
BELL, S.; HINDMOOR, A. Rethinking Governance: The Centrality of the State in Modern Society.
Nova Iorque, EUA: Cambridge University Press, 2006.
•
BRASIL. Secretaria de Logística e Tecnologia da Informação (SLTI, MP). Uma Arquitetura
Referencial para a integração dos sistemas informatizados de governo, AR. Brasília, DF:
Ministério do Planejamento, Orçamento e Gestão, 2006.
•
BRETAS, N. L.; MESQUITA, C. (ed.). Panorama da Interoperabilidade no Brasil. Brasília:
Ministério do Planejamento, Orçamento e Gestão, 2010.
•
CHAVES, M., FRANZOSI, E.; GARCIA, A. “AR – Um Modelo de Interoperabilidade Aplicado ao
Monitoramento do PAC”. In: BRETAS, N. L.; MESQUITA, C. (ed.). Panorama da
Interoperabilidade no Brasil. Brasília: Ministério do Planejamento, Orçamento e
Gestão, 2010, pp. 211-216.
•
DAHL, Robert. Poliarquia: participação e oposição. São Paulo: Editora da Universidade de São
Paulo. 1997 [1971].
•
FOUNTAIN, J. E. Building the Virtual State. Washington, D.C.: Brookings Institution Press, 2001.
CEGOV
V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
44. REFERÊNCIAS
•
•
•
•
•
•
•
CEGOV
KRAEMER, K.; KING, J. Information Technology and Administrative Reform: Will egovernment be Different? International Journal of Electronic Government
Research, v. 2, n. 1, p. 1-20, jan-mar, 2006.
MELO, Patrícia Coimbra Souza. Monitoramento e avaliação na administração
pública federal [manuscrito] : os desafios do PPA 2012/2015 / Patrícia Coimbra
Souza
Melo.
-2012.
Disponível
http://portal2.tcu.gov.br/portal/pls/portal/docs/2525602.PDF
acesso
em
12/11/2013.
PAES, Romulo S. e HELLMANN, Aline G. Policy monitoring and evaluation systems:
recent advances in Brazil’s federal public administration. In: Vaitsman et al
(editors). Policy Analisys in Brazil. ILPA, 2013.
REIS, Fabio W. Mercado e Utopia: teoria política, sociedade brasileira.
Edusp, 2000.
SOUZA, Celina.
ticas blicas: uma
o da literatura. In: Sociologias, Porto
Alegre, ano 8, no 16, jul/dez 2006, p. 20-45
TILLY, Charles. The Politics of Collective Violence. Cambridge/UK: Cambridge
University Press, 2003.
WEISS, R. The Myth of the Powerless State. Ithaca, NY, EUA: Cornell University
Press, 1998.
V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
46. FORMAS e TENDÊNCIAS DA AVALIAÇÃO
Quanto à temporalidade
1. Avaliação ex-ante: realizada antes do início de
implementação de um programa.
• Identifica se um programa deve ser executado;
• Projeta
o que aconteceria com algumas
características da população beneficiária caso o
programa fosse executado;
• Compara custos e benefícios da iniciativa com
as alternativas disponíveis à sua implantação.
• (CHAVES, 2008)
CEGOV
V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
47. 2. Avaliação ex-post: realizada após a
consolidação ou na fase final de um programa.
• Mede resultados e impactos.
As avaliações de impacto são geralmente mais
caras que as avaliações ex-ante, por exigirem
levantamento de dados primários sobre o
público-alvo, caso o programa não disponha de
um sistema de monitoramento desenvolvido.
(CHAVES, 2008)
CEGOV
V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
48. QUANTO AO OBJETO
1. Avaliação de processo:
• Avaliação para identificar os aspectos da
implementação;
• Considera insumos, processos e produtos;
• Avalia ganhos ou perdas no atendimento às metas do
programa junto ao seu público-alvo.
2. Avaliação de resultados:
• Avaliação do nível de transformação da situação a
qual o programa se propõe a modificar;
• Expressa o grau em que os objetivos do programa
foram alcançados.
(CHAVES, 2008)
CEGOV
V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
49. 3. Avaliação de impacto:
• Avaliação de resultados;
• Busca conhecer os efeitos produzidos pelo
programa em algum(uns) aspecto(s) da
realidade afetada pela sua existência;
• Geralmente está relacionada a resultados de
médio e longo prazo;
• Visa identificar, compreender e explicar as
mudanças nas variáveis e fatores relacionados à
efetividade do programa.
(CHAVES, 2008)
CEGOV
V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto