Mini curso aula 01

1.800 visualizações

Publicada em

Aula 01 de Marco Lógico para o II Seminário da Rede Brasileira de Monitoramento e Avaliação.

Publicada em: Educação, Tecnologia, Turismo
0 comentários
1 gostou
Estatísticas
Notas
  • Seja o primeiro a comentar

Sem downloads
Visualizações
Visualizações totais
1.800
No SlideShare
0
A partir de incorporações
0
Número de incorporações
2
Ações
Compartilhamentos
0
Downloads
56
Comentários
0
Gostaram
1
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide
  • Como saber vantagens e desvantagens de um projeto A sobre B se as avaliações são oferecem nenhum suporte de comparação?!
  • O orçamento não deve prever apenas as despesas, mas vincular despesas as receitas. E a maneira responsável de se fazer isso é conhecer as desepesas baseadas em desempenho, o que funciona, para cada tipo de gastos. Orçamentos realistas. Identificar fontes de receitas e financiamento e buscar o seu compromisso. O planejamento deve ser aquele em que a sociedade está de acordo. Que áreas é importante se investir com quais recursos e a que preço. Educação, Saúde, Habitação, Seguridade Social, Empresas, Infraestrutura, etc... Esse é o ponto que vamos nos enfocar no curso. O desenho de um programa ou intervenção deve ser a etapa mais “científica” de todo o processo, deve conhecer o problema, as relações causais atuantes, o que funciona, o que não funciona, como experiências de fora podem se aplicar ao caso regional, qual será a maneira de se medir é a mais adequada e demais tópicos que veremos. O sistema de M&A deve prever também que os programas podem mudar. E deve ter critérios claros quanto a isso. Em que condições um programa pode ser acrescido de melhorias marginais, quais as condições críticas para se melhorar um programa de maneira mais profunda ou se alterá-lo completamente, incorporá-lo a outro, etc... A gestão deve se pautar por resultados. Uma gestão responsável possui metas factíveis, monitoramento contínuo, escolha de variáveis corretas para o monitoramento e deve contar com certa autonomia tanto para se autoavaliar quanto para porpor as melhorias baseadas em desempenho. O accountability informa a quem a sociedade presta contas. Um sistema de M&A pode incluir nessa etapa relatórios periódicos sobre andamento do programa. Podem também ser incluídos em um sistema de transparência para a prestação de contas.
  • Isso pode minar a força do programa, dificulta sua avaliação. Não quer dizer que não devam ser adotados programas mais amplos. Mas sim que deve se perguntar se as ações não contradizem umas as outras ou se não dispersam a equipe em múltiplas tarefas.
  • Mini curso aula 01

    1. 1. Mini curso: modelos de causalidade lógica e Marco Lógico Victor Maia Senna Delgado e-mail: [email_address] Viçosa - MG 14/04/2011 Aula 01 III Seminário de Avaliação de Políticas Públicas Qualidade do Gasto Proposta do Curso e Contextos
    2. 2. Proposta do Curso: <ul><li>Nosso curso objetiva a estudar como surgem os programas de Estado e entender como se desenvolvem os métodos de atuação e validação desses programas em sua etapa mais incipiente. </li></ul><ul><li>Estamos em uma “incubadora” de projetos! Um think tank responsável por formular as idéias e propô-las de uma maneira que sejam coerentes e passíveis de verificação . </li></ul><ul><li>E procuramos um método para o desenvolvimento de programas ... Será que existe apenas um ?! </li></ul>
    3. 3. Proposta do Curso: <ul><li>Descobrir uma ação necessária e eficaz, não é uma tarefa simples. Envolve muitas questões paralelas: qual o papel do estado? Como identificar suas debilidades? O que funciona?! Funciona devido a participação do estado? O que necessita ser alterado? </li></ul><ul><li>Temos de lidar com as diferentes dimensões da atuação pública, o contexto histórico em que surgem determinadas medidas, e porque se acredita que o estado deve atuar em determinados campos. </li></ul><ul><li>Isso nos ajuda a entender a importância dos modelos de causalidade lógica e Marco Lógico (ML) na Avaliação de Programas. </li></ul>
    4. 4. Proposta do Curso: <ul><li>Essas questões se inserem no contexto da avaliação. </li></ul><ul><li>A tendência recente é valorizar o Monitoramento e Avaliação (M&A), ressaltando sua importância no quadro da intervenção social. </li></ul><ul><li>No entanto, nem sempre o entendimento foi esse. A sociedade levou um tempo até atingir esse consenso. Podemos identificar várias fases histórias e elas combinam com a evolução das formas de organização social. </li></ul>
    5. 5. Contexto Histórico: tempo Sec. XVI e XVII 1789 Formação do Estado Moderno Iluminismo Direitos civis Revolução Francesa Direitos para “ todos” 1888 Abolição da Escravidão no Brasil 1900 Belle époque Liberalismo 1914 1929 Crise da Bolsa Dirigismo estatal
    6. 6. Contexto Histórico: tempo 1939 WWII 1945 Welfare State 1979 2ª Crise do Petróleo Neoliberalismo 1989 Queda do Muro 1929 Planejamento Neoliberalismo 2007 Crise Financeira Síntese Programática
    7. 7. Contexto Histórico: <ul><li>Dentro desse contexto, a implementação mais sistemática de políticas públicas começa a se delinear no estado de Welfare-State e a avaliação crítica se insere no momento de revés do Welfare . </li></ul><ul><li>Eram necessários critérios para saber o que funcionava de acordo com seus objetivos iniciais propostos. Pois, diante da escassez mais aguda de recursos após a crise de 1979, era necessário avaliar onde os projetos davam maior retorno social. </li></ul>tempo 1939 WWII 1945 Welfare State 1979 2ª Crise do Petróleo Neoliberalismo 1989 Queda do Muro 1929 Planejamento Neoliberalismo 2007 Crise Financeira Síntese Programática
    8. 8. <ul><li>Hoje podemos dizer que o estado se encontra em um meio-termo , uma síntese de programas com a necessidade de avaliação, e que há áreas de bem-estar que a sociedade julga necessário intervir e outras que julga necessário regular para garantir uma boa concessão aos prestadores de serviços de utilidades públicas. </li></ul><ul><li>Porém essa intervenção não está mais no espírito do welfare-state que tinha por mote condutor o empreendedorismo estatal ( hands on ) e a seguridade social provida pelo estado. </li></ul><ul><li>Tampouco se trata da desconstrução de todo o aparato de intervenção ( hands off ), pois se viu que a atuação do estado em muitas áreas era justificada por promover maior bem-estar. </li></ul><ul><li>A síntese atual estabelece então maior rigor teórico e empírico tanto para a proposição e intervenção de programas sociais quanto para a verificação e responsabilização dos recursos do estado (“ hands nearby ” ). </li></ul>Contexto Histórico:
    9. 9. Contexto Histórico: <ul><li>Portanto, Monitoramento & Avaliação (M&A) estão em voga por fazerem parte de uma responsabilização social . </li></ul><ul><li>As instituições também passaram por essas mudanças internas para se adaptar ao novo paradigma ou a nova cultura. </li></ul><ul><li>As práticas e sistemas de (M&A) se encontram hoje difundidas no mundo, sendo apoiadas por diversos órgãos internacionais com a capacitação de pessoas nessas áreas, assim como os recursos para investimentos nas áreas sociais. </li></ul>
    10. 10. Primeiras definições: <ul><li>Frechtling (2007) responde que modelo lógico é “[...] uma ferramenta que descreve uma teoria de mudança subjacente a uma intervenção, produto ou política. Ele caracteriza um projeto por meio de um sistema de elementos que incluem componentes e suas relações, no qual o contexto é uma importante informação qualitativa.” </li></ul><ul><li>Desenho Lógico é uma etapa que explicita as relações causais de um programa, da política ou intervenção. Muito comum nessa fase o uso de fluxograma da relação de insumos, atividades, produtos, resultados e impactos. </li></ul><ul><li>Um Sistema de Monitoramento e Avaliação (SM&A) trata de forma sistemática a elaboração de programas por meio do ML, desenvolvendo procedimentos e recursos para o monitoramento contínuo e a prática perene de avaliação . Um SM&A contribui para o estabelecimento de uma cultura de avaliação. </li></ul>
    11. 11. O M&A no mundo: <ul><li>Dentre as instituições que apóiam e capacitam a formação de massa crítica em Monitoramento e Avaliação estão: </li></ul><ul><li>No Mundo: </li></ul><ul><li>ONU-PNUD </li></ul><ul><li>Banco Mundial </li></ul><ul><li>BID </li></ul><ul><li>FEEI- Fondo Español de Evaluación de Impacto </li></ul><ul><li>Rede LA de M&A, Universidades e outros </li></ul>
    12. 12. O M&A no mundo: <ul><li>Dentre as instituições que apóiam e capacitam a formação de massa crítica em Monitoramento e Avaliação estão: </li></ul><ul><li>No Brasil: </li></ul><ul><li>MDS </li></ul><ul><li>IPEA </li></ul><ul><li>IPC-Pnud </li></ul><ul><li>Fundação João Pinheiro </li></ul><ul><li>Rede Brasileira de Monitoramento e Avaliação </li></ul>
    13. 13. O M&A no mundo: <ul><li>E entre os países que possuem um sistema de avaliação podemos destacar: </li></ul><ul><li>EUA, Canadá, Austrália e Reino Unido </li></ul><ul><li>Espanha </li></ul><ul><li>México </li></ul><ul><li>Colômbia </li></ul><ul><li>Chile </li></ul><ul><li>Brasil?! </li></ul>
    14. 14. Um sistema de M&A: <ul><li>Qual o risco de não se ter um sistema de M&A: </li></ul><ul><li>Projetos diferentes de um mesmo governo perdem a comparabilidade. </li></ul><ul><li>Projetos que não se comunicam entre si. E podem dobrar esforços em uma mesma área. </li></ul><ul><li>Risco de elaborar programas “blindados”. Não se sujeitam à avaliação. </li></ul><ul><li>Falham no marco lógico . </li></ul>
    15. 15. Um sistema de M&A: <ul><li>Contudo, a presença de um Sistema de M&A não significa que todos os programas devem ser avaliados da mesma forma. Isso seria impossível, mas sim que para cada programa se conhece o método. </li></ul><ul><li>Quais as premissas básicas deve possuir um sistema de M&A? </li></ul>
    16. 16. Um sistema de M&A: <ul><li>Orçamento responsável. </li></ul><ul><li>Planejamento. </li></ul><ul><li>Desenho Teórico. </li></ul><ul><li>Melhoria de programas baseada em desempenho. </li></ul><ul><li>Sistema de gerenciamento (gestão). </li></ul><ul><li>Accountability </li></ul>
    17. 17. Um sistema de M&A: <ul><li>Minas Gerais é um dos estados brasileiros onde a evolução para um sistema de avaliação está mais avançada. </li></ul><ul><li>A questão do orçamento responsável foi tratada pelo estratégia do choque de gestão um gerenciamento de curto prazo do orçamento para sanar as contas públicas. </li></ul><ul><li>O planejamento foi tratado no PMDI – Plano Mineiro de Desenvolvimento Integrado – um plano de ação de longo prazo que estabeleceu as metas estratégicas para o estado. </li></ul><ul><li>O desenho teórico é um elo fraco. Em alguns casos, se limita a atuar sobre os projetos estruturadores criados pelo PMDI, em outros, fica a cargo do órgão executor e que elabora o programa. Mas muitos marcos-lógicos se limitam a enumerar as justificativas e a preencher a matriz com a cadeia inputs-outcomes . Há exceções. </li></ul>
    18. 18. Um sistema de M&A: <ul><li>Para o ponto de melhoria do programa baseado em desempenho foi criada a comissão Estado para Resultados (EpR). O EpR é responsável por atuar neste e nos dois pontos 5 e 6. O sistema GERAES é responsável pelo monitoramento e acompanhamento dos indicadores. A melhoria dos programas com base nesses resultados fica a cargo dos órgãos executores e se dá tanto melhor quanto melhor a gestão do órgão responsável. </li></ul><ul><li>O gerenciamento é a finalidade maior do EpR, estabelece os indicadores e metas, acompanha os projetos e é responsável pela contratação de uma avaliação. </li></ul><ul><li>Nas tarefas de accoutability o estado faz divulgação dos resultados. Porém é uma área que precisa ser aprimorada. </li></ul>
    19. 19. O problema do ML: <ul><li>Há muitas avaliações sendo conduzidas no mundo todo. As avaliações prescindem de um sistema, porém com o sistema se evita a ocorrência de erros e problemas. </li></ul><ul><li>Um dos problemas recorrentes que os avaliadores enfrentavam era o da ausência de Marco Lógico. </li></ul><ul><li>A ausência de um Marco Lógico e desenho adequado faziam com que programas tomassem direções erradas para tentar alcançar os resultados almejados. </li></ul><ul><li>Quando a avaliação procurava mensurar os impactos de uma ação verificava-se a sua ausência não por falta de efetividade, mas por conta dos processos não serem adequados. </li></ul>
    20. 20. O problema do ML: <ul><li>Corre-se o risco de se introduzir um programa sem-pé-nem cabeça. </li></ul><ul><li>Que não sabe qual direção seguir, ou tenta ir por todas as direções possíveis ao mesmo tempo. </li></ul>
    21. 21. <ul><li>Dentro dessa perspectiva os avaliadores começaram a destacar a importância de se fundamentar o marco-lógico corretamente. Não basta avaliar, é preciso captar a lógica de uma ação para saber se o que está avaliando está seguindo os intentos iniciais propostos. </li></ul><ul><li>Cassiolato e Gueresi (2010) procuram distinguir modelo lógico de marco lógico. Para as autoras, modelo lógico se refere à estrutura lógica de um programa ou política social: “uma proposta para organizar as ações componentes de um programa de forma articulada aos resultados esperados, apresentando também as hipóteses e as ideias que dão sentido à intervenção. Considerado um instrumento para explicitar a teoria do programa e qual o seu funcionamento esperado.” </li></ul>O problema do ML:
    22. 22. <ul><li>Judy Baker foreword : “Many governments, institutions, and project managers are reluctant to carry out impact evaluations because they are deemed to be expensive , time consuming , and technically complex , and because the findings can be politically sensitive , particularly if they are negative. Many evaluations have also been criticized because the results come too late , do not answer the right questions , or were not carried out with sufficient analytical rigor . A further constraint is often the limited availability and quality of data ”. (grifos meus). </li></ul>O problema do ML:
    23. 23. <ul><li>Karen Mokate (2002) explora quais são esses obstáculos que tornam a avaliação um “monstruo” para as diversas instâncias de governo e órgãos públicos. </li></ul><ul><li>A autora destaca que para a avaliação ser mais bem adotada é preciso superá-los: </li></ul><ul><li>Adotando um marco conceitual da política. Indicar claramente os resultados esperados e explicitar as relações causais que estão sendo supostas. </li></ul><ul><li>Superar o distanciamento sobre as abordagens de avaliação quantitativa e qualitativa desde os objetivos da avaliação. </li></ul><ul><li>Identificar e equilibrar o conjunto de indicadores e informações relevantes, tomando conta o marco conceitual e as diversas perspectivas e interesses associados aos resultados, tanto quanto as relações causais esperadas. </li></ul><ul><li>Definição e ideal manejo dos fluxos de informação gerada pelo processo de avaliação. Introdução de estratégias e incentivos que facilitem e promovam o uso destas informações. </li></ul>O problema do ML:
    24. 24. Sistema de ML em Minas Gerais: <ul><li>Esses problemas apontados apontam para a necessidade de incutir uma cultura de M&A e se possível um sistema de M&A. </li></ul><ul><li>Chamamos aqui um sistema de M&A um conjunto coeso e coerente estabelecendo áreas de atuação, objetivos de curto prazo e longo prazo, apresentando as justificativas para os planos traçados. Um conjunto de regras a serem seguidas tanto para o estabelecimento das metas e indicadores quanto para sua avaliação. São procedimentos consolidados por leis, instituições e pela responsabilização à sociedade. </li></ul><ul><li>Claramente não há apenas um único sistema de M&A possível. Como já mencionamos, diversas organizações de Estado possuem a sua maneira de compor tal sistema. Os EUA possuem seu sistema, que é diferente do mexicano, do colombiano ou chileno. Estudaremos como exemplo o caso de Minas Gerais: </li></ul>
    25. 25. <ul><li>Em Minas Gerais, tal sistema passou a ser implementado no atual ciclo de gestão: 2004-2010. </li></ul><ul><li>De acordo com Lima et al. (2010) pode se estabelecer o sistema mineiro com três pontos principais: </li></ul><ul><li>Ligação entre Orçamento-Planejamento </li></ul><ul><li>Projetos Estratégicos (projetos estruturadores) </li></ul><ul><li>Acordo de Resultados e Avaliação. </li></ul>Sistema de ML em Minas Gerais:
    26. 26. O problema do ML: A estratégia para alcançar as mudanças desejadas Apresentação mais detalhada da teoria básica e premissas Representação gráfica da teoria do programa Modelo lógico ampliado, identificando as principais premissas e resultados alternativos (positivos e negativos) em cada passo do projeto Identifica os fatores contextuais que podem afetar a implementação e os resultados Modelo lógico básico Teoria da Mudança Modelo da Teoria do Programa Modelo Lógico (Básico) Cadeia de Resultados Análise Contextual FONTE: Bamberguer et. al. (2006)
    27. 27. Desenho de Programas ÁREAS DE RESULTADO Nome da área de resultado Objetivos estratégicos Resultados Finalísticos Iniciativas prioritárias para alcançar os resultados Indicadores Monitorados Carolina S Lages (2009) Monografia EG/FJP
    28. 28. ESTADO PARA RESULTADOS ÁREAS DE RESULTADOS DESTINATÁRIOS DAS POLÍTICAS PÚBLICAS SISTEMA DE MONITORAMENTO & AVALIAÇÃO PLANO MINEIRO DE DESENVOLVIMENTO INTEGRADO – 2007/2023 Perspectiva Integrada do Capital Humano Investimento e Negócios Integração Territorial Competitiva Sustentabilidade Ambiental Eqüidade e Bem-estar Rede de Cidades Educação de Qualidade Protagonismo Juvenil Vida Saudável Investimento e Valor Agregado da Produção Inovação, Tecnologia e Qualidade Logística de Integração e Desenvolvimento Redução da Pobreza e Inclusão Produtiva Defesa Social Rede de Cidades e Serviços Qualidade Ambiental Desenvolvimento do Norte de Minas, Jequitinhonha, Mucuri e Rio Doce QUALIDADE E INOVAÇÃO EM GESTÃO PÚBLICA QUALIDADE FISCAL PESSOAS INSTRUÍDAS, SAUDÁVEIS E QUALIFICADAS CIDADES SEGURAS E BEM CUIDADAS EQÜIDADE ENTRE PESSOAS E REGIÕES JOVENS PROTAGONISTAS EMPRESAS DINÂMICAS E INOVADORAS

    ×