Oficina 2

375 visualizações

Publicada em

curso rede de inovação em turismo oficina 2

Publicada em: Educação
0 comentários
0 gostaram
Estatísticas
Notas
  • Seja o primeiro a comentar

  • Seja a primeira pessoa a gostar disto

Sem downloads
Visualizações
Visualizações totais
375
No SlideShare
0
A partir de incorporações
0
Número de incorporações
3
Ações
Compartilhamentos
0
Downloads
2
Comentários
0
Gostaram
0
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide

Oficina 2

  1. 1. Oficina 2 – MONITORAMENTO E AVALIAÇÃO DE POLÍTICAS PÚBLICAS
  2. 2. Apresentação Caro (a) aluno (a)! Seja muito bem-vindo(a) aos temas que integram a Oficina 2 - Monitoramento e Avaliação de Políticas Públicas! Você se encontra no ambiente virtual de aprendizagem (AVA) da Rede de Inovação em Gestão do Turismo do Estado da Bahia. Introdução Tela 01 . “Você nunca sabe que resultados virão da sua ação. Mas se você não fizer nada, não existirão resultados.” Mahatma Gandhi Tela 02 Dica Caro (a) aluno (a)! Para facilitar o processo de ensino-aprendizagem, recomendamos que você navegue pelo conteúdo desta Oficina linearmente. Se ocorrerem dúvidas a respeito da navegação pelas várias unidades temáticas, e dos recursos disponíveis no Ambiente Virtual de Aprendizagem – AVA, a qualquer momento você poderá utilizar o Guia do Aluno que também pode orientá-lo neste trajeto. Durante a realização desta Oficina, um Tutor estará interagindo com você e seus colegas, tirando suas dúvidas e acompanhando seu aprendizado e desempenho. E você já sabe como proceder para se conectar com o Tutor e fazer perguntas. Relembrando... Utilizamos o negrito para destacar, no texto, palavras ou frases importantes. E, ainda, a qualquer momento você pode acessar as Referências Bibliográficas, o Glossário e outros documentos, para obter outras informações de que necessite, ou o Fórum, para a troca de ideias e a realização de debates.
  3. 3. Contamos com sua participação ativa! Sucesso em sua caminhada em busca de conhecimentos, habilidades e atitudes condizentes com seu desenvolvimento pessoal e profissional! Adicionar os links para o Glossário e para Referências Bibliográficas Tela 03 Você já está ciente de que avaliar é um processo carregado de subjetividade, pois se trata de uma atividade inerente à vida humana e social. Pode-se afirmar, portanto, que as ações avaliativas estão relacionadas tanto ao campo de decisão e aprendizagem individual como social. Você deve estar se perguntando, então, o que e como avaliamos cotidianamente? Como afirmam Boullosa e Araujo (2008:9), (...) avaliamos continuadamente informações, situações, alternativas, decisões, posicionamentos, organizações, enfim, tudo aquilo que nos chama atenção ou pode trazer implicações para nossas vidas [pessoal, profissional e/ou social]. Assim, emitimos juízo de valor, acumulando experiências e construindo uma certa cultura de avaliação, e mesmo que informal e intuitivamente. Em outras palavras, podemos afirmar, sem muito exagero, que somos todos experientes avaliadores informais. Com esta provocação inicial convidamos você a dar continuidade ao processo formativo proposto, especialmente no Eixo de Aprendizagem III, onde está desafiado a explorar o campo de conhecimento sobre monitoramento e avaliação e a desenvolver competências profissionais em novos instrumentos de gestão pública. Tela 04 As 3 Unidades Temáticas que integram esta Oficina pretendem estimular você a refletir, inicialmente, sobre o forte conteúdo subjetivo e, portanto, reflexivo que os instrumentos de monitoramento e avaliação carregam para, em seguida, fornecer os conhecimentos teóricos e ferramentais para que se capacite para implementar processos de acompanhamento e avaliação dos programas, políticas e projetos de turismo no seu município e região. Espera-se, ainda, sensibilizá-lo(a) para refletir, de forma crítica e contextualizada, sobre as implicações sociais, políticas e técnicas que processos avaliativos carregam como elementos decisivos para a garantia da eficiência, efetividade e qualidade das políticas de turismo.
  4. 4. Cabe destacar, ainda, que os conteúdos que serão abordados nesta Oficina integram o corpo de conhecimentos e práticas das demais oficinas deste Eixo de Aprendizagem, quais sejam: Planejamento Estratégico, Planejamento Governamental e Orçamentação e Elaboração e Gestão de Projetos. Tela 05 Integram esta Oficina 3 unidades temáticas, assim estruturadas e que têm por objetivos: Unidade Temática 1 – Introdução ao Conceito e Características de Monitoramento e Avaliação de Políticas Públicas Contextualizar a discussão e práticas de monitoramento e avaliação no ambiente de Reforma do Estado e da Administração Pública Gerencial; Apresentar uma breve introdução aos conceitos de monitoramento e avaliação; Reconhecer as especificidades dos conceitos e distinções entre monitoramento e avaliação no campo das políticas públicas; Destacar os tipos de monitoramento e avaliação, assim como reconhecer esses instrumentos como etapas que integram os ciclos de políticas e projetos, dando destaque para seus usos em cada um dessas fases; identificar as principais metodologias e tipologias de avaliação; Reconhecer as semelhanças, diferenças e limites entre monitoramento, e avaliação e outras atividades de análise de dados e informações praticas pela administração pública. Unidade Temática 2 – Evolução das Experiências de Monitoramento e Avaliação no Setor Público Brasileiro com Ênfase nas Políticas Públicas de Turismo Apresentar experiências de monitoramento e avaliação de políticas públicas no Brasil e na Bahia, tomando como referência os novos conceitos de Reforma do Estado e de Administração Pública Gerencial; Apresentar as concepções metodológicas e experiências de monitoramento e avaliação de políticas públicas de turismo no Brasil com destaque para os critérios estabelecidos pela política nacional e estadual de descentralização e regionalização do turismo. Unidade Temática 3 – Desenvolvendo Competências em Técnicas e Instrumentos de Monitoramento e Avaliação de Políticas Públicas Disponibilizar espaços de práticas para o desenvolvimento de competências em monitoramento e avaliação de Políticas Públicas e Projetos Sociais,
  5. 5. tomando como referência os principais indicadores sociais de monitoramento e avaliação de políticas públicas no Brasil; Integrar e articular os conhecimentos e práticas de Planejamento Estratégico, Planejamento Governamental e Orçamentação e Elaboração e Gestão de Projetos realizadas nas Oficinas 1 e 3 deste Eixo de Aprendizagem; e estimular o uso das técnicas e instrumentos de monitoramento e avaliação no desenvolvimento dos PGTs. Tela 06 Atenção Espera-se que você cultive a vontade de aprender, apreender e partilhar conhecimentos com os colegas que integram a Rede de Inovação em Gestão de Turismo e que, ao final da Oficina, tenha desenvolvido as seguintes competências: Compreender os conceitos e fundamentos básicos de Monitoramento e Avaliação de Políticas Públicas, Programas e Projetos Sociais, buscando adaptar essas definições às especificidades da administração municipal com ênfase no turismo; Identificar as diferentes metodologias de Monitoramento e Avaliação de Políticas, Programas e Projetos; Reconhecer indicadores de Monitoramento e Avaliação de políticas, programas e projetos sociais; Integrar no PGT instrumentos de monitoramento e avaliação com vistas a melhorar a capacidade de gestão das políticas de turismo no seu município e Zona Turística. No material disponibilizado você também encontrará orientações sobre as atividades sugeridas para que possa, junto com os colegas, sistematizar os processos de aprendizagem, individual e coletivo, sobre os temas tratados nesta Oficina.
  6. 6. Tela 07 Fundamental Desejamos que este material referencial permita uma leitura agradável e produtiva e, ainda, que oriente e estimule o seu interesse em aprofundar os conhecimento e práticas em monitoramento e avaliação de políticas públicas. Com esse espírito, certamente você ajudará a consolidar os objetivos da Rede de Inovação em Gestão do Turismo e melhorar as práticas de administração municipal. Ao final desta Oficina, serão apresentados exercícios de avaliação da aprendizagem. Para os alunos que não assistiram à Oficina Presencial, os exercícios de avaliação serão obrigatórios e contarão como frequência da Oficina. Para os alunos que assistiram à Oficina Presencial, os exercícios são para fixação dos conceitos. Bom estudo e sucesso no seu processo de aprendizagem! UNIDADE TEMÁTICA 1 - INTRODUÇÃO AO CONCEITO E CARACTERÍSTICAS DE MONITORAMENTO E AVALIAÇÃO DE POLÍTICAS PÚBLICAS 1.1 Evolução Histórica de Políticas de Monitoramento e Avaliação na Nova Administração Pública Gerencial 1.1.1 Considerações Gerais
  7. 7. Tela 1 Caro (a) aluno (a). Seja bem-vindo(a) à Unidade Temática 1 - Introdução ao Conceito e Características de Monitoramento e Avaliação de Políticas Públicas. Você está cursando a Oficina 2 e, certamente, já tem conhecimento da sua programação. Esta Unidade Temática tem por objetivo introduzir o aluno no contexto da discussão e construção de instrumentos e práticas avaliativas, no campo do planejamento e gestão pública no Brasil. Vamos iniciar os estudos traçando considerações gerais sobre a evolução histórica do monitoramento e da avaliação de políticas públicas. Tela 2 Serão abordados, inicialmente, os conceitos e práticas de monitoramento e avaliação no ambiente da Reforma do Estado e da Administração Pública Gerencial para, em seguida, apresentar uma breve introdução aos conceitos de monitoramento e avaliação que servirão de base para sua: Capacitação como gestor público municipal, com ênfase no desenvolvimento de competências de acompanhamento e avaliação de políticas públicas de turismo. Também será dado destaque aos instrumentos de monitoramento e avaliação como corpo de conhecimentos e práticas sociais e administrativas fundamentais para: O alcance da eficácia, eficiência e efetividade, e a garantia da qualidade dos serviços e bens públicos. Tela 3 Após apresentar e discutir sobre as especificidades dos conceitos e distinções entre instrumentos de monitoramento e avaliação, no campo das políticas públicas, serão destacadas as principais semelhanças e diferenças existentes entre os dois instrumentos de planejamento e gestão. Será dada ênfase, ainda, à reflexão crítica sobre a relação entre avaliação, pesquisa avaliativa e valores (ética),
  8. 8. de modo a ressaltar a dimensão subjetiva (política) que conforma o processo avaliativo. E, por fim, serão ressaltados os tipos de monitoramento e avaliação, de modo a possibilitar que você reconheça essas ferramentas como etapas que integram os ciclos de políticas públicas, assim como serão priorizados espaços para que possa identificar as principais técnicas (tipos ou modelos) e instrumentos de monitoramento e avaliação de projetos sociais. Tela 4 Vamos iniciar os estudos enfocando a evolução histórica do monitoramento e da avaliação de políticas públicas. A partir dos anos de 1970 do século passado, as administrações públicas de diversos países, especialmente os desenvolvidos, vêm enfrentando pressões da sociedade para aumentar a eficiência e garantir transparência na gestão dos recursos públicos. Esse movimento tem exigido dos governos um esforço contínuo para: INOVAR E MODERNIZAR AS PRÁTICAS DE PLANEJAMENTO E GESTÃO PÚBLICA Como resposta a essas pressões, assiste-se, a partir da década de 1990, a um movimento assumido por diversos países no sentido de promover reformas em suas administrações, inserindo novos conceitos e impondo formas mais pragmáticas de gestão pública orientada agora para alcançar resultados. Tela 5 Saiba mais A inspiração para essa nova definição de administração pública por resultado se fundamenta nos modelos gerenciais utilizados pelas organizações privadas, e tem sua ênfase voltada ao aumento da eficiência dos gastos públicos e à qualidade dos resultados das políticas públicas implementadas. Segundo López e Moreno (2010), as bases ideológicas para a reforma do Estado surgem primeiramente nos países desenvolvidos, como alternativa para enfrentar as crises fiscais e financeiras que emergem a partir dos anos 70 do século passado e que tem como objetivo central manter os mesmos níveis de crescimento e desenvolvimento alcançados no Pós-Segunda Guerra Mundial (1945 a 1970). Já nos países chamados emergentes o objetivo era acelerar o ritmo para alcançar maior desenvolvimento.
  9. 9. Tela 6 Reforçam essa análise sobre as mudanças na gestão pública Ormond e Löffer (1999) ao destacarem as seguintes condições para as reformas gerenciais: limitações fiscais ao crescimento do setor público; busca por formas efetivas de implantação de políticas públicas; pressão de grupos empresariais pelo desenvolvimento de um ambiente favorável para investimentos; prestação eficiente de serviços, mudanças culturais e tecnológicas; mudanças no perfil da população.
  10. 10. Já Osborne e Gaebler (1994) ressaltam que o objetivo das reformas era desenvolver a capacidade empreendedora do Estado, com ênfase na melhor utilização dos recursos e na busca por uma melhor prestação de serviços. Para alcançar tal meta, o Estado deveria substituir a gestão burocrática por um modelo de administração gerencial. Para os autores, o Estado deveria investir em medidas que possibilitassem realizar mais com menos, isto é, que qualificassem os gastos públicos mediante a inovação de técnicas de gestão que permitissem gastar com mais eficácia e eficiência. Tela 7 Fundamental Nesta unidade, você pode perceber através da análise das diferentes correntes do pensamento sobre o conceito e papel social do Estado, que este estava, a partir da década de 90, desafiado a encontrar novas e mais eficientes formas de administração dos interesses da sociedade, convergindo, assim, para a concepção da atual Reforma (liberal) do Estado. O conceito vencedor de uma ação reformadora do papel estatal trouxe em seu bojo a orientação para alcançar resultados, com ênfase numa atuação mais efetiva das políticas governamentais. Sucesso nos estudos e até a próxima unidade quando você vai poder observar como a Gestão Orientada para Resultados influenciou as funções de monitoramento e avaliação, as quais ganham relevância nos diversos países desenvolvidos e também nas nações emergentes e subdesenvolvidas. 1.1.2 A Gestão Orientada para Resultados Tela 1 Caro (a) aluno (a). Ao assumir uma ‘gestão orientada para resultados', o Estado muda o foco da ação administrativa e, segundo destacam Grau e Bozzi (2008), é possível observar que os processos passam a se organizar em função da eficiência, eficácia e efetividade das ações públicas. É, portanto, nesse contexto que
  11. 11. as funções de monitoramento e avaliação ganham relevância nos diversos países desenvolvidos e também nas nações emergentes e subdesenvolvidas, que passaram a sofrer a partir desse contexto uma forte pressão e influência política e técnica por parte dos governos centrais, materializada através das agências multilaterais de financiamento. Para que você compreenda a evolução recente das políticas de monitoramento e avaliação é preciso que conheça um pouco mais sobre a evolução histórica desses instrumentos de planejamento e gestão pública nos países desenvolvidos, que ganha destaque a partir dos anos 70 do século passado. Assim, para a grande maioria dos estudiosos, as técnicas de monitoramento e avaliação de políticas públicas assumiram grande destaque no interior do processo de Reforma do Estado e da Administração Pública. Como destaca Faria (2005), o primeiro boom da avaliação de políticas e programas públicos ocorreu nos Estados Unidos, na década de 1960. Tela 2 Nesse contexto, a pesquisa avaliativa era concebida como ferramenta de planejamento vinculada quase que exclusivamente para dar suporte às funções estratégicas dos formuladores de políticas e dos gerentes de mais alto escalão do governo. A avaliação acabou, assim, institucionalizando-se, inicialmente, como uma concepção conhecida como top-down (que implica um processo decisório de cima para baixo), caracterizada por advir de uma decisão executiva do presidente norte-americano que determinava que todos os programas sociais fossem avaliados. A chamada "era de ouro" da avaliação nos EUA durou até o final da década de 1980 e tinha o paradigma metodológico experimental como referência; ou seja, tratava-se de um instrumento caracterizado pelo controle (monitoramento). Tela 3 Na década de 1990, com o movimento da New Public Management (Nova Administração Pública), os avaliadores se convertem em uma espécie de “auditores”, responsáveis por aferir os resultados das políticas públicas e projetos sociais. A partir do movimento de maior controle sobre as práticas de gestão pública, você pode observar que a “função avaliação” se institucionaliza definitivamente como uma etapa decisiva do processo de planejamento e gestão pública, de modo que os atos e fatos administrativos, materializados na concepção e execução de políticas públicas, se legitimam como um dos momentos relevantes do processo de produção do setor público. A América Latina não ficará fora desse movimento por muito tempo e entre o final da década de 1980 e o inicio da década de 1990 observa-se o comprometimento crescente assumido pelas grandes economias regionais para a institucionalização das "funções de controle e avaliação".
  12. 12. Naturalmente o interesse tinha um claro objetivo que era instrumentalizar o sucesso da Reforma do Estado e da Administração Pública nas nações em desenvolvimento da região. Tela 4 Saiba Mais Os propósitos básicos da Reforma do Estado eram os seguintes: a) a adoção de uma perspectiva de contenção dos gastos públicos; b) a busca de melhoria da eficiência e da produtividade, de ampliação da flexibilidade gerencial e da capacidade de resposta dos governos; c) a maximização da transparência da gestão pública e de responsabilização dos gestores; d) o consumidor vindo em primeiro plano. Fonte: Melo, 1998. Você pode concluir, portanto, que a consolidação dos sistemas de acompanhamento e avaliação que foram introduzidos nas administrações públicas na América Latina teve forte caráter de indução externa. Conforme destacam vários estudiosos (Faria, 2005, Melo, 1999, Santos e Ribeiro, 2004, entre outros), dentro de uma perspectiva de reforma gerencialista percebe-se que a ênfase dada à implantação dos sistemas de avaliação no continente advém de metodologias impostas pelos organismos multilaterais que investem sistematicamente no processo de controle da gestão pública internacional.
  13. 13. Tela 5 Fundamental Com o objetivo de controlar a gestão pública internacional, os organismos multilaterais disponibilizam não apenas financiamento, mas também assistência técnica, articulando para esse fim redes de profissionais em âmbito internacional e local, com vistas a sensibilizar lideranças políticas e acadêmicas junto aos países parceiros (cooperados), atrelando, portanto, o financiamento de projetos à exigência de monitoramento e avaliação. Em síntese, as instituições multilaterais como o Banco Mundial (BM), a Organização das Nações Unidas (ONU) e o Banco Interamericano (BID), têm desempenhado papel fundamental na priorização e definição dos arcabouços metodológicos de instrumentos de monitoramento e avaliação de políticas públicas. Na próxima unidade vamos tratar dos Modelos Criados por Algumas Agências Multilaterais. Estaremos esperando por você! 1.1.3 Modelos Criados por Algumas Agências Multilaterais Tela 1 Caro (a) aluno (a). Observem os modelos criados por algumas agências multilaterais: O Banco Mundial (BM) estabeleceu, em 1994, o Modelo do Quadro Lógico (Logical Framework), ferramenta destinada a facilitar a conceituação, o desenho, a execução e a avaliação de projetos.
  14. 14. O Banco Interamericano de Desenvolvimento (BID), dentro do Projeto Fortalecimento da Função Avaliativa na América do Sul, tem procurado analisar os avanços no campo da avaliação, promovido o intercâmbio de experiências quanto à gestão pública, principalmente entre Brasil, Argentina e Chile, e buscado disseminar informações sobre a avaliação como parte integrante da gestão pública. No Brasil, como fruto desse projeto, o Instituto de Pesquisa Econômica Aplicada (Ipea) vem elaborando uma série de relatórios técnicos de avaliação de políticas. A Organização das Nações Unidas (ONU), através de suas agências, estabelece as diretrizes dos programas a serem avaliados. Destaca-se, nesse sentido, a metodologia recomendada pelo Fundo das Nações Unidas para a Infância (Unicef) para avaliação dos programas da área. Tela 2 Saiba mais É importante destacar, ainda, o esforço feito no contexto internacional pela Agenda pela Eficácia da Ajuda ao Desenvolvimento, a partir dos anos 1990, movimento apoiado por governos de países desenvolvidos e em desenvolvimento, agências multilaterais de cooperação e organizações privadas de financiamento. O conceito de eficácia será melhor aprofundado nesta Unidade, assim como os conceitos correlatos de eficiência e efetividade, mas aqui é importante destacar apenas que na década de 1990 esse léxico típico da administração privada (corporativa) passa a integrar a agenda de políticas públicas das agências de cooperação internacional e, por consequência, são integradas e assumidas (sem uma reflexão contextualizada e crítica) pela administração pública dos países beneficiados (nações em desenvolvimento ou subdesenvolvidas). Com essa nova concepção de administração pública gerencial, a comunidade internacional constatou que os recursos alocados eram ineficazes para promover o desenvolvimento humano e reduzir a pobreza, além de gerarem enormes custos aos países beneficiados ou nutrirem a corrupção e a má governança (Kaufmann, 2009). Tela 3 Esta Agenda internacional foi coordenada pela Organização de Cooperação e de Desenvolvimento Econômico (OCDE), através de fóruns e atividades, institucionalizada em 2005, através da "Declaração de Paris para a Eficácia da Ajuda", que definiu cinco compromissos de parceria em prol do desenvolvimento:
  15. 15. a) apropriação e liderança dos países beneficiados; b) alinhamento da ajuda para apoiar as iniciativas locais; c) harmonização dos procedimentos dos organismos internacionais; d) gestão por resultados mensuráveis de desenvolvimento; e) responsabilização (accountability) mútua. Com base nos compromissos citados acima Kaufmann destaca que uma das considerações da Declaração foi a necessidade de se especificar indicadores, calendários e metas a fim de se aperfeiçoar o nível de progresso em desenvolvimento alcançado nos países, criando, dessa forma, instrumentos para o monitoramento do processo de implementação dos programas locais. Tela 4 Com essa breve reflexão sobre a evolução das concepções e experiências históricas de monitoramento e avaliação de políticas públicas e projetos, é possível identificar algumas tendências no campo da profissionalização da atividade avaliativa: a) a globalização da profissão; b) a sua natureza transdisciplinar; c) o emergente interesse político por accountability, pelos indicadores de performance e pela transparência; d) a crescente ênfase no desenvolvimento de capacidades e habilidades em avaliar; e) o debate em torno da apropriação dos diferentes métodos de avaliação. Assim, para cumprir os objetivos estratégicos da nova administração pública gerencial, os instrumentos de monitoramento e avaliação assumem papel relevante de subsidiar o planejamento e a gestão das intervenções governamentais, assim como de apoiar o acompanhamento de sua implantação, (re)orientar suas reformulações e dar suporte aos ajustes e decisões estratégicas sobre a manutenção ou interrupção das ações. O monitoramento e a avaliação passam a ser instrumentos decisivos nos processos administrativos, fundamentais, pois, para a melhoria da eficiência e eficácia do gasto público e garantia da qualidade da gestão, bem como para o controle sobre a efetividade dos bens e serviços públicos.
  16. 16. Tela 5 Saiba Mais Desse modo, além do caráter de mensuração de resultados, o monitoramento e a avaliação refletem, de algum modo, também, aspectos qualitativos do planejamento e da gestão pública constituindo-se, assim, em instrumentos capazes de dar suporte para o julgamento sobre o valor das intervenções governamentais. De tal modo, os avaliadores internos (os gestores e servidores públicos) ou externos (auditores e/ou consultores), bem como os usuários ou beneficiários das políticas ganham espaço relevante no julgamento das ações do poder público. Em síntese, o monitoramento e a avaliação como instrumentos de planejamento e gestão, responsáveis por auxiliar a verificação da qualidade da aplicação dos recursos públicos, pressupõem, portanto, a atribuição de valor e legitimidade aos objetivos das políticas públicas e projetos governamentais, ou seja, deve verificar o cumprimento das metas estabelecidas e a qualidade e efetividade das políticas implantadas. Tela 6 Cabe ressaltar para sua formação que, conforme já destacado nos materiais referencias das Oficinas 1 e 3, a implantação de um padrão de gestão pública orientada para resultados envolve tanto o desenvolvimento de processos sistemáticos de planejamento estratégico, de mudanças metodológicas no processo de orçamentação, de otimização dos processos administrativos com ênfase em novas metodologias de elaboração e gestão de projetos, como a implantação de sistemas efetivos de monitoramento, controle e avaliação da gestão. Esse esforço articulado e integrado entre planejamento e gestão permitirá, portanto, ao gestor público fazer um acompanhamento (real e potencial) dos resultados e dos processos por meio de indicadores de gestão e de gerência que possibilitem identificar os desvios, apontar suas causas e introduzir medidas corretivas oportunamente. A compreensão dos conceitos e características de monitoramento e avaliação com base na gestão para resultados exige entender as dimensões do que a literatura define como dimensões dos resultados nas ações governamentais.
  17. 17. Tela 7 Saiba Mais Conforme figura abaixo, os resultados podem ser avaliados através de uma cadeia causal de eventos. Para Binnendjk (2000 apud KUSEK; RIST, 2000), nas ações governamentais há uma relação de causa e efeito entre cinco elementos fundamentais: insumos (inputs), processos, produtos (outputs), resultados (outcomes) e impactos, em que todos os níveis contribuem para o desenvolvimento uns dos outros. Resumindo, você pode deduzir que os insumos (inputs) utilizados nos processos levam à entrega de produtos (outputs) que geram a realização de resultados intermediários (outcomes), que contribuem, por sua vez, para a modificação de uma realidade (impacto).
  18. 18. Tela 8 Fundamental Por sua vez, as agências multilaterais, a exemplo da UNESCO/ONU, defendem uma perspectiva mais ampla acerca do conceito de resultado, definindo-o como: A ênfase nos resultados promovidos com estes sistemas é uma forma de avançar na consecução de uma maior efetividade e transparência das ações governamentais e, também, uma maneira de aumentar as capacidades de incidir nos anseios coletivos, tais como o aumento da legitimidade do estado, o combate à corrupção, o bom uso do erário e a criação das políticas e serviços que aumentem o bem-estar social, reduzam a pobreza e combatam a desigualdade. (GRAU e BOZZI, 2008, pag.15). O que implica deduzir que para a UNESCO:
  19. 19. E então caro (a) aluno (a)? Podemos prosseguir nos estudos sobre a evolução histórica do monitoramento e da avaliação de políticas públicas? Na próxima unidade, com o intuito de possibilitar a aplicação do conceito de resultado, quando for necessário avaliar as ações do setor público, abordaremos os conceitos de Eficiência, Eficácia e Efetividade! 1.1.4 Os Conceitos de Eficiência, Eficácia e Efetividade Tela 1 Caro (a) aluno (a). Nesta unidade, você vai concluir os estudos sobre a evolução histórica do monitoramento e da avaliação de políticas públicas. Estes conhecimentos são fundamentais para sua capacitação como gestor público municipal, com ênfase no desenvolvimento de competências para o acompanhamento e a avaliação de políticas públicas de turismo. Você já sabe que a aplicação do conceito de resultado, para avaliar as ações do setor público, exige compreender as dimensões que têm sido assumidas pela literatura corrente, fundamentalmente, eficiência, eficácia e efetividade. Vamos, portanto, observar como alguns autores conceituam eficiência, eficácia e efetividade. Tela 2 EFICIÊNCIA [Revela] “a relação entre duas magnitudes: a produção física de um produto, seja um bem ou serviço, e os insumos ou recursos que serão utilizados para alcançar esse nível de produto”. (GIACOMONI, 2010, pág. 353); Princípio norteador da atuação do Estado no Brasil com base na Constituição Federal de 1988. O princípio da eficiência exige que a atividade
  20. 20. administrativa seja exercida com presteza, perfeição e rendimento funcional. É o mais moderno princípio da função administrativa, que já não se contenta em ser desempenhada com legalidade, exigindo resultados positivos para o serviço público e satisfatório atendimento das necessidades da comunidade e seus membros. (MEIRELLES, 2006, pág. 94). Mede como, economicamente, os recursos ou insumos se transformam em resultados (OCDE, 2002). Possibilita a redução dos gastos governamentais e a otimização dos recursos à disposição do Estado e da sociedade para alcance dos resultados (ABRUCIO, 1997). Tela 3 EFICÁCIA Reflete o grau de cumprimento dos objetivos pretendidos, ou seja, em que medida as metas estão sendo alcançadas independentemente dos recursos alocados e envolve dois aspectos fundamentais: o primeiro, relacionado à definição de objetivos, e o segundo, à capacidade de gestão para fazer cumprir esses objetivos (COHEN e FRANCO, 2004) EFETIVIDADE Reflete o grau de alcance do resultado esperado, ou seja, corresponde à transformação produzida em relação ao que foi planejado. No setor público a efetividade serve para medir quanto custa alcançar uma produção determinada, pois ao medir a efetividade é possível saber se o investimento valeu a pena. (OSBORNE e GAEBLER, 1994, pág. 381-382); O conceito de efetividade pode ser visto sob duas perspectivas: em função do impacto produzido ou em função do grau de alcance dos objetivos almejados. (COHEN e FRANCO, 2004). A efetividade é vista também como resultado de uma avaliação qualitativa dos serviços públicos, negando, assim, o conceito econômico do termo, baseado na eficiência pura. A efetividade é vista aqui como dimensão essencial para o planejamento e gestão de longo prazo das políticas públicas. (ABRUCIO, 1997, pág. 18) Fonte: Elaboração própria com base nos textos de Giacomoni, 2010, pág. 353; Meirelles, 2006, pág. 94; OCDE, 2002; Abrucio, 1997; Cohen e Franco, 2004; Osborne e Gaebler, 1994.
  21. 21. Tela 4 Fundamental Com esse quadro resumo você pode considerar que a compreensão do conceito de resultado e suas dimensões é fundamental para dimensionar a relevância que o monitoramento e a avaliação tem para uma boa gestão pública, com base no conceito de Administração Pública Gerencial. Com base nas dimensões de eficiência, eficácia e efetividade será possível, pois, definir e/ou identificar os indicadores a serem utilizados nos processos de monitoramento e avaliação, conforme será descrito mais adiante, nesta Oficina. Desejamos que você alcance os objetivos a que se propôs ao iniciar esta Oficina. Sucesso e até a próxima unidade! Vamos abordar um novo tema: Uma Aproximação aos Conceitos e Características de Monitoramento! 1.2 Uma Aproximação aos Conceitos e Caraterísticas de Monitoramento 1.2.1 Conceitos Tela 1 Caro (a) aluno (a). Nesta Oficina que trata do Monitoramento e Avaliação de Políticas Públicas, vamos iniciar, neste momento, os estudos sobre um novo tema: Uma Aproximação aos Conceitos e Características de Monitoramento. Ícone Definição Com base na definição da Organização de Cooperação e de Desenvolvimento Econômico - OCDE:
  22. 22. Monitoramento é um processo contínuo de coleta de informações que utiliza de indicadores previamente definidos com a finalidade de fornecer informações sobre o progresso e o alcance dos objetivos (OCDE, 2002). Complementando essa definição Garcia (2001:29), ressalta que monitoramento é: “um processo sistemático e contínuo que, produzindo informações sintéticas e em tempo eficaz, permite a rápida avaliação situacional e a intervenção oportuna que confirma ou corrige as ações monitoradas”. Tela 2 Segundo Zimmerman (2003), no ciclo de planejamento e gestão pública, o monitoramento é elemento indispensável à continuidade, aperfeiçoamento, mudança de rumo ou até interrupção de uma determinada política, pois expressa como a execução de programas e projetos se efetivam, constituindo-se, assim, em instrumento relevante de controle e também em oportunidade de aprendizado profissional e organizacional. Ressalta o autor que o monitoramento é fundamental para o processo avaliativo visto que envolve análise de informações obtidas por meio das ações de controle para aperfeiçoar a gestão e aumentar, assim, a efetividade da intervenção do poder público. Tela 3 Saiba Mais Para a concepção definida pelo PMI/PMBOK, os procedimentos de monitoramento são considerados ferramentas dos processos de controle do projeto e devem, portanto, ser realizadas desde o processo de inicialização até o encerramento dos projetos. Ao admitir essa concepção integrada assume-se que as metas podem ser redefinidas em qualquer momento do processo de execução das ações governamentais, caso necessário. Cabe destacar, portanto, que uma das razões que explica as modificações no curso de um projeto, política ou programa está justamente no processo de aprendizagem provocado pelas experiências advindas das atividades de monitoramento e avaliação.
  23. 23. Dica Lembre-se que a metodologia do PMI/PMBOK é a base central dos conceitos e práticas estudadas na Oficina 3 - Elaboração e Gestão de Projetos. Tela 4 Saiba Mais Um conceito amplo de Monitoramento permite afirmar, ainda, que este é um processo realizado ao longo do ciclo de vida de uma política ou projeto. Consiste, pois, na verificação do nível de realização das ações públicas com base no que foi planejado. Assim, o Monitoramento possibilita um permanente feedback sobre a implementação das políticas e projetos, de forma a permitir aos gestores públicos identificar possíveis desvios ocorridos, além de reconhecer atuais e/ou futuros entraves para o alcance dos objetivos e metas previstas. Desse modo, ao ser uma ação realizada de forma progressiva e continuada, permite a adoção de medidas corretivas para fazer os ajustes e correções necessárias, favorecendo, assim, o fortalecimento institucional e garantindo a qualidade dos bens e serviços públicos. Tela 5 Fundamental Conforme definição da ONU (1984): (...) monitoramento de projetos, programas e planos é o exame contínuo ou periódico efetuado pela admnistração, em todos os seus níveis hierárquicos, do modo como se está executando uma atividade. Com isso, se procura assegurar que a entrega dos insumos, os calendários de trabalho, os produtos esperados se consubstanciem
  24. 24. nas metas estabelecidas e que outras ações que são necessárias progridem de acordo com o plano traçado. Agora, caro (a) aluno (a), pare para refletir um pouco e extraia do assunto apresentado nesta unidade _ conceito de monitoramento _ os aspectos que evidenciam ser possível a melhoria do seu desempenho como gestor público na área de turismo. Este assunto certamente contribuiu para acrescentar conhecimentos e informações à grande experiência que você já tem. Logo mais vamos nos encontrar para nos deter nas Características de Monitoramento. Boa Sorte! 1.2.2 Características Tela 1 Caro (a) aluno (a). Como você pode observar nas Oficinas 1 e 2 deste Eixo de Aprendizagem, a implementação de uma política pública, programa ou projeto se dá de forma progressiva, o que implica afirmar que o que foi previsto no processo de planejamento pode sofrer alterações durante o processo de controle. Esses indicadores permitirão, pois, que possam ser atualizados os registros anteriores tornando possível, assim, o controle das mudanças propostas durante o ciclo de vida da política ou do projeto. Ícone Definição Um bom instrumento de monitoramento deve contribuir para que os gestores públicos, os auditores e os beneficiários (cidadãos) possam responder às seguintes questões: 1) As atividades, os desembolsos, a contrapartida, os co- financiamentos, a gerência do projeto, a equipe técnica e de apoio, os bens e os serviços estão sendo realizados de forma oportuna e eficiente em termos dos custos? 2) As suposições importantes da política ou projeto ainda estão mantidas? 3) Os produtos/componentes do projeto tem sido obtidos no prazo, com a qualidade e quantidade desejadas (verificar a estrutura analítica do projeto/programa) ?
  25. 25. 4) É provável que os efeitos desejados (resultados finais) se cumpram, com as suposições existentes e constantes do Quadro Lógico ou Marco Lógico? Fonte: Zimmerman (2003). Tela 2 O monitoramento é uma atividade gerencial interna, realizada sistematicamente durante o período de execução e operação para se saber como uma intervenção evolui ao longo do tempo, através de dados de gestão e gerência de uma política ou projeto sobre metas iniciais, indicadores e resultados associados às ações públicas. Esta atividade de gestão é necessária para se dimensionar as metas de uma política, os caminhos que uma intervenção percorre e as métricas potenciais para medir os efeitos na população-objetivo. Através do monitoramento, gestores, pesquisadores ou outros agentes podem examinar como a implementação está sendo realizada, se está atingindo seus objetivos, além de verificar que problemas estão interferindo nas ações, processos e consecução dos objetivos previstos (FARIA, 2005; CUNHA, 2006). De acordo com seus resultados, pode-se recomendar o ajuste do plano, das condições operacionais e a correção dos rumos.
  26. 26. Tela 3 Saiba Mais Entre os desafios para um bom monitoramento são apontados os seguintes (THOENIG, 2000; HENRY, 2001; JANNUZZI, 2004): identificar os objetivos que a política, programa, projeto ou a estratégia busca alcançar; elaborar indicadores que possam monitorar o progresso em relação às metas estabelecidas; fixar metas quantitativas e temporais para cada indicador definido. Ao observar os sistemas de monitoramento que têm sido utilizados pelo governo federal brasileiro é possível identificar o seguinte fluxo de informações: Fonte: BOULLOSA, 2009. Tela 4 Fundamental O desenho do fluxo permite concluir, pois, que planejar o monitoramento implica em selecionar dados e informações que ajudem a estabelecer parâmetros de controle da política ou projeto com vistas, sempre, a produzir novas informações que ajudem os gestores públicos a tomarem decisões com base em dados seguros. A coleta e registro de dados ganha, portanto, importância nesse processo na medida em que permite sintetizar a percepção dos executores da política
  27. 27. ou projeto. Mas esse aspecto será melhor tratado na Unidade Temática 3 desta Oficina. Mas é preciso ressaltar que o monitoramento não terá grande impacto para o melhoramento das políticas públicas se não estiver articulado a todas as etapas que integram o ciclo de vida do programa/projeto. Assim, se realizado de maneira adequada, o monitoramento aumenta o nível de comprometimento da equipe técnica responsável pela execução. O próximo tema desta Oficina será: Uma Aproximação aos Conceitos, Características e Tipologias de Avaliação. Pronto(a) para prosseguir nos estudos? Estaremos à sua espera! 1.3 Uma Aproximação aos Conceitos, Caraterísticas e Tipologias de Avaliação 1.3.1 Conceitos Tela 1 Olá, caro(a) aluno(a)! Seja bem-vindo(a) a esta etapa da Oficina 2. O tema agora é: Uma Aproximação aos Conceitos, Características e Tipologias de Avaliação. Por enquanto vamos nos deter nos conceitos. Icone Definição Em um sentido lato, avaliar é descrito no dicionário Aurélio de língua portuguesa como determinar um juízo de valor, o preço, a importância de alguma coisa; reconhecer a grandeza, a intensidade, a força de [algo ou alguma coisa]; (ver http://www.dicionariodoaurelio.com/Avaliar.html). Com base nessa definição mais formal, você pode compreender o sentido de avaliar como um ato de julgar, estimar, medir, classificar, ordenar, ponderar, aferir ou analisar criticamente o mérito, o juízo de valor, a importância, a relevância ou a utilidade de algo ou alguém.
  28. 28. Tela 2 1. Faça uma lista com 5 juízos de valor (avaliações) informais que você fez nas últimas 24 horas. a) Selecione as duas avaliações mais complexas e procure desvendar qual o percurso que você percorreu para chegar a tais juízos. b) Escreva ao lado dos dois juízos selecionados os aspectos subjetivos que você acha que condicionaram sua nessa avaliação (crenças valores, simpatias, preconceitos, relações causais pessoais etc..). 2. Você concorda que toda avaliação emite um juízo de valor, conforme destacado por vários autores? Justifique sua resposta. 3. Se sua resposta for afirmativa explique por que, então, o juízo de valor (a avaliação) exige uma argumentação e definição de prerrogativas desse juízo? 4. Organizados em grupos de Zona Turística façam um levantamento de alguns estudos de avaliação que vocês conhecem ou já participaram. a) Após concluir esse levantamento escolham o que consideram mais interessante ou relevante e identifiquem 5 aspectos que o diferenciam de uma avaliação informal (juízo de valor).
  29. 29. Tela 3 A avaliação consiste na verificação sistemática e objetiva de condições de desenho, execução e resultados de um plano, política, projeto ou programa em execução ou finalizado. O objetivo do instrumento avaliativo é, pois, determinar a pertinência e alcance dos objetivos estabelecidos, aferir a eficácia e efetividade, bem como o impacto e sustentabilidade das mudanças desejadas no curso das ações. Ao aplicar essas definições nas ações do Estado pode-se concordar com a definição de Weiss (1998) que considera a avaliação como a atividade em que se busca aferir as operações, resultados e impactos de uma política ou projeto, comparando-as a um conjunto de padrões (explícitos ou implícitos) previamente definidos, com vistas a contribuir para o seu aperfeiçoamento. Ao assumir a relevância das técnicas de avaliação como fundamentais para o êxito das políticas públicas e projetos, é importante ressaltar a necessidade de superar uma visão pragmática e tecnicista que tem sido admitida por muitos gestores públicos, ao considerar a relevância das práticas avaliativas apenas no momento da finalização das ações públicas. Nesse sentido, considera-se primordial a realização do monitoramento durante todas as etapas de execução das atividades, o que significa minimizar riscos e definir ações corretivas necessárias para o alcance das metas previstas. Tela 4 Saiba Mais Com base nas definições acima citadas, você pode deduzir que o processo de planejamento e gestão são dinâmicos e integrados. Assim, é fundamental que o gestor público esteja atento aos elementos de comunicação e integração que envolve as políticas públicas para que os resultados das ações (eficiência, eficácia e efetividade) sejam atingidos com sucesso.
  30. 30. De acordo com Cavalcanti (2010), a avaliação é definida, de modo geral, como um instrumento imprescindível para conhecer a viabilidade de programas e projetos, bem como, para o redirecionamento de seus objetivos e/ou reformulação de suas propostas e atividades. Além disso, a avaliação é um importante mecanismo de gestão, pois possibilita informações mais seguras para orientar a tomada de decisão dos gestores, formuladores e implementadores de programas, políticas e projetos e permite também conhecer o que está sendo executado, garantindo, assim, oportunidade para tomar novas decisões, se necessário. Tela 5 Saiba Mais Dessa forma, conforme destaca Rico (1998), a avaliação permite poupar a utilização desnecessária de recursos e eleva a credibilidade das ações públicas. Para Minayo (2007), a avaliação é um conjunto de atividades técnico- científicas ou técnico-operacionais que buscam atribuir valores como: eficiência, eficácia e efetividade aos processos de intervenção, implementação e resultados. Cotta (1998) ratifica essa compreensão ao afirmar que a atividade avaliativa permite verificar o mérito e o valor das ações, assim como promove melhorias no desempenho, auxilia os gestores na tomada de decisões e orienta a implantação de políticas, programas e/ou projetos. A avaliação permite, ainda, aos gestores e servidores públicos identificar, analisar, diagnosticar e explicar resultados e impactos não esperados ou não previstos no plano. Estes resultados podem ser positivos ou negativos e estão relacionados, portanto, aos aspectos que irão garantir a sustentabilidade da política ou projeto. Tela 6 A discussão sobre o conceito de avaliação perpassa a compreensão da concepção do ciclo de políticas públicas (policy cycl) que envolve as
  31. 31. seguintes fases: formulação, implementação, monitoramento e avaliação. Embora seja importante para o processo de construção metodológica separar esta etapa do processo de gestão não há como dissociar o processo avaliativo de todas as etapas que compõem uma política pública ou projeto. Desse modo, você deve compreender que a avaliação é parte essencial em todo processo administrativo, desde sua concepção até sua total institucionalização alcançando as ações de controle e avaliação. Na próxima unidade, prosseguiremos nos estudos sobre Avaliação. E você vai ter a oportunidade de conhecer suas características. Até lá e sucesso nos estudos! 1.3.2 Características Tela 1 Caro(a) aluno(a). Vamos, agora, focar nossa atenção nas Características da Avaliação! Este assunto é muito interessante! Para Arretche (2001), a principal característica da avaliação é seu caráter aplicado, pois sem esta particularidade os avaliadores correm o risco de produzir trabalhos desprovidos de utilidade prática. Para que alcance a finalidade é preciso que o instrumento exerça uma relação estreita com a organização e que o seu resultado tenha aplicabilidade. É comum para algumas organizações instituírem processos de avaliação sem sentido, apenas para cumprir uma mera formalidade, o que não permite que alcance seu principal propósito que é identificar e medir a qualidade da implantação dos processos. Ao se separar do seu sentido, da sua finalidade, a avaliação nada acrescenta para o processo de aprendizagem individual, profissional e organizacional. Tela 2 Por outro lado, como ressalta Cotta (2001) é importante reconhecer que o simples fato de realizar uma avaliação não significa, automaticamente, que as informações produzidas serão utilizadas. A atribuição de sentido, de finalidade é essencial no processo avaliativo, por isso, é necessário conhecer a concepção que fundamenta uma organização e/ou política, seus propósitos e desígnio e, a partir daí, construir instrumentos em conformidade com as informações levantadas.
  32. 32. Devido à importância que esse instrumento de gestão assume para desenvolver um processo avaliativo continuado, é necessário estabelecer procedimentos formais de pesquisa e emissão de juízo de valor com argumentos e justificativas plausíveis, oportunizando, assim, a discussão de resultados e a reconstrução da realidade explorada, conforme apontam Boullosa e Araújo (2009). Assim, é possível conceituá-la como uma atividade formal, pois, além de normas e procedimentos preestabelecidos, a avaliação ultrapassa um simples julgamento ou opinião. Tela 3 Conforme ressalta Arretche (2001), a avaliação se traduz, verdadeiramente, em um poderoso instrumento para auxiliar a tomada de decisões e viabilizar o controle social sobre o gasto público e sobre as ações governamentais. Através da avaliação é possível compreender, portanto, as ações políticas do Estado, sua concepção, seu modo de implementação, sua capacidade de financiamento, a capacidade de gestão e gerência, assim como, reconhecer o nível de articulação e transformação que consegue alcançar. Nessa acepção, o julgamento das ações públicas e/ou estatais pode ser entendido como um poderoso instrumento de controle social. Outra relevância da atividade avaliativa em políticas públicas incide justamente em oferecer subsídios para o processo de implantação, bem como para a análise dos resultados e impactos das ações desenvolvidas. Avaliar é, portanto, construir subsídios durante o processo de execução de uma política para alterar o seu rumo, se necessário. Pode-se concluir que as atividades de gestão requerem intervenção continuada visando alcançar os melhores resultados no processo de institucionalização de uma política pública. Tela 4 Para Aguillar e Ander-Egg (1994), avaliar é uma pesquisa social aplicada, sistemática, planejada e dirigida, destinada a identificar, obter e proporcionar, de maneira válida e confiável, dados e informações suficientes e relevantes para apoiar no processo de tomada de decisões e produção de resultados.
  33. 33. Para os autores, é possível, ainda, verificar a extensão e o grau em que aconteceram os avanços, de forma que sirvam de base ou guia para tomar decisões racionais e equilibradas entre cursos de ação ou para solucionar problemas e promover o conhecimento e a compreensão dos fatores associados ao êxito ou ao fracasso de seus resultados. Em síntese, a avaliação caracteriza-se por ser um instrumento fundamental para aprimorar a eficiência do gasto público, garantir a capacidade da gestão e a efetividade das ações estatais com o propósito de determinar valor e com isso estimular processos de aprendizagem e de inovação das práticas administrativas. Embora existam correntes que defendem o uso da avaliação pautado na realidade sem emitir um juízo de valor, devendo ser realizada pela pessoa que solicitou e não pelo avaliador, a maioria dos estudos aponta para avaliações reforçando a perspectiva de juízo de valor, conforme apontam Boullosa e Araújo (2009). Tela 5 Saiba Mais No entanto, a atividade avaliativa deve ser um exercício metodológico cuidadoso e preciso podendo utilizar procedimentos diversificados como entrevistas, reuniões, análise de documentos e observações, entre outras técnicas. Avaliar como atividade de gestão distingue-se, sobretudo, pelo fato de não ser uma ação isolada vinculada a um único pesquisador, pois para sua realização é necessário o envolvimento de avaliadores e avaliados, o que fomenta processos administrativos mais democráticos e, portanto, mais confiáveis. Para que sua aplicação alcance melhores resultados deve envolver, portanto, diálogo e clareza entre avaliadores e avaliados. Essa construção possibilita a aprendizagem prático- institucional e social proporcionando, assim, um repensar na concepção e/ou operacionalização do objeto avaliado (BOULLOSA e ARAÚJO, 2009).
  34. 34. Nessa mesma direção, Silva e Brandão (2003) acrescentam que o processo de avaliar é inerente à aprendizagem organizacional visto que possibilita espaços dialógicos e proporciona reflexões entre os atores envolvidos estimulando, portanto, a discutir práticas e a construir opiniões e consensos. A avaliação estabelece, pois, forte impacto para as atividades de uma organização, uma vez que pode qualificar a sua atividade, favorecer um melhor clima organizacional e garantir tomada de decisões mais consistentes com relação aos caminhos a serem percorridos pela gestão e gerência. Tela 6 Apesar da sua importância como instrumento de gestão, é essencial destacar que a avaliação não visa instituir verdades absolutas, mas fomentar um conhecimento e uma interpretação mais próxima da realidade (ALA-HARJA e HELGASON, 2000). Assim, não cabe à avaliação assumir o processo de tomada de decisão política, mas possibilitar que tais escolhas ou preferências sejam tomadas de maneira mais cuidadosa. Ao buscar dar um sentido as práticas avaliativas são fundamentais entender os fundamentos do processo político que envolve as relações sociais de produção, realização e distribuição de bens e serviços. Desta forma, avaliar implica responder à seguinte questão: “por que avaliar?” Responder a esse questionamento implica reconhecer como os atores interessados percebem a importância política de sua participação. A participação dos atores, portanto, proporciona o ‘desvelamento' da configuração do contexto sociopolítico no qual o programa está inserido, bem como a função da avaliação dentro desse processo (SILVA e BRANDÃO, 2003). Tela 7 Este gráfico, elaborado por Boullosa (2007), ajuda você a entender e aprofundar os conteúdos das definições trazidas nesse material referencial. Essa síntese esquemática permite que você perceba e integre a prática avaliativa como uma atividade que supera aspectos meramente técnicos. Ao contrário dessa visão estreita, estimula-se que tome o instrumento avaliativo como ‘pesquisa social aplicada'.
  35. 35. Fonte: Boullosa (2007) Tela 8 Fundamental Em síntese, fazer avaliação exigirá investimento em estudos metodológicos, epistemológicos e deontológicos (relacionados aos deveres e responsabilidades profissionais do avaliador – do gestor e servidor público) por parte dos gestores e servidores e cidadãos. Vamos nos situar? Estamos explorando o tema: Uma Aproximação aos Conceitos, Caraterísticas e Tipologias de Avaliação. Até aqui analisamos os conceitos e as características da avaliação. Concluímos, portanto o assunto planejado para esta unidade. Esperamos que você tenha aproveitado bastante! Levante-se, agora, faça uma caminhada, bata um papinho com colegas, alongue-se, respire e quando se sentir disposto (a), retome o seu plano de estudos acessando a próxima unidade: Tipologias da Avaliação. Estaremos à sua espera. Até lá!
  36. 36. 1.3.3 Tipologias Tela 1 Caro(a) aluno(a). Para que você possa conhecer as diversas tipologias e metodologias de avaliação serão apresentadas a seguir as definições de usos, formas, natureza, procedência dos executores, timing (tempo/momento) e tipo de problema. Ícone Definição Existem diferentes formas de se realizar uma avaliação. A seguir apresentamos algumas dessas formas, segundo Faria (2005). Avaliações acadêmicas - mais formais e enfocam a efetividade das políticas, seus impactos e benefícios. Avaliações de implementação - privilegiam o exame da eficiência e eficácia das políticas ou projetos. Avaliações gerencialistas - privilegiam o exame da eficiência e eficácia das políticas ou projetos, mas com foco predominante na questão fiscal. A avaliação pode exercer, basicamente, duas funções distintas quanto a sua natureza, a depender do seu uso (Cavalcanti, 2010): Avaliação formativa - faz parte das etapas iniciais do processo de implantação de um programa ou política e está voltada para a análise e produção de informação durante todas as etapas do processo administrativo. Avaliação somativa - realizada quando o programa está sendo implementado há algum tempo ou após a sua implantação para verificar, assim, sua efetividade e fazer o julgamento do seu valor geral. Em síntese, pode ser realizada em todas as fases da política e contemplam as relações entre o processo, os resultados e os impactos, podendo incluir comparações entre diferentes programas e projetos. Tela 2 Cunha (2006) destaca que os instrumentos de avaliação podem ser agrupados, ainda, quanto à procedência dos agentes executores (avaliador e avaliado), com base nos critérios descritos abaixo: Avaliação externa - quando é realizada por especialistas externos à organização responsável pelo programa. Alguns autores apresentam vantagens e desvantagens dessa metodologia:
  37. 37. -Vantagens - a isenção e objetividade dos avaliadores externos não implicados diretamente no processo e a possibilidade de comparação dos resultados obtidos com os de outros programas similares já analisados. -Desvantagens - o difícil acesso aos dados e uma provável posição defensiva dos que terão seu trabalho avaliado, fazendo com que, muitas vezes, forneçam informações parciais ou minimizem o efeito da avaliação sobre a melhoria dos programas. Avaliação interna - quando executada dentro da organização e conta com maior colaboração de profissionais que participam diretamente do programa-projeto: -Vantagens - eliminação da resistência natural ao avaliador externo o que garante a possibilidade de reflexão, aprendizagem e estímulo à compreensão acerca das atividades institucionais. -Desvantagens - perda de objetividade devido ao fato dos que julgam estarem envolvidos na formulação e execução dos programas. Tela 3 Avaliação mista - que combina a avaliação externa e interna, fazendo com que os avaliadores externos tenham contato estreito com os participantes do programa a ser avaliado, o que para Cunha (2005) pode maximizar as vantagens e minimizar ou superar as desvantagens das avaliações. Avaliação participativa - usada em pequenos projetos e prevê a participação dos beneficiários no planejamento, execução e avaliação das ações. Conforme destacam muitos autores (ver Spink, 2001; Abma, 2004, Kayano e Caldas, 2002), essa modalidade de avaliação, em geral, não fornecem informações específicas sobre o impacto de um programa, mas destaca a opinião/percepção dos participantes. Outra classificação importante é quanto ao timing da avaliação, ou seja, o momento em que a avaliação é realizada. Conforme destaca Cavalcanti (2010), a avaliação pode ser: -Avaliação ex-ante ocorre no começo do programa e tem por objetivo dar suporte à decisão de implementar ou não o programa, isto é, tem função diagnóstica o que facilita a alocação dos recursos disponíveis, de acordo com os objetivos estabelecidos. -Destaca-se neste tipo de avaliação o diagnóstico (ou estudo da situação), quando se mapeiam as necessidades e são realizados estudos de factibilidade que orientarão a formulação do programa, além do exame do custo-benefício e do custo-efetividade, que objetiva adequar os recursos disponíveis aos objetivos propostos. -Conforme destacam Khander et. al. (2010) com essa metodologia é possível realizar estudos prospectivos para dimensionar os possíveis benefícios ou obstáculos de uma intervenção pública, simulando-se situações futuras (com e sem o programa) e utilizando modelo de análise
  38. 38. estrutural que identifica os principais agentes envolvidos (indivíduos, comunidades, governos locais ou nacionais), suas interações e os diferentes contextos que influenciam os resultados do programa. Tais procedimentos podem colaborar com o refinamento das ações antes mesmo da sua implementação, ao prever seus efeitos potenciais em diferentes ambientes sociais. Tela 4 avaliação in-itinere – ocorre durante a fase de implementação da política ou projeto. avaliação ex-post - examina os resultados mais imediatos das políticas. Neste tipo de avaliação julga-se a continuidade ou não do programa em execução, possibilitando a manutenção da formulação original ou fazendo adaptações. Quando o programa já foi concluído, examina-se a pertinência do uso futuro da experiência, isto é, se o mesmo tipo de programa deve ser replicado ou não. -A avaliação ex post é a mais desenvolvida metodologicamente e a que tem tido maior aplicação. Para captar o impacto das políticas e projetos recomenda-se combinar as análises (ex ante e ex post) com o objetivo de comparar o alcance do programa (ex post) com as predições (ex ante). Tela 5 A avaliação pode ser classificada, ainda, por tipos de problema ou perguntas que respondem. Segundo destaca Cunha (2006) e Viana (1996) são três as tipologias: avaliação de processos - é realizada durante a implantação do programa e diz respeito à dimensão de gestão. É uma avaliação periódica que procura detectar as dificuldades que ocorrem durante o processo de execução para efetuar correções ou adequações. Serve, portanto, de suporte para melhorar a eficiência operativa. - A avaliação processual procura detectar, periodicamente, as dificuldades que ocorrem durante o processo, a fim de se efetuarem correções ou adequações. - Permite identificar os verdadeiros conteúdos do programa, se ele está sendo realizado conforme o previsto, se ele está atingindo o público-alvo e se os benefícios estão sendo distribuídos corretamente.
  39. 39. - Permite acompanhar os processos internos e focalizar os fatores que influenciam a implementação, estimulando mudanças, quando necessárias. - Serve de suporte para melhorar a eficiência operativa e a eficácia dos programas, disponibilizando resultados e informações úteis aos gestores e gerentes, mais diretamente voltados às situações contextuais. - Seus desenhos adaptam-se ao contexto, ao problema e à abrangência da pesquisa, frequentemente combinando métodos quantitativos e qualitativos (surveys com questionários fechados, entrevistas semiestruturadas ou abertas e observação). - Permite a aferição da adequação entre meios e fins, considerando os aspectos organizacionais e institucionais, social, econômico e político, e de seus objetivos, qual seja, o de permitir a correção do modelo de causalidade e da implementação, visando reorientá-la em função dos objetivos propostos. Tela 6 avaliação de resultados - é realizada após a implantação da política ou projeto e visa verificar em que medida seus objetivos e efeitos foram alcançados, bem como busca avaliar se ocorreram modificações na situação-problema que originou a formulação do programa ou política. Serve, então, de suporte para orientar decisões sobre a política, a exemplo da definição de continuidade ou reformulação das ações. avaliação de impactos - é realizada após a implantação da política ou projeto e visa verificar quais os impactos ou transformações realizadas a partir da implantação das ações públicas. É uma dimensão ex post do resultado, relacionada com os objetivos gerais e o alcance efetivo das metas. Esta é, portanto, uma avaliação mais complexa e procura responder a três questões fundamentais: 1) As mudanças observadas na situação-problema se devem à intervenção ou a outros fatores? 2) Uma solução se aplica a outras realidades, ou apenas a determinado contexto? 3) As mudanças são permanentes ou temporárias, cessando com a interrupção do programa?
  40. 40. Tela 7 Saiba Mais Cabe destacar que tanto a avaliação de processo quanto a avaliação de impacto podem ajudar os gestores públicos e cidadãos a chegar às seguintes conclusões (Figueiredo e Figueiredo, 1986): o resultado esperado é alcançado. um resultado não esperado é produzido, sendo, porém, positivo. resultados do tipo (a) e (b) ocorrem e são positivos no curto prazo, mas podem ser negativos no médio e longo prazo. o resultado esperado é atingido no que se refere aos membros da população-alvo, isto é, cada indivíduo melhorou sua situação com a política pública; no entanto, em médio prazo, a categoria social a que esses indivíduos pertencem, ou passam a pertencer, piora. o resultado esperado não é alcançado e nenhum outro resultado é produzido. um resultado não esperado ocorre, sendo, porém, negativo. A avaliação de impacto tem utilizado predominantemente métodos quantitativos para a coleta e tratamento dos dados e modelos estatísticos e econométricos para medir os impactos das políticas e projetos. Mas um dos grandes desafios dessa metodologia está justamente em como demonstrar que os resultados encontrados estão causalmente relacionados aos produtos oferecidos pelas políticas ou projetos? Tela 8 Saiba Mais Assim, as exigências para uma adequada aferição de impacto são as seguintes: observar um tempo de maturação do programa (ou do "tratamento") para se identificar o registro de impacto.
  41. 41. contar com uma gama de informações anteriores à implementação (estudos ex ante). encontrar um bom contrafactual — um indivíduo ou grupo de comparação que não tenha participado do programa, mas que seja similar ao factual ou de tratamento — a fim de se controlar o viés de seleção do indivíduo ou grupo de comparação. comparar o estudo com outras avaliações. Para Khander et. al (2010), esses desenhos possuem alta legitimidade na comunidade internacional que discute avaliação de políticas públicas e permitem a realização de análises abrangentes, com grandes amostras populacionais. São pesquisas mais complexas e caras, e demoram mais tempo até produzirem resultados que auxiliem os tomadores de decisão. Por estes motivos, os autores sugerem sua utilização parcimoniosa, especialmente nas seguintes situações: quando o programa é inovador e de importância estratégica; quando há uma falta de conhecimento do que funciona ou não; quanto houver dados viáveis e de qualidade. Tela 9 Fundamental Do exposto acima você pode deduzir que o conhecimento da metodologia de avaliação não substitui o conhecimento sobre as especificidades e os detalhes das políticas e projetos. O que permite concluir que não existe um único modelo avaliativo a ser aplicado em todos os casos o que impõe aos gestores públicos (avaliadores) contextualizar as ações a serem avaliadas, tomando como base as especificidades locais.. Outra conclusão que voce pode chegar é que a avaliação é mais complexa do que monitoramento visto que seu compromisso é verificar e atestar se o caminho traçado para o alcance dos resultados finais está realmente sendo conduzido a contento; ou seja, deve confirmar se as políticas e projetos estão, de fato,
  42. 42. dirigindo-se para a melhoria do bem-estar social. Você concluiu com êxito, os estudos sobre Conceitos, Caraterísticas e Tipologias de Avaliação. Parabéns! Desejamos que você tenha alcançado os objetivos a que se propôs ao ingressar nesta Oficina. Ao acessar a próxima unidade você vai entrar em contato com um novo tema: Convergências e Limites entre Monitoramento e Avaliação. 1.4 Convergências e Limites entre Monitoramento e Avaliação 1.4.1 Reflexões Tela 1 Caro(a) aluno(a). Para concluir esta unidade temática: Introdução ao Conceito e Características de Monitoramento e Avaliação de Políticas Públicas, é importante trazer alguns elementos para que você possa refletir sobre as convergências, diferenças e limites existentes entre os instrumentos de monitoramento e avaliação. A literatura especializada traz duas linhas de análise: há os que compreendem a relação entre monitoramento e avaliação como atividades convergentes, tendo em vista que tem os mesmos fins e formulam seus métodos, indicadores e análises com base no estabelecimento de um juízo de valor sobre a política ou projeto que será controlado e avaliado; e há os que defendem que o monitoramento é uma ação integrada ao processo maior que é a avaliação. Nesse caso, o controle limita- se ao processo de coleta de informações e dados para subsidiar o processo avaliativo. Aqui você pode questionar qual caminho tomar, ou seja, qual das duas linhas está correta. Como se trata de uma construção analítica de ações administrativas o que podemos orientar é que cada gestor ou servidor publico deve aprofundar conhecimentos sobre os dois argumentos de modo a reconhecer qual deles se adéqua a suas crenças e formação profissional, sem esquecer de olhar para o contexto no qual atual. Como base para a
  43. 43. orientação deste material referencial vamos assumir a primeira alternativa e considerar que monitoramento e avaliação são duas atividades complementares. Tela 2 Nessa perspectiva, conforme ressaltam Thoenig (2000) Henry (2001) e Jannuzzi (2004), um dos aspectos constitutivos do monitoramento é a elaboração de indicadores de performance e indicadores de progresso da política que devem ser observados periodicamente (a cada trimestre, semestre ou ano, dependendo das prioridades do gestor e do perfil da política e projeto). Enquanto os indicadores finais medem os resultados dos programas e seu impacto em termos de bem-estar, os intermediários examinam os inputs (recursos e meios necessários) e os outputs do programa (tais como: estradas construídas, desemprego masculino, emprego feminino). Por sua vez, os autores citados definem que a avaliação pode ser realizada antes, durante a implementação ou mesmo algum tempo depois, após o programa provocar todo o seu impacto, e com a preocupação centrada no modo, medida e razão dos benefícios advindos. Tela 3 Assim, você pode concluir que em ambos os instrumentos (monitoramento e avaliação) é latente a função de provisão de informações sobre um determinado programa, política ou projeto governamental em todo o seu ciclo, inclusive o momento inicial de identificação do problema. Em uma conceituação abrangente, os citados autores ressaltam que o monitoramento e a avaliação de programas, políticas ou projetos consistem na verificação da adequação do desenho à sua finalidade e aos objetivos pretendidos, da correlação entre os serviços prestados e as metas definidas estrategicamente, dos efeitos (resultados e/ou impactos) mensuráveis e, por fim, da lógica de eficiência subjacente, ou seja, examinar se os benefícios advindos da política compensam seus custos. Tela 4 Comparando os dois instrumentos você pode observar que a avaliação necessita das informações provenientes do monitoramento para realizar o julgamento que lhe cabe a respeito da eficiência, eficácia e efetividade dos programas, políticas e projetos; ou seja, os dois tipos de estudos são, portanto, complementares.
  44. 44. Cabe destacar o esforço de Cunha (2006) ao reconhecer a necessidade de diferenciar avaliação de monitoramento, assim como de identificar as complementaridades entre os dois instrumentos. Nesse sentido, afirma que: o monitoramento é considerada uma atividade gerencial interna, realizada durante o período de execução, já a avaliação é mais ampla e pode ser realizada antes, durante ou mesmo algum tempo depois da implantação e tem como preocupação o modo, a medida e a razão dos benefícios alcançados. o monitoramento e a avaliação são também ações complementares, pois embora a segunda tenha por objetivo verificar se a concepção está sendo de fato institucionalizada e efetivamente alcançada as transformações prometidas, são as informações provenientes do monitoramento que subsidiam o julgamento a respeito da eficiência, eficácia e efetividade da política pública. Outro aspecto importante para sua formação é distinguir monitoramento e avaliação de outras atividades de análise de dados e informações sobre a realidade da gestão pública a exemplo dos instrumentos de benchmarking, pesquisa de base, social audit e certificação, conforme pode ser visto no quadro 1 (Boullosa, 2007). Tela 5 Atenção Conheça outros instrumentos de pesquisa e análise de dados e informações sociais! Benchmarking Processo de confronto do próprio desempenho e resultados com outros desempenhos e resultados similares, podendo ser: -Interno – entre unidades de uma mesma organização, programa ou projeto. - Competitiva – em relação a organizações, programas ou projetos avaliados como de excelência. - Funcional – em relação a melhores práticas, mesmo com outros setores de intervenção estatal. - Genérica – em relação aos macros processos organizacionais
  45. 45. :Pesquisa de Base Busca construir teorias gerais, independentemente da unidade direta ou imediata para a produção da transformação social. :Social Audit Busca identificar as diferenças entre as metas propostas e aquelas alcançadas, propondo, se necessário, reparações pontuais – mas sem questionar a validade das hipóteses ou objetivos propostos pelo programa ou projeto. :Certificação Busca definir procedimentos de avaliação, mas é voltada ao complexo preenchimento dos padrões mínimos estabelecidos para que uma dada experiência possa receber uma garantia externa de qualidade.
  46. 46. Tela 6 Saiba Mais Tomando como base essa leitura mais ampla dos processos de planejamento, controle e gestão das ações governamentais, Boullosa (2009) apresenta uma interpretação em que busca estabelecer os limites entre os instrumentos de monitoramento e avaliação e outras atividades, conforme mostra o Gráfico 4. Tela 7 Fundamental Como você pode observar, monitoramento e avaliação estão posicionados em espaços diferenciados no Gráfico, o que significa que a autora está reforçando o papel de cada um dos instrumentos sem, contudo, destacar que são atividades complementares e que integram, portanto, um mesmo processo de gestão e gerência pública. O quadro apresentado abaixo deve ser entendido, então, como um esforço analítico de grande parte dos autores que subsidiaram a elaboração desse material referencial para ajudá-lo a compreender de forma mais pedagógica as diferenças, complementaridades e limites entre as duas atividades estudadas.
  47. 47. Como diferenciar os conceitos e práticas de monitoramento e avaliação? :MONITORAMENTO Evidencia os objetivos do programa ou projeto Vincula as atividades e seus recursos aos seus objetivos Traduz os objetivos em indicadores de desempenho e fixa metas Coleta dados rotineiramente acerca desses indicadores, compara os resultados com as metas. Relata aos gerentes os progressos e os alertas dos problemas :AVALIAÇÃO Analisa porque os resultados pretendidos foram ou não alcançados Avalia contribuições causais específicas de atividades para resultados Examina o processo de implementação. Explora resultados não intencionais Proporciona lições, destaca resultados significativos ou potenciais do programa e oferece recomendações para melhorias. Fonte: Kusek e Rist (2004). Tradução própria. Vamos Relaxar Caro (a) Aluno(a): Parabéns! Você concluiu com êxito, a 1ª Unidade Temática desta Oficina! Antes de acessar a próxima Unidade Temática, temos um presente para você! Clique aqui para descobrir! https://www.youtube.com/watch?v=-OSa4QkCD1c
  48. 48. UNIDADE TEMÁTICA 2 - EVOLUÇÃO DAS EXPERIÊNCIAS DE MONITORAMENTO E AVALIAÇÃO NO SETOR PÚBLICO BRASILEIRO COM ÊNFASE NAS POLÍTICAS PÚBLICAS DE TURISMO 2.1 O uso dos instrumentos de monitoramento e avaliação no setor público 2.1.1 Introdução Tela 1 Caro(a) aluno(a). Você concluiu com sucesso a navegação por todas as unidades que compõem a Unidade Temática 1 desta Oficina sobre Monitoramento e Avaliação de Políticas Públicas. Parabéns! Seja, portanto, bem-vindo(a) à Unidade Temática 2 que tratará da Evolução das Experiências de Monitoramento e Avaliação no Setor Público Brasileiro com ênfase nas Políticas Públicas de Turismo. Este assunto será abordado em 9 unidades sequenciadas, iniciando-se com a Introdução ao Uso dos Instrumentos de Monitoramento e Avaliação no Setor Público. Dica Certamente você já se encontra familiarizado(a) com o Ambiente Virtual de Aprendizagem (AVA), navega nele tranquilamente e domina com precisão um conjunto de informações até aqui apresentadas. Elas serão de grande utilidade para capacitá-lo(a) para o exercício pleno do papel de gestor(a) público(a) na área de turismo.
  49. 49. Lembre-se! Você tem a sua disposição o Fórum, o Glossário e as Referências Bibliográficas que tornarão o seu trajeto mais eficaz. Em caso de dúvidas sobre a navegação do curso, retorne ao Guia e releia-o. E o negrito é utilizado para destacar palavras ou frases importantes no texto. Tela 2 Esta Unidade Temática tem por objetivo apresentar uma breve síntese da evolução das experiências de monitoramento e avaliação no setor público brasileiro e baiano. Para alcançar esse fim será apresentado, inicialmente, o uso dos instrumentos de monitoramento e avaliação no setor público para, em seguida, destacar os avanços implantados em diversas áreas de atuação da administração pública federal. Após essa revisão inicial serão abordados metodologias e experimentos de monitoramento e avaliação nas políticas de turismo no Brasil e na Bahia. E, por ultimo, serão apresentados alguns pontos para reflexão sobre os principais desafios para a implantação e uso de Sistemas de Monitoramento e Avaliação no Setor Público com vistas a instrumentalizar as ações de planejamento e gestão. Tela 3 A utilização dos instrumentos de monitoramento e avaliação no setor público reflete o atendimento de várias finalidades. Conforme destacado por Kusek e Rist (2004) e Mackay (2006) essas ferramentas administrativas podem: a) ajudar no gerenciamento de projetos, programas ou políticas públicas, trazendo informações sobre o desempenho e grau de alcance das metas almejadas; b) auxiliar na formulação do orçamento, fornecendo evidências sobre a implementação e resultados das políticas públicas para a tomada de decisão; c) servir como fonte de conhecimento, fornecendo feedback contínuo para o processo de gestão de forma a promover a aprendizagem organizacional; e d) promover a transparência e accountability, demonstrando os impactos e resultados das políticas públicas e legitimando, dessa forma, as ações públicas junto à sociedade. Já outros estudiosos destacam as contribuições do monitoramento e avaliação para dar maior eficiência à alocação de recursos públicos. Nesse sentido, Schick (2008) destaca a importância dos gestores públicos terem
  50. 50. informações seguras sobre resultados para que possam desenvolver uma alocação orientada para o atendimento da finalidade última das ações da administração pública. O autor ressalta que é fundamental que as ações administrativas se transformem em resultados concretos para a sociedade em termos da oferta de bens e serviços públicos. Tela 4 Aqui cabe refletir sobre a seguinte pergunta: Como os recursos públicos (financeiros, humanos e infraestruturais) se transformam em resultados? Responder a essa questão exige, que os governos definam procedimentos de análise do planejamento e gestão subsidiados por processos como o monitoramento (controle) e a avaliação do desempenho (a partir de indicadores de produtos e resultados) e outros procedimentos adequados para que os gestores públicos possam avaliar/aferir os impactos de mudanças políticas, administrativas e financeiras nas políticas públicas junto à sociedade (SCHICK, 2008) conforme será discutido com maior profundidade na Unidade Temática 3 desta Oficina. Outro aspecto relevante da importância dos instrumentos de monitoramento e avaliação no setor público, conforme ressaltado por Grau e Bozzi (2008), é o seu uso como ferramenta de controle social (político e gerencial) por parte dos órgãos de controle externo e da sociedade, em geral. Para as referidas autoras: A ênfase nos resultados promovidos com estes sistemas é uma forma de avançar na consecução de uma maior efetividade e transparência das ações governamentais e, também, uma maneira de aumentar as capacidades de incidir nos anseios coletivos, tais como o aumento da legitimidade do estado, o combate à corrupção, o bom uso do erário e a criação de políticas e serviços que aumentam o bem-estar social, reduzam a pobreza e combatam a desigualdade. (GRAU e BOZZI, 2008, pag.15). Tela 5 Com base nestas análises, pode-se inferir que as práticas de monitoramento e de avaliação como instrumento de planejamento e gestão pública podem assumir múltiplas dimensões. Conforme observam Cohen e Franco (2004, pag. 108), a adoção de modelos/metodologias específicas depende de uma cadeia de situações a serem analisadas no processo de concepção de sistemas de monitoramento e avaliação. Como exemplo dessa afirmação destacam que nem todas as avaliações são iguais; ou seja, chamam a atenção para o fato de que é fundamental que os
  51. 51. gestores públicos estabeleçam diferenças entre as diversas concepções avaliativas, observando, pois, os vários critérios que integram cada metodologia proposta tais como: - o tempo de sua realização - os objetivos procurados - quem as realiza - a natureza que possuem - a escala que assume e - a que alçada decisória são dirigidas. Tela 6 Atenção Do mesmo modo, Vaz (2009) chama a atenção para a escolha de metodologias de monitoramento que para o autor podem também ser realizadas em diversos níveis administrativos: da alta direção ao operacional. Por essas razões, sugere que antes de definir um método o gestor público considere o amplo leque de aspectos envolvidos em sua decisão, que vão desde: - a definição do objeto - a definição do escopo - a definição da periodicidade do monitoramento - a definição dos papéis e responsabilidades - a definição das possibilidades de articulação do sistema com as demais estruturas de governo. Caro(a) aluno(a): Na próxima unidade, prosseguiremos nos estudos sobre o Uso dos Instrumentos de Monitoramento e Avaliação no Setor Público enfocando os Sistemas de Monitoramento e de Avaliação Tradicionais X Sistemas Baseados em Resultados. 2.1.2 Sistemas de Monitoramento e de Avaliação Tradicionais X
  52. 52. Tela 1 Caro(a) aluno(a). Neste momento é preciso chamar sua atenção para o fato de que a implantação de sistemas de monitoramento e de avaliação no setor público, mesmo os mais qualificados, nem sempre são capazes de garantir mudanças da cultura organizacional, especialmente quando se trata da implementação de bases para uma cultura orientada para alcançar resultados, conforme definem os princípios da administração pública gerencial (Kusek e Rist, 2004). Por essa razão, considera-se que os programas de capacitação profissional de gestores públicos devem estar atentos para fazer distinção entre os sistemas de monitoramento e de avaliação tradicionais e sistemas baseados em resultados. Tela 2 Diferenças entre: SISTEMAS DE MONITORAMENTO E AVALIAÇÃO TRADICIONAIS SISTEMAS DE MONITORAMENTO E AVALIAÇÃO INOVADORES Típicos dos padrões de administração pública tradicional (conservadora /autoritária): comprometido em responder perguntas limitadas aos seguintes aspectos: insumos, atividades e produtos entregues Típicos dos padrões de administração pública gerencial (inovadora): comprometido em fornecer informações sobre as consequências das ações de governo Diferenças entre os sistemas estão nos elementos enfatizados no momento de realizar o monitoramento e a avaliação. Não fornece aos formuladores de política pública e gestores indicadores de gestão para uma compreensão clara e consistente sobre o sucesso ou fracasso das ações públicas. Fornece aos formuladores de política pública e gestores informações sobre os progressos obtidos e problemas encontrados na implementação das políticas públicas. Fonte: Elaboração própria com base em Kusek e Rist (2004). Tela 3 Quanto à utilização desses instrumentos como informações relevantes para auxiliar a alocação de recursos públicos, Grau e Bozzi (2008), apontam a
  53. 53. necessidade de aperfeiçoamentos, especialmente quando observa as experiências dos países latino-americanos. Nessa mesma direção, Kusek e Rist (2004) chamam a atenção para a necessidade de integração entre as informações de desempenho e o orçamento ressaltando que essas práticas ainda estão muito incipientes, especialmente nos países em desenvolvimento ou subdesenvolvidos. Mas é importante ressaltar, mais uma vez, que a geração de informações não é condição suficiente para garantir a eficácia de um sistema de monitoramento e de avaliação; ou seja, a maioria dos estudos sobre o tema chamam a atenção para o fato de que a efetividade desses sistemas está diretamente relacionada ao real uso dessas informações. Tela 4 Fundamental Conforme destaca Kusek e Rist (2004), Grau e Bozzi (2008), dentre outros autores, é necessário que: Os sistemas de monitoramento e avaliação reflitam a preocupação com o desempenho das políticas públicas, do contrário passam a refletir a funcionalidade da concepção tradicional de administração marcada pelo cumprimento de tarefas operacionais/técnicas. Caro(a) aluno(a): Concluímos os estudos sobre o Uso dos Instrumentos de Monitoramento e Avaliação no Setor Público. Como você deve ter percebido, este tema é fundamental para a capacitação profissional de gestores públicos. Nas próximas unidades você terá a oportunidade de conhecer Experiências de Monitoramento e Avaliação de Políticas Públicas no Brasil e Bahia. Permaneça atento e boa sorte!
  54. 54. 2.2 Experiências de monitoramento e avaliação de políticas públicas no Brasil e na Bahia 2.2.1 Considerações Gerais Tela 1 Caro(a) aluno(a). Experiências de monitoramento e avaliação de políticas públicas no Brasil e na Bahia! Este tema está distribuído em 7 unidades. Vamos iniciar traçando considerações gerais sobre o assunto. Então, vamos lá! Com base na síntese introdutória apresentada na Unidade Temática 1, sobre a concepção e evolução histórica de políticas de monitoramento e avaliação na nova Administração Pública Gerencial, a partir da década de 1990, cabe destacar que vários países capitalistas adotaram iniciativas para promover uma maior integração e articulação entre os processos de planejamento, orçamento e gestão, incorporando, assim, informações de desempenho na gestão das políticas públicas. No Brasil, a concepção da Nova Gestão Pública ou administração pública gerencial se materializaram a partir da Reforma do Estado e reforma gerencial da administração pública, implantada em 1995, com base no Plano Diretor de Reforma do Aparelho do Estado (MARE). Este plano tinha entre seus principais objetivos redefinir o papel e funções do Estado brasileiro, especialmente no que se refere à condução das políticas públicas. Tela 2 Destacaram-se como principais instrumentos administrativos para essa reforma as inovações no planejamento, execução, controle e avaliação do orçamento público, por meio das ferramentas dos Orçamentos Anuais e Planos Plurianuais (BRESSER, 2000). Nessa direção, o Plano Diretor da Reforma do Aparelho do Estado vai instituir mudanças importantes na área do planejamento orçamentário tomando como base afixação de objetivos e
  55. 55. mecanismos de avaliação de resultados. O objetivo central dessa inovação é garantir uma maior flexibilização do processo de execução orçamentária (BRASIL, 1995). Conforme explica Core (2004, pág.7): A importância do processo orçamentário como implementador de reformas gerencialistas também se verificou em relação a outros países. A convicção é de que a transformação do processo orçamentário, no sentido da evolução de um instrumento orientado para controle dos gastos, em direção a outro focado na produção pública, com a busca sistemática de resultados específicos, é de fundamental importância para o bom êxito de quaisquer reformas dessa Tela 3 Fundamental Ao enfatizar os resultados alcançados, os orçamentos passaram a ter, portanto, um papel estratégico na condução das políticas públicas. Cabe, então, perguntar: Porque o instrumento orçamentário assume esse destaque? A resposta a essa questão pode ser encontrada na prioridade dada ao alcance do equilíbrio fiscal da administração pública. Essa justificativa explica, pois, a integração dos Planos Plurianuais e Leis Orçamentárias (Lei de Diretrizes Orçamentárias – LDO; Lei Orçamentária Anual - LOA) no esforço de monitoramento e avaliação que vem sendo empreendido pelo governo nacional, iniciado no Governo Federal e estendido aos governos estatuais. Reflexão Porque a maioria dos municípios brasileiros ainda não conseguiu implantar uma cultura de controle e avaliação das políticas Públicas?
  56. 56. Depois de fazer esta reflexão, você poderá acessar a próxima unidade para conhecer: O Sistema de Monitoramento e Avaliação do Governo Federal (SMA). 2.2.2 O Sistema de Monitoramento e Avaliação do Governo Federal(SMA) Tela 1 A partir da Emenda Constitucional nº 19/98 e mais diretamente do Decreto nº 2.829, do mesmo ano, foram estabelecidas as normas para a elaboração e gestão do PPA 2000–2003 e dos Orçamentos da União, tomando como base essas novas orientações. Pode-se afirmar, pois, que o esforço de modernização orçamentária contemplava dois pressupostos fundamentais: a realidade problematizada e a cobrança de resultados (responsabilização). A partir dessas suposições, o novo sistema de planejamento e orçamento público brasileiro deveria passar a contemplar as seguintes características (BRASIL, 1999, pag. 3): visão estratégica, com estabelecimento de objetivos; identificação dos problemas a enfrentar ou oportunidades a aproveitar, objetivando tornar realidade essa visão estratégica; concepção dos programas que deverão ser implementados, com vistas ao alcance dos objetivos que implicarão na solução dos problemas ou aproveitamento das oportunidades; especificação das diferentes ações do programa, com identificação dos respectivos produtos, que darão origem, quando couber, aos projetos e atividades; e atribuição de indicadores aos objetivos, aos produtos e metas. Tela 2
  57. 57. A edição do referido Decreto, introduziu, pois, novos padrões de gerenciamento. Este modelo operacional de administração pública, adotado a partir do PPA 2000–2003, tinha por objetivo, portanto, atribuir responsabilidades e orientar os esforços das equipes envolvidas na execução para a obtenção de resultados conforme destacam Garces e Silveira (2002, pag. 59): A forma encontrada para assegurar a qualidade do gerenciamento foi a de criar a figura do gerente, o monitoramento em rede, com o apoio de um sistema de informações gerenciais, o gerenciamento intensivo dos programas estratégicos e a avaliação anual de desempenho de todos os programas e do plano. Assim, o programa passou a ser a unidade básica de planejamento e gestão, reforçando o comprometimento da administração pública com a cultura gerencial e, portanto, com o alcance de resultados. O orçamento-programa, enquanto instrumento de integração entre Plano e Orçamento, passou a refletir o comprometimento da gestão com o resultado das políticas, com a entrega de produtos concretos. Nesse sentido, era essencial definir metas aferíveis e compatíveis com os recursos alocados. Segundo a análise feita por Garcia (2000, pág. 23), (...) a introdução de elementos que proporcionam o exercício da gestão cotidiana dos programas e de suas ações, a atribuição de responsabilidades, a prática da avaliação e a cobrança de resultados revelam um avanço concentual e metodológico. Com base nessa nova concepção e diretrizes administrativas, é possível verificar que o ponto fundamental da administração orientada a resultados assenta-se sobre a ideia de que os processos de planejamento e orçamento devem estar integrados ao processo de gestão. Garces e Valle (2006, pág. 239) explicam essa relação da seguinte forma: (...) o Governo Federal, por meio do PPA 2000-2003, promoveu a integração plano-orçamento, que pela primeira vez, conclamava o gestor público a não se deter unicamente na melhoria de processos de produção de bens, mas, sobretudo, nos resultados desse esforço. Dessa mudança decorre a formulação de um plano por resultados, um orçamento por resultados e consequentemente, de uma gestão por resultados. Tela 3 Naturalmente, esse processo de reforma dos orçamentos e das práticas de planejamento e gestão pública no Brasil gerou o surgimento de demandas por informações sobre o processo de implementação das ações do Governo Federal. Essa
  58. 58. necessidade de produção de informações e ações para disponibilização aos atores envolvidos no processo de gestão, incluindo o controle social, resultou, portanto, na adoção sistemática de práticas de monitoramento e avaliação a partir do PPA 2000– 2003. Como resultado desse esforço foi institucionalizado o Sistema de Monitoramento e Avaliação do Governo Federal (SMA) para dar suporte ao PPA 2004–2007, através do Decreto nº 5.233/2004. Relembrando...Durante a realização desta Oficina, um Tutor estará interagindo com você e seus colegas, tirando suas dúvidas e acompanhando seu aprendizado e desempenho. E você já sabe como proceder para se conectar com o Tutor e fazer perguntas! E vamos em frente, caro(a) aluno(a)! O próximo assunto é muito importante para sua formação como Gestor Público que já faz parte da Rede de Inovação em Gestão do Turismo do Estado da Bahia. Trata-se do Sistema de Planejamento e Orçamentação Brasileiro. 2.2.3 O Sistema de Planejamento e Orçamentação Brasileiro Tela 1 Caro(a) aluno(a). Neste momento, cabe ressaltar que a Reforma Administrativa do Estado (MARE), implantada em 1995, tomou como base as inovações trazidas na Constituição Federal de 1988, em seu artigo do título VI — da Tributação e do Orçamento — que estabeleceu o sistema de planejamento e orçamentação como leis de iniciativa do Poder Executivo, a serem submetidas à aprovação do Legislativo, conforme conteúdo e práticas da Oficina 1 – Planejamento Estratégico, Planejamento Governamental e Orçamentação:
  59. 59. Reflexão Vamos recordar esse conteúdo que foi tratado na Oficina 1 – Planejamento Estratégico, Planejamento Governamental e Orçamentação? O Plano Plurianual (PPA) abrange o período de quatro anos de governo e deve conter as diretrizes, os objetivos e as metas da administração pública federal para as despesas de capital e para os programas de longa duração; As Leis de Diretrizes Orçamentárias (LDO) e as Leis de Orçamentos Anuais (LOA) integram o sistema de planejamento e orçamento. Todos os demais planos e programas nacionais, regionais e setoriais devem ser subordinados ao PPA. Tela 2 Segundo a Lei nº 9.989/2000 (BRASIL, 2000) e outras legislações sobre o tema, o relatório anual de avaliação das ações da administração pública deve conter: avaliação do desempenho das variáveis macroeconômicas que fundamentaram a elaboração do Plano; demonstrativo da execução física, financeira e regionalizada dos programas; demonstrativo do desempenho dos indicadores de cada programa; avaliação do alcance das metas físicas e financeiras e da evolução dos indicadores de cada programa. Sobre os instrumentos de monitoramento, o principal instrumento de controle do PPA é a Portaria nº 198/2005, do Ministério do Planejamento, Orçamento e Gestão (MPOG) que "estabelece os procedimentos e a
  60. 60. periodicidade para registro de informações relacionadas com o desempenho das ações do Plano Plurianual, no Sistema de Informações Gerenciais e de Planejamento _ SIGPlan" (Brasil, 2004, pág. 1). A citada norma obriga a todos os órgãos públicos federais registrar as informações referentes ao desempenho físico das ações no sistema de planejamento orçamentário pelos coordenadores de cada ação; assim como impõe restrições à execução e providências adotadas para sua superação. Tela 3 Quanto à avaliação do PPA deve ser incluído no Relatório Anual de Avaliação a ser encaminhado ao Congresso Nacional, juntamente com as normas propostas de revisão do Plano e da Lei Orçamentária Anual. O referido Relatório integra, ainda, três níveis de avaliação: avaliação dos Programas, realizada pelos gerentes; avaliação Setorial, elaborada no âmbito da Secretaria-Executiva dos ministérios; avaliação do Plano, avaliação geral realizada pelo Ministério do Planejamento. A etapa de Avaliação do Programa é considerada uma autoavaliação na medida em que os gerentes destacam os avanços e resultados alcançados e apresentam as restrições (de recursos orçamentários e humanos etc.) que dificultaram a obtenção de melhores desempenhos das ações programadas e executadas. A avaliação subdivide-se em 3 partes interdependentes que articulam: 1) a concepção do programa; 2) a implantação do programa; e 3) os resultados do programa. Ainda que todas as etapas citadas sejam importantes para o alcance dos objetivos da avaliação, a terceira (resultados do programa) é considerada pelos estudiosos e técnicos como a mais relevante, pois valoriza a elaboração, o acompanhamento e a apuração dos indicadores como forma de propiciar objetividade e credibilidade ao processo.

×