Resultado no setor publico

182 visualizações

Publicada em

Governo e resultado

Publicada em: Governo e ONGs
  • Seja o primeiro a comentar

  • Seja a primeira pessoa a gostar disto

Resultado no setor publico

  1. 1. ROBERTA MONTELLO AMARAL A AVALIAÇÃO DE RESULTADOS NO SETOR PÚBLICO: TEORIA E APLICAÇÃO PRÁTICA NO ESTADO DO RIO DE JANEIRO RIO DE JANEIRO 2003 ECT ESTADO DO RIO DE JANEIRO TRIBUNAL DE CONTAS DO
  2. 2. ROBERTA MONTELLO AMARAL A AVALIAÇÃO DE RESULTADOS NO SETOR PÚBLICO: TEORIA E APLICAÇÃO PRÁTICA NO ESTADO DO RIO DE JANEIRO RIO DE JANEIRO 2003 Assessoria Técnica do Gabinete do Conselheiro José Gomes Graciosa
  3. 3. ROBERTA MONTELLO AMARAL Economista - Pontifícia Universidade Católica do Rio de Janeiro - PUC-RJ Estatística - Escola Nacional de Ciências Estatísticas - ENCE MBA em Finanças - Instituto Brasileiro de Mercado de Capitais - IBMEC-RJ Mestre - Economia Empresarial - Faculdade Cândido Mendes Mestrando - Engenharia de Produção - Pontifícia Universidade Católica do Rio de Janeiro - PUC-RJ MPA em Controle Externo - Fundação Getúlio Vargas - FGV
  4. 4. 1 A AVALIAÇÃO DE RESULTADOS NO SETOR PÚBLICO: Teoria e Aplicação Prática no Estado do Rio de Janeiro Roberta Montello Amaral 1. INTRODUÇÃO Tradicionalmente a avaliação das contas públicas, não apenas no Brasil, mas em todo o mundo, concentra-se em aspectos meramente financeiros, contábeis e orçamentários. No entanto, modernamente este conceito tem evoluído no sentido de se tentar medir não apenas os aspectos contábeis da gestão, mas também aspectos econômicos e sociais. Deste modo, em adição à fiscalização quanto ao cumprimento da legalidade de determinada gestão, tende-se a privilegiar, também, os resultados alcançados no que diz respeito à evolução das condições sociais da população. É consenso que a gestão pública atual deve privilegiar eficácia, eficiência e efetividade quanto ao uso dos recursos públicos. Portanto, a credibilidade e a relevância de um método de avaliação destinada ao setor público só são possíveis de alcançar quando se permite analisar estas características de tal forma que seja possível refletir o que a sociedade, cliente primeiro do setor público, necessita, e a que distância esta se encontra dos seus objetivos principais. Sob esta ótica, os novos modelos de avaliação de resultados dentro do setor público devem buscar a construção de metodologias que permitam, não apenas aos gestores, mas também aos seus fiscalizadores (entre estes os Tribunais de Contas e a própria sociedade), visualizar o cenário no qual estamos inseridos, de modo a se avaliar se estamos dentro da trajetória desejada ou se precisamos corrigi-la. Dentro desta proposta de elaboração de uma nova metodologia, um ponto de extrema importância, mas pouco explicitado pelos trabalhos acadêmicos pesquisados, é a sugestão de indicadores a serem considerados. Muitos são os aspectos teóricos levantados sobre como devem ser os índices escolhidos e quais cuidados devem ser levados em consideração na sua montagem, escolha e
  5. 5. 2 avaliação. No entanto, poucos são os autores que propõem de forma objetiva e pragmática quais indicadores podem e devem ser utilizados. Este estudo pretende, então, suprir a lacuna deixada pelos trabalhos encontrados, atacando o problema da avaliação de resultados no setor público de acordo com uma abordagem bastante pragmática. Pretende-se, assim, sensibilizar os gestores para a importância da implantação de estudos deste tipo e do contínuo aprimoramento das técnicas de avaliação de resultados. Espera-se provar que esta medida tende a maximizar o bem-estar social, objetivo maior de qualquer Governo, além de auxiliar os gestores no cumprimento das exigências legais impostas pela Constituição. Esta proposta caminha no mesmo sentido dos trabalhos atualmente em desenvolvimentos pela maioria dos Tribunais de Contas Municipais, Estaduais e da União. “A ação governamental só tem sentido se realizada com base nas demandas concretas da população, em termos de saúde, educação, segurança, saneamento básico, enfim, direcionada para a solução daqueles problemas cuja satisfação vai se traduzir em melhoria da qualidade de vida do cidadão.”1 Adicionalmente, deseja-se atender a uma demanda específica do Tribunal de Contas do Estado do Rio de Janeiro (TCE-RJ), dando um caráter prático a este estudo, fornecendo subsídios voltados para a realidade do órgão, auxiliando o cumprimento tanto de sua missão2 , quanto de sua política de qualidade3 . 2. AVALIAÇÃO DE RESULTADOS NO SETOR PÚBLICO A atual proposta de buscar a avaliação de resultados é fruto da mudança nos conceitos referentes às responsabilidades do gestor público. O que se busca é 1 In TCE-RJ e Análise das Contas Públicas: Avaliação de resultados e qualidade de vida, p.5. 2 “Exercer, em nome do povo do Estado do Rio de Janeiro, a fiscalização das administrações públicas estadual e municipais, e dos recursos por elas geridos, zelando pela sua legalidade e legitimidade, bem como por sua eficiência, eficácia e economicidade, com a finalidade principal de prestar contas, aos contribuintes, do emprego que os Governos fazem desses recursos.”, In: www.tce-rj.gov.br. 3 Executar sua missão institucional com independência e qualidade. Para a implementação desta Política da Qualidade foram estabelecidos os seguintes objetivos da qualidade: busca permanente da satisfação da sociedade; aperfeiçoamento contínuo dos processos de trabalho; disponibilização das informações e constante qualificação e competência do corpo funcional”, In: www.tce-rj.gov.br.
  6. 6. 3 acrescentar ao tradicional controle de conformidade, o controle de desempenho, baseado na verificação dos níveis de eficácia, eficiência e efetividade da gestão dos recursos públicos. Segundo TEIXEIRA (2001), a Nova Administração Pública (NAP), promove uma mudança de paradigma quando muda o enfoque para o controle de resultados em detrimento do controle do processo. Segundo o autor, não é possível definir com clareza os componentes e propósitos da NAP, mas é ponto comum que se deve buscar a descentralização de unidades de negócio e outros arranjos organizacionais, além da definição e atribuição de metas de desempenho que os gerentes devem atingir, pois estas servirão de base para a sua avaliação. Assim, os gerentes teriam autoridade para alcançar suas metas de desempenho e a responsabilidade do executivo seria conseqüência do processo, de modo que os resultados deveriam ser acompanhados para determinar se os benefícios esperados foram realmente alcançados. Assim, a maior contribuição da NAP é concentrar-se na economia, eficiência e eficácia das organizações governamentais, dos programas públicos e de seus instrumentos, buscando sempre a melhoria da qualidade dos serviços governamentais, sem dar destaque ao cumprimento de prescrições formais de procedimentos, regras e processos. Como resultados secundários da NAP podemos, então, destacar a redução de controles sobre os gerentes operacionais, que passam a ter mais responsabilidade, flexibilidade e autonomia, exercendo, efetivamente, a atividade de gerenciar, por meio de gestão de riscos e mensuração de desempenho. De acordo com esta nova visão, deve-se acrescentar à busca pela eficácia e eficiência nos procedimentos, a procura pelo alcance de resultados efetivos e baseados nas demandas da sociedade. Isto representaria o desenvolvimento de uma preocupação em atender o cliente, neste caso, os cidadãos. “Na perspectiva da avaliação de programas, um programa efetivo é um tratamento que cura (ou pelo menos controla) o mal social, sem prejudicar a sociedade como um todo. Os programas dignos de mérito são aqueles que
  7. 7. 4 atingem os objetivos de determinada política pública ou, conforme alguns relatos, geram benefícios que excedem a soma dos custos dos recursos empregados e das conseqüências adversas dos subprodutos (Moore 1995). Por sua vez, as principais medidas de mérito embutidas no conceito de auditoria de desempenho são a economia, a eficiência e a efetividade. Economia geralmente significa a eliminação dos desperdícios de insumos; eficiência refere-se à otimização dos processos de transformação de insumos em produtos; e efetividade significa influenciar positivamente o impacto por meio da geração de produtos (Gray, Jenkins and Segsworth 1993). A imagem de uma organização governamental eficiente está associada, neste caso, àquela na qual a atenção da administração está voltada para a otimização de processos produtivos flexíveis bem como para a adaptação dos desenhos dos programas em função do feedback recebido e das mudanças nas prioridades e nos objetivos das políticas públicas. (...) As organizações devem ser responsabilizadas pelos resultados de sua atuação mais do que pela sua forma de funcionamento.”4 Adicionalmente, deve-se acrescentar à avaliação de resultados o caráter corretivo e não punitivo. Para chegar aos resultados pretendidos, a análise de determinado programa ou política pública deve concentrar-se na indicação de medidas para correção de rumo e não na explicação de desvios em relação à trajetória inicialmente traçada. Isto tudo porque se deve ter em mente que a avaliação tem como objetivo melhorar a percepção da distância entre o cenário real, em um determinado momento do tempo, e o que seria desejável. Com este esforço seria possível indicar eventuais afastamentos dos objetivos propostos, das metas a alcançar, fornecendo subsídios para uma correção de rumos, caso haja necessidade. Esta idéia é bastante revolucionária, na medida em que transforma a avaliação num exercício de identificação de oportunidades, de subsídio para crescimento e desenvolvimento, tirando o seu estigma de ser um instrumento meramente punitivo, uma simples constatação. (Werneck, 1996) 4 In Instituições Centrais e Auditoria de Desempenho: Uma Análise Comparativa das Estratégias Organizacionais na OCDE, pp. 9 e 10.
  8. 8. 5 3. INSTRUMENTOS LEGAIS No sentido de amparar o planejamento e a execução do orçamento público segundo a demanda social gerada pelos princípios da NAP, o Brasil desenvolveu três instrumentos legais de extrema relevância: o Plano Plurianual (PPA), a Lei de Diretrizes Orçamentárias (LDO) e a Lei Orçamentária Anual (LOA). O artigo 165 da Constituição Federal de 1988 trata destes instrumentos: “§1º A lei que instituir o plano plurianual estabelecerá, de forma regionalizadas, as diretrizes, objetivos e metas da administração pública federal para as despesas de capital e outras delas decorrentes e para as relativas aos programas de duração continuada. §2º A lei de diretrizes orçamentárias compreenderá as metas e prioridades da administração pública federal, incluindo as despesas de capital para o exercício financeiro subseqüente, orientará a elaboração da lei orçamentária anual, disporá sobre as alterações na legislação tributária e estabelecerá a política de aplicação das agências financeiras oficiais de fomento. §3º (...) §4º (...) §5º A lei orçamentária anual compreenderá: I. o orçamento fiscal referente aos Poderes da união, seus fundos, órgãos e entidades da administração direta e indireta, inclusive fundações instituídas e mantidas pelo Poder Público; II. o orçamento de investimento das empresas em que a União, direta ou indiretamente, detenha a maioria do capital social com direito a voto; III. o orçamento da seguridade social, abrangendo todas as entidades e órgãos a ela vinculados, da administração direta ou indireta, bem
  9. 9. 6 como os fundos e fundações instituídos e mantidos pelo Poder Público. §6º (...) §7º Os orçamentos previstos nos §5º, I e II, deste artigo, compatibilizados com o plano plurianual, terão entre suas funções a de reduzir desigualdades inter- regionais, segundo critério populacional. §8º (...) §9º Cabe à lei complementar: I – dispor sobre o exercício financeiro, a vigência, os prazos, a elaboração e a organização do plano plurianual, da lei de diretrizes orçamentárias e da lei orçamentária anual; II – estabelecer normas de gestão financeira e patrimonial da administração direta e indireta, bem como condições para a instituição e funcionamento de fundos.” No entanto, conforme destacam Mesquita & Albuquerque, em virtude da inexistência de legislação complementar, prevista no artigo 165, §9º da Constituição Federal de 1988, descrito anteriormente, que deveria contemplar a elaboração e organização das leis orçamentárias, e do não tratamento deste assunto na Lei 4.320/64, os PPAs vêm sendo apresentados segundo uma abordagem mais genérica, satisfazendo apenas à exigência legal quanto à sua elaboração. O mesmo acontece com a LDO, que deveria indicar as prioridades e metas da Administração para o exercício seguinte, orientando a montagem e a execução do orçamento anual. No entanto, na prática, as sua metas, que deveriam ser compatíveis com as apresentadas no PPA, raramente são definidas corretamente em termos físicos, gerando uma dimensão inadequada quanto aos objetivos do governo. Complementando a constituição, a lei complementar nº 101/00, ou Lei de Responsabilidade Fiscal (LRF), trata especificamente da fiscalização da gestão fiscal na seção VI:
  10. 10. 7 “Art 59. O Poder Legislativo, diretamente ou com o auxílio dos Tribunais de Contas, e o sistema de controle interno de cada Poder e do Ministério Público, fiscalizarão o cumprimento das normas desta Lei Complementar, com ênfase no que se refere a: I - atingimento das metas estabelecidas na lei de diretrizes orçamentárias; II - limites e condições para realização de operações de crédito e inscrição em Restos a Pagar; III - medidas adotadas para retorno da despesa total com o pessoal ao respectivo limite, nos termos dos arts. 22 e 23; IV - providências tomadas, conforme o disposto no art. 31, para recondução dos montantes da dívidas consolidadas e mobiliária aos respectivos limites; V - destinação de recursos obtidos com a alienação de ativos, tendo em vista as restrições constitucionais e as desta Lei Complementar; VI - cumprimento do limite de gastos totais dos legislativos municipais, quando houver. § 1º Os Tribunais de Contas alterarão os Poderes ou órgãos referidos no art. 20 quando constarem: I - a possibilidade de ocorrência das situações previstas no inciso II do art. 4º e no art. 9º; II - que o montante da despesa total com pessoal ultrapassou 90% (noventa por cento) do limite; III - que os montantes das dívidas consolidada e mobiliária, das operações de crédito e de concessão de garantia se encontram acima de 90% (noventa por cento) dos respectivos limites; IV - que os gastos com inativos e pensionistas se encontram acima do limite definido em lei; V - fatos que comprometem os custos ou os resultados dos programas ou indícios de irregularidades na gestão orçamentária.
  11. 11. 8 § 2º Compete ainda aos Tribunais de Contas verificar os cálculos dos limites da despesa total com o pessoal de cada Poder e órgão referido no art. 20. § 3º O Tribunal de Contas da União acompanhará o cumprimento do disposto nos §§ 2º, 3º e 4º do art.39.” Estes quatro instrumentos, apesar de bastante relevantes, ainda estão distantes de alcançar todos os objetivos por detrás da NAP. Isto se deve ao fato de haver, hoje, falta de estrutura dos controles internos, além da inexistência, nos orçamentos, de metas e indicadores necessários à realização de uma avaliação satisfatória. Assim, na prática, ainda não é possível encontrar a implementação de trabalhos no sentido de medir eficácia, eficiência ou efetividade da gestão governamental. Outro instrumento cujo desenvolvimento tem adquirido relevância dentro do setor público brasileiro é a implantação de auditorias de desempenho. “Auditoria de Desempenho é uma atividade de controle, avaliação e revisão da qualidade da gestão de organizações, programas, projetos, políticas e atividades governamentais, que têm por finalidade analisar a eficiência, a eficácia, e a efetividade na prestação de serviços públicos. Originalmente denominada Performance Audit, Operational Audit ou Value for Money Audit, é conhecida mais comumente no Brasil como auditoria operacional. A auditoria de desempenho surgiu como atividade sistemática e conceitualmente formalizada no final da década de 1950 (SHAND e ANAND, 1996). Entretanto, o processo de legitimação em nível mundial desse tipo de auditoria no setor público consolidou-se somente no final da década de 1970, com a execução, em larga escala de trabalhos claramente qualificados como de desempenho por parte de Entidades de Fiscalização Superior (POLLIT, 1999). (...) No Brasil, por exemplo, o Tribunal de Contas da União desempenha esse papel de EFS.”5 No entanto, mesmo estes instrumentos ainda são bastante limitados diante do que é possível alcançar, já que, em muito casos, referem-se a processos de avaliação de conformidade, de investigação, enquanto os instrumentos de 5 In: Estratégias de auditoria de desempenho governamental: proposta de um modelo analítico, p.1.
  12. 12. 9 avaliação de resultados podem dar um passo a frente, proporcionando uma avaliação precisa dos rumos que determinada política está tomando. Isto é de extrema relevância na medida em que o cenário econômico atual precisa lidar com um montante limitado de recursos, tornando imprescindível que os gestores se preocupem com a realização de programas e políticas públicas que atendam não somente ao princípio da legalidade, mas também sejam pareto ótimos6 , ou seja, garantam o maior bem-estar social possível. Portanto, caso se deseje atender às novas exigências sociais, é de fundamental importância estimular o desenvolvimento de novos mecanismos que auxiliem o Poder Público a buscar efetiva, eficaz, eficiente e eticamente o maior nível de bem-estar social possível. 4. HISTÓRICO DA AVALIAÇÃO DE RESULTADOS E A REALIDADE BRASILEIRA Desde o século XVI há registros da coleta de algumas medidas sociais. No entanto, é apenas a partir do século de XVII que, em função da necessidade de maior atuação do Estado nas áreas de defesa nacional e saúde ambiental, foi iniciado um movimento mais organizado de coleta de informações estatísticas a respeito de tópicos sociais. Nos séculos XVIII e XIX há uma intensificação dos movimentos de coleta e organização de dados sociais, o que iniciou o percurso para a construção dos modelos mais atuais de medição e coleta de características sociais. Apesar dos seus antecedentes datarem do início do século XX, a história da moderna avaliação de resultados só começou a ser traçada na década de 60, tendo o termo “indicador social” aparecido, pela primeira vez, em 1966. Até então, os agentes decisórios governamentais dispunham de informações pouco confiáveis e num volume aquém do desejável para que fosse possível fazer 6 “ÓTIMO DE PARETO: Termo criado por Vilfredo Pareto para designar a situação hipotética em que ninguém possa alterar sua situação social, buscando uma posição que mais lhe agrade, sem com isso provocar uma mudança de outra pessoa para uma posição que não lhe agrada.” In: Dicionário de Economia, p.223.
  13. 13. 10 análises mais profundas, precisas e confiáveis. A partir da percepção deste cenário, iniciou-se o “movimento de indicadores sociais”, que visava ampliar a construção de indicadores que, até então, eram focados apenas em medidas de desempenho econômico. Desde então se percebe um crescimento significativo dos trabalhos referentes a este tema. A principal finalidade de um indicador social é traduzir o bem-estar, que não é mensurável diretamente nem tampouco pode ser observado. Assim, os indicadores “são medidas de uma característica observável de um fenômeno social e que estabelecem o valor de uma característica diferente mas não- observável do fenômeno. Isso aponta para duas características importantes dos indicadores: eles são substitutos e são medidas. Como substitutos, os indicadores sociais não representam a si mesmos. Ao contrário, traduzem conceitos sociais abstratos ou não-mensuráveis em termos operacionais, tais como ‘ruas seguras’, e que permitem o exame e a análise de conceitos, tais como ‘número de dias sem crimes’. (...) E, enquanto ‘medidas’, os indicadores sociais referem-se às informações que, em termos conceituais, são quantificáveis, e devem evitar aquelas informações que não podem ser expressadas através de uma escala ordenada.”7 No caso brasileiro, os instrumentos legais apresentados na seção anterior representaram um grande avanço no sentido de se buscar maior atendimento às necessidades sociais da população. Com os quatro instrumentos foram alcançadas as seguintes inovações: § obrigatoriedade quanto ao estabelecimento de diretrizes, objetivos e metas dentro do setor público; § normas específicas quanto ao controle de custos; § obrigatoriedade quanto à realização de avaliação de resultados de programas financiados com recursos orçamentários; 7 In Indicadores Sociais, p.2.
  14. 14. 11 § necessidade do estabelecimento de metas físicas e indicadores objetivos para tornar a avaliação mais objetiva Apenas a partir da criação destes instrumentos é que se passou a exigir, legalmente, maior transparência à gestão fiscal, propiciando a participação popular no sentido de fiscalizar mais facilmente a administração pública. No entanto, estes instrumentos ainda não foram capazes de cobrir todas as condições necessárias para se implantar um programa de avaliação de resultados que atenda às atuais exigências da NAP. Algumas sugestões para se conseguir atingir o objetivo de proposto foram apresentadas em um artigo elaborado pelo TCE-RJ: “No sentido de minimizar os problemas que hoje ocorrem, apresentam-se as seguintes sugestões: (...) 3) Inclusão na LRF (...), ou fixação em norma legal própria, de dispositivos que estabeleçam: (...) 3.4 – a obrigatoriedade de fixação, pelo Poder Executivo, de objetivos, metas e indicadores que possibilitem o acompanhamento, controle e avaliações de resultados, por parte dos controles interno e externo, em virtude de determinação constitucional. (...) 3.6 – obrigatoriedade de encaminhamento, pelos Poderes e Órgãos, juntamente com as prestações de contas por exercício financeiro, dos relatórios de controle interno contendo as avaliações de resultados, além das demais verificações previstas no art. 74 da CF/88 [que trata do controle interno], com as correspondentes punições pelo descumprimento.”8 8 In Planos e Instrumentos de Planejamento – PPA, LDO e LOA – Pontos Controversos, p. 5 e 6.
  15. 15. 12 5. DIMENSÕES DO RESULTADO E PROPRIEDADES DOS INDICADORES Uma avaliação de resultados satisfatória deverá, necessariamente, abranger indicadores de eficácia, eficiência e efetividade. Antes de prosseguir vale a pena, portanto, definir o que cada uma destas dimensões representa. “Eficácia é atingir o objetivo proposto, cumprir, executar, operar, levar a cabo; é o poder de causar determinado efeito. Eficaz então é o que realiza perfeitamente determinada tarefa ou função, que produz o resultado pretendido. Dicionários em inglês destacam o uso do termo especialmente quando se trata de doença ou problema: remédio eficaz, método de tratamento eficaz; fez uma limpeza eficaz; constatou a eficácia das armas e da estratégia usada. Eficiência é a qualidade de fazer com excelência, sem perdas ou desperdícios (de tempo, dinheiro ou energia). Eficiente é aquilo ou aquele que chega ao resultado, que produz o seu efeito específico mas com qualidade, com competência, com nenhum ou com o mínimo de erros. O eficiente vai além do eficaz. A eficiência tem uma gradação: uma pessoa, máquina ou organização pode ser mais ou menos eficiente que outra. Uma secretária pode ser mais eficiente amanhã do que hoje. Um sistema de refrigeração pode ser mais eficiente que outro. Já a eficácia implica sim ou não: uma medicação, por exemplo, ou é eficaz ou não é. Efetividade, por sua vez, é também a qualidade do que atinge seu objetivo; é a capacidade de funcionar normalmente, satisfatoriamente, porém tem mais a ver com a realidade, com o que é real e verdadeiro. O efetivo está realmente disponível, é incontestável, verificável, executável. Exemplos: Tal propaganda é simples mas efetiva. A duração efetiva da prova será de uma hora. O diretor efetivo (de fato, de verdade) é o filho e não o pai.”9 Assim, avaliar a eficácia de determinado programa é preocupar-se quanto ao grau de alcance das metas estipuladas para um determinado período, sem que se 9 www.kplus.com.br
  16. 16. 13 considere os custos incorridos. Assim, no caso de um programa de educação, seria verificar, por exemplo, o percentual de crianças em idade escolar de determinado município que estão efetivamente matriculadas em escolas públicas num determinado ano. A mensuração de eficiência, no entanto, já considera a relação entre os produtos obtidos e os custos incorridos, também para um determinado período. Admitindo o mesmo programa de educação, seria o gasto médio com educação por aluno. Medir a efetividade, por sua vez, é avaliar a relação entre os resultados alcançados e os objetivos esperados. Muitas vezes é de difícil mensuração, já que pressupõe uma idéia precisa do que se deseja obter. Seguindo com o exemplo anterior, um indicador de efetividade seria avaliar a qualidade do ensino em escolas públicas através do acompanhamento das notas médias do ENEM (Exame Nacional do Ensino Médio). Este é o indicador que mais fornece informações sobre o que se deseja medir, mas, em virtude da dificuldade em se definir corretamente o que é ser efetivo, muitas vezes só podemos encontrar indícios, através de indicadores de eficácia e eficiência e da utilização de comparações com benchmarks10 , se o caminho percorrido corresponde ao esperado. Adicionalmente, há que se respeitar algumas propriedades que os indicadores deverão possuir. “Segundo Sink11 , os indicadores em sua função de instrumento de medida e de avaliação deverão possuir algumas características que permitam sua operacionalização de forma simples e eficaz. Dentre as características definidas pelo autor, podemos identificar as seguintes: Simplicidade – o indicador deve ser uma ferramenta de simples manuseio e compreensão, que permita visualizar as informações que representa. 10 “BENCHMARKING: Processo sistemático e contínuo de avaliação de estratégias, operações, processos, metodologias de trabalho, produtos e serviços de organizações que efetivamente pratiquem e sejam reconhecidas como melhores de uma determinada classe e como exemplos organizacionais. Trata-se, portanto, de padrões referenciais das melhores práticas de mercado. Tem por objetivo servir de guia para
  17. 17. 14 Ter um baixo custo de obtenção – o grande problema nas organizações públicas é a grande quantidade de dados disponíveis e não tratados. A identificação dos melhores indicadores deve repousar sobre aqueles que são mais facilmente encontrados e cujo tratamento não requeira altos custos. Estabilidade – o processo de avaliação nas organizações deve ter a função de um fusível, que interrompe a corrente elétrica a medida que ele [sic] se torna muito alta, ou seja, deve ser parte integrante do sistema e permitir feed-back ao gestor. Nada mais perene que informações quotidianas, que sejam parte da rotina de seu funcionamento. Confiabilidade – as decisões a nível gerencial demanda [sic] muita responsabilidade e pouco tempo para serem formuladas. Um bom indicador, neste aspecto, deve estar embasado em informações confiáveis e coerentes sem o que as decisões invariavelmente redundarão em fracasso. Takashina12 acrescenta, apropriadamente, a característica de comparabilidade para um bom indicador, tendo em vista a possibilidade de praticar o benchmark com organizações similares e alcançar ganhos de qualidade.”13 Um último aspecto que não pode ser esquecido é a forma de apresentação dos indicadores. É evidente que este aspecto não deve ser o de maior relevância na montagem de um trabalho de avaliação de resultados, mas a escolha do formato de apresentação mais adequado a cada aspecto que se pretende medir é de fundamental importância para facilitar o entendimento do leitor. Basicamente, estaremos interessados na construção de indicadores que possam ser enquadrados numa das seguintes categorias: § Proporção ou Percentual: quando se quer avaliar uma parte do todo, ou seja, representa uma divisão onde o numerador é um subconjunto melhorias contínuas, dando subsídios ao estabelecimento de padrões de excelência.” In Dicionário de Termos de Qualidade, p.51 11 SINK, D. Scott. Planejamento e Medição para a Performance. Rio de Janeiro: Qualitymark Ed.,1983. 12 Nota do autor: TAKASHINA, N.T. & FLORES, M.C.; “Indicadores de Qualidade e do Desempenho – como estabelecer metas e medir resultados, Rio de Janeiro: Qualitymark Ed. 13 In Análise do Desempenho de Organizações Públicas Municipais, p.5 e 6.
  18. 18. 15 do denominador e, portanto, seu resultado está compreendido num intervalo entre 0 e 1; § Taxa de variação: destinado à comparação de uma mesma medida em instantes diferentes. Normalmente se compara evolução de algum aspecto num ano, em relação a sua posição no ano anterior; § Relação entre fatores distinto: para comparação de elementos diferentes, por exemplo, nº de professores por cada 100 alunos ou PIB per capita; § Tempo médio: destinado a avaliar quanto tempo se gasta, em média, para cumprir determinada tarefa; § Valor Absoluto: refere-se à apresentação de um dado que, mesmo de modo absoluto, já representa algum tipo de informação. 6. MODELOS TEÓRICOS PROPOSTOS “Há pelo menos três grupos de pessoas interessadas quando se realiza uma avaliação de determinado programa ou situação, ou seja, aqueles que coordenam ou dirigem o programa ou projeto, imprimindo-lhe sua própria filosofia, aqueles que são os destinatários e portanto beneficiários do empreendimento, vivenciando seu cotidiano, e aqueles que são vítimas, ou seja, que podem ter sido afetados pelo processo avaliativo, por falhas na sua condução, por efeitos impensados, ou por perdas que devem ser evitadas (Guba e Lincoln, 1985).”14 São às necessidades de informação destes três grupos que devemos atender ao desenvolver uma metodologia de avaliação de resultados. Para compreender a construção dos indicadores que serão apresentados nesta seção, vejamos o seguinte trecho de uma publicação sobre auditoria no setor público: “Para que se possa analisar a receita pública sob a ótica da gestão, a partir dos registros e demonstrativos contábeis, os auditores devem dispor de um 14 In Avaliação: Tendências e Tendenciosidades, p.5 e 6.
  19. 19. 16 conjunto padronizado de indicadores da entidade e seu contexto. Prática semelhante é utilizada para análise de balanço de empresas privadas. (...) Sabidamente, isto não é uma tarefa fácil, especialmente quanto aos aspectos metodológicos. Assim, por exemplo, não é prudente comparar um município que possui sua atividade econômica centrada na industrialização com outros cuja atividade é nuclearmente fundada em exploração agropecuária tradicional. Surge a necessidade de delimitações e hierarquizações comparativas. Quanto melhor forem estabelecidos e entendidos os critérios, mais duradouro será o indicador.”15 O que esta passagem deixa claro é a necessidade de se desenvolver medidas que permitam fornecer evidências de como se encontra a gestão de determinado Município, Estado ou qualquer outro jurisdicionado. No entanto, esta não é uma atividade trivial e nem se esgota com a definição de uma determinada metodologia, devendo estar sempre em constante evolução, conforme a mudança nos níveis de exigência e de rumo da sociedade. “Qualquer representação da realidade social – um filme documentário, um estudo demográfico, um romance realista, é necessariamente parcial, menor do que aquilo que se poderia vivenciar e achar disponível no ambiente real. É por isso que as pessoas fazem representações: para relatar somente aquilo que é necessário para fazermos o que nos propusemos a fazer. Uma representação eficiente diz tudo que se precisa saber para um objetivo determinado, sem desperdiçar tempo com o que não é necessário. Produtores e usuários de representações, portanto, devem realizar várias operações sobre a realidade para chegar desta realidade à compreensão final da realidade social que querem comunicar.”16 Conforme abordado na introdução, este estudo pretende estabelecer uma sugestão de indicadores indispensáveis para uma análise preliminar dos rumos de determinada região. Mas, antes da proposição de indicadores, é preciso reconhecer o tipo de análise que se busca alcançar. Basicamente, estaremos interessados em avaliar algumas situações a priori e, outras, a posteriori. 15 In Auditoria Governamental, p. 44
  20. 20. 17 A análise a priori, ou anterior à ocorrência dos fatos, é aplicável sempre que se deseja definir a trajetória para se alcançar determinados objetivos. É de extrema relevância para se traçar objetivos com a segurança de que estes poderão ser alcançados, são factíveis. Serve para eliminar cenários cujos alvos, no período considerado, jamais poderão ser acertados. É fundamental para gerar as medidas que servirão de indicador para antecipação do cumprimento ou descumprimento das metas traçadas, antes mesmo que o período delimitado para a implantação de determinado programa chegue ao fim. No entanto, uma avaliação a priori depende do correto estabelecimento de metas, objetivos e indicadores que deverão ser considerados. No caso brasileiro, os instrumentos que devem fornecer esta orientação são o Plano Plurianual, a LDO e o Orçamento Anual, os três previstos tanto na Constituição de 1988 quanto na Constituição Estadual de 1989. No entanto, há que se ter cuidado para que estes não sejam apenas documentos sem um vínculo com a realidade e que resultem de “um processo técnico e político, no qual se inserem instituições, informações e agentes econômico-sociais.”17 A análise a posteriori, posterior à ocorrência dos fatos (ou pelo menos de parte destes), serve para avaliar se os rumos desejados estão sendo tomados, ou se há desvios de trajetória. São de extrema importância, pois revelam, antecipadamente, se é preciso adotar medidas corretivas, se o ponto desejável ainda é crível, ou não. Fundamentalmente as duas análises podem ser baseadas nos mesmos indicadores, mas a primeira corresponderá ao estudo da previsão dos indicadores (e como estes atendem às necessidades de seus gestores) e, a segunda, ao acompanhamento destes mesmos indicadores. Uma avaliação de resultados terá sucesso na medida em que se escolha indicadores adequados a cada realidade específica. Para tanto, é conveniente comparar a performance dos indicadores referentes a uma entidade com relação 16 In Métodos de Pesquisa em Ciências Sociais, p.140 e 141. 17 In TCE-RJ e Análise das Contas Públicas: Avaliação de resultados e qualidade de vida, p.7.
  21. 21. 18 ao desempenho de outras entidades similares. Mas é preciso que se tenha um certo cuidado ao efetuar comparações, uma vez que não é conveniente estimulá- las entre grupos díspares. Deste modo, em se tratando da avaliação de um Município específico, deve-se procurar estudar seu desempenho em relação a outros Municípios similares, ou seja, que contenham uma população de tamanho similar, atividade econômica similar, nível de endividamento parecido, etc. Outro aspecto relevante é a decisão do que avaliar. Alguns indicadores podem ser facilmente definidos e são universalmente aplicáveis, mas outros precisam ser estabelecidos de acordo com a realidade que se pretende alcançar. “As medidas de desempenho e o gerenciamento de processos estão focalizados no incremento da eficiência e efetividade dos processos, produtos e/ou serviços, pela sua otimização. Essa ação acontece dentro de um ciclo contínuo que monitora, identifica e captura as oportunidades de melhoria destes processos, produtos e/ou serviços, por meio da implementação de melhores práticas. As medidas de desempenho também devem possuir alguns atributos, quais sejam: è refletir tanto as necessidades dos clientes quanto da organização; è fornecer uma base adequada para a tomada de decisões; è ser de fácil compreensão; è ter ampla aplicação; è ser interpretada uniformemente; è possível de ser mensurada com os sensores (informações) existentes; è ser precisa na interpretação dos dados; è economicamente aplicáveis; è confiabilidade; è validade;
  22. 22. 19 è relevância; è consistência Em síntese, as medidas de desempenho possibilitam: è identificar se as necessidades dos clientes estão sendo atendidas; è revelar problemas e identificar oportunidades de melhoria; è mostrar se as melhorias estão acontecendo. Paradoxalmente, é muito difícil construir um indicador com todas as propriedades listadas anteriormente, de modo que a opção por determinada estatística sempre irá implicar em avaliação de trade-offs. Por último, é importante ressaltar que toda a medida de desempenho deve estar vinculada a uma meta ou padrão predefinido, pois é a única forma de interpretar, significativamente, os resultados das medidas e estimar o sucesso de um sistema administrativo.”18 “A avaliação vai analisar o valor de algo em relação a algum anseio humano. Não é possível avaliar sem um referencial, não é possível uma avaliação sem um pólo de referência. Em última instância, a referência é sempre o homem, o seu bem, a sua satisfação ou mesmo o seu prazer. Torna-se então fundamental a visão clara da finalidade do valor para o estabelecimento de critérios que possibilitem a sua aferição.”19 Outro ponto a ser destacado e que não pode ser desconsiderado na construção de indicadores é que estes devem atender às necessidades de seu cliente. Se considerarmos como cliente maior da administração pública a sociedade, é indispensável, então, que a avaliação proposta contemple todos os princípios estabelecidos pela Constituição de 1988. Segundo o artigo 37, “A administração pública, direta e indireta de qualquer dos Poderes da União, dos Estados, do Distrito Federal e dos Municípios obedecerá aos princípios de 18 In notas de aula (prof. Carlos Alberto Sampaio), p.58. 19 In A Velha e a Nova Questão da Avaliação, p.371 e 372.
  23. 23. 20 legalidade, impessoalidade, moralidade, publicidade e eficiência (...).“ Assim, para que se obtenha uma avaliação de resultados satisfatória, estes cinco aspectos deverão estar contemplados, direta ou indiretamente. Para atingir o objetivo inicialmente proposto de construir indicadores de desempenho para avaliações de resultados de entes jurisdicionados, este trabalho sugere que a análise seja baseada em três grupos de indicadores: indicadores gerais, indicadores sociais e indicadores específicos. Os indicadores gerais devem ser construídos de forma a permitir uma avaliação financeira da saúde do órgão, programa ou instituição sob análise. Devem concentrar-se na análise das receitas e despesas contempladas nos cálculos de resultado primário, operacional e nominal e servirão de base para avaliar a evolução da capacidade de geração de recursos e do nível de comprometimento destes. Como proposta inicial, devem ser contempladas, basicamente as informações descritas na tabela 120 : 20 Os indicadores apresentados nesta e nas próximas tabelas, basearam-se nos indicadores apresentados no livro “Auditoria Governamental”, no artigo “Análise do desempenho de Organizações Públicas Municipais”, no trabalho “Tópicos Gerais dos Estudos .Sócio-econômicos dos Municípios 1997-2001” e no livro “Indicadores Sociais no Brasil”.
  24. 24. 21 TABELA 1: INDICADORES GERAIS PROPOSTOS INDICADOR FÓRMULA CRESCIMENTO INDICA PIB per capita PIB total / # habitantes Aumento da renda média Renda familiar per capita média ajustada Renda Familiar total / nº de pessoas na família Melhoria no padrão de compra IPTU per capita (para Municípios) IPTU / # habitantes Elevação da arrecadação Média ISS per capita (para Municípios) ISS / # habitantes Elevação da arrecadação Média ICMS per capita (para Estados) ICMS / # habitantes Elevação da arrecadação Média IPVA per capita (para Estados) IPVA / # habitantes Elevação da arrecadação Média Receita Fiscal na receita Tributos / Receita Orçamentária Elevação relativa do esforço de arrecadação Receitas de Transferências na receita Transferências líquidas correntes e de capital / Receita orçamentária Diminuição da participação relativa do esforço de arrecadação Empréstimos e Financiamentos na receita Operações de crédito / Receita orçamentária Incremento relativo das obrigações com terceiros Pessoal nas receitas correntes Pessoal / despesas correntes Aumento relativo do gasto com pessoal Pessoal no total de despesas Pessoal / despesa realizada Aumento relativo do gasto com pessoal Investimento per capita Investimentos / População residente Quanto maior melhor Encargos da dívida na despesa Serviço da dívida / despesa realizada Incremento relativo do custo das obrigações com terceiros Amortização da dívida na despesa amortização da dívida / despesa realizada Diminuição relativa do nível de endividamento Amortização da dívida no total de despesas financeiras amortização da dívida / (amortização + serviço) da dívida Diminuição do custo de endividamento Equilíbrio Orçamentário Receita realizada / despesa executada Aumento relativo das receitas em relação às despesas Comprometimento da Receita com Máquina Administrativa Despesa de custeio / receitas correntes Maior comprometimento da receita Autonomia Financeira Receita tributária própria / despesas de custeio Maior autonomia financeira
  25. 25. 22 INDICADOR FÓRMULA CRESCIMENTO INDICA Esforço Tributário Próprio (Receita Tributária Própria + inscrição na dívida ativa) / receita arrecadada Maior independência quanto à arrecadação de receita Carga Tributária per capita (Receita Tributária Própria + inscrição na dívida ativa) / população residente Incremento relativo da arrecadação tributária Despesa de Custeio per capita Despesa de custeio / população residente Incremento relativo do comprometimento da receita Grau de Investimentos Investimentos / receita total Maior investimento relativo Liquidez Corrente Ativo financeiro / passivo financeiro Melhoria da liquidez Seguindo os modelos das Constituições de Portugal, promulgada em 1976 e emendada em 1982, e da Espanha, promulgada em 1978, a Carta Magna brasileira privilegia as propostas da área social, incluindo dispositivos no sentido de atender as necessidades das classes sociais menos favorecidas. Portanto, um grupo de medidas para apurar o cumprimento, ou não, dos objetivos estabelecidos em nossa Constituição é de extrema importância quando se buscar avaliar resultados segundo critérios de eficácia, eficiência e efetividade. Os indicadores sociais devem ser elaborados de modo a se verificar o atendimento dos direitos sociais especificados na Constituição. Na constituição promulgada em 5 de outubro de 1988, o caput do artigo 6º, referente aos direitos sociais, estabelece: “Art. 6º São direitos sociais a educação, a saúde, o trabalho, a moradia, o lazer, a segurança, a previdência social, a proteção à maternidade e à infância, a assistência aos desamparados, na forma desta constituição.” Deste modo, acredita-se que seja conveniente estabelecer indicadores para cada um destes direitos assegurados na carta magna. Assim, a tabela 2 apresenta uma série de medidas que podem auxiliar o acompanhamento da trajetória destes quesitos. Vale destacar que os indicadores listados a seguir não esgotam todas as possibilidades de avaliação, mas concentram-se nas variáveis que, nesta data,
  26. 26. 23 eram periodicamente aferidas pela Administração Pública do Estado do Rio de Janeiro. Como uma das características fundamentais de um índice deve ser a sua facilidade de medição, os indicadores apresentados atenderiam a este pré- requisito, tornando viável e factível a realização de uma análise efetiva. TABELA 2: INDICADORES SOCIAIS PROPOSTOS INDICADOR FÓRMULA CRESCIMENTO INDICA DIREITO EM FOCO Impostos aplicados no ensino Total das despesas admitidas como normais para ensino / total dos impostos e transferências Aumento do dispêndio relativo com este direito Educação Taxa de analfabetismo da população com mais de 15 anos Analfabetos com mais de 15 anos / população residente com mais de 15 anos Incremento relativo da quantidade de analfabetos Educação Escolaridade Média Média ponderada dos anos de estudo pela quantidade de indivíduos com mais de 15 anos Melhoria da escolaridade média Educação Disponibilidade de vagas em Escolas Públicas Nº de vagas em escolas públicas / População de 0 a 15 anos Incremento relativo no nº de vagas da rede pública de ensino Educação Número de Escolas por 1000 crianças Nº de escolas / População de 0 a 15 anos * 1000 Incremento relativo no nº de unidades da rede pública de ensino Educação Taxa de Repetência Nº de alunos repetentes / total de alunos repetentes e aprovados Aumento da taxa de repetência Educação Taxa de Evasão Nº de alunos repetentes e aprovados / nº de alunos inscritos Diminuição do abandono da escola Educação Razão de alunos por prefessor Nº de alunos / nº de professores Menor quantidade relativa de docentes Educação Razão de alunos por funcionários Nº de alunos / nº de Funcionários de educação Menor quantidade relativa de funcionários Educação Taxa de Pessoal em Educação Quantitativo de pessoal na educação / Quantitativo de pessoal total Maior participação relativa do quantitativo funcional de educação Educação % da despesa de pessoal com Educação Despesa com pessoal na educação / Despesa de Pessoal Total Maior participação relativa dos gastos com pessoal de educação Educação % da despesa prevista com Educação Dotação orçamentária para educação / dotação orçamentária total Maior participação relativa dos gastos previstos com educação Educação
  27. 27. 24 INDICADOR FÓRMULA CRESCIMENTO INDICA DIREITO EM FOCO Índice de crescimento de matrículas Nº de matrículast / nº de matrículast+1 Aumento da população atendida pela rede pública de ensino Educação Leitos por 1000 habitantes Nº de leitos / população residente * 1000 Melhoria de capacidade de atendimento Saúde Médicos por 1000 habitantes Nº de médicos / população residente * 1000 Melhoria de condições de atendimento Saúde Mortalidade Nº de óbitos / população residente Aumento da Taxa de Mortalidade Saúde Coeficiente de unidades de atendimento por 1000 habitantes Nº de unidades de atendimento / população residente * 1000 Melhoria de capacidade de atendimento Saúde Taxa de Pessoal em Saúde Quantitativo de pessoal na saúde / Quantitativo de pessoal total Maior participação relativa do quantitativo funcional de saúde Saúde % da despesa de pessoal com Saúde Despesa com pessoal na saúde / Despesa de Pessoal Total Maior participação relativa dos gastos com pessoal de saúde Saúde % da despesa prevista com Saúde Dotação orçamentária para saúde / dotação orçamentária total Maior participação relativa dos gastos previstos com saúde Saúde Taxa de empregados com carteira Empregados com carteira assinada / Pessoal ocupado Diminuição da informalidade Trabalho Taxa de assalariamento Assalariados / total de ocupados Aumento da relativo na quantidade de assalariados Trabalho Taxa de desemprego Desempregados / (desempregados + ocupados) Aumento da população desempregada Trabalho Taxa de participação da PEA21 sobre PIA22 (ocupados + procurando trabalho / total de residentes com 10 anos ou mais Incremento relativo da PEA Trabalho Taxa de Favelização População residente em favelas / população residente total Aumento relativo dos residentes em favelas Moradia Taxa de Urbanização População residente em áreas urbanas / total da população residente Diminuição relativa das populações rurais Moradia Taxa de Residentes em imóveis próprios População residente em imóveis próprios / total da população residente Aumento relativo das residências próprias Moradia 21 População Economicamente Ativa; “Donas de casa, estudantes, aposentados, inválidos não fazem parte da PEA, sendo considerados inativos”. In “Indicadores Sociais no Brasil”, p.89 22 População em Idade Ativa
  28. 28. 25 INDICADOR FÓRMULA CRESCIMENTO INDICA DIREITO EM FOCO Taxa de Homicídios Número de homicídios / total da população residente * 100000 Incremento nos índices de criminalidade Segurança Taxa de Pessoal em segurança Quantitativo de pessoal na saúde / Quantitativo de pessoal total Maior participação relativa do quantitativo funcional de segurança Segurança % da despesa de pessoal com segurança Despesa com pessoal na saúde / Despesa de Pessoal Total Maior participação relativa dos gastos com pessoal de segurança Segurança % da despesa prevista com segurança Dotação orçamentária para saúde / dotação orçamentária total Maior participação relativa dos gastos previstos com segurança Segurança Carga de Dependência de crianças e idosos (crianças £ 14 anos + adultos ³ 65 anos) / população residentes de 15 a 64 anos Diminuição relativa da População apta para o trabalho Previdência Quantidade de benefícios Nº de benefícios concedidos no ano Incremento na quantidade de beneficiários Previdência Gasto com benefícios Gasto com benefícios no ano Aumento nominal do gasto com previdência Previdência Benefício Médio Gasto com benefícios no ano/ nº total de benefícios Crescimento no valor médio pago a cada beneficiário Previdência Taxa de Natalidade Nascidos Vivos no ano / População residentes estimada no meio do ano * 1000 Incremento da natalidade Maternidade Parturições Nº médio de filhos da população feminina entre 15 e 49 anos Incremento da natalidade Maternidade Nascimentos Hospitalares Nº de nascimentos em hospitais / nº de nascidos vivos no ano Aumento do acesso a hospitais Maternidade Esperança de vida ao nascer Nº médio de anos de vida de recém nascido Melhoria de condições de vida Infância Mortalidade Infantil Nº de óbitos de 0 a 1 ano / nº de nascidos vivos * 1000 Aumento na mortalidade infantil Infância Mortalidade Neonatal Nº de óbitos neonatais / Nº de óbitos de 0 a 1 ano Aumento relativo dos óbitos associados a fatores biológicos Infância Mortalidade Pós- natal Nº de óbitos pós-natais / Nº de óbitos de 0 a 1 ano Aumento relativo dos óbitos associados a fatores sócio- econômicos Infância Investimento Preventivo em desenv. social Investimento em Campanhas Mais investimento preventivo na área de desenvolvimento social Desenvolvimen to social Taxa de Pessoal em Desenv. Social Quantitativo de pessoal em desenv. social / Quantitativo de pessoal total Maior participação relativa do quantitativo funcional de desenv. social Desenvolvimen to social
  29. 29. 26 INDICADOR FÓRMULA CRESCIMENTO INDICA DIREITO EM FOCO % da despesa de pessoal com Desenv. Social Despesa com pessoal em desenv. social / Despesa de Pessoal Total Maior participação relativa dos gastos com pessoal de desenv. social Desenvolvimen to social % da despesa prevista com Desenv. Social Dotação orçamentária para desenv. social / dotação orçamentária total Maior participação relativa dos gastos previstos com desenv. social Desenvolvimen to social Investimento em equipamentos de esportes e lazer Investimento em equipamentos Aumento nominal dos investimentos com equipamentos de esporte e lazer Esporte e Lazer Investimento em esportes e lazer Investimento em campanhas Aumento nominal dos investimentos com esporte e lazer Esporte e Lazer Taxa de Pessoal em esporte e lazer Quantitativo de pessoal em esporte e lazer / Quantitativo de pessoal total Maior participação relativa do quantitativo funcional de esporte e lazer Esporte e Lazer % da despesa de pessoal com esporte e lazer Despesa com pessoal em esporte e lazer / Despesa de Pessoal Total Maior participação relativa dos gastos com pessoal de esporte e lazer Esporte e Lazer % da despesa prevista com esporte e lazer Dotação orçamentária para esporte e lazer / dotação orçamentária total Maior participação relativa dos gastos previstos com esporte e lazer Esporte e Lazer Na avaliação referente aos indicadores específicos, é difícil estabelecer medidas universais, uma vez que se referem a cenários diversos, sendo muito complicado elaborar indicadores que atendam a qualquer realidade específica. Deste modo, em adição aos índices sugeridos, outros deverão ser construídos em conjunto com os gestores de políticas públicas, de modo a antecipar o que pretende ser alcançado, onde se pretende chegar, como se pretende chegar e se o rumo está sendo adequado. Na construção dos itens descritos na tabela 3, procurou-se optar pela descrição de outros aspectos também coletados pela atual Administração Pública do estado do Rio de Janeiro que, além de permitir uma avaliação contínua ao longo do tempo, também tratam de temas hoje considerados bastante relevantes, mas que não pertencem ao grupo dos direitos fundamentais. Talvez os exemplos mais claros dos indicadores pertencentes a este grupo sejam os indicadores
  30. 30. 27 relativos a transportes e meio-ambiente. Mais uma vez, é prudente reforçar que outros indicadores podem e devem ser construídos em função das prioridades traçadas por cada gestor. TABELA 3: INDICADORES ESPECÍFICOS PROPOSTOS INDICADOR FÓRMULA CRESCIMENTO INDICA ASPECTO EM FOCO Índice de autos de infração Nº de autos de infraçãot / nº de autos de infraçãot-1 Crescimento nominal dos autos infração Meio Ambiente % de reflorestamento Área reflorestada / área total Aumento das áreas reflorestadas Meio Ambiente Investimento Preventivo em meio ambiente Investimento em Campanhas de meio-ambiente Mais investimento preventivo na área de meio ambiente Meio Ambiente Gastos com preservação Gasto com ações de preservação Maior destinação de recursos financeiros para preservação Meio Ambiente Fiscais em meio ambiente Nº de fiscais de meio-ambiente Maior capacidade de fiscalização Meio Ambiente Taxa de Pessoal em meio ambiente Quantitativo de pessoal em meio- ambiente / Quantitativo de pessoal total Maior participação relativa do quantitativo funcional de meio ambiente Meio Ambiente % da despesa de pessoal com meio ambiente Despesa com pessoal em meio- ambiente / Despesa de Pessoal Total Maior participação relativa dos gastos com pessoal de meio ambiente Meio Ambiente % da despesa prevista com meio ambiente Dotação orçamentária para meio- ambiente / dotação orçamentária total Maior participação relativa dos gastos previstos com meio ambiente Meio Ambiente Taxa média de passageiros por 1000 habitantes média de passageiros diários de transportes públicos/ população residente * 1000 Incremento na população usuária de transportes públicos Transportes Quantidade de veículos públicos por 1000 habitantes Nº de veículos destinados a transporte público / População residente * 1000 Incremento na capacidade de atendimento aos usuários Transportes Taxa de pavimentação Km de estradas pavimentadas / Km total Melhoria das condições de transporte Transportes Quantidade de veículos por 1000 habitantes Nº de veículos / População residente Incremento relativo da frota total Transportes
  31. 31. 28 INDICADOR FÓRMULA CRESCIMENTO INDICA ASPECTO EM FOCO Taxa de Pessoal em transportes Quantitativo de pessoal transportes / Quantitativo de pessoal total Maior participação relativa do quantitativo funcional de transportes Transportes % da despesa de pessoal com transportes Despesa com pessoal em transportes / Despesa de Pessoal Total Maior participação relativa dos gastos com pessoal de transportes Transportes % da despesa prevista com transportes Dotação orçamentária para transportes/ dotação orçamentária total Maior participação relativa dos gastos previstos com transportes Transportes Índice de investimento em cultura Investimentos em culturat / Investimentos em culturat-1 Aumento nominal dos investimentos com cultura Cultura Taxa de Pessoal em cultura Quantitativo de pessoal em cultura / Quantitativo de pessoal total Maior participação relativa do quantitativo funcional de cultura Cultura % da despesa de pessoal com cultura Despesa com pessoal em cultura / Despesa de Pessoal Total Maior participação relativa dos gastos com pessoal de cultura Cultura % da despesa prevista com cultura Dotação orçamentária para cultura / dotação orçamentária total Maior participação relativa dos gastos previstos com cultura Cultura Taxa de Pessoal em urbanismo Quantitativo de pessoal em urbanismo / Quantitativo de pessoal total Maior participação relativa do quantitativo funcional de urbanismo Urbanismo % da despesa de pessoal com urbanismo Despesa com pessoal em urbanismo / Despesa de Pessoal Total Maior participação relativa dos gastos com pessoal de urbanismo Urbanismo % da despesa prevista com urbanismo Dotação orçamentária para urbanismo / dotação orçamentária total Maior participação relativa dos gastos previstos com urbanismo Urbanismo Índice de atendimentos Nº de atendimentost / nº de atendimentost+1 Aumento nominal dos atendimentos de defesa civil Defesa Civil Investimento Preventivo em defesa civil Investimento em prevenção em defesa civil Mais investimento preventivo na área de defesa civil Defesa Civil Funcionário de defesa civil por 1000 habitantes Quantitativo de pessoal em defesa civil / população residente *1000 aumento quantitativo do quadro funcional de defesa civil Defesa Civil Taxa de Pessoal em defesa civil Quantitativo de pessoal em defesa civil / Quantitativo de pessoal total Maior participação relativa do quantitativo funcional de defesa civil Defesa Civil
  32. 32. 29 INDICADOR FÓRMULA CRESCIMENTO INDICA ASPECTO EM FOCO % da despesa de pessoal com defesa civil Despesa com pessoal em defesa civil / Despesa de Pessoal Total Maior participação relativa dos gastos com pessoal de defesa civil Defesa Civil % da despesa prevista com defesa civil Dotação orçamentária para defesa civil / dotação orçamentária total Maior participação relativa dos gastos previstos com defesa civil Defesa Civil Construções M2 de obras construídas Aumento nominal das construções Obras Custo de obras Custo do m2 construído Aumento no custo de construção Obras Tempo de Execução Tempo médio de execução Maior agilidade Obras Investimento Preventivo em obras Investimento em obras de prevenção Mais investimento preventivo na área de obras Obras Taxa de Pessoal em obras Quantitativo de pessoal em obras / Quantitativo de pessoal total Maior participação relativa do quantitativo funcional de obras Obras % da despesa de pessoal com obras Despesa com pessoal em obras / Despesa de Pessoal Total Maior participação relativa dos gastos com pessoal de obras Obras % da despesa prevista com obras Dotação orçamentária para obras / dotação orçamentária total Maior participação relativa dos gastos previstos com obras Obras Área limpa Km de área limpa Incremento nominal da limpeza Limpeza Urbana Investimento em Limpeza Urbana Investimento em equipamentos Aumento da capacidade na área de limpeza urbana Limpeza Urbana Investimento Preventivo em Limpeza Urbana Investimentos em campanhas Mais investimento preventivo na área de limpeza urbana Limpeza Urbana Taxa de Pessoal em limpeza urbana Quantitativo de pessoal em limpeza urbana / Quantitativo de pessoal total Maior participação relativa do quantitativo funcional de limpeza urbana Limpeza Urbana % da despesa de pessoal com limpeza urbana Despesa com pessoal em limpeza urbana / Despesa de Pessoal Total Maior participação relativa dos gastos com pessoal de limpeza urbana Limpeza Urbana % da despesa prevista com limpeza urbana Dotação orçamentária para limpeza urbana / dotação orçamentária total Maior participação relativa dos gastos previstos com limpeza urbana Limpeza Urbana Taxa de iluminação Km de ruas iluminadas / Km total Aumento da taxa de iluminação Iluminação Pública
  33. 33. 30 INDICADOR FÓRMULA CRESCIMENTO INDICA ASPECTO EM FOCO Instalação de pontos de iluminação Instalações no ano Incremento da capacidade de iluminação Iluminação Pública Investimento em iluminação pública Investimentos em melhorias Aumento nominal dos investimentos com iluminação pública Iluminação Pública Equipes de Atendimento Nº de equipamentos de atendimento Melhoria da capacidade de atendimento Iluminação Pública Taxa de Pessoal em ilum. pública Quantitativo de pessoal em iluminação pública / Quantitativo de pessoal total Maior participação relativa do quantitativo funcional de iluminação pública Iluminação Pública % da despesa de pessoal com ilum. pública Despesa com pessoal em iluminação pública / Despesa de Pessoal Total Maior participação relativa dos gastos com pessoal de iluminação pública Iluminação Pública % da despesa prevista com ilum. pública Dotação orçamentária para iluminação pública / dotação orçamentária total Maior participação relativa dos gastos previstos com iluminação pública Iluminação Pública Fazer um estudo dos indicadores de modo isolado, entretanto, é pouco elucidativo, dado que os resultados medidos refletem apenas uma situação pontual, do momento da apuração dos resultados. Para uma análise mais apurada, há que se considerar mais três efeitos: o do atingimento de objetivos estabelecidos, o da evolução da trajetória do Município ou Estado e o da comparação da entidade avaliada em relação às melhores práticas, o benchmark. Desta forma, recomenda-se uma análise no tempo, de pelo menos três anos, acompanhada dos objetivos traçados originalmente no orçamento do último ano em questão e do cenário que se pretende alcançar. Este último é de difícil definição, já que sempre deve representar um ponto crível, factível. Assim, recomenda-se optar por medidas já alcançadas por outros Estados ou Municípios e que notadamente representem uma situação desejável. Apesar da definição apresentada na seção 4 deste trabalho, que indica que o benchmark deve representar o melhor desempenho verificado do que se está medindo, não é recomendável escolher como parâmetro aquelas entidades com
  34. 34. 31 desempenhos excepcionais, que formariam um grupo de outliers23 . Para evitar esta situação, que poderia implicar em comparações espúrias, indica-se que a escolha da instituição representativa do benchmark pertença ao grupo dos melhores desempenhos, preferencialmente pertencendo ao quartil superior da amostra disponível, garantindo a comparabilidade do indicador calculado com as “boas práticas de gestão”24 . “A importância do benckmark é a de permitir ao gestor o estabelecimento de metas em relação a um referencial de qualidade.”25 7. OBTENÇÃO DOS DADOS É de extrema importância que os indicadores apresentados sejam confiáveis. Para tanto, deve-se privilegiar a transparência quanto aos seus cálculos e suas fontes de informação, conferindo maior transparência a todo o processo de avaliação. De preferência, sempre que possível, deve-se optar por buscar informações em órgãos cuja idoneidade seja reconhecida e cuja metodologia de apuração de dados seja clara. Também é desejável que as informações sejam universais e disponíveis a qualquer cidadão interessado em recalcular os índices apresentados. No entanto, alguns dados não são apurados de forma rápida, ou têm uma periodicidade de medição incompatível com o desejável. Neste caso, é possível aplicar algumas técnicas para contornar o problema, desde que a metodologia de cálculo seja disponibilizada junto com o trabalho de análise. No caso de dados cuja apuração é mais lenta do que a que se deseja, indica- se como metodologia a projeção do indicador, conforme a seguinte sugestão: Indicadort+1 = Indicadort / indicadort-1 * indicadort 23 Em estatística, são outliers os valores atípicos e,muitas vezes, correspondem a erros de medição ou eventos que ocorrem apenas sob circunstâncias extremas, cuja probabilidade de ocorrência é extremamente baixa. 24 In Manual de Auditoria de Nartureza Operacional, p.81. 25 In Análise do Desempenho de Organizações Públicas Municipais, p.13.
  35. 35. 32 Na hipótese da periodicidade ser menor do que a desejada, pode-se utilizar como artifício para estimar o indicador em períodos intermediários a seguinte fórmula: Indicadort+k = Indicadort * (Indicadort+t / Indicadort)k/t Onde: t é a periodicidade de medição; k é a periodicidade desejada. Caso a necessidade seja de projetar valores futuros, para eventos cujo crescimento esperado é geométrico (como no caso das populações), recomenda- se o uso do seguinte cálculo: Indicadort+k = Indicadort * (Indicadort / Indicadort-t)k/t Onde: t é o tempo onde foi realizada a última observação da variável; t é a periodicidade de medição; k é a periodicidade desejada. “Outra questão importante no gerenciamento dos indicadores é a formação de uma série histórica, que é obtida através da guarda dos resultados obtidos ano a ano. Estas informações permitem a análise através do tempo que, visualizada em gráficos cartesianos, demonstram claramente se as ações empreendidas estão surtindo o resultado esperado.”26 Adicionalmente, a montagem de um banco de dados com as informações obtidas diminui o retrabalho e permite um rápido acesso a informações passadas. 26 In Análise do Desempenho de Organizações Públicas Municipais, p.13.
  36. 36. 33 8. EXPERIÊNCIAS BRASILEIRAS Os trabalhos desenvolvidos no Brasil concentram-se, basicamente, na realização de auditorias de desempenho. O Tribunal de Contas da União (TCU), por exemplo, contém uma série de publicações com o resultado de auditorias de programas sociais que visaram avaliar o “desempenho do Governo Federal em áreas estratégicas para a sociedade brasileira.”27 Nestas publicações podemos perceber uma preocupação em se fazer apenas uma verificação “ex-post” do que ocorreu, conforme os seguintes trechos: “O Tribunal de Contas da União realizou auditoria com o intuito de avaliar a ação de identificação e assistência à saúde visual dos alunos matriculados na 1ª série do Ensino Fundamental da Rede Pública, de forma a contribuir para a diminuição dos índices de repetência e evasão escolar, coordenada pelo Fundo Nacional de Desenvolvimento da educação – FNDE, do Ministério da educação – MEC. (...) O critério de seleção dos municípios participantes (municípios com 40.000 habitantes ou mais) restringe o acesso à Campanha prejudicando a promoção da eqüidade. Dessa forma, a Campanha de 2000 atendeu apenas 4% dos municípios com baixo Índice de Desenvolvimento humano – IDH (85 municípios), deixando de atender 732.603 alunos matriculados na 1ª série do Ensino Fundamental da Rede Pública dos 2.057 municípios com menos de 40.000 habitantes e baixo desenvolvimento humano. (...) Os dados preliminares fornecidos pelo Conselho Brasileiro de Oftalmologia demonstram ter ocorrido significativa perda de alunos nas diversas etapas de atendimento na Campanha 2000, havendo grande variação de desempenho entre as unidades da Federação.”28 “O Tribunal de Contas da União realizou, entre agosto e outubro de 2001, auditoria com o intuito de avaliar o desempenho do Programa Irrigação e Drenagem, constante do Plano Plurianual 2000-2003. (...) 27 In Avaliação do TCU sobre as ações de detecção e correção de problemas visuais, p.7. 28 In Avaliação do TCU sobre as ações de detecção e correção de problemas visuais, p.9 a 13.
  37. 37. 34 O trabalho executado permitiu constatar a existência de fatores que dificultam a melhoria do desempenho por parte dos perímetros de irrigação, dentre os quais destacamos: § Inadimplência dos irrigantes com as tarifas de amortização do investimento (K1) e de manutenção da infra-estrutura de uso comum (K2); § Pouca integração entre órgãos responsáveis por ações ligadas à irrigação; § Existência de grandes áreas irrigáveis ociosas nos perímetros de irrigação; § Pouca organização por parte dos irrigantes para a comercialização de sua produção; § Deficiência de gerenciamento do Programa; § Baixo grau de auto-sustentabilidade dos perímetros.”29 “O Tribunal de Contas da União realizou auditoria com o intuito de avaliar em que medida o Programa de Erradicação do Trabalho Infantil – PETI tem contribuído para retirar crianças e adolescentes de 7 a 14 anos, das atividades laborais precoces, principalmente nas suas piores formas, mediante a implementação das ações relativas à criança e ao adolescente em jornada escolar ampliada. (...) A pesquisa demonstrou que não existem dados precisos sobre o total de crianças exercendo atividades laborais. Outro problema diagnosticado foi a inexistência de critérios uniformes entre os municípios para a inclusão de crianças no Programa, dificultando a identificação e seleção do público alvo. Existem, ainda, municípios que entendem que o Programa destina-se às famílias pobres, não o relacionando à condição de que as crianças estejam efetivamente trabalhando.”30 29 In Avaliação do Programa Irrigação e Drenagem, p.9 a 11. 30 In Avaliação do TCU sobre o Programa de Erradicação do Trabalho Infantil, p.9 a 12.
  38. 38. 35 “O Tribunal de Contas da União realizou auditoria com o objetivo de avaliar, no Programa Valorização e Saúde do Idoso, as ações continuadas de assistência social para atendimento mensal à pessoa idosa, que têm, como finalidade a manutenção de serviços (alimentação, higiene, abrigo, material para lazer e ocupação), a salvaguarda dos direitos sociais e o atendimento às vulnerabilidades próprias desse ciclo de vida. (...) A auditoria evidenciou problemas operacionais no cumprimento das diretrizes governamentais, que dificultam o trabalho em conjunto entre os três níveis de governo, e confirmou a pouca influência das ações governamentais no trabalho desenvolvido pelas instituições prestadoras de serviços, sobretudo asilares. Constatou, ainda, a falta de investimentos em novas modalidades de atendimento, a insuficiência de recursos direcionados para a manutenção das instituições e o atingimento de um número pequeno de pessoas, caso se compare a população atendida com a população em situação de pobreza.”31 “O Tribunal de Contas da União realizou auditoria com o intuito de avaliar o Programa Saúde da Família – PSF, criado em 1994, no âmbito do Ministério da Saúde, a partir da experiência bem sucedida com o Programa de Agentes Comunitários de Saúde – PACS. (...) Assumem relevância a elevada rotatividade e a dificuldade na contratação dos médicos das ESF [Unidade de Saúde da Família], decorrentes, dentre outros motivos, da insatisfação com a precariedade do vínculo contratual de trabalho, o excesso de atendimentos, a dificuldade de acesso ao local de trabalho e as falhas no sistema de referência e contra-referência.(...) A análise dos questionários indica que as ESF são responsáveis por um número excessivo de famílias, além do limite máximo preconizado pelo Ministério da Saúde (4.500 pessoas). O mesmo acontece com as ACS [ Agentes Comunitários de Saúde], tendo em vista que apenas 27% deles não ultrapassam o limite recomendado (750 pessoas). Assim, como a demanda espontânea às USF 31 In Avaliação do TCU sobre as ações de atendimento à pessoa idosa, p.9 a 11.
  39. 39. 36 ainda é muito grande, o tempo disponível para a realização de ações de promoção e prevenção à saúde fica prejudicado. Outra constatação diz respeito aos sistemas de referência (serviço, ao qual é encaminhado o beneficiário, para atendimento mais complexo e apoio diagnóstico), ainda inadequados, para os níveis de média e alta complexidade.”32 De modo geral, o que se pode perceber é que, atualmente, a avaliação de resultados vem se limitando a realização de auditorias de desempenho, limitando as análises a constatações. Com isto, elimina-se uma etapa extremamente importante da avaliação, uma vez que não é mais possível corrigir erros passados. É claro que este trabalho também é bastante relevante, na medida em que aponta possíveis medidas a serem adotadas, mas ainda pode ser aprimorado se for dada a devida atenção ao planejamento inicial. “As avaliações a serem realizadas devem comparar os níveis atuais de performance ou desempenho com parâmetros ou indicadores de qualidade pré- estabelecidos e apresentar um elenco de recomendações e padrões mínimos de funcionamento que devem ser atingidos em determinado tempo, de modo a proporcionar a melhoria do desempenho do órgão ou serviço avaliado.”33 Portanto, fica claro a relevância de se definir melhor as metas, orçamentos e expectativas, muitas vezes relegados a um segundo plano. Esta etapa é fundamental para a construção de indicadores que gerem informação e permitam um diagnóstico preciso do que está sendo avaliado. “Trabalhos recentes do Tribunal de Contas da União (...) mostram uma tendência à vertente de fomento ao desenvolvimento de indicadores de desempenho nos programas governamentais.”34 Deste modo, há que se concentrar esforços no desenvolvimento da metodologia de avaliação de resultados como um todo e não apenas de uma etapa deste. Há que se estender, também, a sua aplicação, uma vez que, 32 In Avaliação do Programa de Saúde da Família – PSF, p.9 a 12. 33 In Avaliação da ação dos governos municipais, p.9. 34 In Estratégias de auditoria de desempenho governamental: proposta de um modelo analítico, p.6.
  40. 40. 37 atualmente, concentra-se na verificação de programas, enquanto poderia estar sendo utilizada para monitoramento de organizações, políticas, órgãos, etc. Não é possível identificar, hoje, um padrão a ser seguido, o que facilitaria a difusão dos resultados encontrados. A Fundação Cesgranrio apresenta outros trabalhos de avaliação de resultados de programas dentro da área de educação. “A Cesgranrio adota uma concepção de avaliação que procura estar em sintonia com os avanços na área do conhecimento. De acordo com a coordenadora do Centro de Avaliação e Desenvolvimento Institucional, Thereza Penna Firme, (...), a avaliação se preocupa com o aperfeiçoamento. – Todo trabalho de avaliação – afirma ela – visa a conclusões que levem a uma ação, a um aperfeiçoamento. E isso porque envolve essencialmente o juízo de valor. (...) Uma avaliação termina com recomendações que levem a uma ação. (...) E ela cita quatro características fundamentais no processo de avaliação: deve ser útil para as pessoas envolvidas no processo; viável, isto é, feita em tempo hábil; ética, ou seja, de maneira a respeitar os valores das pessoas envolvidas, mas num processo de negociação, de entendimento; e precisa, o que significa, ser bem feita, com cuidado, com procedimentos adequados.”35 Nos Tribunais de Contas Estaduais também são encontrados alguns trabalhos voltados para a ótica da avaliação de resultados. No TCE/RJ, por exemplo, “esse tipo de abordagem foi utilizado no exame das contas de gestão do Estado do Rio de Janeiro, exercício/99, embora a análise tenha sido prejudicada em alguns aspectos, pela falta de indicadores e medidas de desempenho que deveriam constar do Plano Plurianual, da Lei de Diretrizes Orçamentárias e da Lei de Orçamento Anual do referido exercício.”36 Adicionalmente, foi iniciado em 2002, pelo Núcleo de Estudos Socioeconômicos da Secretaria Geral de Planejamento, um estudo no sentido de divulgar indicadores municipais que auxiliassem a elaborar e executar “planos, leis de diretrizes orçamentárias e orçamentos anuais, fornecendo elementos que 35 In Revista Cesgranrio, nº1, p.14 e 15.
  41. 41. 38 podem ser utilizados na realização de avaliações, bem como contribuindo para que esses documentos, juntamente com as prestações de contas, e suas versões simplificadas, se tornem verdadeiros instrumentos da transparência da gestão, como determina a Lei de Responsabilidade Fiscal.”37 Nos demais Estados, pode-se destacar a atuação inovadora dos Tribunais de Contas da Bahia e do Paraná, cujos trabalhos no sentido de implementar e realizar auditorias de desempenho vêm crescendo significativamente. No entanto, as atuações brasileiras, nesta área, ainda são bastante pontuais, o que indica uma necessidade de buscar aprimorar a troca de experiência entre as entidades fiscalizadoras, o que possibilitará um aprimoramento das técnicas empregadas. 9. CONCLUSÕES Este trabalho pretendeu dar uma visão pragmática quanto à implantação dos novos modelos de Administração Pública. Trata-se de um esforço pioneiro no sentido de delimitar índices que sejam representativos da trajetória do Setor Público. Foi demonstrado que, mesmo sem um esforço no sentido de se construir um detalhamento adequado das metas e objetivos, ainda assim, com uma gama de indicadores gerais é possível se obter informações relevantes quanto ao caminho que determinado Estado ou Município está tomando. Este estudo faz parte de um esforço cada vez mais crescente de aumentar o processo de transparência da gestão pública. Neste caso, entende-se por transparência o reconhecimento do ponto onde estamos, para onde gostaríamos de ir, para onde podemos, efetivamente, ir, e como podemos alcançar o que é factível e como demonstrar isto à sociedade. A este esforço soma-se os três instrumentos tornados obrigatórios a partir da Constituição Federal de 1988: Plano Plurianual (PPA), a Lei de Diretrizes 36 In TCE-RJ e Análise das Contas Públicas: Avaliação de resultados e qualidade de vida,p.1 37 In Avaliação da ação dos Governos Municipais, p.9.
  42. 42. 39 Orçamentárias (LDO) e a Lei Orçamentária Anual (LOA). E acrescenta-se a Lei de Responsabilidade Fiscal (LRF) que, apesar de ter sido responsável pela criação de mecanismos de controle de receitas, despesas e endividamento, não deve servir como único balizador da gestão, e não deve esgotar esforços neste sentido. O modelo de gestão atualmente requerido pela Nova Administração Pública transcende estes fatores e deve englobar todos os direitos sociais garantidos pela constituição de 1988, além de garantir o atendimento às novas demandas que possam se tornar prioritárias para a sociedade, como parece estar sendo o caso do meio-ambiente. Desta forma, o trabalho aqui apresentado deve servir de base e estímulo para a construção de novos indicadores e de um esforço no sentido de se buscar detalhar melhor as metas incluídas em cada PPA ou LOA, uma vez que uma análise mais apurada depende fortemente do estabelecimento de objetivos mais detalhados a priori. Vale destacar que todo este esforço só é possível com uma reestruturação efetiva do controle interno, que, conforme nos lembra o trabalho do TCE-RJ (2001), deve contemplar não apenas a mensuração física da gestão e dos programas de governo, mas também deve ser capaz de estabelecer relações pertinentes com emprego dos recursos, de forma que se possa avaliar o progresso alcançado na consecução dos objetivos da política e das metas dos programas de trabalho. Estas medidas representariam um auxílio significativo na tarefa de reorientação de planos e programas, e ajudariam administração a adaptar tais planos e programas à situação econômico-social vigente, além de destinarem-se à implementação da avaliação quanto à eficiência relativa. Mais objetivamente, segundo MESQUITA (2001), podemos pensar que o investimento tanto no controle interno quanto no controle social não podem ser negligenciados devido às sanções legais impostas com a aprovação de Lei de Responsabilidade Fiscal. Um fator que não fez parte do escopo deste estudo, mas também de extrema importância, é que se busque ampliar a análise para os custos de oportunidade.
  43. 43. 40 Um exemplo disso é avaliar se os recursos abdicados trouxeram benefícios acima dos custos, ou se o bem-estar poderia ter sido ampliado com a utilização de outros mecanismos de subsídio em detrimento de receitas tributárias. Só com a incorporação deste conceito será possível avaliar integralmente o atendimento, pelos gestores do setor público, dos princípios de transparência, legalidade, impessoalidade, moralidade, publicidade e eficiência, disposto no caput do artigo 37 da Constituição federal de 1988. Por fim, destaca-se o seguinte trecho do livro de Becker: “A mesma realidade pode ser descrita de um enorme número de maneiras, visto que descrições podem ser respostas para qualquer uma dentre uma multidão de questões. Podemos concordar em princípio que nossos procedimentos devem permitir chegar à mesma resposta para a mesma questão, mas, na realidade, nós só colocamos a mesma questão quando as circunstâncias da interação e da organização social produziram consenso sobre este ponto. Isto acontece quando as condições em que vivem as pessoas permitem que elas vejam certos problemas como comuns, como problemas que demandam certos tipos de representação da realidade social em base rotineira, e, assim, criam as condições para o desenvolvimento de profissões e qualificações que produzem estas representações para uso. Em conseqüência, algumas questões são colocadas e respondidas, enquanto outras, igualmente boas, interessantes e de valor, e mesmo cientificamente importantes, são ignoradas, ao menos até que a sociedade mude o bastante para que as pessoas que precisam destas respostas passem a controlar os recursos que lhes permitiriam obter uma resposta.”38 38 In Métodos de Pesquisa em Ciências Sociais, p. 151 e 152.
  44. 44. 41 10.BIBLIOGRAFIA BARZELAY, M.; “Instituições Centrais e Auditoria de Desempenho: Uma Análise Comparativa das Estratégias Organizacionais na OCDE”. BECKER, H.; “Métodos de Pesquisa em Ciências Sociais”; Segunda Edição; São Paulo; Editora Hucitec, 1994. BRASIL. FUNDAÇÃO DE AMPARO À PESQUISA DO ESTADO DO RIO DE JANEIRO; “Indicadores Sociais do Estado do Rio de Janeiro”; Fundação de Amparo à Pesquisa do Estado do Rio de Janeiro; Rio de Janeiro; 1982. BRASIL. FUNDAÇÃO CESGRANRIO; “ENSAIO: Avaliação e Políticas Públicas em Educação”; Fundação Cesgranrio; Rio de Janeiro; v.1, n.2 (jan./mar. 1994); 1994. BRASIL. TRIBUNAL DE CONTAS DA UNIÃO; “Avaliação do Programa de Saúde da Família – PSF”; Tribunal de Contas da União; Brasília: TCU, Secretaria de Fiscalização e Avaliação de Programas de Governo, 2002. BRASIL. TRIBUNAL DE CONTAS DA UNIÃO; “Avaliação do TCU sobre as ações de atendimento à pessoa idosa”; Tribunal de Contas da União; Brasília: TCU, Secretaria de Fiscalização e Avaliação de Programas de Governo, 2002. BRASIL. TRIBUNAL DE CONTAS DA UNIÃO; “Avaliação do TCU sobre as ações de detecção e correção de problemas visuais”; Tribunal de Contas da União; Brasília: TCU, Secretaria de Fiscalização e Avaliação de Programas de Governo, 2002. BRASIL. TRIBUNAL DE CONTAS DA UNIÃO; “Avaliação do TCU sobre o Programa de Erradicação do Trabalho Infantil”; Tribunal de Contas da União; Brasília: TCU, Secretaria de Fiscalização e Avaliação de Programas de Governo, 2002. BRASIL. TRIBUNAL DE CONTAS DA UNIÃO; “Avaliação do TCU sobre o Programa Irrigação e Drenagem”; Tribunal de Contas da União; Brasília: TCU, Secretaria de Fiscalização e Avaliação de Programas de Governo, 2002. BRASIL. TRIBUNAL DE CONTAS DA UNIÃO; “Manual de Auditoria de Natureza Operacional”; Tribunal de Contas da União; Brasília: TCU, Coordenadoria de Fiscalização e Controle, 2000. BRASIL. TRIBUNAL DE CONTAS DO ESTADO DO RIO DE JANEIRO; “TCE-RJ e Análise das Contas Públicas: Avaliação de Resultados e Qualidade de Vida”; Tribunal de Contas do Estado do Rio de Janeiro; Cuiabá; TCE-RJ, gabinete Conselheiro Nader, 2001.
  45. 45. 42 BRASIL. TRIBUNAL DE CONTAS DO ESTADO DO RIO DE JANEIRO; “Tópicos Gerais dos Estudos Sócio-econômicos de Municípios: 1997-2001”; Tribunal de Contas do Estado do Rio de Janeiro; Rio de Janeiro: TCE-RJ, Secretaria Geral de Planejamento; Mimeo. CARLEY, M.; “Indicadores Sociais: Teoria e Prática”; Zahar Editores; Rio de Janeiro; 1985. CRUZ, F.; “Auditoria Governamental”; Ed. Atlas; São Paulo; 2ª edição; 2002. FILHO, A. & OLINQUEVITCH, J.L.; “Análise de Balanços para Controle Gerencial: Enfoque sobre o fluxo de caixa e previsão de rentabilidade”; Ed. Atlas; São Paulo; 3ª edição; 1993. FIRME, T.; “Avaliação: Tendências e Tendenciosidades”, In: ENSAIO: Avaliação e Políticas Públicas em Educação; Fundação Cesgranrio; Rio de Janeiro; v.10, n.37 (out./dez. 2002); 2002. FREITAS, C.; “Estratégias de Auditoria de Desempenho Governamental: Proposta de um Modelo Analítico”; Mimeo. FREITAS, C.; “Notas de Aula – Curso Auditoria de Desempenho”; Mimeo, FGV; Rio de Janeiro, 2003. JANNUZZI, P.; “Indicadores Sociais no Brasil”; São Paulo; editora Alínea, 2001. MORAES, A. (Org); “Constituição da República Federativa do Brasil de 5 de outubro de 1988”; Ed. Atlas; São Paulo; 20ª edição; 2ª Tiragem; 2003. MESQUITA, R., ALBUQUERQUE, G. & SENNA, E.; “Avaliação da Ação dos Governos Municipais”; TCE-RJ; Rio de Janeiro. Mimeo MESQUITA, R.; “Emenda Constitucional 25: Lei de Responsabilidade Fiscal, Controle Social”; TCE-RJ; Rio de Janeiro, 2001. MESQUITA, R.; “Novo Enfoque do exame das Contas Públicas”; TCE-RJ; Rio de Janeiro. Mimeo. MESQUITA, R. & ALBUQUERQUE, G.; “Planos e Instrumentos de Planejamento – PPA, LDO e LOA – Pontos Controversos”; TCE-RJ; Rio de Janeiro. Mimeo. MUCCHIELLI, A.; “Les Méthodes Qualitatives”; Presses Universitaires de France; Paris; 1ª edição; 1991. PRAZERES, P.; “Dicionário de Termos da Qualidade”; Editora Atlas; São Paulo; 1996. REVISTA CESGRANRIO, nº1, out/1997
  46. 46. 43 SANDRONI, P.; “Dicionário de Economia”. São Paulo: Editora Best Seller; 1985. SANTOS, O., RINGENBERG, D. & BERTOLOTTO, Z.; “Eficiência, Eficácia e Efetividade: Diretrizes a Nortear os Tribunais de Contas Diante da Lei de Responsabilidade Fiscal”; TCE-SC; Cuiabá; 2001. SODERSTROM, E.; “Social Impact Assessment: Experimental Methods and Approaches”; Praeger Publishers; USA; 1981. TEIXEIRA, R.; “O Tribunal de Contas do Estado do Espírito Santo e a Auditoria de Desempenho”; Dissertação de Mestrado, FGV; Rio de Janeiro; 2001. WERNECK, V.; “A Velha e a Nova Questão de Avaliação”; In: ENSAIO: Avaliação e Políticas Públicas em Educação; Fundação Cesgranrio; Rio de Janeiro; v.4, n.13 (out./dez. 1996); 1996. GOMES, R.; “Análise do Desempenho de Organizações Públicas Municipais”; ENANPAD, 1997. Mimeo. www.kplus.com.br

×