1.
CADERNOS DE POL;ITICAS SOCIAIS
SÉRIE DOCUMENTOS PARA DISCUSSÃO
NÚMERO 10
FERRAMENTAS PARA O MONITORAMENTO
E AVALIAÇÃO DE PROGRAMAS E PROJETOS
SOCIAIS
Manuel Rojas Buvinich (1)
CSD 10
Outubro de 1999
Oficial de Políticas Sociais e Avaliação do Unicef Brasil mrbuvinich@unicef.org.br
Edição e revisão de texto: Freda Burger e Neisse Dobbin
As opiniões contidas no presente documento são da exclusiva responsabilidade do autor,
podendo ou não coincidir com as do Unicef

2.
2
SUMÁRIO DE CONTEÚDOS
1. Introdução……………………………………………………………………….……….Pag. 4
2. Sistemas de Monitoramento e Avaliação: Necessidade Crescente e a Prática
Atual………………………………………………………………………………..………..Pag. 5
3. Monitoramento e Avaliação: Conceitos, Funções e Diferenças /
Complementariedades……………………………………………………………..……….Pag. 7
3.1. A Gestão por Objetivos e por Processos………………………………….….Pag. 8
3.2. A Hierarquia Lógica de Análise……………………………………………..Pag. 10
3.2.1. Fornecendo os Insumos ou Meios…………………………..……..Pag. 14
3.2.2. Combinando os Meios para a Obtenção do (s) resultados(s) o
produto(s)……………………………………………………………….…Pag. 14
3.2.3. Os Efeitos e o Impacto……………………………………………..Pag. 14
3.3. Monitoramento e Avaliação…………………………………………………Pag. 18
3.4.Diferenças e Complementariedade entre Monitoramento e
Avaliação…………………………………………………………………………..Pag. 22
4. Relação entre Objetivos, Metas e Indicadores para Monitoramento e
Avaliação…………………………………………………………………………………..Pag. 26
4.1. Objetivos…………………………………………………………….………..Pag. 26
4.2. Metas e Indicadores…………………………………………………………..Pag. 28
4.2.1. Tipos e Características dos Indicadores…………………………..Pag. 28
5. Fontes e Métodos de Coleta de Informação para M&A……………………………..Pag. 30
6. Análises e Monitoramento e Avaliação de custos…………………………..………..Pag. 42
6.1. Análise Custo-Efetividade…………………………………………….……..Pag. 42

3.
6.2. Análise de Custo-Eficiência……………………………………….………..Pag. 44 3
6.3. Análise Custo-Beneficio……………………………………………….……..Pag. 45
6.4. Passos para Efetuar uma Análise Custo-Efetividade e ACB……….……..Pag. 46
7. O Uso e Comunicação dos Resultados da Avaliação………………………...……..Pag. 47
7.1. Uso dos Resultados………………………………………………….………..Pag. 47
7.2. Comunicação dos resultados………………………………….……………..Pag. 49
8. As Etapas para a Implementação de um Sistema de M&A……………………..…..Pag. 52
Anexo 1 - GLOSSÁRIO DE TERMOS USADOS EM MONITORAMENTO E
AVALIAÇÃO……………………………………………………………………………..Pag. 56
Anexo 2 - A METODOLOGIA DO MARCO LÓGICO DE ANÁLISE (MML)….....Pag. 65
Anexo 3 - BIBLIOGRAFIA E INTERNET SITES DE MONITORAMENTO E
AVALIAÇÃO……………………………………………………………………………..Pag. 80

4.
1. INTRODUÇÃO
O limitado sucesso, a escassez de recursos e, na maioria das vezes, o desconhecimento
dos efeitos e impacto produzidos pelos investimentos realizados em programas e projetos de
desenvolvimento social nas últimas décadas, tem provocado um interesse crescente entre
governos, organizações não governamentais (ONGs) e, principalmente, agências internacionais
de cooperação e países doadores, pela inclusão de sistemas de Monitoramento e Avaliação
(M&A) para apoiar o gerenciamento e a formulação das políticas sociais.
Existe uma ampla gama de abordagens, métodos e modelos analíticos que, sem dúvida,
podem confundir os que se iniciam no campo do Monitoramento e Avaliação de programas e
projetos sociais. Nesta documento são explicados esses conceitos de forma aplicada e são
estabelecidas algumas diretrizes para facilitar o desenho e a operacionalização de sistemas de
M&A. A abordagem conceitual utilizada representa o consenso alcançado na última década
pelas instituições multilaterais de cooperação, particularmente o Banco Mundial, o Banco
Interamericano de Desenvolvimento e as agências do sistema das Nações Unidas. A aplicação
desses conceitos no desenho e operacionalização de sistemas de M&A recolhe as experiências e
lições aprendidas pelo autor em diversos cursos de treinamento, consultorias de avaliação para
instituições governamentais e agências de desenvolvimento e, principalmente, na coordenação e
condução de um significativo número de avaliações de projetos e programas na América Latina
e, particularmente, no Brasil.
Na primeira parte do documento são apresentadas as principais razões da crescente
importância que governos, organizações não governamentais, agências internacionais e grupos
da sociedade civil vêm dando às atividades de M&A na formulação e implementação das
políticas sociais. Também é apresentada uma reflexão sobre a atual prática de M&A das
organizações governamentais e ONGs que implementam políticas públicas.
O marco conceitual básico que permite definir e mostrar as diferenças entre
Monitoramento e Avaliação é discutido na segunda parte. Aqui também são assinaladas as
principais diferenças entre M&A e os diferentes tipos e momentos da avaliação.
Na terceira parte são definidos os diferentes tipos de indicadores utilizados em sistemas
de M&A mostra e também é discutida a importância do estabelecimento de metas e as
características dos bons indicadores.
Na quarta parte apresentam-se as principais fontes e métodos de coleta de informação
utilizados para constituir os diferentes tipos de indicadores. O monitoramento de custos e as
análises custo-efetividade, custo-eficiência e custo-beneficio são apresentadas na sexta parte do
documento.
Na sétima parte discute-se como a informação e os indicadores gerados pelo M&A
podem ser utilizados e comunicados para uma variedade de propósitos e por diferentes atores que
intervém, direta ou indiretamente, na formulação e implementação dos programas e projetos
sociais.

5.
Na oitava parte são apresentadas as diretrizes metodológicas para desenhar um sistema 5
de monitoramento e avaliação.
O Anexo 1 contém a metodologia do marco lógico, apresentada de forma esquemátrica,
com diagramas para fácil compreensão. Os Anexos 2 e 3 apresentam um glossário de termos
mais comumente usados em M&A e um conjunto de referências bibliográficas e sites na Internet
sobre os tópicos tratados no documento.
2. SISTEMAS DE MONITORAMENTO E AVALIAÇÃO: NECESSIDADE CRESCENTE
E A PRÁTICA ATUAL
As atividades de Monitoramento e Avaliação são disciplinas relativamente novas no
campo do desenvolvimento. Ainda que o Monitoramento seja tão antigo quanto a Administração,
a avaliação de programas começa a emergir dentro das agências das Nações Unidas e em alguns
países em desenvolvimento, a partir da década de 50. Desde então, tem havido uma evolução
lenta e descontínua. Inicialmente, os esforços de avaliação no sistema das Nações Unidas eram
limitados no conceito e escopo, restringindo-se mais à alocação e entrega de insumos e à
obtenção de produtos do que com os possíveis efeitos e impactos dos projetos de
desenvolvimento sobre a população beneficiada.
Freqüentemente, o conceito e as funções da avaliação são confundidas com as de
monitoramento e não existe um consenso quanto ao uso e significado de uma série de termos,
tais como, impacto, efeito, produtos, atividades, resultados, metas, sustentabilidade, entre outros.
Ao mesmo tempo, os termos monitoramento e avaliação (M&A) são usados numa variedade de
contextos, o que confunde e dificulta o desenho de sistemas de informação para M&A de
programas e projetos sociais. Por exemplo, o monitoramento ou a avaliação pode considerar o
nível mais amplo ou estratégico de uma macropolítica ou plano, ou o nível mais específico de
um programa, projeto ou atividade. Nesses níveis, o M&A pode focalizar tanto os aspectos
estratégicos como os institucionais relacionados com a estrutura organizacional e gerencial, ou
ainda, com a eficiência no uso dos recursos, ou a efetividade no alcance dos objetivos e metas. O
M&A ainda pode focalizar a contribuição que os recursos de uma instituição de apoio ao
desenvolvimento está conseguindo no alcance dos objetivos de uma política.
No caso particular do Brasil, a análise de indicadores para a definição de padrões de
qualidade e parâmetros de custos, desempenho, coberturas e avaliação da qualidade de
atendimento de serviços, eficiência, eficácia e efetividade das políticas sociais são uma prática
incipiente. A maior parte da experiência de avaliação tem sido dirigida para projetos de
investimento nos setores produtivos, onde os benefícios, na maioria das vezes tangíveis, podem
ser mais facilmente quantificados, e onde o mercado atua como mecanismo penalizador de
ineficiência na alocação dos recursos e ineficácia na obtenção dos resultados.
Via de regra, a grande gama de programas e projetos sociais desenhados para reduzir a
mortalidade na infância e melhorar as condições de saúde da população, da qualidade da
educação pré-escolar e fundamental, reduzir o trabalho infantil, gerar renda e oportunidades de

6.
emprego para mulheres, fortalecer a capacidade e o empowerment individual ou coletivo de 6
grupos vulneráveis, reduzir ou evitar a violência e abuso sexual de crianças, entre tantos outros,
não têm tido um monitoramento sistemático e as avaliações realizadas raramente permitem traçar
a causalidade dos resultados e tirar lições que sirvam para melhorar o gerenciamento e aprender
para o desenho de novas intervenções.
Em termos gerais e, com raras exceções, pode-se assinalar que as políticas sociais e a
maioria dos programas e projetos que fazem parte destas não recebem nenhuma avaliação.
Quando, excepcionalmente, uma é realizada, trata-se, na sua maioria, de trabalhos descritivos
com escassa análise avaliativa que permita julgar os méritos de uma determinada intervenção e
tirar lições para ajustar e/ou reorientar os programas em andamento, ou melhorar o desenho de
futuras iniciativas. Em outros casos, as avaliações são desenvolvidas com metodologias
sofisticadas e um enfoque eminentemente acadêmico, fazendo com que, além da demora na
obtenção dos resultados, os mesmos sejam de pouca utilidade para orientar propostas
operacionalizáveis na definição de estratégias e tomadas de decisão. Geralmente, nas avaliações
feitas em programas governamentais, não são enfatizados os aspectos relacionados com os
efeitos (diretos e indiretos) e o impacto das intervenções sobre a população beneficiária, nem o
grau de sustentabilidade das mesmas. Na maioria dos programas implementados pelo governo,
não existe um mecanismo regulador que indique em que momento determinadas atividades,
embora eficientes no uso de recursos, têm deixado de ser eficazes no alcance dos objetivos.
O mais comum é mostrar os recursos implementados e as coberturas alcançadas, com
explicações ad hoc sobre as discrepâncias encontradas entre o programado (quando existe uma
boa programação) e o realizado. O monitoramento efetuado é do tipo mais financeiro,
tradicionalmente orientado para a prestações de contas e auditoria, e não para gerenciamento. Os
relatórios financeiros que mostram as despesas programadas e realizadas por rubrica de despesa
pouco ajudam para o gerenciamento, já que esse tipo de classificação esconde os custos das
atividades e dos produtos e serviços que os programas e projetos sociais entregam para os
beneficiários. Dessa forma, o gerente não tem uma idéia clara do custo dos processos, despesas
per capita por tipo de tratamento ou procedimento, serviço, etc. Ou seja, não possuem as
estimativas de custos dos processos e dos produtos e subprodutos que esses geram.
No monitoramento tradicional também se encontra uma clara desvinculação do uso dos
recursos com os objetivos maiores ou missão da instituição. Por exemplo, a prestação de contas e
os procedimentos de licitação de um determinado programa social podem estar de acordo com as
normas jurídico-legais exigidas em lei. Entretanto, os benefícios podem ter sido apropriados por
grupos e/ou regiões não contempladas originalmente no programa.
Porém, nos últimos anos tem havido um renovado interesse, no Brasil e nos países da
América Latina e Caribe, pelas técnicas de planejamento estratégico e de monitoramento e
avaliação das políticas públicas. Esse crescente interesse obedece a uma combinação de fatores e
circunstâncias que tem a ver com: (i) a aguda crise social vivida na região, que exerce uma
intensa demanda por projetos e programas sociais para satisfação das necessidades dos grupos
mais vulneráveis; (ii) a necessidade de conhecer e aprender sobre a complexidade e dinâmica dos
programas e projetos de desenvolvimento social que, além de serem multidimensionais, são

7.
afetados por uma série de fatores fora do controle dos administradores e planejadores; (iii) o 7
limitado sucesso ou o fracasso das estratégias de desenvolvimento social, muitas vezes gerando
efeitos contrários aos esperados; (iv) a escassez de recursos disponíveis dos próprios governos,
dos países doadores e das agências de ajuda externa, para satisfazer as necessidades urgentes do
desenvolvimento social; (v) a necessidade de um planejamento e gerenciamento com maior e
melhor informação em todos os níveis para superar o conhecimento incompleto que se possui
dos efeitos e impacto das diferentes estratégias sobre os públicos-alvo; (vi) a necessidade de
alocar os recursos disponíveis com maior eficiência e eqüidade, para assegurar um maior grau de
efetividade e sustentabilidade no alcance dos objetivos das políticas sociais; (vii) a crescente
cobrança, por parte da sociedade civil, tanto nos países doadores como nos próprios países em
desenvolvimento, sobre o uso dos recursos e os resultados obtidos.
No caso do Brasil, esse último aspecto é particularmente importante devido ao
crescimento e fortalecimento que grupos da sociedade civil organizada e ONGs vêm tendo nos
processos de formulação e implementação de políticas públicas, especialmente pela capacidade
de atender e representar aqueles grupos mais marginalizados. Obviamente, esta nova fase de
participação de grupos organizados da sociedade civil e do setor privado (através de suas
fundações) se dá dentro de um meio ambiente de caráter aberto e democrático que favorece a
prática da avaliação participativa como mecanismo de controle social.
3. MONITORAMENTO E AVALIAÇÃO: CONCEITOS, FUNÇÕES E
DIFERENÇAS/COMPLEMENTARIEDADES
O monitoramento e a pesquisa avaliativa, como todo o trabalho científico, pressupõem a
obediência a um método que deve ser adaptável à natureza do objeto analisado, à conveniência
e/ou viabilidade, em termos de tempo e custos, e ao interesse mais teórico ou prático da
investigação. Na avaliação de uma política, programa ou projeto, não se dispõe de um caminho
único, ou que seja considerado o mais científico. Pelo contrário, existem diversos modelos
epistemológicos que, dependendo do tipo de problema a ser abordado, podem ser mais ou menos
adequados. Nesses modelos encontram-se as discussões sobre a objetividade do conhecimento
social e sobre os critérios de minimização da interferência da subjetividade no campo da
observação, que se refletem na escolha de métodos e procedimentos.
Não é objetivo deste documento entrar na velha discussão existente entre as diferentes
escolas de pensamento, quanto aos conceitos e diferentes métodos e técnicas da pesquisa
avaliativa. A experiência mostra que os métodos e as técnicas utilizados pelas diferentes escolas
de pensamento não são incompatíveis. Ao contrário, elas podem ser perfeitamente combinadas,
de forma complementar, dependendo dos propósitos e objetos da avaliação. Por exemplo, se há
necessidade de obter representatividade para verificar a magnitude na mudança de um
determinado indicador, o desenho amostral com base probabilística e questionários pré-codificados
é uma opção recomendada. Porém, para tentar explicar o porquê das mudanças, pode
ser necessário utilizar entrevistas de tipo mais qualitativo com informantes-chave, grupos de
discussão ou observação participante.

8.
Freqüentemente, o conceito e as funções da avaliação são confundidas com as de 8
monitoramento e não existe um consenso quanto ao uso e significado de uma série de termos,
tais como impacto, efeito, produtos, atividades, resultados, metas, sustentabilidade, entre outros.
Ao mesmo tempo, os termos monitoramento e avaliação (M&A) são usados numa
variedade de contextos, o que confunde e dificulta o desenho de sistemas de informação para
M&A de programas e projetos sociais. Por exemplo, o monitoramento ou a avaliação podem
considerar o nível mais amplo ou estratégico de uma macropolítica ou plano, ou o nível mais
específico de um programa, projeto ou atividade. Nesses níveis, M&A pode focalizar tanto os
aspectos estratégicos como os institucionais relacionados com a estrutura organizacional e
gerencial, ou ainda com a eficiência no uso dos recursos, ou a efetividade no alcance dos
objetivos e metas. Ainda, o M&A pode focalizar a contribuição que os recursos de uma
instituição de apoio ao desenvolvimento está conseguindo no alcance dos objetivos de uma
política.
3.1. A Gestão por Objetivos e por Processos
No planejamento e execução de programas e projetos de desenvolvimento social, podem
ser encontrados dois enfoques principais: a gestão por objetivos e a gestão por processos. No
primeiro, o planejamento está dirigido por
objetivos e metas que são predeterminadas,
enquanto que no segundo, o projeto ou
programa vai sendo ajustado ou corrigido no
transcurso da implementação. O modelo da
avaliação por objetivos baseia-se num enfoque
dedutivo e orientado por hipóteses que precisam
ser verificadas, enquanto que no modelo de
processos, o enfoque é eminentemente indutivo.
No modelo por objetivos o princípio
As políticas sociais (educação, saúde,
assistência, habitação, emprego, previdência e
assistência social, entre outras) se operacionalizam
através de diversos programas, projetos e atividades
que podem ser de índole setorial e/ou intersetorial e ter
uma abrangência nacional, regional, estadual,
municipal e local.
O programa é constituído por um conjunto de
projetos e atividades que compartilham estratégias e
recursos para alcançar objetivos comuns. Na prática
essas diferenças não são tão claras e erroneamente
muitos projetos são considerados programas e vice-versa.
fundamental é a formulação de hipóteses sobre
a base de uma teoria estabelecida (enfoque de
direitos ou de necessidades básicas, por
exemplo), que logo são transformadas em
objetivos. Geralmente essas hipóteses são
mapeadas numa árvore de problemas e de
conseqüências, a qual é transformada numa árvore de objetivos. Nesse caso, e posteriormente, a
avaliação tenta verificar o alcance dos objetivos e testar as hipóteses por trás dos objetivos.
Por sua vez, entende-se como projeto o conjunto
de atividades programadas para alcançar um ou mais
objetivos, dentro de um prazo e orçamento
determinados.
Uma vantagem desse enfoque é que toma como base o conhecimento e a experiência
existentes, o que facilita o M&A, principalmente na seleção de indicadores e fontes de
informação, e nas possibilidades de sua interpretação. A principal crítica a esse enfoque é que a
delimitação dos problemas e objetivos pode direcionar muito a avaliação, com o perigo de que
não sejam considerados os aspectos ou efeitos não previstos (efeitos secundários e outras
externalidades), que geralmente surgem na implementação de programas e projetos sociais.

9.
Devido à complexidade e dinâmica dos programas sociais, a maioria dos projetos e programas 9
não possuem uma adequada definição dos objetivos e das metas esperadas, nem uma análise de
situação com suficiente informação que permita traçar a situação “antes” do início do projeto.
Isto, sem dúvida, faz com que esse enfoque possua sérias limitações práticas. Porém, nada
impede que o estabelecimento de objetivos e metas seja refinado, na medida em que a gerência e
os atores envolvidos no projeto ou programa tenham um maior conhecimento sobre a dinâmica e
rumo da iniciativa.
Ao contrário, o modelo de processos não estabelece um conjunto de hipóteses
transformadas em objetivos. Nesse caso, a avaliação começa com uma atitude aberta e
interrogante, onde as questões e os temas de análise vão surgindo sucessivamente e aumentando
o conhecimento e/ou explicação sobre os fatos relacionados com a intervenção. Esse modelo,
freqüentemente utilizado por antropólogos sociais, é muitas vezes o único meio para conseguir
um conhecimento mais aprofundado dos temas que vêm sendo avaliados. Aplica-se quando é
escasso ou não existe conhecimento sobre o fato que vem sendo avaliado. Esse enfoque é
demorado e tem como principal desvantagem os desvios subjetivos que o processo e os
resultados da avaliação podem tomar.
O gráfico abaixo ajuda na interpretação dos dois enfoques e mostra a necessidade da sua
complementação. Nele observa-se que a combinação de processos e metas é a melhor alternativa
para alcançar a situação do quadrante C (por exemplo, erradicação do trabalho infantil). Ou seja,
não adianta alcançar a meta de erradicar o trabalho infantil se não se desenvolvem processos
(fortalecimento institucional, por exemplo) que permitam garantir certa sustentabilidade dessa
meta. Tampouco adianta desenvolver ou ficar somente em processos que não levem ao alcance
de certas metas ou resultados. Ou seja, tanto no planejamento como na gestão e avaliação tem
que existir um certo equilíbrio entre esses enfoques. Daí surge a recomendação da necessidade
de trabalhar com objetivos e metas que podem ir sendo redefinidos/ajustados, na medida em que
novo conhecimento vai sendo incorporado, através da implementação. Isso permite assegurar
um certo grau de flexibilidade, tanto na gestão (estratégica) como na avaliação de eventos e
efeitos não previstos.

10.
1 0
Metas e Processos
A C
B D
Metas
Bom
Ruim
Ruim Bom
Processos
Gestão por Metas Gestão por Processos
-Parte de hipótese/paradigmas/objetivos -Não se estabelecem hipóteses
-Considera o conhecimento acumulado -É indutivo
-Os problemas e as causas estão delimit. -Conhecimento em profundidade
-Os obj. e as metas estão mal definidos -Pode ser subjetivo
-Efeitos não esperados/sustentabilidade -Prolongamento sem resultados
Maior aprofundamento desta questão é encontrado em Sulbrandt (1994), que faz uma
crítica aos modelos tradicionais de avaliação e propõe uma abordagem (avaliação global) que
trata de integrar os enfoques de metas e de processos, onde se incorporam os atores afetados
pelos programas e se utilizam os diferentes tipos de dados (qualitativo e quantitativo) e fontes e
métodos de coleta de informação.
3.2. A Hierarquia Lógica de Análise
O entendimento dos conceitos de M&A e a sua inter-relação de forma integrada podem
ser bem explicados através do marco lógico de análise (MLA), ferramenta que auxilia o
planejamento e que foi proposta inicialmente pela Agência dos Estados Unidos para o
Desenvolvimento (USAID) em 1970 e logo utilizada e adaptada pela Agência Alemã de
Cooperação (GTZ) para exercícios de planejamento participativo em países em
desenvolvimento. Atualmente o MLA é utilizado pelas agências bilaterais e multilaterais de
cooperação, tais como as do sistema das Nações Unidas, Banco Mundial (BIRD), Banco
Interamericano de Desenvolvimento (BID), Banco Asiático e Africano de Desenvolvimento e as

11.
Agências de Cooperação dos Governos Danês, Britânico, Belga e Norueguês, entre muitas 1 1
outras instituições e agências de cooperação internacional1.
O MLA (ou logframe), com suas categorias de classificação, ajuda nas fases de
planejamento e formulação de um projeto ou programa, facilitando a programação de atividades
e recursos e o desenho e a operacionalização dos sistemas de monitoramento e avaliação
(M&A). Como mostra o Diagrama 1, o MLA possui uma hierarquia lógica que considera que os
objetivos de um projeto ou programa são alcançados através de uma seqüência ou hierarquia
lógica no tempo, isto é, o alcance de um objetivo imediato conduzindo à consecução de um
objetivo intermediário que, por sua vez, levará ao alcance do objetivo de desenvolvimento ou de
mais longo prazo.
Ou seja, o primeiro passo dentro do MLA é ter um consenso entre os que participam do
projeto ou programa quanto aos problemas a serem abordados e a situação melhorada que se
quer conseguir. Isto fará possível chegar a um consenso quanto aos objetivos específico e geral
ou mais global do projeto. Portanto, no MLA é importante descrever a situação futura desejada,
para que seja possível posteriormente verificar qual é o grau de alcance desses objetivos nos
grupos-alvo.
No enfoque de MLA considera-se que a execução de um projeto é a consequência de um
conjunto de fatos com uma relação causal interna. Esses níveis são os insumos, as atividades, os
resultados ou produtos, os objetivos específicos e o global que se encontram interrelacionados,
onde cada nível será alcançado na medida em que certas hipótese foram cumpridas.
O grau de certeza na implementação das atividades e dos resultados é bastante elevado, já
que depende, em grande medida, do controle gerencial do projeto; porém, este grau diminui nos
níveis superiores, onde há mais incertezas ou fatores externos que escapam ao controle interno
do projeto ou programa. Cada nível desta hierarquia tem que ser verificável através de
indicadores que são constituídos, tendo uma ou mais fontes de informação (ou meio de
verificação). O diagrama abaixo mostra a interação entre os diferentes níveis e na tabela 1
observa-se, o modelo clássico de MLA resumido num exemplo em formato matricial.
1 No anexo 2, a metodologia do marco lógico de análise é apresentada em forma esquematizada. Este anexo foi
baseado na tradução e adaptação do material produzido pela OIT-Programa DelNet. Programa a Distancia de
Formación, Asistencia Técnica, información y Trabajo en Red en apoyo al Desarrollo Local. Turin 1999.

12.
Objetivo
Específico
Resultados
Atividades
Insumos
Diagrama 1. Elementos e Inter-relação do MLA
Fatores
Externos
Fatores
Externos
Fatores
Externos
Pre-condições
Objetivo
Global
Fatores
Externos
O alcance do objetivo específico
levará, no mais longo prazo, a contri-buir
na consecussão do objetivo global
Obtendo-se a resultados se alcançará
o objetivo específico
Se as atividades se implementam se
obterão os resultados
Se os insumos estão disponíveis, as
atividades se implementarão

13.
Tabela 1. EXEMPLO DE MARCO LÓGICO DE ANÁLISE
Hierarquia
Vertical
deObjetivos
Metas e
Indicadores
Meios de
Verificação
Pressupostos
Global:
Melhorar a
Saúde
Reproductiva
na Estado de
Ceará
-Taxa de
mortalidade
materna
reduzida em
20% até
Dezembro
31, 2002
-Taxa de
Morbilidade
materna
reduzida em
20% até
Dezembro 31,
2002
-Taxa de
mortalidade
infantil
reduzida em
15% até
Dezembro 31,
2002
- Casos de
DST/HIV/AI
DS
reduzida em
10% até
Dezembro 31,
2002
Registros da
Secretaria de
Saúde do
Estado
- As altas taxas de
mortalidade, morbilidade e
fertilidade devem-se à
falta de conhecimento e/ou
acesso a serviços de
qualidade.
- Espera-se que o Governo
estadual e os governos
municipais apoiarão os
programas e que os
recursos serão aprovados e
disponíveis.
- A estabilidade política e
econômica continuará

14.
3.2.1. Fornecendo os Insumos ou Meios 1 4
O primeiro passo nesta seqüência ou objetivo imediato de qualquer projeto ou programa
de desenvolvimento social é fornecer os insumos ou meios, que são os recursos físicos,
financeiros e humanos requeridos para realizar determinadas atividades. Estes insumos são
implementados dentro de uma estrutura organizacional e administrativa que varia de acordo com
cada instituição ou entidade implementadora (ONGs, Ogs, empresas). No caso de programas
regulares, este é um processo contínuo, condicionado à programação anual de recursos.
Por exemplo, num programa de imunização os recursos materiais estão representados
pelas vacinas, disponibilidade de transporte, cadeias de frio para conservação das vacinas,
seringas, etc. Já os médicos, enfermeiras, auxiliares e motoristas representam os recursos
humanos disponíveis para o programa. Num projeto de erradicação dos meninos em situação de
rua, os recursos humanos são os monitores de rua, educadores, psicólogos, nutricionistas,
auxiliares administrativos, etc.
3.2.2. Combinando os Meios para a Obtenção do (s) Resultados(s) ou Produto(s)
Como foi observado no Diagrama 1, para que seja possível alcançar os objetivos do
programa ou projeto, o segundo passo é combinar os meios ou recursos humanos, materiais e
financeiros, através de atividades e subatividades para a obtenção de determinado(s) produto(s)
ou resultados. Ou seja, as atividades (e subatividades) seriam equivalentes a processos (e
subprocessos) produtivos, em que se combinam insumos em determinadas proporções (por uma
determinada tecnologia) para a obtenção dos produtos ou resultados. Por exemplo, em um
programa de imunização e de alimentação emergencial os produtos podem estar representados
pelas crianças e mães vacinadas, as cestas de alimentos, os litros de leite e os quilos de pão
distribuídos.
Se considerarmos que o resultado ou produto que queremos alcançar é a vacinação de um
determinado número de crianças em determinado período de tempo e área geográfica, temos
que implementar determinadas atividades que permitirão alcançar este produto.
Via de regra, para alcançar cada um dos produtos da intervenção é necessário
implementar mais de uma atividade. O importante é não confundir atividade com produto. Na
prática de programação é a partir da definição dos produtos que se identificam as atividades que
serão implementadas e dai os recursos necessários.
3.2.3. Os Efeitos e o Impacto
Supõe-se, então, que, a partir da consecussão dos resultados, ocorrerão efeitos
específicos que podem ser considerados como os objetivos mais imediatos do projeto ou
programa. No exemplo anterior, o que se procura com a implementação das atividades e a

15.
vacinação das crianças é uma redução no número de óbitos devido à incidência do sarampo, 1 5
doença imuno-prevenível. No caso de um programa de alimentação emergencial, a partir da
distribuição de cestas alimentares e pão e leite, pode-se esperar uma série de efeitos específicos
sobre a população de famílias carentes, tais como a melhoria da condição nutricional das
crianças e da família em geral, o aumento da renda não-monetária da família, a diminuição das
diarréias e da mortalidade infantil, entre outros. A maior cobertura de abastecimento de água
conseguida por um programa de saneamento básico pode trazer como efeito imediato uma menor
incidência de doenças de origem hídrica e maior tempo para as as mães, que geralmente tem a
função de carregar a água, se dedicarem ao lazer ou a outras atividades produtivas. Da mesma
forma, um programa de aplicação de medidas sócioeducativas e de orientação de famílias com
crianças infratoras pode resultar na reintegração das crianças ao seio da família e um retorno à
escola. Embora a relação entre os recursos necessários à obtenção dos produtos possa ser
conhecida ou mais fácil de estimar, as relações entre os produtos e os efeitos mais imediatos e o
impacto desejados são difíceis e, às vezes, impossíveis de prever. Em alguns casos, é comum que
existam vários programas atuando na mesma área geográfica e beneficiando as mesmas
populações. Em outras ocasiões, há uma série fatores fora de controle do programa ou projeto
(eventos políticos, mudanças em preços relativos, etc.) e elementos de incerteza ou situações
emergenciais, como a seca no Nordeste, que interagem de forma dinâmica com o programa.
Em programas ou projetos
Os efeitos secundários, muitas vezes não previstos
ou não considerados nas avaliações, podem ser mais
importantes que os efeitos diretos ou imediatos.
Dependendo do projeto ou programa os efeitos
secundários podem ser de diferente índole
(econômico, ambiental, cultural, demográfico, etc).
por exemplo, a maior renda percebidas por famílias
beneficiadas por um programa de profissionalização
pode gerar renda e emprego em outros setores ao
induzir uma produção adicional de bens de
consumo. Um programa emergencial de distribuição
de cestas básicas pode induzir a aumentos na
atividade processadora local ou de outros estados (se
a fonte de produção está for a do estado em que se
implementa o programa). Outras externalidades de
tipo econômico podem ser a instalação de novas
empresas, agências de serviços, incrementos da
atividade da construção, comércio, etc.
multisetoriais com vários componentes não é
sempre possível separar esses efeitos
específicos. Os diferentes resultados que
estão sendo gerados pelas diversas
atividades do programa, e os efeitos
imediatos, provocam ou induzem efeitos
mais amplos, que podem ser classificados
como efeitos secundários ou indiretos.
Estes efeitos secundários podem afetar
positiva ou negativamente a população
beneficiaria e também afetar outras regiões
e grupos. Por exemplo, no caso de um
programa de cestas familiares e distribuição
de pão e leite para famílias carentes
implementado no Estado de Goiás, gerou-se
uma demanda por maior produção local,
induzindo a implantação de mini-usinas de leite e o aumento da capacidade de produção das
padarias existentes. A criação dessas mini-usinas e da capacidade das padarias também levou à
criação de maior número de empregos e renda em setores e grupos não diretamente beneficiados
pelo programa. Por outro lado, houve evidências de que a oferta de cestas alimentares para as
famílias carentes resultou numa menor atividade do comércio local onde as famílias pobres
residiam.
O conjunto dos efeitos acima caracterizados levaria, a médio e longo prazos, a conformar
o impacto do programa ou projeto, o qual pode ser definido como:

16.
1 6

17.
17
HIERARQUIA NO ALCANCE DE OBJETIVOS
Análisede Situação
(problemas, causas, alternat)
Objetivos
imediatos
Objetivode
Desenvolvimento
INPUTS
Recursos
físicos, fi-nanceiros
ehumanos
organizados
em função
de objetivos.
Dentro de
umaestru-tura
organi-zacional
ad-ministrativa
Atividades/
tarefas
Produtos/
Resultados
Efeitos
diretos IMPACTO
Efeitos
Secundários
Fatores fora de controle doprograma/projeto. Pressupostos
T..n
"O resultado total final, levando-se em consideração os efeitos diretos e indiretos onde se
consideram os efeitos de difusão e a imitação que produzem mudanças na comunidade como
um todo" (Casley e Lury 1982).
É importante então ressaltar que o impacto não é somente função do projeto ou
programa, mas de uma série de outras variáveis sobre as quais a gerência não tem maior
influência. O Diagrama 2 mostra a interrelação entre as categorias de insumos, atividades,
produtos, efeitos (diretos e indiretos) e impacto num programa ou projeto. Já no Diagrama 3
observam-se estas categorias num programa multisetorial.

18.
1 8
DIAGRAMA 2
Diagrama 3
Hierarquia Lógica no Alcance dos Objetivos de um
Programa Multisetorial

19.
19
Efeitos de
Interação
Efeitos
Específicos
Im
Ef
Espe
Fato
res

20.
2 0
3. 3. Monitoramento e Avaliação
Inicialmente, deve ser observado que, embora o monitoramento e a avaliação estejam
intimamente relacionados, são atividades diferentes. A palavra monitoramento é de origem latina
“monere”, que significa alerta. Na língua inglesa transformou-se em monitoring, com o mesmo
significado. Em português tem-se traduzido como monitoria ou monitoramento e usada como
sinônimo de vigilância, acompanhamento, seguimento ou supervisão. O consenso alcançado
pelas diferentes agências de cooperação se expressa abaixo.
MONITORAMENTO envolve a coleta de informação sobre insumos, produtos,
atividades e circunstâncias que são críticas e relevantes para a efetiva
implementação do programa ou projeto. Através dessa informação, o monitoramento
analisa e verifica, num processo contínuo, se os recursos e as atividades se estão
implementando segundo o programado e se as metas sobre os resultados estão sendo
alcançadas ou não, indicando, ao mesmo tempo, as razões de sucesso e insucesso.
Em outras as palavras, o monitoramento fornece a informação e as sugestões
necessárias para que a gerência do programa verifique o progresso da
implementação, a fim de tomar as decisões cabíveis, no sentido de que as metas
programadas sejam alcançadas e/ou ajustadas.
De acordo com o anterior, o monitoramento se iniciaria juntamente com a etapa de
implementação do programa e teria a função de prover informação e alertar à gerência.
Já a avaliação é um juízo que se faz sobre o valor ou mérito do programa. Este juízo
pode ser feito com relação a uma pessoa, a um produto, a uma organização ou a qualquer outro
objeto que se queira avaliar. Porém, para efetuar estes juízos de valor ou de mérito, é necessário
que se estabeleçam critérios ou padrões a partir dos quais seja possível, por parte dos atores
interessados, efetuar avaliações mais objetivas sobre o objeto ou pessoa em questão. O consenso
existente quanto à avaliação de programas e projetos sociais é que estes critérios devem estar
orientados para verificar e analisar a pertinência ou relevância da intervenção, a sua eficácia (ou
efetividade) no alcance dos objetivos e metas (efeitos), a eficiência (econômica e financeira), o
impacto gerado e a sustentabilidade. Para cada um destes focos da avaliação existe uma
variedade de metodologias e formas de coleta de informação que dependem, em grande medida,
da natureza do problema abordado, das estratégias e tecnologias de intervenção, dos recursos

21.
disponíveis e das populações-alvo e atores envolvidos. Abaixo temos uma definição de 2 1
consenso que inclui os aspectos acima assinalados.
A AVALIAÇÃO é um processo conduzido antes (fala-se de avaliação ex-ante),
durante e/ou depois da implementação do projeto ou programa, onde se efetua um
juízo sobre seu valor ou mérito considerando: a relevância dos objetivos e
estratégias, a eficácia (ou efetividade) no alcance dos objetivos e metas esperados,
a eficiência no uso de recursos, o impacto e a sustentabilidade da intervenção.
Dessa forma, a avaliação trata de: (i) examinar novamente, com juízo crítico e face
às mudanças subseqüentes, a justificação lógica do programa em termos da
adequação dos seus objetivos e estratégias (relevância) para superar as limitações
identificadas; (ii) comparar a consecução das metas reais com as estabelecidas,
identificando as razões de sucesso e insucesso; (iii) verificar a eficiência dos
procedimentos utilizados na execução do programa e da qualidade do desempenho
gerencial; (iv) determinar a eficiência econômica do programa; (v) determinar e
traçar a causalidade dos efeitos e impacto do programa e, (vi) identificar as lições
aprendidas e propor recomendações, de modo a reforçar os acertos e/ou, se
necessário, ajustar, reorientar e modificar objetivos, metas, arranjos
organizacionais e recursos.
Se a avaliação é feita durante a implementação, denomina-se "avaliação durante ou
em processo (on-going)", permitindo que os ajustes se efetuem durante a implementação.
Quando a avaliação é feita após a implantação do programa ou projeto, denomina-se
"avaliação terminal", e tem como principal propósito fornecer informações a
administradores, planejadores e tomadores de decisão para a estruturação de futuras políticas,
programas e projetos. Se a avaliação é realizada num ponto do tempo, dois ou três anos após a
implantação do projeto, fala-se em ”avaliação de médio termo”. Quando a avaliação é feita
depois de vários anos de terminada a intervenção, denomina-se “avaliação ex-post”.
O maior problema que se apresenta na avaliação dos efeitos e impactos de um projeto é
a separação entre as mudanças induzidas por ele e aquelas causadas por uma série de fatores
totalmente fora do controle da gerência do programa, tais como as alterações bruscas na política
do setor e as mudanças na política macroeconômica, que podem afetar as relações dos preços
relativos dos insumos e produtos, assim como as mudanças políticas ou de lideranças, a
superposição de outros projetos/programas, etc. No Diagrama 4 podem ser observadas as
atividades de monitoramento e avaliação no contexto do ciclo do projeto e no Diagrama 5,
registra-se um resumo dos principais conceitos analisados nesta seção.

22.
2 2
DIAGRAMA 4

23.
DIAGRAMA 5
3.4. Diferenças e Complementariedade entre Monitoramento e Avaliação
Embora o monitoramento e a avaliação sejam atividades interrelacionadas, elas são
diferentes. A principal articulação da avaliação com a monitoria é que a avaliação utiliza
extensivamente os dados gerados pelo sistema de monitoramento. Além dessa informação, a
avaliação utiliza diversas fontes de dados, visando estabelecer a causalidade dos efeitos
induzidos pelo projeto. Sem um bom monitoramento ou registro das informações sobre
recursos, atividades, produtos e ocorrências na implementação é muito dificil efetuar uma boa
avaliação.
No Diagrama 6 e Tabela 2 observam-se as principais diferenças e complementariedades
entre M&A.

24.
MONITORAMENTO
24
- Processo sistemático que se ini
realiza junto com a implementa
um projecto ou programa
- Coleta, sistematiza e analisa
informação:
- Sobre o avanço (P/I) no uso do
recursos financeiros, humanos
materiais

25.
DIAGRAMA 6 2 5

26.
TABELA 2 2 6
COMPLEMENTARIEDADE ENTRE M & A
Itens Monitoramento Avaliação
Freqüencia Regular Episódico
Ação principal Acompanhamento/vigilância Apreciação, julgamento
Propósito
Melhorar eficiência,
principal
ajustar plano de trabalho
Melhorar efetividade,
impacto e programação
futura
Foco Insumos, produtos,
processos, efeitos, plano
de trabalho
Efetividade, relevância,
impacto, custo-
Efetividade,
Fontes de
informação
Sistemas regulares, sítios
sentinelas, observação,
relatórios progresso,
apreciações
As mesmas, mais estudos e
pesquisas específicas
Realizadas por: Gerentes e coord. de
programas, comunidade
(beneficiarios),
supervisores, financiadores
Gerentes e coordenadores
de programas,
supervisores,
financiadores, avaliadores
externos, comunidade
(beneficiarios)
Informa a: Gerentes e coordenadores
de programas, técnicos e
comunidade (beneficiarios),
supervisores, financiadores
Gerentes e coordenadores
de programas,
supervisores,
financiadores, tomadores
de decisão, beneficiarios,
comunidade

27.
TABELA 3 2 7
RELAÇÃO ENTRE M&A
ƒ Monitoramento e avaliação são complementares
ƒ Sem o monitoramento, avaliação não pode ser bem
realizada
ƒ Monitoramento é necessário mas não é suficiente para a
avaliação. (Monitoramento facilita a avaliação, mas
avaliação utiliza informação adicional de outras fontes).
ƒ A avaliação de um programa pode levar a mudanças no
plano de trabalho do programa. Isto pode significar uma
mudança na coleta de informação para efeitos de
monitoramento.

28.
4. RELAÇÃO ENTRE OBJETIVOS, METAS E INDICADORES PARA 2 8
MONITORAMENTO E AVALIAÇÃO
4.1. Objetivos
De acordo com a hierarquia lógica de análise apresentada no capítulo 3, teriam-se os seguintes
tipos de objetivos que precisam ser considerados para fins de monitoramento e avaliação:
♦ Objetivo global, que também é denominado de geral, de desenvolvimento ou de longo
prazo. Só deve existir um objetivo global ao qual o programa ou projeto, espera-se,
contribua para seu alcance. Este deve ser definido como o estado desejado que se quer
alcançar e que, geralmente corresponde à situação contrária encontrada no início da
intervenção, ou seja, corresponde à solução do(s) problema(s) ou déficit(s) identificados.
♦ Objetivo(s) específico (s), que as vezes são chamados de propósitos, objetivos de efeitos ou
objetivos de curto prazo. Embora o Marco Lógico de Análise recomenda que se defina
somente um (01) objetivo específico por projeto, na prática isto não se cumpre e são
definidos vários objetivos específicos. O erro mais usual é que os objetivos específicos são
estabelecidos de forma muito ambígua/ampla e, na maioria das vezes, como objetivos-meio e,
não estados aos quais se quer chegar. Isto dificulta a definição de indicadores e posterior
avaliação. Por exemplo, o enunciado “fortalecer a capacidade do serviço de saúde
reprodutiva do centro de saúde x”, além de estar definido de forma ampla, é um objetivo-meio.
Ou seja, não fica claro o que significa fortalecer e, ao mesmo tempo, não permite saber
o estado a que ser quer chegar ou conseguir com este fortalecimento. Uma redação mais
recomendável seria: “melhorar a qualidade do atendimento das equipes de saúde reprodutiva
do município x”. Embora este objetivo ainda seja amplo, já que não especifica metas na sua
construção, o estado de melhoria da qualidade dos serviços que se pretende alcançar, obriga à
definição tanto de critérios ou padrões de qualidade como a indicadores para o seu
monitoramento e avaliação.
♦ Objetivos de Resultado (ou outputs), denominados simplemente de resultado ou produto
estes objetivos são comumente confundidos com os objetivos específicos e por isso é comum
que não se considerem como uma categoria. Os resultados correspondem à única categoria
que pode ser garantida pelo projeto ou programa. É a partir de uma correta definição dos
resultados que pode ser efetuada uma boa programação de atividades/subatividades e de
recursos. Ao contrário dos objetivos específicos e global, os resultados são expressos no
passado, ou seja, referindo-se ao fato de que estes tem que ser garantidos pela intervenção
(centros de saúde com pessoal capacitado no atendimento de saúde reprodutiva, escolas
construídas e devidamente equipadas, etc).
♦ As categorias de atividades/subatividades –que referem-se aos recursos necessários para
implementá-las – não são consideradas categorias de objetivos. Elas simplesmente

29.
representam processos onde se combinam recursos humanos, financeiros e materiais (que 2 9
envolvem tecnologias e estruturas administrativo-organizacionais) necessários para sua
implementação.
Na definição das categorias existe a recomendação de que estes devem ser SMART, ou
seja: specifics (específicos), measurables (mensuráveis), appropriates (apropriados), relevants
(relevantes) e time-bounded (definidos dentro de um período de tempo).
Seguindo esta recomendação - e assumindo que o objetivo é apropriado para os recursos
que se possuem e relevante para o problema ou situação que se pretende melhorar ou eliminar - a
definição de um objetivo também deveria incluir a meta que se pretende alcançar em
determinado período de tempo, além de ser específico para os grupos de beneficiários de uma
determinada área geográfica. Seguindo esta recomendação, um objetivo teria que ser redigido da
seguinte forma: “melhorar o padrão de qualidade de atendimento das equipes de saúde
reprodutiva do município x do nível 5 para 8 no período de um ano”.
Neste caso pode-se notar que o objetivo é construído com metas embutidas dentro dele.
Embora seja mais fácil o monitoramento e avaliação de um objetivo construído desta forma, na
maioria das vezes não é possível defini-lo com esta precisão. A ausência de informação sobre a
situação inicial (linha de base) impede formular objetivos com metas na sua definição. Por
exemplo, o Plano Avança Brasil definiu uma série de objetivos e indicadores para o seu M&A,
porém sem metas embutidas, devido ao desconhecimento das situações iniciais a partir das quais
se definiu a intervenção.
Há também várias críticas sobre a recomendação de definir objetivos com metas
especificadas e mensuráveis. A primeira crítica é com a própria terminologia de objetivos e
metas que, para a maioria das pessoas, equipes e participantes de programas e projetos, é
desconhecida e difícil de vincular no dia a dia. Segundo Michael Quinn Patton (1982), principal
crítico da abordagem de metas, a exigência de objetivos e metas leva muitas vezes a definições
fictíçias que muitas vezes não correspondem à realidade do que realmente se quer alcançar. A
recomendação deste autor é que não se deve perguntar quais os objetivos e metas do programa.
Deve-se, sim, perguntar o que se quer alcançar com o programa?, quais são as mudanças
desejadas?, quais seriam as diferenças que vai fazer o programa?. Ou seja, é através destas
perguntas que as equipes e os usuários de programas formulariam os objetivos. A segunda
recomendação é a necessidade de separar o objetivo da meta. Na maioria das vezes é possível
definir os objetivos da forma recomendada, mas as metas são praticamente impossíveis de
estabelecer. Neste caso, deve-se definir o objetivo, deixando para estabelecer metas à medida que
o programa se implemente e se tenha um melhor conhecimento da realidade e da causalidade da
intervenção.
4.2. Metas e Indicadores

30.
Muitas vezes, quando se fala de objetivos entende-se que a meta está embutida no3 0
objetivo. Outras vezes, entende-se como meta os próprios objetivos, o que leva a confundir os
conceitos e dificultar a sua operacionalização.
No Brasil , via de regra, diferencia-se estes dois termos, considerando-se a meta como a
quantificação do objetivo. Ou seja, fala-se de objetivos a serem alcançados com suas respectivas
metas (quando for possível especificá-las). Nesta perspectiva, a meta seria o estágio desejado que
o objetivo teria que alcançar num período de tempo para um grupo de beneficiários e área
geográfica. Neste sentido, a meta é um standard ou parâmetro de desempenho contra o qual o
avanço do programa é comparado e medido. Como regra, as metas devem possuir uma
magnitude (valor), referir-se a uma área geográfica e/ou população-alvo e a um período de
tempo. Os valores das metas podem ser também definidos tendo como base normas, padrões ou
critérios (seguindo o exemplo: número desejado de pacientes que devem ser atendidos pelo
serviço de saúde reprodutivo).
Os indicadores, por outro lado, são as medidas (quantitativas e/ou qualitativas) que
permitem aferir o estado ou progresso dos objetivos, metas e critérios (padrões) de um programa,
projeto ou atividade. Ou seja, permitem assinalar em que medida uma mudança ou resultado
esperado ou planejado está sendo alcançado nos diferentes níveis da hierarquia de objetivos de
um programa.
4.2.1. Tipos e Características dos Indicadores
Em geral, os indicadores de M&A são denominados indicadores de desempenho, no
sentido de que é através deles que é possível verificar (mensurar) o possível impacto, os efeitos,
os resultados ou produtos, os processos e recursos de um programa ou projeto para monitorar
e/ou avaliar se os objetivos e metas estabelecidos estão ou não sendo alcançados. A partir da
definição de indicadores é possível definir identificar as fontes de dados e fluxos de informação
requeridos para efetuar as verificações/mensurações necessárias. Ou seja, tem-se as seguintes
categorias de indicadores:
(a) Indicadores de insumos ou de recursos
Mensuram a quantidade e qualidade dos recursos fornecidos para um programa ou
projeto (ex: financiamento, recursos humanos, treinamento, equipamentos, materiais,
capacidade organizacional).
(b) Indicadores de processo ou de atividades
Mensuram as atividades implementadas no dia-a-dia do projeto/programa para a
implementação dos recursos e outros processos na tomada de decisão.

31.
3 1
Um indicador é uma medida que é utilizada para mostrar a mudanças numa condição ou situação
específica num determinado período de tempo. Os indicadores nos permitem verificar o grau de alcance
ou progresso de um programa. Por esta razão eles são instrumentos essenciais para o monitoramento e
avaliação.
- Os indicadores podem ser medidas quantitativas (p.e. distância à escola mais próxima) e qualitativas
(p.e. centro de saúde funcionando bem).
- Os indicadores devem especificar: o grupo-alvo (para quem), quantidade (quanto), qualidade (se
está bem), tempo (dentro de que período) e área geográfica (onde)
(c) Indicadores de produtos ou resultados
Mensuram a quantidade e qualidade dos bens e serviços criados ou fornecidos através do
uso dos insumos. Ou seja, permitem verificar os resultados imediatos, tais como: crianças
vacinadas, grupos constituídos e funcinando, clínicas e escolas construídas, etc.
(d) Indicadores de efeito e impacto
Mensuram a qualidade e quantidade dos resultados alcançados através do fornecimento e
uso dos bens e serviços, tais como: mudanças na qualidade de vida, redução da incidência
de doenças, incremento de renda, redução da mortalidade infantil, etc.
É importante assinalar que os indicadores de processo podem ser instrumentos poderosos
para descobrir e explicar os problemas que podem estar ocorrendo na implementação de um
programa po projeto. Neste sentido, os indicadores de processos possuem uma série de vantagens
sobre os indicadores de efeitos e impacto. Eles são mais baratos de obter e, conseqüentemente,
podem ser medidos com maior freqüência. Ao mesmo tempo, os indicadores de processo podem
refletir as mudanças mais rapidamente que os indicadores de efeitos e impacto, permitindo uma
retroalimentação mais rápida para a gerência do programa, não tendo que esperar meses ou anos
para dar um feedback para os tomadores de decisão.
Um bom indicador deve apresentar as seguintes características:
ƒ Válido: que meça o que se supõe deve ser medido;
ƒ Confiável: que seja verificável;
ƒ Relevante: aos objetivos do programa/projeto;
ƒ Sensitivo: às mudanças da situação que é observada;
ƒ Aceitável: pela população em estudo e pelos que coletam a informação;

32.
ƒ Especifico: adaptado aos objetivos do programa/projeto; 3 2
ƒ Oportuno: que possa ser constituído e reportado em tempo hábil;
ƒ Tecnicamente viável: que os dados requeridos possam ser coletados e mensuráveis (i.e., fácil
de coletar através de amostragem, disponibilidade de pessoal especializado, disponibilidade
transporte do equipamento necessário, etc), e
ƒ Custo-efetivo: que os dados requeridos possam ser coletados a um custo razoável (i.e., custos
de capital, pessoal, operacionais).
5. FONTES E MÉTODOS DE COLETA DE INFORMAÇÃO PARA M&A
No caso do monitoramento, as fontes de informação estão representadas principalmente
pelos registros e relatórios de progresso que tem que ser produzidos de forma regular para
garantir que a programação físico-financeira seja efetivamente implementada e para detectar e
corrigir desvios na programação. Via de regra, no monitoramento financeiro os relatórios estão
organizados por item de despesas dentro das categorias contábeis tradicionais, que não permitem
a possibilidade de estimar custos ou despesas por tipo de atividade ou custos por tipo de produto
e serviço oferecido. Como conseqüência, na maioria dos projetos e programas sociais não se
efetuam boas análises de eficiência, viabilidade financeira ou de custo-efetividade. Para um
gerente ou coordenador de um programa social pouco adianta saber o que foi programado e
implementado por item de despesa num determinado período, e sim como esses recursos foram
empregados nas diferentes atividades, produtos e serviços que oferece a instituição.
Com relação ao monitoramento, cabe enfatizar que um dos principais entraves para sua
operacionalização − e efetivo uso para a tomada de decisões de índole gerencial e como
fornecedor de informação básica para a avaliação − é a falta de um sistema computarizados de
gerenciamento que forneça, de forma amigável, um formato de entrada e leitura de informação
que permita ao usuário sistematizar os dados provenientes dos diferentes instrumentos e fontes
de informação, dentro de determinadas categorias conceituais para facilitar o processamento, a
geração de relatórios e análise.
Muitas vezes, as equipes ou os responsáveis pelas atividades de M&A se enfrentam, no
dia a dia, com uma enorme quantidade de dados que se encontram espalhados em planilhas,
tabelas, registros administrativo-financeiros e outros instrumentos de coleta de informação, o que
torna dificil e lentas as etapas de processamento e análise da informação para o seu uso oportuno
na tomada de decisões. Ou seja, e paradoxalmente, possui-se uma enorme quantidade de dados e,
ao mesmo tempo, pouca informação relevante para a tomada de decisão.

33.
Como já foi mencionado, a avaliação usa como insumo importante a informação gerada3 3
pelo monitoramento. Além desta informação, a avaliação também utiliza uma série de outras
fontes de dados primários e secundários. Os dados secundários geralmente provém dos diferentes
Censos (econômicos edemográfico), pesquisas anuais tais como as Pesquisas Nacionais por
Amostra de Domicílios (PNADS, IBGE), Pesquisa Médico-Sanitária, Pesquisa Municipal (esta
pesquisa, iniciada em 1999, coleta informações de todos os municípios sobre a oferta de
serviços), Pesquisa Mensal de Emprego (realizada em 6 regiões metropolitanas), e uma série de
outros levantamentos de informação, que são realizados pelos Institutos de Planejamento
Estaduais. Nesta categoria de fontes de informação cabe ressaltar os sistemas de informações
regulares dos Ministérios da Saúde e da Educação. Tanto em saúde com em educação, estes
ministérios tem feito enormes esforços para redesenhar, atualizar e melhorar a qualidade dos
dados coletados. Os sites de internet do DATASUS/RIPSA na saúde e do INEP na educação
permitem acessar informação atualizada em diferentes níveis de agregação (país, região, estado
e, em alguns casos, informação com desagregação municipal). Tabulações especiais podem ser
solicitadas ao IBGE e aos ministérios correspondentes. As agências internacionais presentes no
país também possuem sistemas de informações com indicadores relacionados com seus
respectivos mandatos. Cabe destacar os Boletins de Indicadores Sociais produzidos anualmente
pelo IBGE e UNICEF, o Relatório de Desenvolvimento Humano produzido pelo Programa das
Nações Unidas para o Desenvolvimento (PNUD) e IPEA, as estatísticas econômicas e sociais
produzidas pela Comissão Econômica para América Latina (CEPAL), os indicadores sobre
emprego da Organização Internacional do Trabalho (OIT), as estatísticas sobre alimentação e
produção alimentar da Organização das Nações Unidas para a Agricultura e Alimentação (FAO)
e o Instituto Interamericano de Cooperação para a Agricultura (IICA), os indicadores sobre o
estado de saúde da população da Organização Panamericana da Saúde (OPAS-OMS) e as
estatísticas e estudos sobre população produzidas pelo Fundo das Nações Unidas para a
População (FNUAP), entre as principais.
Além dos dados secundários e de monitoramento, a avaliação utiliza extensivamente uma
série de outros métodos para a coleta de informação. Não é objetivo deste documento analisar
detalhadamente cada método que pode ser utilizado no trabalho de avaliação. Porém, é
importante dar uma visão esquemática dos diferentes métodos, assinalando as suas principais
características e as situações em que é mais conveniente sua utilização.
Nesta direção, pode-se estabelecer uma diferenciação entre aqueles métodos mais formais
típicos da pesquisa acadêmica, que são bastante exigentes em termos de recursos e tempo, e
aqueles métodos mais simples e menos formais, que são mais rápidos e menos custosos de
realizar. As características e os prós e contras dos métodos formais são apresentados na Tabela 4.
Nas Tabelas 5 e 6 cada um dos métodos formais é analisado em termos de sua adequação e
limitação para diferente situações do trabalho avaliativo.
Na Tabela 7 apresenta-se uma caracterização dos métodos menos formais e nas Tabelas 8
a 11 uma descrição quanto a seu uso e condições requeridas. No Anexo 3 são indicadas as fontes
bibliográficas onde pode ser aprofundado o conhecimento sobre cada método2
2 Estas tabelas foram traduzidas e adaptadas de: Evaluación de Proyectos Sociales. NORAD, 1999

34.
TABELA 4 3 4
MÉTODOS FORMAIS DE COLETA DE INFORMAÇÃO PARA M&A
TIPO DESCRIÇÃO PRÓS E CONTRAS
PESQUISA FORMAL
(Censo, amostragem)
Inclui o uso de entrevistas e
questionários escritos e
orais para
Serem aplicados em várias
unidades amostrais
(pessoas, famílias,
comunidades, etc)
+ Os dados podem ser
obtidos sobre a base
de perguntas e
questões abertas e
fechadas
- A coleta de dados é
um processo exigente
em tempo e recursos
♦
OBSERVAÇÃO
PARTICIPANTE
Observação em
profundidade de um ou
alguns poucos casos
selecionados; a observação
pode ou não ser
participativa
+ Muito adequada
para compreender
processos e formular
hipóteses que serão
contrastadas
posteriormente.
+ Pode proporcionar
uma descrição
exaustiva e muito
detalhada
- Menos adequada
para a generalização.

35.
TABELA 5. CONDIÇÕES PARA A REALIZAÇÃO DA PESQUISA FORMAL (POR
AMOSTRAGEM)
É O MÉTODO MAIS ADEQUADO ‰ Quando precisa-se de uma informação
precisa, generalizável e quantitativa.
‰ Quando não é possível ou apropriado incluir
a população total.
‰ Quando a finalidade é conhecer um grau de
variação ou desvio em uma população.
‰ Quando existe a necessidade de verificar
hipóteses ou opiniões estereotipadas de
forma qualitativa.
♦
É IMPORTANTE LEVAR-SE EM
CONTA
‰ A formulação de uma pesquisa
representativa requer um fundamento sólido
de conhecimento acerca das condições
socioculturais locais.
‰ A capacitação meticulosa dos entrevistadores
é importante, a fim de reduzir o número de
erros no registro e interpretação.
‰ Os questionários devem ser previamente
revisados, para se controlar uma possível
ambigüidade, ver se as perguntas são
compreendidas da mesma forma e se cobrem
todos os aspectos que serão estudados.
‰ Deve-se ter cuidado no desenho amostral ,
para se ter certeza na inclusão de todos os
grupos relevantes e também de todos aqueles
que não são facilmente acessíveis.
‰ O critérios de seleção e tipo de amostragem,
deverão ser devidamente explicados.Assim
como qualquer limitação estatística em
relação à amostra.

36.
TABELA 6
CONDIÇÕES PARA A REALIZAÇÃO DA OBSERVAÇÃO PARTICIPANTE
É O MÉTODO MAIS ADEQUADO ‰ Para se obter uma visão mais profunda
das condições socioculturais, dos
processos e do padrões de conduta.
‰ Quando existe a necessidade de um
conhecimento de base que permita a
interpretação dos dados existentes
recolhidos por outros métodos.
‰ Para estudar efeitos e processos
imprevistos que não foram levados em
conta na formulação do projeto.
‰ Para evitar que o recolhimento de dados
influa em sua qualidade.
♦
É IMPORTANTE LEVAR-SE EM
CONTA
‰ A observação é um método que
consume muito tempo; o trabalho deve
começar de forma que os resultados
estejam disponíveis quando necessário.
‰ Desde o primeiro momento deve-se
considerar se a presença do observador
representa ou não uma fonte importante
de erro.
‰ A utilização de vários informantes e
observadores independentes pode
ajudar a corrigir uma possível
informação errônea.
‰ Deve-se reservar tempo suficiente para
discutir e interpretar os resultados.
‰ A posterior correção dos erros pode ser
feita discutindo-se os resultados com
aqueles que foram estudados; por
exemplo, por entrevistas com um grupo
focal.

37.
37
TABELA 7
CONDIÇÕES PARA A REALIZAÇÃO DOS MÉTODOS NÃO FORMAIS, MAIS
SIMPLIFICADOS COMUMENTE UTILIZADOS
MÉTODO DESCRIÇÃO PRÓS E CONTRAS
ENTREVISTAS
COM
INFORMANTES
CLAVE
Proporciona informação geral
descritiva procedente de vários
indivíduos envolvidos. Útil
para a verificação e geração de
idéias
+ Enfoque flexível e
profundo.
+ Fácil de se levar a cabo.
- Risco de apresentação e de
interpretação dos informantes
e do entrevistador por um só
ângulo.
ENTREVISTAS DE
GRUPO
Gera informação em nível local
relativa a projetos e medidas
que afetam muitas pessoas.
+ Baixo custo, eficiente.
+ Os mesmos participantes
verificam a informação.
+ Contato direto com os
afetados.
- As discussões pode ser
facilmente manipuladas por
líderes ou grupos locais.
- Os temas controvertidos são
a miúde excluídos.
ENTREVISTAS
COM GRUPO
FOCAL
Para a análise de problemas
específicos e/ou complexos;
para identificar atitudes e
prioridades em grupos menores.
+ Razoável, eficiente.
+ Estimula a geração de novas
idéias.
- Um método muito exigente
- Risco de pontos de vista
parciais por parte dos
participantes e da pessoa que
dirige.
OBSERVAÇÃO
DIRETA
Implica inspeção, visitas de
campo, observação para
compreender processos, infra-estrutura
e serviços e sua
utilização.
+ Adequado para
proporcionar visões mais
profundas.
+ Método simples, que requer
escassa preparação prévia.
- Depende da compreensão e
interpretação do observador.
PESQUISA
INFORMAIS
Implica pesquisas quantitativas
de pequenas amostras;
procedimentos de amostragem
probabilísticos ou intencionais.
+ Meio razoável e rápido de
obtenção de dados quant.
- Risco de erros e desvios das
amostras.
- Menos adequado para a
generalização.

38.
TABELA 8
CONDIÇÕES PARA A REALIZAÇÃO ENTREVISTAS COM INFORMANTES
CHAVES
É O MÉTODO MAIS ADEQUADO ‰ Para produzir informação geral,
descritiva.
‰ Para compreender melhor os motivos e
atitudes das diferentes partes
‰ Para interpretar dados quantitativos
disponíveis.
‰ Para desenvolver perguntas, hipóteses e
propostas para posterior comprovação e
elaboração.
♦
É IMPORTANTE LEVAR-SE EM
CONTA
‰ Os informantes deverão ser
selecionados sobre a base de seu papel,
função ou especial perspicácia.
‰ Os principais grupos de interesse
deverão estar representados.
‰ As entrevistas devem ser preparadas de
maneira que os informantes se
confrontem com real conhecimento
(substancial e experiência prática.
‰ As entrevistas deverão se desenrolar em
uma atmosfera aberta e informal.
‰ A medida em que se obtém uma
informação nova pode ser útil contatar
o mesmo informante várias vezes no
decorrer da avaliação.
‰ O entrevistados deverá tomar notas
detalhadas das entrevistas.
‰ Os critérios utilizados na seleção dos
informantes devem ser especificados no
informe.

39.
TABELA 9 3 9
CONDIÇÕES PARA A REALIZAÇÃO ENTREVISTAS DE GRUPO
É O MÉTODO MAIS ADEQUADO ‰ Para recolher dados em nível da
comunidade.
‰ Para determinar o grau de apoio
popular com o qual uma iniciativa
específica conta.
‰ Para obter informação sobre as
necessidades e prioridades das pessoas.
‰ Na avaliação de iniciativas de
desenvolvimento que afetam um grande
número de pessoas.
♦
É IMPORTANTE LEVAR-SE EM
CONTA
‰ Os participantes devem constituir uma
amostra representativa em termos de
gênero, status, distribuição de papéis
etc.
‰ O entrevistados deve ter um
conhecimento do tema e da
comunidade local, assim como
experiência na condução de entrevistas
comunitárias.
‰ Um plano de entrevista deve ser
preparado com antecedência.
‰ As perguntas devem ser formuladas de
forma precisa e individualizada.
‰ O entrevistados deve provocar uma
participação ampla e barrar qualquer
tendência que algumas tenham de
predominar.
‰ Todos os que quiserem expressar uma
opinião deve ter a oportunidade de
fazê-lo antes que a pergunta seguinte
seja feita.
‰ A utilização de perguntas do tipo “sim”
ou “não” de categorias definidas
proporciona uma certa possibilidade de
se obter alguns dados quantitativos.
‰ A informação obtida durante as
entrevistas comunitárias deve ser
meticulosamente registrada..

40.
TABELA 10 4 0
CONDIÇÕES PARA A REALIZAÇÃO ENTREVISTAS COM GRUPOS FOCAIS
É O MÉTODO MAIS ADEQUADO ‰ Para gerar idéias e hipóteses para uma
análise posterior.
‰ Para provocar reações a distintas
sugestões e recomendações.
‰ Para conseguir explicações sobre as
escolhas e prioridades do grupo.
‰ Para a análise de áreas de problema
complexas e compostas de vários
elementos.
‰ Para alcançar um acordo em torno às
conclusões e recomendações.
♦
É IMPORTANTE LEVAR-SE EM
CONTA
‰ O grupo deveria ser homogêneo em
termos de interesses e limitado de oito a
doze participantes.
‰ As discussões de grupo devem ser
conduzidas por um moderador
experiência que é responsável por
manter uma discussão organizada.
‰ Técnicas de visualização podem ser
utilizadas com proveito.
‰ O moderador deve permanecer neutro,
mas deve conhecer profundamente o
tema da discussão.
‰ Deve-se enfocar somente um tema por
vez. É desejável que se chegue a um
consenso antes de passar ao tema
seguinte.
‰ Deve-se tomar notas detalhadas.

41.
4 1
TABELA 11
CONDIÇÕES PARA A REALIZAÇÃO DE OBSERVAÇÃO DIRETA
É O MÉTODO MAIS ADEQUADO ‰ Para proporcionar informação de
fenômenos físicos.
‰ Para recolher informação sobre a
adequação e utilização de serviços
públicos e privados, infra-estrutura etc.
‰ Para obter informações preliminares,
descritivas.
‰ Para compreender fenômenos,
processos e como as coisas se
organizam e se levam a cabo.
♦
É IMPORTANTE LEVAR-SE EM
CONTA
‰ Qualquer que seja o objeto da
observação – uma amostra ou um
processo – deve ser representativa da
população total ou o assunto em
questão.
‰ A observação deve ser sistemática, com
listas de comprovação, registro das
observações etc.
‰ Os erros sistemáticos podem ser
evitados utilizando vários observadores
independentes.
‰ Os observadores devem contar com
uma formação minuciosa do tema em
estudo.
‰ Deve-se levar em conta os possíveis
sesgos na observação; por exemplo,
que a observação possa em si mesma
influir no que está sendo observado.

42.
4 2
TABELA 12
CONDIÇÕES PARA A REALIZAÇÃO DE PESQUISAS INFORMAIS
É O MÉTODO MAIS ADEQUADO ‰ Para gerar informação quantitativa
acerca de um grupo relativamente
homogêneo; por exemplo, sobre
atitudes, opiniões e reações.
‰ Nos casos em que se consumiria muito
tempo e em que seria muito cara a
utilização de uma amostra aleatória
representativa.
‰ Para complementar a informação
quantitativa existente.
♦
É IMPORTANTE LEVAR-SE EM
CONTA
‰ A pesquisa deverá ser elaborada
baseada em estudos prévios e dentro do
conhecimento existente do tema em
questão.
‰ O número de perguntas deveria limitar-se
entre dez e vinte.
‰ O número de entrevistados deverá
também ser limitado, entre trinta e
cinqüenta.
‰ Antes de realizar a pesquisa, o
questionário deve ser testado com uma
amostra menor.
‰ Os entrevistadores deverão conhecer
bem o tema que se pretende estudar,
assim como ter experiência na
utilização deste método.
‰ Os critérios de amostragem e quaisquer
limitações que resultem da seleção têm
de ser especificados no relatório.

43.
6. MONITORAMENTO E AVALIAÇÃO DE CUSTOS 4 3
No presente capítulo são apresentadas algumas noções sobre as análises mais comumente
utilizadas no monitoramento e avaliação de programas e projetos sociais que dizem respeito à
análise custo-efetividade, análise custo-eficiência e análise custo-benefício.
É importante ressaltar que para o entendimento destes métodos e seu uso no contexto do
monitoramento e avaliação, é fundamental possuir um conhecimento básico de definição de
recursos e tipos de custos (capital, operacionais, médios, marginais, incrementais, variáveis e
fixos, monetários e imputados, diretos e indiretos, custos de oportunidade, financeiros e
econômicos, etc), assim como sobre os métodos de preparação de orçamentos e as diferenças
entre a análise financeira e econômica.
Os três tipos de análises de custos que serão apresentadas podem ser realizadas no
diversos momentos do ciclo do programa ou projeto, ou seja, no início, para selecionar entre as
alternativas de intervenção, durante a implementação para verificar desvios e, numa etapa
posterior, para efetuar recomendações a futuros programas. Quando a análise de custos é
realizada na etapa de desenho, os custos são estimados em função de avaliações prévias de
programas similares. Em geral, nos programas sociais os custos são elevados na fase inicial de
execução do programa, dada a inversão que deve ser realizada na infraestrutura e nas equipes.
Posteriormente, diminuem, concentrando-se em custos associados às remunerações da equipe
técnica e de apoio administrativo e outras despesas correntes de operação. Por esta razão, estas
análises são realizadas dentro de um horizonte de implementação que leva em consideração a
vida útil média do investimento realizado e o fluxo de geração de benefícios. O fato de trabalhar
com um horizonte de análise para contemplar estas diferenças nos fluxos de custos e benefícios
obriga a trabalhar com o conceito de valor de dinheiro no tempo, que implica na atualização dos
valores de custos e de benefícios (quando estes podem ser expressos em termos monetários) por
uma taxa de desconto que corresponde ao custo de oportunidade do capital no mercado.
6.1.Análise Custo-Efetividade
Esta análise compara diferentes alternativas de intervenção que produzem o mesmo
efeito, porém cada uma com custos diferentes. Efetividade refere-se ao grau de alcance dos
objetivos e, conseqüentemente, o custo-efetividade representa o custo para alcançar o objetivo.
Nesta análise compara-se os custos por unidade de objetivo dos programas, por exemplo, x R$
por caso evitado de sarampo pela vacinação. Na comparação de várias alternativas de
intervenção seleciona-se a melhor em termos de relação custo-efetividade. Por exemplo, para
combater a malária na Amazônia, as autoridades de saúde poderiam examinar o custo-efetividade
de cada uma das seguintes estratégias em termos de custo por caso ou por morte
evitada:
ƒ DDT spray
ƒ distribuição de profiláticos
ƒ distribuição de redes para mosquitos impregnadas com inseticida

44.
ƒ venda subsidiada de profiláticos 4 4
ƒ venda subsidiada de redes para mosquitos impregnadas com inseticida
ƒ treinamento de agentes comunitários de saúde para promover a erradicação do mosquito
As medidas de custo-efetividade representam somente a relação entre os custos e os
objetivos dos programas, não considerando as externalidades positivas e/ou negativas que
possam ser induzidas. Eventualmente, as estratégias de intervenção podem possuir desvantagens
com alto custo social no curto ou no longo prazo que não estão incluídas (ou não é possível
incluir nos custos). Por exemplo, o uso de DDT impregnado nas redes pode ser prejudicial para
as crianças se qualquer resíduo for ingerido. Daí que os resultados da análise de custo-efetividade
devem contemplar uma análise dos prós e contras de cada alternativa, incluindo os
efeitos secundários que estas podem gerar.
Para ilustrar este tipo de análise, a seguir apresenta-se um exemplo direcionado a uma
atividade de treinamento que tem como resultado Agentes Comunitários de Saúde treinados, e
para o qual existem três alternativas de implementação.
EXEMPLO DE RESULTADOS DE UMA ANÁLISE CUSTO-EFETIVIDADE
Treinamento de Agentes Comunitários de Saúde (ACS) em procedimentos
sanitários
Alternativas Custo
por ACS treinado
1: Enviar uma equipe a cada comunidade para treinar os ACS
R$50
2: Trazer os ACS das comunidades ao centro de treinamento do
município,
R$40
3: Enviar aos ACS a serem treinados no hospital do distrito
R$42
Considerando que todas estas alternativas têm as mesmas vantagens e desvantagens
associadas, se selecionaria a alternativa 2, que apresenta o menor custo por ACS treinado. Neste
caso, é uma atividade simples com um resultado bem concreto e que se realiza num curto
período de tempo, que é o mesmo para as três alternativas. Ou seja, não é necessário atualizar os
custos de cada alternativa para poder efetuar a comparação. Simplesmente, para cada alternativa
há que efetuar uma estimativa dos diferentes custos (de investimento e operação) envolvidos. O
total destes custos dividido pelo número de ACS a serem treinados possíbilita termos o custo por
unidade de resultado para esta atividade.
6.2 Análise de Custo-Eficiência

45.
Este segundo tipo de análise compara alternativas que possuem o mesmo custo, mas4 5
que produzem diferentes resultados. Neste caso, a relação custo-eficiência é medida pela
comparação de custos totais e unitários entre as diferentes intervenções, ou de uma dada
intervenção através do tempo. Nesta análise, os custos podem ser desagregados de diferentes
formas para obter diferentes medidas de eficiência. Por exemplo, o custo unitário de um aluno
entre diferentes escolas que possuem o mesmo orçamento alocado, pode ajudar o gerenciamento
dos recursos dos municípios ou da própria escola. As diferenças nas medidas de custo-eficiência
podem indicar a existência de economias de escala (menores custos devido a maior capacidade
de atendimento de um serviço), economias de uso (menores custos por maior quantidade de
serviços prestados numa mesma unidade) e maior ou menor produtividade da equipe, etc.
EXEMPLO DE RESULTADOS DE UMA ANÁLISE CUSTO-EFICIÊNCIA
Alternativas Número de ACS
treinados
. 1: Enviar a equipe a cada comunidade para treinar os ACS 200
2: Trazer os ACS das comunidades ao centro de treinamento do município,
250
3: Enviar aos ACS a serem treinados no hospital do distrito
238
Usando o mesmo exemplo anterior, e supondo que o total de recursos disponíveis para
cada alternativa fosse de R$ 10.000, teria-se um maior número de Agentes Comunitários de
Saúde treinados na alternativa 2, porque o custo unitário por ACS é de R$ 40.

46.
6.3. Análise Custo-Beneficio 4 6
A análise custo-benefício (ACB) se baseia na quantificação dos custos e benefícios
monetários atualizados de uma intervenção social, num determinado horizonte temporal. Em
alguns casos, a aplicação da metodologia de custo-benefício a programas sociais apresenta
algumas limitações devido à dificuldade de monetarizar adequadamente os benefícios sociais.
ACB compara formas alternativas para alcançar os mesmos ou diferentes efeitos, cada
alternativa com diferentes custos.
Basicamente ACB mede a relação entre os custos de um projeto ou programa e
seus beneficios expressos em termos monetários (em valores atualizados). Pressupondo que os
beneficios possam ser expressos monetariamente, ACB é um instrumento poderoso para
comparar alternativas de intervenção que possuem tanto custos como efeitos diferentes. Por
exemplo, o propósito de redução da pobreza numa determinada região pode considerar diferentes
estratégias. Uma pode ser a expansão de crédito para o setor informal, enquanto a outra pode ser
o treinamento profissional para satisfazer as necessidades da indústria processadora local. Neste
caso, a maior taxa interna de retorno e/ou relação beneficio-custo da inversão em cada
alternativa, será o critério para decidir sobre a alternativa a ser selecionada. Embora exista
grande discussão nos círculos acadêmicos, é amplamente reconhecido que os atuais métodos de
estimação de “preços sombra” usados na ACB não capta os efeitos secundários ou
multiplicadores que surgem nas intervenções e que, muitas vezes, podem ser mais importantes
que os próprios efeitos diretos..
Utilizando o exemplo anterior e pressupondo que o treinamento dado aos ACS vai
possibilitar o atendimento de um maior número de famílias − estimado em 20 a mais por ano, e
que o custo do atendimento é de R$ 5,8/ano, qual seria a alternativa a ser escolhida? Para
simplificar a análise, considera-se o mesmo tempo de duração (1 ano) e, que não existe custo de
oportunidade do capital.
EXEMPLO DE RESULTADOS DE UMA ANÁLISE CUSTO-BENEFICIO
Alternativa Fundos disponíveis Número ACS
Treinados
11. Enviar a quipe a cada comunidade para treinar os
ACS
R$10,000 200
2: Trazer os ACS das comunidades ao centro de
treinamento do município,
R$9,000 225
3: Enviar aos ACS a serem treinados no hospital do
distrito
R$21,000 500
♦ Alternativa 1,
Relação Beneficio-Custo = (200*20)*R$ 5.8/R$10.000 =2,32

47.
4 7
♦ Alternativa 2
Relação Beneficio-Custo = (225*20)*R$ 5.8/R$9.000 =2.90
♦ Alternativa 3
Relação Beneficio-Custo = (500*20)*R$ 5.8/R$ 21.000 =2.76
De acordo com os resultados desta análise pode-se observar que a alternativa 2, possue a
maior relação beneficio-custo (2,90). Isto significa que os beneficios desta alternativa estão
cobrindo os custos e ainda apresenta um excedente equivalente a 1,90 vezes o custo total da
alternativa. Embora as outras alternativas também cubram amplamente os seus custos, o
excedente que apresentam é menor que a alternativa 2.
6.4. Passos para Efetuar uma Análise Custo-Efetividade e ACB
Os seguintes etapas sequenciais são recomendadas para a aplicação destes
métodos de análise de custos:
♦ Definir os objetivos do programa ou projeto: se os objetivos são
definidos de forma precisa, fica mais fácil efetuar estas análises porque os custos e beneficios
poderão ser mais claramente definidos, facilitando sua mensuração e interpretação;
♦ Identificar as alternativas para alcançar os objetivos: para que estas
análises possam ter maior utilidade é preciso identificar duas ou mais alternativas. É importante
lembrar que estas alternativas representam as possíveis tecnologias ou soluções para o problema;
♦ Identificar e mensurar os custos de cada alternativa: para cada
alternativa selecionada devem ser identificados e medidos os custos que incluem os de
investimento e de operação;
♦ Identificar e medir a efetividade de cada alternativa: para cada
alternativa devem ser mensurados os efeitos expressos em unidades tais como: pessoas, famílias,
casos evitados, mortes evitadas, etc. No caso da ACB os beneficios devem ser expressos em
unidades monetárias;
♦ Calcular as medidas de resultados da análise: para cada alternativa
devem ser calculadas as relações custo-beneficio e custo-efetividade, além das taxas internas de
retorno, valor presente das receitas líquidas, pay-back period (as duas últimas na ACB). Quando
há variações importantes nos custos e beneficios pode-se realizar uma análise de sensibilidade
que permite estimar as medidas anteriores nas piores e melhores situações;
♦ Interpretar os resultados da análise: tendo estabelecido quais as
alternativas mais custo-efetivas ou com as maiores relações de beneficio-custo e taxa interna de
retorno, um passo importante é a interpretação das diferenças entre as mesmas. Esta
interpretação pode conduzir a modificações importantes no desenho do programa.

48.
4 8
7. O USO E COMUNICAÇÃO DOS RESULTADOS DA AVALIAÇÃO
7.1. Uso dos Resultados
Uma das mais importantes características de uma efetiva avaliação é que forneça
informação que realmente possa ser utilizada. Ou seja, que os diferentes atores participantes do
programa possam utilizar a informação gerada para a tomada de decisões relacionada com o
programa. Obviamente, um relatório de avaliação que é simplesmente deixado na estante ou
numa gaveta dificilmente pode conduzir à melhoria do desenho do programa ou à tomada de
decisões. Processos e resultados da avaliação são úteis quando contribuem para decisões
informadas, esclarecem as opções de tomada de decisão, identificam os pontos fortes e fracos, e
fornecem lições aprendidas e recomendações para melhorar o programa, políticas e estratégias.
É mais provável que a equipe do programa ou projeto e os atores participantes (inclusive
a população beneficiária) usem os resultados e as recomendações da avaliação se eles entendem
e se apropriam do processo de avaliação. Portanto, quanto maior o número de pessoas envolvidas
ativamente no processo avaliativo, mais fácil será o uso dos resultados e recomendações para a
melhoria do programa.
A experiência mostra que os resultados da avaliação possuem mais chances de serem
utilizados quando o monitoramento e a avaliação são parte integral do gerenciamento do
programa e quando estes são conduzidos de forma permanente (on-going) pela gerência do
mesmo. Porém, algumas vezes é importante incorporar avaliadores externos ou facilitadores na
avaliação. A distância e neutralidade destes avaliadores é importante para oferecer uma
perspectiva fresca, que muitas vezes os atores internos não são capaces de enxergar pelo seu
comprometimento com o programa.
Em ambos os casos, aqueles que usam os resultados das avaliações precisam saber o que
eles realmente querem da avaliação, para que isto seja comunicado claramente ao avaliador,
fazendo com que as expectativas de ambos sejam aceitas pelos dois lados. Muitas vezes uma
avaliação não preenche as expectativas simplesmente porque os diferentes atores têm percepção
diferente do que a avaliação tem ou pode produzir. Por isso é que o planejamento do
monitoramento e avaliação em consulta com os usuários é imperativo. É importante assinalar
que os usos específicos da avaliação dependerão do propósito mais amplo da avaliação e das
questões que querem ser respondidas.
Os quadros abaixo sumarizam os principais propósitos da avaliação.

49.
4 9
Melhoria do Programa
O propósito de toda avaliação deve ser a melhoria do programa. Os resultados da avaliação
devem apoiar as decisões e ações para conseguir este propósito da melhor forma possível.
Resultados mais específicos podem ser utilizados para identificar os pontos fracos e fortalezas
do programa ou oferecer estratégias para melhoria continuada.
Custo-efetividade do Programa
Nos casos em que o propósito principal é avaliar o custo-efetividade do programa, os
resultados da avaliação devem apoiar as decisões sobre accountability no uso dos recursos e
no controle da qualidade. Os resultados da avaliação podem ser utilizados para decidir sobre o
futuro do programa, determinar a possibilidade de continuar seu financiamento ou efetuar
decisões sobre a expansão do mesmo.
GMMMeneratin knowledge
Geração de Conhecimentos
Outro propósito da avaliação é descobrir novos conhecimentos sobre as práticas mais efetivas
(melhores práticas). Resultados e descobertas deste tipo fornecem informação importante
sobre os princípios gerais de melhores práticas, tecnologias de intervenção mais efetivas e
novas relações teoria/ prática, o que em algumas ocasiões pode conduzir a mais aprimoradas
teorias sobre desnvolvimento organizacional e humano. Mais ainda, estes resultados podem
ser utilizados para colaborar e trocar conhecimento entre programas e iniciativas com
princípios e temas comuns. Este tipo de conhecimento é essencial à formulação de políticas
públicas.
No quadro abaixo são apontadas cinco recomendações que permitem um maior uso dos
resultados da avaliação.

50.
5 0
1. A preocupação com o uso dos resultados da avaliação deve ser a força condutora numa avaliação.
2. Uma avaliação deve ser orientada para o usuário. Deve estar dirigida aos interesses e
necessidades de audiências bem específicas de usuários,
3. Os interesses ao redor de uma avaliação são múltiplos e variados. Porém, uma avaliação não pode
satisfazer as expectativas de todos os atores. Antes que a avaliação comece todos os
interessados e atores devem formar um consenso em relação àqueles aspectos que serão
prioritários.
4. É importante possuir uma visão ampla do uso potencial da avaliação. Isto significa considerar
tanto os tópicos de curto como de longo prazos.
5. O uso dos resultados da avaliação envolve a necessidade de recursos (fundos e tempo da equipe).
Estes custos não devem ser subestimados e devem constar explicitamente dos planos de M&A.
7.2. Comunicação dos Resultados
A comunicação dos resultados do monitoramento e avaliação pode ser escrita ou verbal.
Para ser mais eficiente, os relatórios escritos devem ser simples, diretos e livres de jargões. A
ênfase deve estar em resultados importantes e recomendações, e não na metodologia e nas fontes
dos dados. Esse último pode ser colocado em anexos, se estes existirem.
Os canais de comunicação de resultados e recomendações de M&A mais eficientes são as
reuniões comuns da equipe ou do comitê coordenador. A vantagem é que, assim, os resultados
podem ser ativamente partilhados com os que podem tomar ações imediatas, quando necessário.
Além disso, a equipe de M&A tem retorno imediato e os erros, se existirem, podem ser
corrigidos. O tato deve ser usado quando forem lidadas questões de natureza "sensível". Isso é
mais apropriado em reuniões privadas com os interessados, e não em reuniões amplas ou
relatórios largamente distribuídos.
Na comunicação dos resultados da avaliação é importante diferenciar as seguintes
categorias: resultados, conclusõs, recomendaçõeso, e lições aprendidas, onde:
Resultados: correspondem a fatos encontrados (tais como "a taxa de incremento do acceso foi de
35%").
Conclusão: corresponde a uma síntese dos fatos encontrados numa circunstância específica (tais
como "a política de bolsa-escola não conseguiu alcançar os seus objetivos")

51.
Recomendação: corresponde a uma prescrição do que deve ser feito em uma circunstância 5 1
específica. Por exemplo, “para incrementar a taxa de acesso é necessário …" .
Lições Aprendidas: é uma generalização que não se refere a uma condição ou circunstância
específica, mas a uma classe ou categoria de situações, tais como: os projetos de prevenção e
erradicação do trabalho infantil, as abordagens de atuação junto à família tem mostrado… . Uma
lição aprendida deve assinalar o que provavelmente acontecerá ou o que deve ser feito para que
alguma coisa aconteça ou seja evitada. Lições aprendidas não correspondem a experiências. Uma
lição aprendida é o resultado de um processo de aprendizagem que requer uma reflexão sobre as
boas e más experiências.
Os principais tópicos que devem ser incluídas num relatório de avaliação podem
ser observados no quadro abaixo:
PRINCIPAIS TÓPICOS NUM RELATÓRIO DE AVALIAÇÃO
Capa Título do relatório, autores, instituições
patrocinadoras/participantes, lugar e data.
Sumário de conteúdo Capítulos e subcapítulos do relatório
Créditos Parágrafo de agradecimento a todas aquelas instituições/pessoas
que prestaram assistência especial ou que fizeram o estudo
possível
Resumo Executivo
Resumo (1-4 páginas) dos aspectos mais significativos da avaliação,
enfatizando os objetivos da mesma, os principais resultados, as
lições aprendidas e as recomendações para melhoria do programa.
O sumário executivo é particularmente importante porque a
maioria das pessoas provavelmente não lerão todo o documento.
Introdução Contexto e antecedentes da avaliação: caracteriação do problema,
justificativa, questões-chave, circunstâncias especiais.
Objetivos Parágrafos concisos do que a avaliação deverá medir e entregar.
Metodologia Desenho da avaliação: coleta de informação, procedimentos
analíticos e limitações. É desejável que a seção de metodologia seja
curta e inclua um anexo técnico com maiores detalhes sobre os
métodos de coleta e de análise estatística (cálculo do tamanho da
amostra, etc).
Resultados Fatos encontrados, incluindo tabelas, gráficos e diagramas.
Conclusões Uma síntese dos fatos encontrados, que correspondem às
circunstâncias específicas do estudo.
Recomendações Uma prescrição do que deve ser feito nas circunstâncias
específicas.
O nível de detalhe das recomendações vai depender do propósito e
do usuário do relatório (os tomadores de decisão precisam de
recomendações de índole geral, enquanto os níveis de gerência

52.
52
precisam de recomendações mais operacionais ou práticas).
Lições Aprendidas Generalização que aponta o que provavelmente acontecerá e/ou
deve ser feito para que algo desejado ocorra ou seja evitado. As
lições aprendidas não são somente experiências, mas o resultado de
um processo de aprendizagem (que implica reflexão).
Referências e Bibliografia Relação de citações que foram usadas para realizar o estudo ou
referidas no relatório.
Anexos Instrumentos de avaliação (questionários): procedimentos
metodológicos, dados adicionaios ou com maior desagregação, e
outra documentação relevante de apoio.
Com relação ao estilo e forma os seguintes elementos devem ser considerados:
ELEMENTOS DE UM RELATÓRIO ORIENTADO PARA A AÇÃO
1. Estrutura número de relatórios: vários segundo usuário
escopo: focalizado
tamanho curto
resumo executivo: sempre
sumário de conteúdo: algumas vezes
anexos: as vezes
2. Estilo tono: envolvente
tempo: primeira ou segunda pessoa
escrita: com exemplos e fotos
3. Conteúdo Antecedentes: breve
hipóteses: não
metodologia: breve
analises: abordagem global
resultados: selecionados
gráficos e diagramas: muitos
4. Perspectiva ponto de vista: da audiencia
autor ideal: interno ao projeto
5. Outros aspectos conclusões: sim
interpretações: sim
recomendações: sim
disseminação: primeiro informalmente