Monitoramento e Avaliacao

Monitoramento e Avaliação

VISÃO GERAL

Breve resumo

Esse pacote de ferramentas lida com os elementos básicos para se inserir e utilizar um
sistema de avaliação e monitoramento para um projeto ou uma organização. Ele esclarece
o que monitoramento e avaliação são, como planejar a sua execução, como desenhar um
sistema de monitoramento e como criar um processo de avaliação que associe tudo isso de
uma maneira útil. Ele analisa como coletar informações, evitando que você se afogue numa
análise de dados relativamente descabida ou excessiva em informações desnecessárias.
Por fim, este pacote suscita e tenta aplicar diretamente sua fórmula a alguns dos tópicos a
serem revigorados com base no que foi ensinado.

Por que um pacote detalhado de ferramentas para monitoramento e avaliação?

Se você não se importa com a maneira como conduz seu trabalho ou qual o impacto têm
suas atitudes, por que se importar com qualquer outra coisa? Avaliação e monitoramento
possibilitam analisar a qualidade e o impacto de seu trabalho em relação ao seu plano de
ação e seu plano estratégico. Para que a avaliação e o monitoramento sejam realmente
válidos, você precisa ter planejado corretamente. Um planejamento correto é tratado com
detalhes em outros pacotes de ferramentas nesta mesma página da internet.

Quem deve se utilizar deste pacote de ferramentas?

Este pacote será útil ao leitor e leitora interessados na eficiência, na eficácia e no impacto
de seus trabalhos em um projeto ou em uma organização.

Quando este pacote será útil?

Este pacote será útil quando:
Você estiver estruturando sistemas para a coleta de dados durante as fases de
planejamento de um projeto ou uma organização;
Você quiser analisar os dados coletados através de um processo de monitoramento;
Você estiver interessado em descobrir como está a eficiência e a eficácia de seu
trabalho;
Você atingir um estágio de seu projeto ou um período na vida da sua organização,
no qual imagine ser útil avaliar o tamanho do impacto do trabalho que está obtendo;
Doadores solicitam uma avaliação externa de sua organização e/ou trabalho.

Ainda que haja uma tendência de enxergar em organizações de sociedade civil uma
avaliação como algo que acontece quando um doador insiste em ter uma, de fato,
uma avaliação e um monitoramento são ferramentas imprescindíveis de trabalho.
Sem uma noção de como se está caminhando em relação a indicadores e metas, os
recursos terminam sendo desperdiçados e não modificam a situação inicialmente
identificada. O monitoramento e a avaliação habilitam para que se faça essa análise
corretamente.

Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 1


VISÃO PRINCÍPIOS MELHORES RECURSOS GLOSSÁRIO
GERAL BÁSICOS PRÁTICAS Pg. 49 Pgs. 50-52
Pg. 1 Pgs. 2-40 Pgs. 41-46

Exemplos

Estudo de Caso: Desenhando Formato do Relatório
Exemplos de
indicadores pgs. 42-43 um sistema de Monitoramento de Campo pgs. 47-48
pgs. 44-46

O que é Planejamento para Estruturando um Coletando Analisando Tomando atitudes
Monitoramento e Monitoramento e processo de Informações p. 27 Informações pgs. 36
monitoramento e/ou pg. 35
Avaliação? Pgs. 3-4 Avaliação pg. 11
avaliação pg. 19
Diretrizes e Relatório pg. 37
Por que fazer O que queremos controles de dano
Indicadores pg. 28-29
Monitoramento e saber? pg. 12-15 Aprendendo pg. 39
avaliação? Pgs. 4-5
Tipos diferentes Monitoramento Avaliação Métodos pgs. 30-33 Tomada de
de informação – pg. 20-22 pg. 23 decisões
Mais informações a quantitativa e eficazes pg. 40
respeito de qualitativa pg. 16
monitoramento e Propósito pg. 24
avaliação – o que Lidando com
Como obteremos a
está envolvido e contrariedades
informação? pg. 17 Questões centrais para a
suas diferentes pg. 41
ligações pgs. 6-10 avaliação pg. 25
Quem deve estar
envolvido? Pg. 18 Metodologia pg. 26


PRINCÍPIOS BÁSICOS

O que é monitoramento e avaliação?

Por mais que a expressão “monitoramento e avaliação” tenda a ser escrita como se as duas
coisas parecessem uma única coisa, monitoramento e avaliação são de fato, duas formas
distintas de atividades organizacionais, relacionadas, porém jamais idênticas.

O Monitoramento é uma coleta sistemática e uma análise da informação de como um
projeto progride. É criado para melhorar a eficiência e a eficácia de um projeto ou
organização. É baseado em metas e atividades dirigidas durante as fases de planejamento
do trabalho. Auxilia a manter o trabalho em sua linha geral e possibilita ao gerenciamento
identificar quando as coisas não estão andando corretamente. Se utilizado corretamente,
torna-se uma ferramenta inestimável para um bom gerenciamento e fornece uma base de
avaliação muito útil. Habilita saber se os recursos estão sendo bem utilizados e se serão
suficientes para o que está sendo feito; se sua capacidade de trabalho é suficiente e
apropriada; e se você está realizando aquilo que planejou fazer (verifique também o pacote
de ferramentas para o planejamento de ações).

A Avaliação é a comparação do real impacto do projeto em relação ao planejamento
estratégico estudado anteriormente. Averigua o que foi formulado para ser realizado com o
que foi feito e como isso foi alcançado. Pode ser formativa (sendo elaborada ao mesmo
tempo em que ocorre o projeto ou existe a organização, com a intenção de melhorar a
estratégia ou a forma do funcionamento de um projeto ou organização). E pode também ser
resumida (aferindo aspectos de ensinamentos para um projeto finalizado ou uma
organização que deixou de existir). Uma vez, uma pessoa descreveu a diferença entre os
dois como sendo a diferença entre uma avaliação médica geral e uma autópsia!

O que a avaliação e o monitoramento têm em comum é que ambos são estruturados
durante o aprendizado do que se está fazendo e como se está fazendo, focalizando:

Eficiência
Eficácia
Impacto

A Eficiência diz que o insumo empreendido em seu trabalho é apropriado em termos de
resultados. Isso pode ser insumo em termos de dinheiro, tempo, equipe, equipamento e
assim por diante. Quando você trilha um projeto e está preocupado com sua replicabilidade,
ou com a maneira como ele se desenvolverá numa projeção de escala (veja o Glossário),
então, é muito importante que se tenha o elemento de eficiência corretamente.

Eficácia é a medida de extensão do qual um programa de desenvolvimento ou projeto
alcança com os objetivos específicos que traçou para si. Se, por exemplo, foi traçado
melhorar as qualificações de todos os professores de segundo grau de uma determinada
área, nós conseguimos?

Impacto diz se o que você realizou fez ou não alguma diferença em relação ao problema da
situação que você tentou solucionar. Em outras palavras, sua estratégia foi útil? Houve uma
melhora, ao final de contas, na taxa de aprovação dos alunos no final do ano quando se
assegurou uma maior qualificação dos professores? Antes de se decidir por crescer ou



duplicar o projeto você precisa estar certo de que o que está sendo realizado está fazendo
sentido nos termos do impacto que se quer atingir.

A partir disso, deveria estar claro que o monitoramento e avaliação são mais bem realizados
quando foi estruturado previamente um planejamento que vislumbre seus alcances e
progressos. Existem três pacotes de ferramentas que lidam diretamente com relação a isso
– a visão geral de planejamento, um planejamento estratégico e um planejamento de ação.

Nesta seção, analisamos com mais profundidade ‘por que fazer uma avaliação e um
monitoramento?’ e ‘mais a respeito de monitoramento e avaliação’, e o que isso
envolve. Isso inclui uma discussão das diferentes abordagens de monitoramento e
avaliação e o que pensar a respeito de quando se utiliza um avaliador externo.

POR QUE FAZER MONITORAMENTO E AVALIAÇÃO?

O monitoramento e a avaliação habilitam que se averigúe o “ponto fundamental” (consulte o
Glossário) de um desenvolvimento de trabalho: Não, “estamos tendo lucro?”, mas “estamos
fazendo a diferença?”. Através de monitoramento e avaliação, pode-se:

Revisar o progresso;
Identificar os problemas em planejamento e/ou implementação;
Promover ajustes para que se possa mais fortemente “fazer a diferença”.

Em muitas organizações, “monitoramento e avaliação” é alguma coisa vista mais como uma
requisição de doadores do que uma ferramenta de gerenciamento. Doadores certamente
têm todo o direito de saber se seu dinheiro está sendo gasto de maneira apropriada e se
está sendo bem gasto. Porém, primariamente (e muito mais importante) o uso da avaliação
e monitoramento deve ser feito para a própria organização ou projeto saber como está
andando em relação aos seus objetivos, se está tendo um impacto, se está se trabalhando
com eficiência e para aprender a ser melhor.

Planos são essenciais, mas não são feitos de concreto (fixados de forma totalmente
inflexível). Se não estão funcionando, ou se as circunstâncias mudaram então os planos
também devem sofrer mudanças. O monitoramento e avaliação são ferramentas que
ajudarão um projeto ou organização a perceber quando seus planos não estão funcionando
ou quando as circunstâncias sofreram mudanças. Eles fornecem ao gerenciamento a
informação necessária para tomadas de decisões a respeito do projeto e da organização
das mudanças que se mostrem necessárias em relação aos planos ou a própria estratégia.
Através disso, as constantes permanecem como pilares da rede estratégica: a análise de
problemas, a visão e os valores da organização ou do projeto. Tudo o mais pode ser
renegociável (veja também o pacote de planejamento estratégico). Fazer algo errado não é
um crime. Falhar e não mostrar que aprendeu com erros do passado por não ter feito um
monitoramento e avaliação, é.

O efeito do monitoramento e avaliação pode ser visto no ciclo a seguir. Observe que você
monitorará e ajustará diversas vezes antes que esteja preparado para fazer uma avaliação
e possa planejar novamente.



Avaliar/aprender
/ decidir
Implementar
Planejar

Refletir/aprender
/decidir/ajustar Implementar

Monitorar Monitorar
Refletir/
aprender/
Implementar
decidir/ajustar

É importante reconhecer que o monitoramento e a avaliação não são varinhas de condão
que podem ser simplesmente usadas como um passe de mágica, solucionando problemas,
ou remediando dificuldades, ou fazendo mudanças miraculosas, sem uma boa dose de
trabalho duro sendo feito para a realização do projeto ou organização. Em si mesmos, eles
não são soluções, mas são ferramentas valiosas. O monitoramento e a avaliação podem:

Ajudar a identificar problemas e suas causas;
Sugerir soluções possíveis para problemas;
Levantar questões quanto à estratégia e às previsões realizadas;
Levar você a refletir para onde está indo e de como você está chegando lá;
Providenciar informações e aspectos internos;
Encorajá-lo a agir a respeito dessas informações e aspectos;
Aumentar suas possibilidades de acerto que farão uma diferença de
desenvolvimento positiva.



MAIS INFORMAÇÕES A RESPEITO DE MONITORAMENTO E AVALIAÇÃO

Monitoramento envolve:

Estabelecer indicadores (consulte o Glossário) de eficiência, de eficácia e de
impacto;
Estabelecer sistemas para coleta de informações, relacionando estes indicadores;
Coletar e gravar a informação;
Analisar a informação;
Utilizar a informação para informar ao gerenciamento diariamente.

O monitoramento é uma função interna em qualquer projeto ou organização.

Avaliação envolve:

Avaliar o que o projeto ou a organização pretendem atingir – qual diferença quer
fazer? Qual impacto quer ter?
Reconhecer seu progresso com relação ao que almejava, suas metas de impacto.
Examinar a estratégia de um projeto ou organização. Houve uma estratégia? Houve
eficácia em se seguir a estratégia proposta? A estratégia funcionou? Se não, por
que não?
Examinar como as coisas funcionaram. Houve um uso eficiente dos recursos? Quais
foram os custos de oportunidade (veja o Glossário) com a maneira que se optou por
trabalhar? Quão sustentável é a forma pela qual o projeto e a organização
trabalham? Quais são as implicações para os diversos agentes envolvidos pelo
modo com que a organização trabalha?

Numa avaliação, avaliamos eficiência, eficácia e impacto (consulte Glossário).

Existem muitos tipos diferentes de se fazer uma avaliação. Alguns dos termos mais comuns
com que você poderá se deparar são:

Auto-avaliação: Isso requer uma organização ou projeto que segure um espelho
diante de si mesmo e analise o que faz, como uma forma de prática para
melhoramento e aprendizagem. Exige que se tenha uma organização muito
honesta e auto-reflexiva para fazer isso de forma eficaz, contudo isso pode ser
uma experiência de aprendizagem muito importante.
Avaliação participatória: Esta é uma forma de avaliação interna. A intenção é
reunir o maior número de pessoas possível que tenham participação direta no
trabalho que está sendo realizado. Isso pode significar beneficiários e equipe do
projeto trabalhando em conjunto nesta avaliação. Se alguém de fora for
chamado será para agir como facilitador do processo, não avaliador.
Estimativa Participatória Rápida: Originalmente utilizada em áreas rurais, a
mesma metodologia pode, na verdade, ser aplicada na maioria das
comunidades. Este é uma forma qualitativa (consulte o Glossário) de se fazer
avaliações. É conduzida e semi-estruturada por um time interdisciplinar e levada
por um curto período de tempo. É utilizada como base de início para se
entender uma situação local e é uma maneira rápida, útil e barata de se
armazenar informações. Envolve o uso de revisões de dados secundárias
(consulte o Glossário), observação direta, entrevistas semi-estruturadas,
informantes chave, entrevistas de grupos, jogos, diagramas, mapas e



calendários. Em um contexto de avaliação, ele permite que se obtenham dados
valorosos daqueles que supostamente estão se beneficiando do trabalho de
desenvolvimento. É flexível e interativo.
Avaliação externa: É uma avaliação feita por um time de fora ou alguém
externo cuidadosamente escolhido.
Avaliação interativa: Isso requer uma interação muita ativa entre o avaliador ou
time externo e a organização ou projeto sendo avaliado. Às vezes, alguém de
dentro pode ser incluído no time de avaliação.

Para mais informações de vantagens e desvantagens das avaliações internas e externas,
veja a próxima página.

Para maiores informações a respeito de um avaliador externo, vá para a página 9.

Para maiores informações de diferentes tipos de abordagens para avaliação, vá para a
página14.



Ξ VANTAGENS E DESVANTAGENS DE AVALIAÇÕES INTERNAS E EXTERNAS

Vantagens Desvantagens
Avaliação interna Os avaliadores têm muita O time de avaliação possuirá
familiaridade com o trabalho, um interesse especial em
com a cultura organizacional e alcançar conclusões positivas
com seus objetivos e metas. com relação ao projeto ou
organização. Por esta razão
Algumas vezes as pessoas inclusive, se desenvolve o
sentem-se mais à vontade em motivo para que doadores
falar com pessoas de dentro da prefiram uma avaliação externa.
organização do que com
pessoas de fora. O time pode não ser
especializado ou treinado
Uma avaliação interna é muito especificamente para realizar
claramente uma ferramenta uma avaliação.
gerencial e de auto-correção
bem menos ameaçadora que A avaliação tomará uma
uma avaliação externa. Essa considerável quantia de tempo-
forma torna muito mais simples enquanto poderá custar menos
para todos os envolvidos deixar que uma avaliação
aceitar certas críticas e externa ocorra, em termos de
sugestões e opiniões a respeito custo de oportunidade (consulte
do trabalho sendo realizado. o Glossário). Dessa forma,
pode ser mais elevado que
Uma avaliação interna custará simplesmente contratar uma
muito menos que uma avaliação externa.
avaliação externa.
Avaliação Externa (feita por A avaliação tende a ser muito Alguém de fora da organização
um time ou pessoa sem mais objetiva, já que os ou projeto pode não entender a
interesses especiais pelo avaliadores mantêm-se cultura ou até mesmo o
projeto em questão) distantes do trabalho sendo trabalho que se pretende
realizado. alcançar.

Os avaliadores possuem Aqueles que estão diretamente
geralmente uma grande envolvidos podem se sentir
variedade de habilidades e ameaçados pelos avaliadores
experiências de avaliação. externos e podem ter menos
propensão a falar abertamente
Algumas vezes, as pessoas e cooperar com o processo.
preferem relatar coisas a
pessoas de fora ao invés de Uma avaliação externa pode
pessoas internas a ser muito custosa.
organização.
Um avaliador externo pode
Gera-se muito mais interpretar mal o que você
credibilidade a opiniões e deseja e pode não fornecer o
sugestões utilizando-se um que você precisaria.
avaliador externo,
especialmente no caso de
sugestões positivas.

Se você decidir ter uma avaliação externa, você encontrará algumas sugestões de critérios
a serem utilizados na escolha de um avaliador externo na próxima página.



Ξ SELECIONANDO UM AVALIADOR EXTERNO OU UM TIME DE AVALIAÇÃO

Qualidades para serem levadas em conta quanto à escolha de um avaliador ou time de
avaliação externa:

Uma boa compreensão de assuntos de desenvolvimento.
Uma boa compreensão de assuntos organizacionais.
Experiência na avaliação de desenvolvimento de projetos, programas ou organizações.
Um bom histórico que possa ser averiguado com relação a clientes anteriores.
Grandes habilidades de pesquisa.
Um compromisso com qualidade.
Um compromisso com datas de trabalhos a serem cumpridos.
Objetividade, honestidade e justiça.
Lógica e facilidade em operar sistematicamente.
Forte habilidade em se comunicar tanto escrevendo como verbalmente.
Um estilo e abordagem que se encaixe com a personalidade de sua organização.
Valores que sejam compatíveis com aqueles que sua organização tenha.
Preços razoáveis (custo), comparáveis com os de outras empresas no mercado.

Como você descobre tudo isso? Formulando uma grande quantidade de perguntas!

Quando você decide utilizar um avaliador externo:

Confira as referências de quem seja.
Reúna-se com os avaliadores antes de tomar a decisão final.
Comunique o que você deseja claramente – bons Termos de Referência (veja o
Glossário) são fundamentais para uma boa relação contratual.
Negocie um contrato que forneça uma previsão do que acontecerá se o calendário e os
resultados esperados, em termos de compromissos, não forem alcançados.
Peça por um plano de trabalho com resultados e datas afixadas.
Mantenha contato – peça por relatórios intermediários nesse ínterim como parte do
trabalho a ser realizado – seja verbalmente ou por escrito.
Estruture esse acompanhamento formalmente e combine quando isso deverá ser
entregue a você.

Não espere que todo avaliador seja completamente objetivo. Essa pessoa terá opiniões e
visões – você não está procurando alguém que seja um robô! Entretanto, suas opiniões
devem estar claramente estabelecidas como tais, e não devem desviar ou serem colocadas
como “fatos”. É bastante importante também ter uma noção de quais serão as abordagens
que esse avaliador utilizará para fazer a avaliação.

A próxima página traz mais informações quanto a diferentes tipos de abordagens para
avaliação.



Ξ DIFERENTES ABORDAGENS PARA AVALIAÇÃO

Abordagem Propósito principal Possíveis Metodologia análoga
questionamentos em
foco
Baseadas em metas Compreender o As metas foram Comparar a linha de
alcance de metas e alcançadas? base (veja o Glossário)
objetivos. Eficientemente? Foram e as informações de
essas as metas progresso (veja o
corretas? Glossário);
encontrando maneiras
de definir indicadores.
Tomadas de decisões Fornecer informação. O projeto foi eficaz? Compreender a
Deve continuar? Como variedade de opções
deve ser modificado? relacionadas com o
contexto do projeto,
resultados, processos,
e o produto.
Estabelecer algum tipo
de consenso quanto à
tomada de decisões.
Com objetivos livres Compreender a Quais foram todos os Determinação
variedade dos efeitos resultados independente de
do projeto pretendidos relacionados? Que necessidades e
ou imprevistos. valor eles possuem? padrões para julgar a
validade do projeto.
Técnicas qualitativas e
quantitativas que
descubram quaisquer
resultados possíveis.
Julgamento de Utilização de um Como um profissional Revisão crítica
especialistas especialista. externo a este projeto baseada na
pode avaliá-lo? experiência, pesquisa
informal e reflexões
internas.

Em nossa opinião, os melhores avaliadores se valem de uma combinação de todas essas
abordagens. Uma organização pode pedir para que uma delas seja enfatizada, mas é
importante não excluir qualquer descoberta ou conclusão, e não fazer uso de uma
abordagem diferente.

(Agradecimentos à PACT’s Evaluation Sourcebook, 1984, por muito do que foi escrito aqui.)



Planejamento para Monitoramento e Avaliação

O monitoramento e a avaliação devem ser parte de seu processo de planejamento. É muito
mais complicado retornar e estabelecer os sistemas de monitoramento e avaliação uma vez
que as coisas já tenham começado a acontecer. A necessidade de se começar a coletar
informações de desempenho em relação a suas metas é importante desde o primeiro
instante de atividades. A primeira informação coletada deve ser feita, na verdade, quando
se estruturam as primeiras necessidades de documentação (consulte, no pacote de
ferramentas de visão geral de planejamento, a seção a respeito do trabalho de base). Ele
fornecerá a informação necessária quanto ao alcance em relação a melhoramentos com o
decorrer do tempo.

Quando você realiza seu processo de planejamento, você define indicadores (veja o
Glossário). Estes indicadores fornecem a rede que possibilita seu sistema de
monitoramento e avaliação. Eles informam o que você deseja saber e os tipos de
informação cuja coleta será útil. Nesta seção examinaremos:

O que queremos saber? Isso inclui examinar indicadores de ambos os assuntos,
externos e internos (Confira também os exemplos de indicadores mais adiante neste
pacote de ferramentas.)
Tipos diferentes de informação.
Como obteremos a informação?
Quem deve estar envolvido?

Não há um único modo de planejamento para monitoramento e avaliação. As sugestões
incluídas nos pacotes de ferramentas de planejamento, planejamento estratégico e
planejamento de ações lhe auxiliarão no desenvolvimento de uma rede dinâmica para seu
sistema de monitoramento e avaliação. Se você possui uma familiaridade com uma rede de
análise lógica e já a utiliza em seu planejamento, esta abordagem traz em si mesma uma
forma de planejar um sistema de avaliação e monitoramento. (Consulte também no pacote
de ferramentas a respeito da visão geral de planejamento, a seção de ferramentas de
planejamento – visão geral.)



O QUE QUEREMOS SABER?

O que queremos saber está relacionado com o que pensamos ser importante. No
trabalho de desenvolvimento, o que pensamos ser importante está relacionado com
nossos valores.

A maioria do trabalho está envolvida por uma rede de valores. É esta rede que determina os
padrões de aceitação no trabalho que fazemos. Os valores centrais, nos quais a maioria do
trabalho de desenvolvimento é feito, são:

Servir a pessoas carentes;
Favorecer os desprotegidos;
Mudar a sociedade, não simplesmente com a ajuda individual;
Sustentabilidade;
Uso eficiente de recursos.

Então, a primeira coisa que precisamos saber é: O que estamos fazendo e como estamos
agindo está auxiliando para o favorecimento destes valores? Para responder a esta
questão, nosso sistema de monitoramento e avaliação deve nos fornecer informações a
respeito de:

Quem está se beneficiando do que fazemos? O quanto estão se beneficiando?
Os beneficiados recebem de uma forma unilateral e passivamente ou o processo
auxilia para que eles possam assumir algum controle de suas vidas?
Existem quaisquer ensinamentos que possam trazer um maior impacto além deste
que está acontecendo com nosso projeto?
Isso que estamos fazendo tem alguma possibilidade de se sustentar a longo-termo,
ou cessará assim que partirmos?
Estamos alcançando o máximo dos melhores resultados possíveis para os
problemas apresentados?

Queremos nos concentrar no produto ou no processo que está sendo desenvolvido?

O trabalho de desenvolvimento deve ser avaliado em termos de processo (a forma com que
o trabalho está sendo desenvolvido) ou o produto (o que o trabalho produz)? Geralmente,
essa discussão é feita mais para se desculpar desempenhos inadequados que discutir
realmente algo que deve ser levado a sério. O produto e o processo não estão separados
em um trabalho de desenvolvimento. Aquilo que alcançamos e a maneira como alcançamos
são geralmente a mesma coisa. Se o objetivo é desenvolvimento, baseando-se em valores
desenvolvimentistas, então cavar um poço sem transferir a habilidade para manter e
manusear o poço não é suficiente. Dizer: “Iria demorar muito dessa forma, não podíamos
esperar que eles agissem por si mesmos. Dissemos que iríamos cavar um poço e o
fizemos” não é suficiente. Mas também não é suficiente dizer: “Não tem importância que o
poço não tenha acontecido ainda. O importante é que a população foi instruída”.

Ambos os processos e produtos devem ser parte de um sistema de avaliação e
monitoramento. Mas como podemos tornar o processo, o produto e tais valores
mensuráveis? A resposta se encontra no estabelecimento de indicadores, e este assunto é
abordado na subseção a seguir.



O QUE QUEREMOS SABER?

Indicadores

Indicadores são também abordados na visão geral de planejamento, na seção a respeito de
monitoramento e avaliação. Indicadores são sinais tangíveis ou mensuráveis de que algo foi
feito ou alcançado. Em alguns estudos, por exemplo, o aumento de antenas de televisão
numa comunidade foi utilizado como indicador de que o padrão de vida da comunidade
aumentou. Um indicativo de maior organização comunitária pode ser um aumento da
freqüência de membros da comunidade nos encontros periódicos. Se alguém está
interessado no impacto da participação em relação ao gênero, pode-se utilizar “envolver
especial atenção e maior tempo em projetos de desenvolvimento a uma maior participação
feminina” como um indicador. Indicadores comuns que apontam para o estado de saúde
geral de uma comunidade são taxas de mortalidade de bebês/crianças/ mães, taxas de
natalidade, status nutricional e peso de bebês ao nascerem. Podem-se analisar indicadores
menos diretos, como extensão de imunização, extensão de água potável disponível, e
assim por diante. (veja maiores exemplos de indicadores mais adiante).

Os indicadores são uma parte essencial de um sistema de monitoramento e avaliação, pois
eles são o que você vai poder medir e/ou monitorar. Através de indicadores você pode
perguntar e responder questões como:

Quem?
Quantos?
Com qual freqüência?
Quanto custa?

Entretanto, você precisa decidir anteriormente quais indicadores vai utilizar para que
comece a coletar informações imediatamente. Você não pode querer se utilizar de um
indicativo como o número de antenas de televisão como sinal de melhora de padrão da
comunidade se você não sabe quantas havia no começo do processo.

Algumas pessoas argumentam que o problema com indicadores mensuráveis é que outras
variáveis (fatores) podem ter um impacto sobre eles também. Mais membros da
comunidade podem estar participando nos encontros comunitários simplesmente por haver
um maior número de pessoas com um passado ativo, e mudado simplesmente para aquela
área. As mulheres podem ter mais tempo para projetos de desenvolvimento porque os
homens da vila participaram de um seminário para questões de gênero e decidiram dividir e
ajudar mulheres em algumas tarefas tradicionalmente realizadas por mulheres
possibilitando assim que se ocupem de outras atividades. E assim por diante. Ainda que
isso seja verdade, é possível identificar outras variáveis e levá-las em conta. É também
muito importante notar que, se nada está se modificando, se não se pode averiguar nem um
melhoramento na mensuração dos indicadores-chave escolhidos, é sinal de que sua
estratégia não está funcionando e precisa ser repensada.

Para estudar um método de desenvolvimento de indicadores, veja a próxima página.
Para consultar exemplos de indicadores, vá para exemplos.



Ξ DESENVOLVENDO INDICADORES

1º Passo: Identifique o problema que você está tentando resolver. Ele pode ser:

Situação econômica (desemprego, baixos salários, etc.).
Situação social (moradia, saúde, educação, etc.).
Situação cultural ou religiosa (perda do uso de línguas tradicionais, pouca freqüência
em serviços religiosos, etc.).
Situação política ou organizacional (governo local ineficiente, lutas de facções, etc.).

Pode haver outras situações também.

(consulte a seção de análise de problemas em seu pacote a respeito da visão geral de
planejamento, na seção que trata do trabalho de base).

2º Passo: Desenvolva uma visão de como você gostaria que estas áreas fossem ou
parecessem (consulte, no pacote de planejamento estratégico, a seção a respeito
de visão). Isso lhe fornecerá indicadores de impacto.

O que lhe mostraria que sua visão foi alcançada? Que sinais você identificaria e que
possam ser medidos que “provariam” que sua visão foi alcançada? Por exemplo, se sua
visão foi a de que as pessoas em sua comunidade seriam mais saudáveis, então você pode
usar indicadores de saúde para averiguar como está avançando. A mortalidade infantil
sofreu uma queda? Menos mulheres estão falecendo durante o parto? A taxa de
contaminação pelo vírus da AIDS tem sido reduzida? Se você pode dizer “sim” a estas
questões, então algum progresso foi alcançado.

3º Passo: Desenvolva uma visão progressiva de como você quer que as coisas sejam
atingidas. Isso lhe fornecerá indicadores de processo.

Se, por exemplo, você quer atingir seus resultados através da participação da comunidade
e de seus próprios esforços, então sua visão de processo pode incluir coisas como
trabalhadores de saúde da comunidade treinados e que ofereçam um serviço de qualidade
para todos; eventos organizados regularmente pela comunidade para limpeza geral, e
assim por diante.

4º passo: Desenvolver indicadores para eficácia.

Por exemplo, se você acredita que pode aumentar a taxa de alunos aprovados no ensino
secundário, melhorando o nível de seus professores, então precisará de indicadores que
mostrem que você obteve sucesso quanto à melhora destes professores, p.ex. evidências
de uma pesquisa em escolas, comparando com a pesquisa de base inicial.

5º passo: Desenvolver indicadores para metas de eficiência.
Aqui você pode estabelecer indicadores, tais como: seminários planejados devem ocorrem
junto com o tempo pré-estabelecido, custos para os seminários são mantidos em 2.50
dólares por pessoa, no máximo, não se deve utilizar mais de 160 horas com a organização
de uma conferência; sem reclamações quanto à organização da conferência, etc.
Com a estrutura colocada em seu devido lugar, você estará apto a monitorar e avaliar
eficiência, eficácia, e o impacto disso tudo (Veja o Glossário).



TIPOS DIFERENTES DE INFORMAÇÃO – QUANTITATIVA E QUALITATIVA

A informação utilizada para monitorar e avaliar pode classificada como:

Quantitativa; ou
Qualitativa.

A medida quantitativa lhe diz “quanto ou quantos?”. Quantas pessoas assistiram ao
seminário, quantas pessoas foram aprovadas em seus testes finais, quanto custa uma
publicação, quantas pessoas foram infectadas pelo vírus da AIDS, quantas pessoas
precisam se deslocar para conseguir água ou madeira para o fogo, e assim por diante. A
medida quantitativa pode ser expressa em números absolutos (3241 mulheres da amostra
estão infectadas) ou com percentual (50% das residências nesta área possuem antenas de
televisão). Pode também ser expressa por razões (uma a cada 30000 pessoas). De uma
maneira ou de outra, você terá uma informação quantitativa (número) por contar ou medir.

A medida qualitativa indica como as pessoas se sentem a respeito de alguma situação ou
como as coisas são feitas, ou como as pessoas se comportam. Então, por exemplo, ainda
que você descubra que 50% dos professores da escola estão insatisfeitos com o critério
selecionado, isso ainda é considerado uma informação qualitativa, não uma informação
quantitativa. Consegue-se a informação qualitativa perguntando, observando e
interpretando.

Algumas pessoas consideram a informação quantitativa confortante – ela parece confiável,
sólida e “objetiva”. Elas consideram a informação qualitativa “subjetiva” e pouco
convincente. É um erro, porém dizer que “a informação quantitativa fala por si mesma”. A
informação quantitativa está sujeita a interpretações tanto quanto a informação qualitativa.
Pode ser um “fato” que o ingresso de meninas em escolas de alguns países em
desenvolvimento está caindo – a contabilidade disso pode nos mostrar tal fato, mas não nos
dirá coisa alguma a respeito das causas ou motivos desses dados. Para se alcançar esse
entendimento, será necessário sair e perguntar a respeito de tais razões – ou seja, ponderar
informações qualitativas. A escolha de indicadores é também algo subjetivo, seja a partir de
métodos quantitativos ou qualitativos para a mensuração real. Os pesquisadores escolhem
medir o ingresso de meninas para a escola porque eles acreditam que isso diga algo a
respeito de como as mulheres são tratadas ou vistas na sociedade.

Para que uma boa compreensão seja alcançada, o processo de monitoramento e avaliação
necessita de uma combinação de informações qualitativas e quantitativas. Por exemplo,
precisamos saber quais são os dados de quantas meninas vão para a escola, assim como
precisamos saber qual o motivo para que seus pais permitam ou não que freqüentem a
escola. Talvez as taxas de matrícula para meninas sejam mais altas porque nesta
comunidade considera-se que ir para a escola seja um luxo e prefira-se treinar meninos em
tarefas mais práticas e tradicionais, como tomar conta de animais, por exemplo. Neste caso,
um ingresso maior de meninas na escola não necessariamente indica uma maior
valorização de meninas.



COMO OBTEREMOS A INFORMAÇÃO?

Isso é tratado com detalhes no pacote do planejamento de ações, na seção de
monitoramento, coletando informações à medida que se progride no planejamento. Seus
métodos de coleta de informação precisam ser construídos dentro de seu planejamento de
ações. Você deve estar apto a manter um canal de informações firmes correndo em seu
projeto ou organização a respeito do trabalho e de como está sendo realizado, sem
sobrecarregar ninguém. A informação que é coletada deve significar alguma coisa: não
colecione informações para manter-se ocupado, somente o faça para encontrar o que
precisa saber, e depois arquive a informação de uma forma que possa ser simples consultá-
la.

Geralmente, você pode utilizar relatórios, minutas, registros de presença e declarações
financeiras que são parte de seu trabalho como fontes de monitoramento e informação de
avaliação.

Entretanto, às vezes você precisa utilizar-se de ferramentas especiais que são simples, mas
úteis para adicionar à informação básica coletada em seu curso natural de trabalho.
Algumas das ferramentas mais conhecidas são:

Estudos de caso
Avaliação gravada
Diários
Análise e gravação de incidentes importantes (chamado “análise de incidente
crítico”)
Questionários estruturados
Entrevistas face a face
Grupos focais
Pesquisas de amostras
Revisão sistemática de estatísticas relevantes oficiais.

Consulte a seção métodos para mais informações a respeito de maneiras de coletar
informação.



QUEM DEVE ESTAR ENVOLVIDO?

Quase todos da organização ou projeto estarão envolvidos de alguma forma na coleta de
informações que possa ser usada para monitorar e avaliar. Isso inclui:

O administrador, que guarda minutas de uma reunião, ou prepara e distribui o
registro de presença;
Os trabalhadores de campo, que escrevem relatórios de suas visitas de campo;
O arquivador, que registra rendas e gastos.

Para que sejam maximizados seus esforços, a organização ou projeto precisa:

Preparar relatórios que incluam a mensuração quantitativa ou qualitativa de
indicadores importantes. Por exemplo, se você quer saber a respeito da participação
da comunidade em atividades, ou da participação feminina especificamente,
construa um relatório que possibilite que os trabalhadores de campo possam tecer
comentários a respeito disso, sustentando observações com os fatos. (Veja um tipo
de relatório de trabalho de campo, mais adiante neste pacote).
Prepare tipos de relatórios que incluam a mensuração quantitativa ou qualitativa de
indicadores importantes. Por exemplo, se você deseja saber quantos homens e
quantas mulheres participaram da reunião, inclua uma coluna que especifique o
gênero de sua lista de presença.
Armazene a informação de uma forma que seja possível manejar o que se precisa
saber. Por exemplo, se você precisa saber se um projeto é sustentável
financeiramente, e quais elementos são mais dispendiosos, então certifique-se de
que seus arquivos de gravação averigúem essa informação relevante.

É um princípio muito útil olhar para cada atividade e dizer: O que necessitamos saber desta
atividade, ambos os processos (como está sendo feito) e produtos (o que se pretende
atingir), e qual é a maneira mais fácil de encontrar e gravar isso à medida que
caminhamos?



Estruturando um processo de monitoramento e/ou avaliação

Como existem diferenças entre como desenhar um sistema de monitoramento e um
processo de avaliação, lidaremos aqui com os dois separadamente.

Sob monitoramento, avaliaremos o processo que uma organização pode atravessar para
construir um sistema de monitoramento.

Sob avaliação, avaliaremos:

Motivo
Questões de avaliação chave
Metodologia.



MONITORAMENTO

Quando você estrutura um sistema de monitoramento, você está estabelecendo um ponto
de visão formativo e criando um sistema que lhe providenciará informação útil de uma base
corrente para melhorar o que fazer e como fazer.

Na próxima página, você encontrará um processo sugerido para criar um sistema de
monitoramento.

Para um estudo de caso que mostra como uma organização se saiu elaborando um sistema
de monitoramento, vá à seção com exemplos e veja o exemplo: criando um sistema de
monitoramento.



Ψ CRIANDO UM SISTEMA DE MONITORAMENTO

Logo abaixo, mostramos passo a passo o processo de criação de um sistema de
monitoramento para sua organização ou projeto.

Para o caso de estudo de como uma organização conseguiu implantar seu sistema de
monitoramento, veja a parte de exemplos.

1º passo: Um seminário com equipe e/ou voluntários, liderado por você ou por um
consultor:

Introduza os conceitos de eficiência, eficácia, e impacto (veja o glossário).
Explique que um sistema de monitoramento precisa cobrir todos os três.
Faça uma lista de indicadores para cada um dos três aspectos.
Esclareça quais variáveis (consulte o glossário) precisam ser conectadas.
Então, por exemplo, você quer criar uma relação entre a idade dos
professores com suas qualificações para poder responder a pergunta:
Existe a tendência de professores mais velhos terem mais qualificações?
Esclareça quais informações o projeto ou organização já está coletando.

2º passo: Inclua os dados e comentários do seminário em um breve resumo de
questões, colocando seu sistema de monitoramento. Dependendo do quão
complexo forem seus requisitos, e de qual é sua capacidade, você talvez
decida ter uma base de dados computadorizada ou manual. Se você quer
poder relacionar muitas variáveis através de muitos casos (e.g.
participantes, escolas, envolvimento dos pais, recursos, urbano e rural, etc.)
você talvez precise de uma linha computadorizada. Se você possui poucas
variáveis, você pode provavelmente fazer isso manualmente. A coisa mais
importante é começar descobrindo as variáveis e manter os dados nestas
variáveis. Conexão e análise podem ser feitos posteriormente. (Estes
conceitos são complicados. Ajudará ler o estudo de caso nos exemplos da
seção do pacote de ferramentas).

Deste seminário, você saberá o que quer monitorar. Você terá os indicadores
de eficiência, eficácia e impacto que precisarão ser priorizados. Você então
escolherá as variáveis que auxiliarão a responder as questões que pense
serem importantes.

Então, por exemplo, você pode ter um indicador de impacto que seja “opções
de sexo mais seguras foram escolhidas” como um indicador de que “pessoas
mais jovens agora estão fazendo escolhas de vida mais maduras”. As
variáveis que podem influenciar o indicador são:

Idade
Gênero
Religião
Região Urbana/rural
Categoria Econômica
Ambiente familiar
Extensão de exposição para suas iniciativas de projeto.
Número de seminários assistidos.



A informação correta lhe capacitará a responder as seguintes questões:

Existe alguma diferença em relação à idade no modo como nossa
mensagem é recebida?
A categoria econômica, isto é, jovens de áreas mais ricas respondem
melhor ou pior à mensagem, ou isso simplesmente não faz diferença?
Houve um impacto maior para as pessoas que assistiram a mais
seminários?

Respostas a estes tipos de questões ajudam uma organização ou um projeto a
tomar decisões a respeito do que eles fazem e de como realizam isso, para
poder executar as mudanças nos programas e medir seus impactos e sua
eficácia. Respostas a questões como as seguintes ajudam o projeto ou a
organização e mensurar e melhorar sua eficiência:

Houve um maior número de pessoas com sessões bastante programadas
com antecipação?
Mais escolas participam quando não se cobra?
Mais jovens participam quando as sessões são durante o final de semana
ou quando são no período noturno?
Custa menos organizar um seminário na comunidade, ou trazer as
pessoas para nosso centro de treinamento para realizar o seminário?

3º passo: Decida como você coletará a informação de que precisa (veja coletando a
informação) e onde deve ser mantida (no computador, em arquivos
manuais).

4º passo: Decida com qual freqüência você analisará a informação – isso pode
significar organizar tudo junto e tentar responder às questões que você
considera importantes.

5º passo: Faça a coleta, analise, faça um relatório.



AVALIAÇÃO

Criar um processo de avaliação pode significar estar apto a desenvolver os Termos de
Referência para tal processo (se você é a organização ou o projeto) ou ser capaz de
desenhar uma proposta sensata que supra as necessidades do projeto ou da organização
(se você é um consultor).

Os principais setores dos Termos de Referência para um processo de avaliação geralmente
incluem:

Conhecimento adquirido: Esse é o fundo de conhecimento do projeto ou
organização, alguma informação quanto ao problema identificado, o que você faz,
quanto tempo você existe como organização ou projeto, ou as razões por você
decidir fazer uma avaliação.

Motivo: Neste setor, você mostrará o que a organização ou o projeto quer alcançar
com a avaliação.

Questões de avaliação-chave: Quais são as perguntas centrais que a avaliação
precisa ocupar-se em resolver.

Objetivos específicos: Quais áreas específicas, externas e/ou internas, que você
deseja que a avaliação focalize. Por exemplo, talvez você queira que a avaliação
inclua uma revisão de finanças, ou inclua certo tipo específico de áreas de
programas.

Metodologia: Neste setor, você poderá dar amplos parâmetros ao tipo de abordagem
que favorece em sua avaliação (veja a seção, mais a respeito de avaliação e
monitoramento). Você também poderá sugerir os tipos de técnicas para o time de
avaliação.

Pontos logísticos: Eles incluem tempo de duração, custo, requisitos para a
composição do time de avaliação, e assim por diante.

Para informações a respeito de alguns dos componentes mais difíceis dos Termos de
Referência, continue a leitura das próximas páginas.



Propósito

O propósito de uma avaliação é o motivo do que se faz. Vai além dos motivos do que você
quer realizar para alcançar o intento que o move a realizar tal coisa. É geralmente do
tamanho de uma frase ou, no máximo, de um parágrafo. Ele possui duas partes:

O que você deseja avaliar;
Com qual fim você quer que isso se realize.

Os exemplos de um propósito de avaliação poderiam ser:

Providenciar à organização informações necessárias para tomadas de
decisões a respeito do futuro de um projeto.

Descobrir se o projeto ou a organização está tendo o impacto planejado de
maneira que possa replicar seu modelo, ou não, em outros lugares.

Para melhorar seu funcionamento em termos de sua eficácia, impacto sobre
um grupo alvo, eficiência e sustentabilidade.

O propósito fornece um foco para o amplo processo de avaliação.



Questões centrais para a avaliação

As questões de avaliação-chave são as questões centrais que você deseja que seu
processo de avaliação responda. Elas não são simples questões. Você dificilmente poderá
responder simplesmente “sim” ou “não” a elas. Uma questão de avaliação útil:

Incita fortes pensamentos.
Desafia previsões.
Focaliza reflexões e questionamentos.
Levanta muitas questões adicionais.

Abaixo, alguns exemplos de questões de avaliação-chave relacionadas com o propósito do
projeto:

O propósito da avaliação é entender quão eficiente é o projeto em distribuir benefícios para
a comunidade em questão, de forma que informe, às decisões de Diretoria, a respeito da
continuidade e da replicabilidade do projeto.

Questões de avaliação-chave:

Quem está atualmente se beneficiando do projeto e de que forma?
Os insumos (em dinheiro e tempo) justificam os resultados e, se sim ou não, em qual
base essa reivindicação se justifica?
O que melhoraria a eficiência, a eficácia e o impacto do projeto atual?
Que lições podem ser aprendidas deste projeto em termos de replicabilidade?

Note que nenhuma dessas questões lida com um elemento específico ou área de
funcionamento interno ou externo de funcionamento do projeto ou organização. A maioria
das questões exigirá que o time de avaliação lide com uma série de elementos do projeto
ou da organização para que consiga respondê-las.

Outros exemplos de questões de avaliação podem ser:

Quais são as maneiras mais eficazes na qual um projeto deste tipo pode resolver o
problema identificado?
Em qual extensão o funcionamento interno e a estrutura de organização conseguem
causar positivamente o impacto de seu programa de trabalho?
Quais ensinamentos deste projeto têm aplicabilidade através de um espectro de
desenvolvimento completo?

Certamente podem ser citados diversos outros exemplos. Nossa experiência tem nos
mostrado que quando um processo de avaliação é desenhado com tais questões em mente,
ele produz muito mais reflexões interessantes do que simplesmente as questões mais
óbvias como “A diretoria tem um papel importante na organização?”, ou, “Que impacto
estamos atingindo?”.



Metodologia

“Metodologia”, em contraposição aos “métodos”, trata mais do tipo de abordagem que se
utiliza em seu processo de avaliação. (Veja nas páginas anteriores mais a respeito de
monitoramento e avaliação neste pacote de ferramentas). Você pode, por exemplo,
comissionar ou fazer um processo de avaliação que quase pareça inteiramente de fontes
escritas, primárias ou secundárias: relatórios, páginas de dados, minutas, e assim por
diante. Ou você pode pedir um processo de avaliação que envolva obter resultados de
todos os grupos de apoio importantes relacionados no processo. A maioria dos termos de
referência pode perguntar pela combinação dessas metodologias, mas eles podem
especificar também como querem que o time de avaliação receba os insumos dos grupos
de apoio, por exemplo:

Através de uma pesquisa;
Através de informantes-chave;
Através de grupos focais.

(Para mais informações de métodos atuais, veja posteriormente a seção coletando
informações).

Aqui também se espera encontrar alguma indicação de relatórios escritos: Todos os
relatórios estarão escritos? O time de avaliação se reportará somente à diretoria ou a toda a
equipe, ou para a equipe, a diretoria e seus beneficiários? Existirão relatórios intermediários
ou somente um relatório final? Que tipo de evidência a organização ou projeto requer para
validar as opiniões de seu avaliador? Quem estará envolvido nesta análise?

A seção de metodologia dos Termos de Referência deve providenciar uma ampla rede de
como um projeto ou organização deseja que o trabalho de avaliação seja realizado.



Coletando Informações
(Isso também é tratado no pacote de ferramentas de planejamento de ações, dentro da
seção a respeito de monitoramento, coletando informações ao passo que você caminha
com a estrutura de seu planejamento).

Abaixo, analisaremos com detalhes:

As linhas de base e o controle de danos;
Métodos.

Entendemos controle de danos como sendo o que você precisa fazer se falhar em coletar
as informações de linhas de base no início do trabalho.



DIRETRIZES E CONTROLES DE DANO

De forma ideal, se você fez seu planejamento de maneira correta e coletou a informação a
respeito da situação no começo de sua intervenção, então você obterá seus dados de base.

Os dados de base são as informações que você tem a respeito da situação antes de se
fazer qualquer coisa. É o conteúdo no qual sua análise do problema foi baseada. Será muito
difícil mensurar o impacto de suas iniciativas se você não souber como a situação estava
quando você começou o trabalho. (Consulte também o pacote da visão geral para o
planejamento, na seção que trata de como realizar o trabalho de base). Você precisará de
dados de base relevantes para os indicadores que você decidiu, e que auxiliarão em medir
o impacto de seu trabalho.

Existem diferentes níveis de dados de base:

Informações gerais quanto à situação, geralmente disponíveis em estatísticas
oficiais, e.g. taxas de mortalidade infantil, ingresso por gênero dos alunos nas
escolas, taxas de desemprego, taxas de alfabetização da população, e assim por
diante. Se você estiver trabalhando numa região geográfica específica, precisará de
dados a respeito dela. Se estes dados não estiverem disponíveis em estatísticas
oficiais, vocês possivelmente terão que reunir, por si mesmos, as informações. Isso
talvez envolva pesquisas de casa em casa, sejam elas por amostragens ou por
todas as casas (veja a seção posterior a respeito de métodos), ou visitando escolas,
hospitais, etc. Focalizando em seus indicadores do impacto quando estiverem
coletando esta informação.

Se você tiver decidido medir o impacto através de uma amostra de pessoas ou
famílias com quem está trabalhando, necessitará de informações específicas dessas
pessoas ou famílias. Então, por exemplo, para famílias (ou empresas de negócios
ou escolas ou qualquer que seja o tipo de unidades com que esteja trabalhando)
você pode querer informações específicas de renda, histórico, número de pessoas
empregadas, número de crianças por sala e assim por diante. Você provavelmente
obterá essa informação com uma combinação de entrevistas e questionários básicos
a serem preenchidos. Mais uma vez, lembre-se de manter o foco nos indicadores
que você decidiu serem importantes para seu trabalho.

Se você está trabalhando com indivíduos, então necessitará “ingerir” informações –
informações documentadas a respeito da situação das pessoas com quem você vai
começar a trabalhar. Por exemplo, você pode querer saber além da idade, gênero,
nome e etc., a renda atual, o status de trabalho, os níveis atuais de educação, o
tempo gasto em atividades esportivas, ambições e assim por diante, para cada
indivíduo participante de sua pesquisa. Novamente, você provavelmente obterá as
informações da combinação de entrevistas e preenchimentos de questionários
básicos, e você deve concentrar sua atenção nos indicadores que considera
importantes.

É muito difícil reiniciar e coletar esse tipo de informação-base depois que você começou seu
trabalho e a situação modificou-se. Mas e se você não tiver coletado esse tipo de



informação no começo do processo? Existem maneiras de se fazer o controle de danos.
Você pode se utilizar de evidências não-formais, ”anedotas” (consulte o glossário) daqueles
que estiveram envolvidos desde o princípio e você pode perguntar a eles como a situação
estava quando o projeto começou. Você pode não ter sequer decidido quais eram os
indicadores importantes no momento quando começou o projeto. Você terá que trabalhar
retroativamente e buscar informações da situação relacionada àqueles indicadores desde
quando iniciou seu trabalho. Você pode conversar com pessoas, analisar dados e consultar
outras fontes como minutas, relatórios e assim por diante.

Uma maneira útil de se fazer comparações significativas onde você não tem informações de
linhas de base é através da utilização de grupos de controle. Grupos de controle são
grupos de pessoas, negócios, famílias, ou qualquer outra unidade a qual você esteja
focalizando e que não tenha sido influenciada pelas melhoras que sua organização ou
projeto trouxeram e que, porém, são unidades de muitas maneiras, bastantes similares com
aquela que você está trabalhando.

Por exemplo: Você vem trabalhando, ao redor do país, com grupos de crianças na escola
para melhorar sua auto-estima e conhecimento como forma de combater a disseminação da
AIDS/HIV e prevenir a gravidez de adolescentes. Após alguns anos, você quer descobrir
qual o impacto que obteve sobre estas crianças. Você vai consultar uma série de grupos de
foco (veja métodos) com as crianças em escolas onde realizou seu trabalho. Mas você não
realizou nenhum estudo de base com eles. Como saberá qual a diferença que você
obteve?

Você pode organizar grupos de controle dentro de escolas nas mesmas áreas, com o
mesmo perfil, onde não tenha trabalhado. Perguntando a ambas as crianças, àquelas com
que você trabalhou e àquelas com que não trabalhou o mesmo tipo de questões envolvendo
auto-estima, comportamento sexual e assim por diante. Assim, você deverá ser capaz de
dizer se, em seu trabalho, houve uma diferenciação ou não. Quando você organiza grupos
de controle, você deve tentar assegurar-se de que:

Os perfis dos grupos de controle são parecidos com aqueles com os quais você
trabalhou. Por exemplo, podem ser escolas que têm o mesmo padrão econômico,
numa igual área geográfica e com as mesmas taxas de gênero, grupos de idade,
etnia e miscigenação.
Não existe nenhuma outra variável que possa afetar as comparações e afirmações.
Por exemplo, se outro projeto, fazendo um trabalho parecido, estiver envolvido com
a escola, essa escola não será um bom local de estabelecer um grupo de controle.
Você precisa de uma situação que seja a mais próxima possível da situação que
seus beneficiados viviam quando o projeto foi iniciado.



MÉTODOS

Nesta seção daremos a você uma “lista de compras” de diferentes tipos de métodos que
podem ser utilizados para a coleta de informações com propósitos de se avaliar e monitorar.
Você precisa selecionar os métodos que servirão para seus propósitos e seus recursos.
Não planeje realizar uma pesquisa extensa de 100.000 moradias se você tiver duas
semanas e muito pouco dinheiro. Utilize uma amostragem neste caso.

A Amostragem (consulte o glossário) é outro conceito importante quando se utiliza de
várias ferramentas para o processo de avaliação e monitoramento. A amostragem não é
uma ferramenta em si, mas se utilizada com outras ferramentas, ela se torna muito útil. A
amostragem responde à questão: Quem pesquisaremos, entrevistaremos ou incluiremos
num grupo de foco, etc.? É uma maneira de se reduzir o número possível de entrevistados
para tornar a pesquisa gerenciável e com um custo realizável. Algumas vezes, é necessário
incluir todos os indivíduos. Isso significa ter de acessar todas as possíveis moradias, ou
escolas, ou professores, ou clínicas, etc. Numa avaliação, você pode bem se utilizar de toda
a informação coletada em cada caso durante o processo de monitoramento em uma análise
geral. Geralmente, porém, ao menos que os números sejam muito pequenos, para uma
exploração mais a fundo, você utilizará uma amostragem. As técnicas de amostragem são:

Amostragem randômica (Em teoria, realizar uma amostragem randômica é fazer
uma espécie de sorteio lotérico onde, por exemplo, todos os nomes sejam
misturados numa caixinha, chacoalhados e retirados um a um. Este tipo de
amostragem randômica é muito difícil de ser utilizado pelo tipo de trabalho que
estamos lidando. Para propósitos práticos, será mais simples selecionar a sétima
moradia, ou uma a cada três pessoas em uma lista. A essência da questão é que
não haja distinções na seleção);
Amostragem estratificada (e.g. toda sétima moradia, na esquina do lado direito, e
toda terceira moradia, na esquina do lado esquerdo);
Amostragem por clusters=grupos homogêneos (p.ex. somente aquelas pessoas que
estão no projeto por no mínimo dois anos).

É também sempre melhor fazer uma triangulação (veja o glossário). Essa é uma palavra
conhecida que significa que um conjunto de dados ou informações são confirmados pelos
outros. Você geralmente procura confirmações de um número de fontes dizendo a mesma
coisa.

Ferramenta Descrição Utilidade Desvantagens
Entrevistas Podem ser estruturadas, Podem ser utilizadas com Requer alguma
semi-estruturadas, ou quase todos que tiveram habilidade do
sem estrutura (consulte o algum envolvimento com entrevistador. Para
glossário). Elas envolvem o projeto. Podem ser maiores informações a
formular perguntas realizadas pessoalmente respeito de habilidades
específicas que tenham ou pelo telefone ou de entrevistas, leia mais a
como objetivo obter a mesmo por e-mail. Muito seguir neste pacote.
informação que possibilite flexível.
que os indicadores sejam
mensurados. As questões
podem ser abertas ou
fechadas (respostas
sim/não). Podem ser uma
fonte de informações
qualitativas e
quantitativas.



Entrevistas de Estas são entrevistas que Como estes informantes Necessita de um hábil
informantes-chave são conduzidas por geralmente têm pouco a entrevistador com um
especialistas em um ver com a organização ou bom entendimento do
tópico ou alguém que projeto, eles podem ser assunto. Tenha cuidado
pode estar apto a bastante objetivos e para não transformar algo
compartilhar uma oferecer perspectivas numa verdade absoluta
indicação ou luz especial bastante úteis. Eles (que não possa ser
acerca do processo. podem providenciar uma questionada) por ter sido
visão mais ampla, dita por um informante-
enquanto que pessoas chave.
mais envolvidas podem
ter seu foco na visão de
nível mais micro
(pequeno).
Questionários Estas são questões Essa ferramenta pode Pessoas que não
escritas usadas para economizar bastante conseguem ler ou
obter respostas escritas tempo se for para escrever precisarão de
as quais, quando preencher um acompanhamento
analisadas, possam individualmente, com os questionários, o
possibilitar que os possibilitando atingir que significa que nenhum
indicadores sejam muitas pessoas. Feita tempo será ganho e os
medidos. dessa maneira, ela números passíveis de
possibilita às pessoas um alcance serão limitados.
sentimento de anonimato Com questionários, não
e elas talvez dirão coisas se tem a possibilidade de
que não diriam a um explorar o que as
entrevistador. pessoas estão dizendo
além do que está escrito.
Questionários também
são utilizados em
demasia e as pessoas
ficam cansadas de
responder a eles.
Questionários devem ser
conduzidos tendo claro
que as perguntas podem
ser entendidas e não vão
ser mal interpretadas. Se
o questionário for
complexo e precisar ser
analisado no computador,
você necessitará de ajuda
de um especialista que
saiba lidar com esta
análise.
Grupos focais Num grupo focal, uma Essa pode ser uma É bastante difícil realizar
média de média de seis a maneira útil de conseguir uma amostragem
doze pessoas são opiniões de uma amostra randômica para grupos
entrevistadas em bastante grande de focais e isso significa que
conjunto por um pessoas. posicionamentos e
entrevistador experiente pensamentos não podem
com uma agenda de ser generalizados.
entrevista Algumas vezes, as
cuidadosamente pessoas influenciam
estruturada. As questões umas às outras dizendo
são geralmente alguma coisa ou se
focalizadas ao redor de calando a respeito de
um tópico ou tema outra. Se possível,
específico. entrevistas de grupos de
foco devem ser gravadas
e então transcritas. Isso
requer equipamento
especial e pode ser



bastante demorado.
Encontros da Isso envolve um encontro Encontros da comunidade Difíceis de serem
comunidade de uma significativa são bastante úteis para analisados – requisitando
porção da comunidade de conseguir uma ampla um
beneficiários a quem resposta de muitas facilitador/entrevistador
questões, problemas, e pessoas em assuntos experiente. Possa talvez
situações são colocadas específicos. É também requisitar desdobrar em
como dados que auxiliem uma forma de envolver os pequenos grupos
a medir os indicadores. beneficiários diretamente seguidos por sessões de
no processo de avaliação, plenário quando todos
dando a eles a sensação são colocados juntos
de autoria no processo. novamente.
Eles são úteis em pontos
críticos de projetos
comunitários.
Relatórios de campo Relatórios de formato Flexível, uma extensão Depende dos
(veja também formatos estruturado que garante de um trabalho normal, trabalhadores de campo
de relatórios de campo que questões portanto, barata e rápida. serem disciplinados e
sob exemplos) relacionadas a conscientes.
indicadores sejam feitas,
respondidas e gravadas e
observações sejam
gravadas a cada visita.
Ranking Isso envolve fazer com Pode ser utilizado por Ranking é um conceito
que as pessoas digam o indivíduos e grupos, difícil de ser entendido, e
que pensam ser o mais como parte de uma necessita de uma
importante, menos útil, agenda de entrevistas ou explicação muito
etc. um questionário, ou como cuidadosa, bem como de
uma sessão separada. testes que assegurem
Onde pessoas não que as pessoas
podem ler nem escrever, entenderam o que está
imagens podem ser sendo pedido. Se as
utilizadas. pessoas mal-
interpretarem seus dados,
eles podem ser
completamente
distorcidos.
Estímulos áudio- Isso inclui imagens, Muito útil para ser usado Você deve utilizar o
visuais filmes, fitas, estórias, conjuntamente com estímulo correto, e o
atividades dinâmicas, outras ferramentas, entrevistador precisa ser
fotografias, utilizadas particularmente com hábil em se utilizar desse
para ilustrar problemas ou pessoas que não estímulo.
temas, ou eventos conseguem ler ou
passados ou futuros. escrever.

Configurando Escalas Essa técnica faz uso de É útil para mensurar Você precisa testar os
um contínuo, ao longo do atitudes, opiniões e posicionamentos com
qual se espera que as percepções. bastante cuidado, para
pessoas coloquem seus estar certo de que não
próprios sentimentos, houve algum mal-
observações, etc. As entendido. Um problema
pessoas são geralmente comum é quando dois
levadas a se posicionar conceitos são incluídos
se concordam fortemente, no posicionamento e você
concordam, não sabem, não consegue ter certeza
discordam, ou discordam se a opinião foi dada em
fortemente com uma um ou outro, ou em
dessas perspectivas. ambos.
Você pode usar imagens
e símbolos nessa técnica
se as pessoas não
souberem ler e escrever.



Evento crítico/ análise Este método é uma Muito útil quando algo A equipe de avaliação
de ocorrências maneira de focalizar problemático tiver pode terminar soterrada
entrevistas com ocorrido e as pessoas sob uma montanha de
indivíduos ou grupos a sentirem-se emocionadas detalhes contraditórios e
respeito de eventos pelo que houve. Se todos muitos “ele disse/ela
particulares ou incidentes. os envolvidos na situação disse”. Pode se tornar
O propósito é obter uma estiverem incluídos, isso difícil não ser parcial e
visão ampla do que ajudará a equipe de permanecer objetivo.
realmente aconteceu. avaliação a obter uma
imagem que seja
razoavelmente próxima
do que aconteceu de
verdade, e diagnosticar o
que ocorreu de errado.

Observação Isso envolve observação Pode ser uma maneira É difícil observar e
participante direta de eventos muito útil de confirmar, ou participar. O processo
processos, não, a informação torna-se muito demorado.
relacionamentos, e providenciada de outras
comportamentos. formas.
“Participante”, aqui,
refere-se mais ao
observador estar
envolvido nas atividades
do que manter alguma
distância.

Desenhos Isso envolve os Pode ser bastante útil Pode ser difícil de
participantes em particularmente com explicar ou interpretar.
desenhar gravuras, crianças mais jovens.
geralmente a respeito do
que sentem ou pensam
de algo.



Ψ HABILIDADES DE ENTREVISTA

O que fazer e o que não se deve fazer em entrevistas:

□ Faça um teste com o formulário de entrevistas com antecedência para maior clareza,
e para ter certeza de que as questões não serão interpretadas de forma incorreta.
□ Estabeleça da forma mais clara possível o propósito de sua entrevista.
□ Assegure ao entrevistado que o que for dito será tratado em sigilo.
□ Pergunte ao entrevistado se ele se importa que você tome notas e use um gravador
durante a entrevista.
□ Registre com a maior exatidão possível as palavras dos entrevistados.
□ Continue falando enquanto escreve.
□ Mantenha a entrevista dentro do tema desta.
□ Preencha todas as questões do formulário.
□ Fique atento para questões que sejam vagas e possam exigir mais informações.
□ Seja flexível, e anote tudo que foi dito e que seja interessante, mesmo que não esteja
no formulário.
□ NÃO ofenda o entrevistado de maneira alguma.
□ NÃO diga coisas que tenham um teor de julgamento.
□ NÃO o interrompa no meio do que ele está falando.
□ NÃO coloque palavras na boca do entrevistado.
□ NÃO mostre o que estiver pensando através de um tom de voz diferente.



Analisando Informações
Analisando tanto o monitoramento quanto a avaliação, haverá um momento que você vai se
deparar com uma grande quantidade de informações e terá que decidir como fazer com que
aquilo tudo faça sentido, ou seja processado e analisado. Se você estiver utilizando uma
equipe de avaliação externa, será ela que fará essa análise, mas em algum momento da
avaliação, e certamente quando estiver monitorando, você, o projeto ou a organização terão
que se prontificar a realizar essa análise.

Análise é o processo de transformar a informação detalhada em padrões de entendimento,
comparações, e interpretações. O ponto inicial para a análise em um contexto de projeto ou
organizacional é muitas vezes muito pouco científico. É seu entendimento intuitivo de temas
chave que resultarão em um processo de associação de informações. Uma vez que você
saiba os temas-chave, torna-se possível trabalhar a informação, estruturando-a e a
organizando corretamente. O próximo passo é escrever a respeito de suas descobertas e
reflexões como base para alcançar conclusões e fazer recomendações.

Assim, seu processo parecerá algo do tipo:

Determine os indicadores chave para o processo
de avaliação e monitoramento

Recolha a informação a respeito dos indicadores

Desenvolva uma estrutura para sua análise,
baseada no entendimento intuitivo de temas
emergentes e preocupações, e onde você
suspeite haver alguma variação do que você
esperava e/ou previa.

Organize seus dados, colocando-os
relacionados em temas e preocupações.

Identifique padrões, comparações e possíveis
interpretações.

Escreva suas conclusões e descobertas. Estude
formas e alternativas possíveis
(recomendações).



Tomando atitudes

O monitoramento e a avaliação têm pouco valor se a organização ou o projeto não realizam
o procedimento de analisar os dados coletados a respeito das informações obtidas. Uma
vez que você estabeleça as descobertas, conclusões e recomendações de seu processo de
monitoramento e avaliação, você precisará:

Enviar relatórios aos seus patrocinadores;
Aprender do processo geral;
Tomar as decisões eficazes, para mover em frente; e, se necessário,
Lidar com a resistência para fazer mudanças necessárias dentro do projeto ou
organização, ou mesmo com relação aos que dão suporte ao projeto.



RELATÓRIO

Se você estiver monitorando ou avaliando, em algum ponto, ou pontos, existirá um processo
de fazer um relatório. O processo de um relatório segue os mesmos passos da análise de
informações. Você se reportará aos diferentes patrocinadores de diferentes maneiras, às
vezes de forma escrita, outras verbalmente, e, cada vez mais, utilizando-se de ferramentas
como apresentações de PowerPoint, slides e vídeos.

A tabela abaixo traz algumas sugestões de mecanismos de relatórios para momentos
distintos nos ciclos de projetos. Para dicas de escrita, consulte o pacote de ferramentas que
ajuda a escrever com mais eficácia.

Grupo alvo Estágio do ciclo de projeto Formato apropriado
Diretoria De tempos em tempos, baseado na Relatório escrito
análise de monitoramento.
Avaliação Relatório escrito com um sumário
executivo, e uma apresentação
verbal do time de avaliação.
Time gerencial De tempos em tempos, baseado no Relatório escrito, discutido em uma
monitoramento. reunião do time gerencial.
Avaliação Relatório escrito, apresentado
verbalmente pelo time de
avaliação.
Equipe De tempos em tempos, baseado no Apresentação escrita e verbal aos
monitoramento. níveis de time e departamento.
Avaliação Relatório escrito, apresentado
verbalmente pelo time de avaliação
e seguido em profundidade de uma
discussão com recomendações
relevantes para cada time e
departamento.
Beneficiados De tempos em tempos, mas Apresentação verbal, com base em
somente com os pontos um documento resumido, utilizando
significativos, e avaliação. tabelas apropriadas, gráficos
visuais e áudios-visuais. Isso é
especialmente importante se a
organização ou projeto tem
intenções de formular uma grande
mudança que trará um grande
impacto aos beneficiados.
Doadores De tempos em tempos, baseado no Resumido em um relatório por
monitoramento. escrito.
Avaliação Relatório completo por escrito, com
um sumário executivo ou uma
versão especial, focalizada nas
preocupações e interesses dos
doadores.
Comunidade de Avaliação Artigos de jornal, seminários,
desenvolvimento em geral conferências e páginas da internet.

Para um esboço do que normalmente é colocado em um relatório escrito, veja a página a
seguir.


Monitoramento e Avaliacao

Recomendados

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados (20)

Destaque

Destaque (14)

Semelhante a Monitoramento e Avaliacao

Semelhante a Monitoramento e Avaliacao (20)

Mais de Alessandra Rezende

Mais de Alessandra Rezende (20)

Monitoramento e Avaliacao