Aula ¨6 -Avaliação em Projetos de Intervenção (CEEPIS Curso de elaboração de projetos e intervenção social)

CURSO DE EXTENSÃO
ELABORAÇÃO DE PROJETOS E INTERVENÇÃO SOCIAL
PROFA. DRA CLEIDE MAGÁLI, 2017.1
1
MONITORAMNETO E AVALIAÇÃO DE PROJETOS DE INTERVENÇÃO SOCIAL

CURSO DE EXTENSÃO
DEFINIÇÕES DOS TERMOS “MONITORAMENTO” E “AVALIAÇÃO”
ADOTADOS POR ORGANIZAÇÕES NACIONAIS E INTERNACIONAIS
2
Monitoramento Avaliação
Atividade de gestão interna e
contínua.
Atividade interna ou externa
Acontece durante a
implementação do projeto
Pode acontecer antes, durante ou
depois da implementação de um
projeto.
Compara o que está sendo
realizado com o que foi
planejado.
Com base em dados levantados
pelo monitoramento e outras
fontes, julga o desempenho de um
projeto de acordo com critérios
pré-estabelecidos, tais como:
eficácia, eficiência, efetividade,
sustentabilidade, dentre outros.

CURSO DE EXTENSÃO
3
DEFINIÇÃO DE AVALIAÇÃO
“É uma estimativa das características e efeitos de uma política ou de um programa ou
projeto, concluído ou em fase de execução, da sua concepção, implementação e
resultados. Ela visa determinar a relevância e realização dos seus objetivos e sua
eficiência, eficácia, impactos e sustentabilidade do ponto de vista do desenvolvimento.
Uma avaliação deve suprir informações críveis e úteis e permitir a absorção dos resultados
pelo processo decisório e pelos beneficiários das políticas e programas.” (OCDE)
Exame sistemático e objetivo de um projeto ou programa, finalizado ou em curso, que
contemple o seu desempenho, implementação e resultados, com vistas à determinação de
sua eficiência, efetividade, impacto, sustentabilidade e a relevância de seus objetivos.”
(UNICEF). O propósito da Avaliação é guiar os tomadores de decisão, orientando-os quanto
à continuidade, necessidade de correções ou mesmo suspensão da ação.
O tema “avaliação de resultados da ação social ou do investimento social privado” tem-se
mostrado como um grande desafio para as organizações do terceiro setor.

CURSO DE EXTENSÃO
4
AVALIAÇÃO em uma AGENDA DEMOCRATICA CONTEMPORANEA
Avaliação participativa (DEMO, 1988 e 2002),
Avaliação democrática (SOBRINHO, 2003),
Avaliação colaborativa (BARREIRA, 2002)
Participação em avaliação (SILVA e BRANDÃO, 2011)

CURSO DE EXTENSÃO
5
CARACTERISTICAS DAS AVALIAÇÕES
 Interna (Internal Evaluation) – conduzida por membros das organizações
associadas ao programa, projeto ou objeto que está sendo avaliado.
 Formativa (Formative Evaluation) – utilizada durante a implementação de
um programa ou projeto, para fornecer informações que permitam o seu
aprimoramento. Avaliações Formativas são usadas para dar um retorno às
equipes técnicas sobre os componentes do programa/projeto que estão
funcionando e aqueles que precisam ser modificados.
 De Programas ou Projetos (Program Evaluation) – utilizada para determinar
se os objetivos, formato e resultados do programa ou projeto estão
adequados, assim como seu grau de eficiência, eficácia e efetividade na
aplicação dos recursos.

CURSO DE EXTENSÃO
6
TIPOS DE AVALIAÇÃO
Avaliação de Processo - visa determinar o grau em que o projeto está operando conforme
planejado. Visa acompanhar e avaliar a execução dos procedimentos de implantação e
diferencia-se em avaliação de eficácia e eficiência.
Essa modalidade de acompanhamento e avaliação investiga sistematicamente o desenvolvimento
do projeto visando medir a cobertura, estabelecer o grau em que está alcançando a população
beneficiária e, principalmente, acompanhar seus processos internos.
Cobertura: analisa o alcance do projeto e as características dos beneficiários.
Processo: analisa a consistência do projeto a qualidade de sua implementação
Exemplos de Perguntas Avaliativas de Processo
Quanto à cobertura: Quais são as principais características dos participantes? Estamos atendendo quem deveríamos
atender? Em qual proporção estamos conseguindo atender aqueles que nos procuram?
Quanto ao processo de implementação do projeto: As atividades estão acontecendo conforme planejado? Quais são
os pontos fortes e fracos das estratégias e atividades do projeto? Como os diferentes atores percebem o projeto?
O objetivo da Avaliação de Processo é constatar possíveis defeitos na elaboração dos procedimentos,
identificar barreiras e obstáculos à sua implementação e gerar informações para sua reprogramação,
permitindo introduzir mudanças durante a própria execução.

CURSO DE EXTENSÃO
7
TIPOS DE AVALIAÇÃO (cont.)
Avaliação de Impacto ou Avaliação de Resultados - analisa em que grau o projeto vem produzindo
os benefícios e transformações a que se propõe. É aquela que focaliza os efeitos ou impactos
produzidos sobre a sociedade e, portanto, para além dos beneficiários diretos da intervenção
(população-alvo) avaliando-se sua efetividade social. Dois pressupostos orientam a avaliação do
impacto: o primeiro considera propósitos de mudança social e, neste caso, faz sentido estruturar a
investigação para mensurar seus impactos. O segundo pressuposto é o estabelecimento de uma
relação causa-efeito entre os impactos e ação realizada por meio do projeto.
Em suma, não basta constatar a ocorrência da mudança; é preciso provar que foi causada
pelo projeto.
As atividades de um projeto produzem 3 tipos de resultado: produtos (outputs), resultados
(outcomes) e impactos (impact).
Atividades: procedimentos do projeto que são mobilizados visando à obtenção dos efeitos desejados (como o
treinamento de pessoas etc.).
Produtos: efeitos imediatos de cada atividade do projeto (como o número de pessoas capacitadas, informações dadas,
materiais produzidos, etc.).
Resultados: impactos de curto prazo, resultado direto do projeto para seus beneficiários (normalmente referem-se a
mudanças de conhecimento, habilidades, comportamento e valores).
Impactos: benefícios e transformações de médio e longo prazo para os participantes e beneficiários indiretos do projeto
(suas famílias e comunidades).

CURSO DE EXTENSÃO
8
CRITÉRIOS DE AVALIAÇÃO
Eficiência – menor relação custo-benefício possível para o alcance dos
objetivos estabelecidos no projeto;
Eficácia – medida do grau em que o projeto atinge seus objetivos e metas;
Impacto (ou efetividade) – indica se o projeto tem efeitos positivos no
aspecto externo em que houve intervenção, em termos técnicos,
econômicos, socioculturais, institucionais e ambientais;
Sustentabilidade – mede a capacidade de continuidade dos efeitos
benéficos alcançados através da política pública, após o seu término.

CURSO DE EXTENSÃO
PROFA. DRA CLEIDE MAGÁLI , 2017.1
9
DEFINIÇÃO DE INDICADORES
Indicadores são medidas quantitativas e/ou qualitativas que funcionam como
um termômetro do progresso de um projeto, indicando os avanços obtidos
em relação aos objetivos e metas traçados. Como o próprio nome sugere, são
sinalizadores que buscam expressar algum aspecto da realidade, de forma
que possamos observá-lo ou mensurá-lo.

CURSO DE EXTENSÃO
PROFA. DRA CLEIDE MAGÁLI 2017.1
10
CARACTERISTICAS DE UM BOM INDICADOR
 Ser válido – que meça o que se supõe dever ser medido;
 Ser confiável – que seja verificável;
 Ser relevante – que tenha relevância em relação aos objetivos do projeto;
Ser sensitivo – que seja sensível às mudanças da situação que é observada;
 Ser aceitável – que seja aceito pela população em estudo e pelos principais
clientes da avaliação;
 Ser específico – que seja especificamente adaptado aos objetivos do
projeto;
 Ser oportuno – que possa ser constituído e reportado em tempo hábil;
 Ser tecnicamente viável – que os dados requeridos possam ser coletados e
mensuráveis;
 Ser custo-efetivo – que os dados requeridos possam ser coletados a um custo
razoável.

CURSO DE EXTENSÃO
PROFA. DRA CLEIDE MAGÁLI 2017.1
11
INDICADORES
Indicadores de resultados que podem ser imediatos ou de médio e longo prazo
(impactos). Os indicadores de resultado mensuram os efeitos
do projeto junto à população-alvo como um
todo e junto aos usuários do projeto. Exemplos: para
projetos de nutrição – taxas de desnutrição por faixa
etária; de mortalidade e morbidade; para projetos de
educação – taxas de analfabetismo; de repetência; de
evasão.
Indicadores de insumo - apontam os meios ou os recursos disponíveis para o alcance
dos objetivos propostos. Recursos escassos e inadequados
(financeiros, de mão-de-obra, de material) tendem a
comprometer os resultados esperados. Exemplos: para os
projetos de nutrição - disponibilidade de alimentos
por pessoa; para projetos de educação – relações
aluno/professor; aluno/escola; disponibilidade de material
didático por aluno.
Indicadores de acesso – indicam os determinantes que permitem tornar efetiva a
utilização dos recursos disponíveis nos projetos para o
alcance das metas previstas. Exemplos: para projetos de
saúde: número de consultas médicas por adulto; distância
geográfica em relação ao serviço de saúde mais próximo; para
projetos de educação – distância da escola; adequação
curricular

CURSO DE EXTENSÃO
12
DEFINIÇÃO E CRIAÇÃO DOS INSTRUMENTOS PARA COLETA DE DADOS PARA AVALIAÇÃO
A definição dos instrumentos para a coleta de dados a serem utilizados no estudo
avaliativo depende da escolha do tipo de abordagem que se quer adotar. Abordagens quantitativas
têm a vantagem de permitir mensuração, comparação e generalização das informações obtidas, no
entanto as abordagens qualitativas permitem uma análise mais aprofundada das experiências
estudadas.
Os métodos de coleta de dados quantitativos mais comumente utilizados são a pesquisa de
dados disponíveis em sistemas de acompanhamento e monitoramento do projeto, e a aplicação de
questionários ou formulários junto aos beneficiários e atores intermediários da sua execução. No
caso de abordagens qualitativas, os métodos de coleta de dados mais usados são entrevistas, grupos
focais e observação direta.
Cada instrumento criado deverá ser pré-testado para análise de sua consistência e clareza,
e avaliação da relevância e viabilidade dos dados por ele coletados. Uma simulação da tabulação e
análise dos dados coletados no pré-teste também ajuda no aprimoramento do instrumento antes da
sua aplicação generalizada.
O sucesso desta etapa é fundamental para a realização de uma avaliação que permita uma
utilização plena de seus resultados. Não basta escolher bons indicadores teóricos e de aplicações
gerais, torna-se imprescindível a relevância, bem como pertinência ao objeto avaliado e, sobretudo,
a operacionalidade, sem implicar em excessos de utilização de recursos (tempo, recursos financeiros
e recursos humanos).

CURSO DE EXTENSÃO
O PROCESSO DE COLETA DOS DADOS
Deve ser planejado a partir da definição dos instrumentos que serão
utilizados, das informações que serão pesquisadas e do prazo de que se dispõe
para a obtenção dessas informações. A característica da população-alvo, a
característica espacial e os indicadores de desempenho físico-financeiro são
dados relevantes para serem coletados.
As primeiras informações a serem levantadas dizem respeito ao processo de
execução do projeto e seus produtos. A partir dos dados sobre as realizações do
projeto, obtidos no sistema de monitoramento e de outras fontes de
informações, os avaliadores poderão coletar os indicadores de eficácia e
eficiência definidos. Os indicadores de eficácia e eficiência são obtidos,
frequentemente, a partir dos registros administrativos do próprio projeto. Já os
indicadores de efetividade, exigem seu levantamento direto junto à população
beneficiária ou a registros censitários.
Na coleta de dados com beneficiários do projeto de intervenção, pode-se
optar pela pesquisa com toda a população a ser estudada ou por amostragem.
13

CURSO DE EXTENSÃO
14
TABULAÇÃO E ANÁLISE DOS DADOS COLETADOS
Todos os dados devem ser tabulados, ou seja, organizados de maneira
a facilitar a sua interpretação e análise, tendo em vista as perguntas
avaliativas a serem respondidas. A tabulação e análise dos dados serão
decorrentes da sua natureza: quantitativos ou qualitativos.
Em uma avaliação, os textos e observações coletados vêm de várias
fontes como: respostas a perguntas abertas de questionários, transcrições
de grupos focais ou entrevistas, roteiros de observação de casos, ou, ainda,
resumos de relatórios e documentos pesquisados.
Tanto as fontes de informações, como as técnicas quantitativas e
qualitativas utilizadas para a coleta de dados, devem ser combinadas para uma
compreensão mais abrangente do programa. As informações sobre o previsto e
o realizado, os principais produtos entregues aos beneficiários, e a
espacialização destas realizações, são dados importantes para subsidiar a
avaliação de desempenho do programa

CURSO DE EXTENSÃO
15
ELABORAÇÃO E DISSEMINAÇÃO DO RELATÓRIO DE AVALIAÇÃO
Toda avaliação deve resultar em um relato claro e objetivo sobre o
processo e os resultados obtidos quanto ao desempenho do programa
analisado. Estas informações devem ser disseminadas entre os principais
clientes da avaliação de maneira a influenciar futuras decisões quanto ao
aprimoramento do programa ou ao estabelecimento de novas diretrizes de
ação
A comunicação dos resultados de uma avaliação pode ser feita de
forma oral ou escrita, mas deve sempre ser simples, direta e livre de
jargões. A ênfase deve estar nos importantes resultados obtidos e nas
recomendações, sempre com o foco nos principais clientes da avaliação,
suas expectativas e necessidades de informação.

CURSO DE EXTENSÃO
CONTINUA...
16

CURSO DE EXTENSÃO
17
.
REFERENCIAS
BAHIA. Secretaria de Planejamento Sistemática de monitoramento e avaliação em
programas e projetos governamentais. Salvador: SEPLAN/SGA, 2005. 66p. Il Disponivel em
http://www.imap.curitiba.pr.gov.br/wp-
content/uploads/2014/03/apostila_planejamento_monitoramento_e_avaliacao_de_projeto_
sociais_e_slides%20(1).pdf. Acesso maio de 2017.
BARREIRA, Maria C. R. Nobre. Avaliação Participativa de Programas Sociais. 2ª Ed. São
Paulo/Lisboa: Veras Editora – CPIHTS, 2002.
DEMO, P. Avaliação Qualitativa, 2 edição, São Paulo, Cortez Editora, 1988.
______. Mitologias da Avaliação, 2 edição, São Paulo, Ed. Autores Associados, 2002.
SOBRINHO, J. D. Avaliação. Políticas educacionais e reformas da educação superior. Cortez
Editora: São Paulo, 2003
SILVA, Rogério R.; BRANDÃO Daniel B. Nas Rodas da Avaliação Educadora. In: CAMPOS,
Rosana O.; FURTADO, Juarez P. (ORG). Novas tendências e questões emergentes: os desafios
da avaliação de programas e serviços em saúde. Campinas: UNICAMP, 2011.

Aula ¨6 -Avaliação em Projetos de Intervenção (CEEPIS Curso de elaboração de projetos e intervenção social)

Recomendados

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados (20)

Semelhante a Aula ¨6 -Avaliação em Projetos de Intervenção (CEEPIS Curso de elaboração de projetos e intervenção social)

Semelhante a Aula ¨6 -Avaliação em Projetos de Intervenção (CEEPIS Curso de elaboração de projetos e intervenção social) (12)

Mais de Cleide Magáli dos Santos

Mais de Cleide Magáli dos Santos (20)

Último

Último (20)

Aula ¨6 -Avaliação em Projetos de Intervenção (CEEPIS Curso de elaboração de projetos e intervenção social)