O documento discute os diferentes tipos de avaliação de projetos sociais: avaliação de processos, avaliação de implementação e avaliação de impacto. A avaliação de impacto é a mais complexa pois busca isolar a influência do projeto de outros fatores e medir mudanças reais na vida dos beneficiários por meio de grupos de tratamento e controle.

2. Hoje, há muita confusão com relação ao que é realmente o
impacto de projetos sociais
• Aprendizagem dos alunos
• Aumento da renda feminina
• Redução da taxa de mortalidade
• Redução na taxa de evasão escolar
MUDANÇA NA VIDA
DOS ATENDIDOS
PODE SER IMPACTO
• Alunos participantes
• Mulheres atendidas
• Pacientes tratados
• Acessos à plataforma de ensino
VOLUME DE ATENDIMENTO
NÃO É IMPACTO

3. Para refletir sobre essa questão, é preciso começar pelo significado
da ideia de ‘avaliação’
• Verificação
• Ato de avaliar
• Valor determinado pelos avaliadores
• Estabelecimento do valor de algo, cálculo
• Prova
• Apreciação da competência ou do progresso de um aluno ou de um profissional
• Arbitragem, feita por peritos, que tem por fim a determinação do valor de certos bens ou direitos
(Direito)
• Apreço, estima (figurado)
Avaliar, remete a assinalar, estimar, apreciar ou calcular o valor de algo:
Fonte: http://pt.wiktionary.org/wiki/avalia%C3%A7%C3%A3o

4. Qualquer avaliação implica diferentes dimensões práticas e
simbólicas
Avaliação é um processo de reflexão que requer:
Engajamento
dos envolvidos
Consideração sobre a
natureza dos
valores em
apreciação
Argumento racional
para justificar a
avaliação produzida
Acesso a informações
para substanciar a
avaliação
• O que avaliar?
• Qual o significado
da avaliação para
o projeto?
• Como avaliar?
• Quais os parâmetros
utilizados?
• Quais os dados
disponíveis?
• Quem demanda a
avaliação?
• Quem avalia?
• Quem participa?

5. Uma primeira decisão importante é a seleção de quem será o
responsável pela avaliação
Avaliador interno
• Conhece o projeto em profundidade
• Tem menos tempo, em função da lógica
operacional
• Pode se sentir mais pressionado a apresentar
resultados positivos em função do seu
envolvimento
• Pode não ser um especialista em avaliação
• Conhece pouco o projeto
• Tem mais tempo, quando se dedica
exclusivamente à avaliação
• Tende a ter mais autonomia, dependendo dos
termos de sua contratação e de sua ética
profissional
• Deve ser um especialista
Muitas organizações demandam a realização de avaliações
externas para assegurar sua imparcialidade
Avaliador externo

6. No caso da avaliação externa, a relação com os executores do
projeto tem um papel crítico
Avaliador responde à alta gestão
Avaliador
externo
Alta gestão
Executores do
programa
Avaliador
externo
Alta gestão
Executores do
programa
Risco de boicote: baixo
engajamento com os executores
Risco de viés: excessiva
subordinação aos executores
Avaliador responde aos executores

7. Cada momento do projeto exige uma modalidade diferente de
avaliação
1. O projeto saiu do papel?
SIM NÃO (ou em parte)
2. O projeto foi executado (ou entregue)?
SIM NÃO (ou em parte)
3. O projeto tem efeitos para o beneficiário?
SIM NÃO
AVALIAÇÃO DE
PROCESSOS
AVALIAÇÃO DA
IMPLEMENTAÇÃO
AVALIAÇÃO DE
IMPACTO
Concepção
Execução
Efeitos

8. A avaliação de processos estuda aspectos organizacionais de um
dado projeto
• Capacidades institucionais
• Financiamento e gasto
• Seleção dos agentes implementadores
• Seleção do público-alvo
• Sistemas de informação
• Capacitação dos implementadores
• Sistemas logísticos
• Sistemas de monitoramento e avaliação
Fonte: Draibe, S. 2001. Análise de processo da Implementação: subsistemas e indicadores
O projeto tem
consistência
organizacional,
financeira e
jurídica?
PREDOMINANTEMENTE
QUALITATIVA

9. Já a avaliação de implementação examina os resultados operacionais
O projeto tem
consistência
organizacional,
financeira e
jurídica?
1. Prestação da atividade-fim
• Produção
• Regularidade
• Cobertura
• Produtividade
• Qualidade
2. Opinião e satisfação dos atores
• Satisfação dos beneficiários
• Envolvimento da sociedade civil
• Engajamento dos profissionais
Fonte: Draibe, S. 2001. Análise de processo da Implementação: subsistemas e indicadores
QUALITATIVA E
QUANTITATIVA
• Como foi a entrega?
• Como o serviço/produto
chegou ao beneficiário?
• Como o beneficiário
percebe esse serviço?

10. Nas avaliações de impacto, o ponto central é compreender que
“diferença” o projeto faz na vida do seu público
O projeto tem
consistência
organizacional,
financeira e
jurídica?
• Melhoria das condições nutricionais
• Aumento da renda familiar
• Melhoria nos exames padronizados
• Maior frequência escolar
• Ampliação da taxa de ocupação
• Maior valor atribuído à educação
• Elevação da autoestima
• Maior sensação de pertencimento à
comunidade
• Aumento do controle das ações
governamentais
Fonte: Draibe, S. 2001. Análise de processo da Implementação: subsistemas e indicadores
O projeto mudou
as condições de
vida do
beneficiário?
PREDOMINANTEMENTE
QUANTITATIVA
• Condições da criança
• Condições familiares
• Desempenho escolar
• Comportamento
• Empregabilidade
• Atitude
• Sentimentos
• Percepção
• Empowerment
Dimensões consideradas Exemplos

11. As avaliações de impacto requerem um planejamento minucioso
O projeto tem
consistência
organizacional,
financeira e
jurídica?
Identificar a
tese de
impacto*
Selecionar
uma dimensão
a ser avaliada
Definir claramente
os grupos de
tratamento e
controle
Escolher uma
variável
instrumental
Construir a
base de dados
em dois pontos
do tempo
Efeito do novo
material didático
sobre o
desempenho dos
alunos em língua
portuguesa
Desempenho na
nota Saresp de
Língua Portuguesa
no 9º ano do
Fundamental
Escolas
sorteadas para
começar o
programa versus
restante da rede
Momento
anterior e
posterior ao
início da ação
Exemplos
Hipótese de que
um novo material
escolar acelera a
aprendizagem
dos alunos
Planejamento Execução
* A Din4mo (www.din4mo.com) disponibiliza uma ferramenta para auxiliar o empreendedor social a refletir sobre sua tese de impacto:
cadastre-se, acesse a aba comunidade na parte superior da página e acesse avaliações

12. A tese de impacto oferece hipóteses sobre como um dado projeto
provoca certa mudança
O projeto tem
consistência
organizacional,
financeira e
jurídica?
Para testar estas hipóteses, a avaliação de impacto estima a relação de
causa e efeito entre o projeto e a dimensão avaliada.
• Verificar se o uso do material provocou aumento no desempenho
• Quantificar o aumento no desempenho causado por esse uso
Uso do material didático
Tempo
Antes do novo material Depois do novo material
Desempenho dos
alunos
Aumento do
desempenho dos alunos

13. O grande desafio da avaliação de impacto é conseguir isolar a
influência do projeto dos demais fatores
A avaliação de impacto
buscará determinar o quanto
o projeto em questão produz
mudança efetiva.
Estrutura
da escola
Programa de
reforço escolar
Capacitação
de professores
Frequência de
professores
Perfil
socioeconômico Material didático
Gestão da
escola
Perfil do diretor
daescola
Outros
Desempenho
dos alunos
Inúmeros fatores podem influenciar
o desempenho dos alunos

14. Para isso, a avaliação de impacto emprega grupos de tratamento e
controle
• É fundamental que os dois grupos sejam muito similares (linha de base) para
permitir a comparação
• Há impacto se houver diferença no desempenho dos dois grupos depois do
projeto
Grupo tratamento
Participantes do projeto
Grupo controle
Não participantes do projeto
Comparação entre o desempenho dos dois grupos
IMPACTO DO PROJETO

15. Ao usar o novo material didático, o grupo de tratamento aumentou
seu desempenho, mas isso não significa necessariamente que houve
impacto
O projeto tem
consistência
organizacional,
financeira e
jurídica?
20
30
0
5
10
15
20
25
30
35
Antes Depois
NotanoSaresp
Exemplo
Uso do material
didático

16. Ao observamos o grupo de controle, vemos que seu desempenho
médio também cresceu
O projeto tem
consistência
organizacional,
financeira e
jurídica?
Exemplo
20
25
0
5
10
15
20
25
30
35
Antes Depois
NotanoSaresp
Tempo
Isso leva a crer que a nota do grupo de tratamento poderia ter crescido
independentemente do uso do material didático

17. Só é possível observar o impacto ao comparar a evolução dos dois
grupos
O projeto tem
consistência
organizacional,
financeira e
jurídica?
Desta forma, podemos concluir que o impacto médio do uso do novo material didático sobre o
desempenho escolar é da ordem de 5 pontos, segundo o exame Saresp.
Exemplo
20
25
20
30
0
5
10
15
20
25
30
35
Antes Depois
NotanoSaresp
Impacto =
5 pontos no Saresp
Controle vs Tratamento

18. Para realizar uma avaliação de impacto, a melhor forma de seleção
de participantes é por sorteio
O projeto tem
consistência
organizacional,
financeira e
jurídica?
Público
-alvo
Tratamento
Controle
SORTEIO
= Impacto
Dentro do
projeto
Fora do
projeto
≠ Impacto
MODELAGEM
ESTATÍSTICA
Tratamento
Controle
≈
IníciodoprojetoIníciodoprojeto
O método experimental é o
que garante maior
semelhança entre grupos
de tratamento e controle
Caso o sorteio não seja
possível, a escolha é feita
por métodos estatísticos,
buscando simular grupos
semelhantes

19. Apesar de não ser simples em termos técnicos, a avaliação de impacto
pode trazer contribuições preciosas para o desenvolvimento do
projeto
O projeto tem
consistência
organizacional,
financeira e
jurídica?
Avaliar não é
sentenciar, mas sim
uma contribuição para
a melhoria contínua.
(Re)desenhar
AplicarAvaliar
Aprender
PROJETO