Festival 2019 - Monitorando projetos e avaliando impacto

Monitorando projetos e Avaliando Impacto
para alavancar captação
Karin Ingrid Rettl

Palestrante
● Administradora de Empresas, com especialização em Gestão
Ambiental, Empreendedorismo Social e Gestão Estratégica de
Projetos, venho me dedicando há mais de 15 no desenho, gestão e
avaliação de programas e projetos de desenvolvimento social,
cooperando com empresas como Fibria Papel e Celulose, Suzano,
EDP e Klabin.
● Professora convidada da ESCAS – Escola Superior de Conservação e
Sustentabilidade do Instituto Ecológico Ipê, lecionando as matérias de
Gestão de Organizações do Terceiro Setor e Gestão de Projetos para
as turmas dos cursos de mestrado profissionalizante.

Monitorando projetos e Avaliando Impacto para alavancar captação
”A consistência que exigimos das avaliações não pode ser tratada
exclusivamente por um viés cientificista, reservando a sábios
avaliadores a tarefa sublime de eleger critérios, escolher métodos,
construir análises e recomendar decisões.”
Silva Rogério, Brandão Daniel

Consulta Avançada (consultar.html)
Quantidade de OSCs: 820455
Visualizar por Mapa Visualizar por Lista
67351
205182
64266
325715
157941
++
--
OSCspor E
Passe o mou
Escala
1–
10
15
30
45
60
Leaﬂet (http://leaﬂetjs.com) | Map data © OpenStreetMap (https://openstreetmap.org) contributors, CC-BY-SA (https://creativecommons.org/licenses/by-sa/2.0/), Im
(https://mapbox.com), © OpenStreetMap (https://osm.org/copyright)
SUL
19%
SUDESTE
40%
CENTRO
OESTE
8%
NORTE
25%
NORDESTE
8%
Fonte: Mapa das OSCs

Saúde
1%
Cultura e recreação
10%
Educação e pesquisa
5%
Assistência social
3%
Religião
25%
Associações patronais
e profissionais
3%
Desenvolvimento e
defesa de direitos
interesses
41%
Outras atividades
associativas
10%
Outras organizações
da sociedade civil
2%
Fonte: Mapa das OSCs

Legitimidade
Aceitabilidade
Relevância
Sua importância
Mérito: (valor)
transformação,
resultados e
impactos
O que faz com que uma
OSCs se destaque? Atributos

Governo Pessoa
Física
Fundações e
Associações
Cooperação
Internacional
Pessoa
Jurídica
PROJETOS
PORTFÓLIO DE
PROJETOS
Relação com a estratégia social do Financiador/Causa
Volume de recursos disponíveis
Capacidade da OSC de comunicar os resultados entregues

47%
41%
35%
18%
10%
Têm legitimidade para atuar com temas ou grupos sociais
de interesse
Operacionalizam programas nos contextos/territórios
prioritários
O objetivo do investimento é contribuir com o
fortalecimento e sustentabilidade das OSCs
Influenciam políticas publicas ou realizam controle social
Defendem causas ou grupos sociais que outros não estão
dispostos a apoiar
Motivos que levam Institutos/Fundações a apoiar as OSCs
R$ 595 Milhões
foram direcionadospara
outrasorganizações
Fonte: Censo GIFE 2016

Fonte: Giving Report 2019 Brasil
7 em cada10
pessoas doaram
dinheiro
nos últimos 12
meses
Os brasileiros
jovens são mais
propensos a
fazer
voluntariado
R$ 200,00
foi aquantia
típicadoadanos
últimos 12 meses
52%
Organizações
religiosas
38%
Crianças
31%
Ajudaaos
pobres
46%
doariamais se
soubesse como
o dinheiro é
gasto

PROJETOS:
● Ferramenta de diálogo
● Promessa de entrega de
resultados :
Beneficiados
Financiadores
� O nível de conhecimento do ambiente
em que a OSC opera
� Sua capacidade de articulação com o
ecossistema local
� A estrutura e qualidade de seus ativos
organizacionais
� A eficiência e efetividade na entrega
de resultados

Como as práticas de monitoramento e avaliação podem contribuir no diálogo das OSCs com seus grupos
de interesse?
� Uso de recurso publico
� Situação de pobreza,
desigualdade e exclusão
social
� Insuficiente oferta de
serviços sociais
Perfil da OSC
� Tem critérios na
escolha de
prioridades
� Tem critérios que
orientem a alocação
de recursos
� Busca aprimorar
suas ações
Parceiro busca
� Relação de transparência
com seu público-alvo,
parceiros, financiadores e
sociedade em geral

Modelo de Governança
Ativos organizacionais –
competências e
habilidades
Formulação de
planos
consistentes
Definir requisitos
de qualidade
serviços/produtos
Comunicação
fluente e
esclarecedora
Aprendizagem a
partir do
monitoramento e
avaliação
Incertezas
Riscos
Processos e
estratégias
utilizadas

Impactos sociais do Bolsa Família:
Conclusões:
• Responsável por 10% da redução
da desigualdade entre 2001 e 2015
(mesmo correspondendo a apenas
0,7% dos rendimentos declarados
na Pnad)
Lições:
• Para maximizar os impactos sobre
a pobreza, controlar os erros de
exclusão é mais importante que os
erros de inclusão;
• Valor do benefício é baixo demais
para produzir impactos maiores.

Avaliação fiscalizatória – busca de desvios
Instrumentos de avaliação monitoram o ”erro” como desvio do
percurso de aprendizagem e não como uma parte integrante do
processo de aprendizagem e como uma fonte de informação.

Avaliação - aprendizado
Avaliação é um investimento não um custo
Faz parte da rotina do projeto – não um momento isolado e
externo ao projeto
Fonte permanente de atualização da prática
Operacionalizada sempre de forma participativa
”Erros” e “falhas” fazem parte dos processos de criação e
inovação

Fonte: Pipe – 2017
Pesquisa com Negócios de Impacto – Compromisso com a medição de impacto
31%
28%
Ainda não definiram
indicadores de impacto
para medição
Não acham necessário
medir ou acompanhar
impacto
Contrata auditoria externa e comunicam os
resultados
1%
Tem processo formal de pesquisa interno e
comunicam os resultados
4%
Tem processo formal de pesquisa interno8%
Definiram indicadores mas ainda não mede
de maneira formal
28%

Objetivos da avaliação
• 1% não monitora
• 20% não avalia
• 22% não tem politicas a práticas de avaliação estabelecidas
116
respondentes

Atributos positivos
da avaliação
Fonte: Instituto Fontes - 2011
Amostra
133
organizações
91% faz
avaliação
Considerei o
intervalo de 10 a 8
Concorda
totalmente

Avaliando Impacto para alavancar captação
Atributos negativos
da avaliação
91% faz
avaliação
Considerei o
intervalo de 1 a 4
Discordo totalmente
Amostra
133
organizações

Desenho
Planejamento
Diagnóstico de
situações:
• Demandas
• Soluções
Implementação
Acompanhamento
Monitoramento
• Objetivo
• Prazos
• Orçamentos
• Requisitos de
qualidade
• Resultados
Encerramento
Avalição de Impacto
• Nossa estratégia
está ou não
surtindo efeitos?
• Que tipo de
efeitos?
52%
Avaliados
por equipe
própria

Sistema participativo de
avaliação
• Maior grau de informação
• Maior precisão no entendimento do que está acontecendo
• Facilita a definição de indicadores
• O processo de aferição deve estar incluído na rotina e
integrar o conjunto de tarefas do projeto
• Incluir na previsão de recursos humanos, materiais e
financeiros
• Definir frequência de coleta de dados, sistematização e
análise
• Incluir no cronograma as ações relacionadas a validação e
disseminação da informação: reuniões de equipe,
coordenação, financiadores, parceiros, etc.

1. Simplicidade – poucas métricas, simples e úteis
2. Maturidade – observar o nível de maturidade
gerencial da organização
3. Comparabilidade – métricas que permitam
comparar projetos
4. Viabilidade – inicie optando por métodos mais
baratos e mais rápidos
5. Escalabilidade – priorize a comparação de um
mesmo fenômeno em lugares diferentes
Laboratório de Inovação Financeira –
Diretrizes propostas para Instituições de
Desenvolvimento

Desenho - Planejamento
Diagnóstico de situações:
• Demandas
• Soluções
Teoria da Mudança
• Quais as necessidades não atendidas?
• Quais as oportunidades que podemos alavancar?
• O que devemos abordar?
• Quais as prioridades a serem abordadas?
• O que está alinhado com a nossa missão e as nossas
capacidades?
• O que será realizado?

EstruturadaTeoriadaMudança–Theory of Change
Impacto Indicadores de
Impacto
Resultados
Transformação social pretendida
Indicadores de
Resultados
Suposições e riscos
Produtos
Indicadores de
Produto
Suposições e riscos
Estratégias de implementação
Indicadores de
Processo
Resultados pretendidos com a execução do
projeto
Produtos a serem entregues
Atividades a serem executadas para entregar
os produtos e atingir as metas
Requisitos,Suposições e riscos
Suposições:
são pressupostos
assumidos como
verdadeiros,reais ou
certos,sem a
necessidade de
provaou
demonstração.
Explicam alógicada
Teoria daMudança
Longo prazo
Médio prazo
Curto prazo
Insumos/recursos necessários
Requisitos:
Refletem as
necessidades e
expectativas das
partes interessadas
– sua origem pode
ser legal,
necessidade do
projeto.
Devem ser
mensuráveis e
testáveis

Problema
Comunidade – Necessidades Comunidade – Ativos
Estratégias Pressupostos
Resultados desejados
Fatores que influenciam o
resultado 1 3
2
4
5 6
Qual é o problema que o Programa/Projeto quer
equacionar?
Especifique as necessidades da
comunidade que levaram a
projetar um programa que
aborda o problema.
Especifique os recursos da
comunidade que levaram a
projetar um programa que
aborda o problema.
Identifique os
resultados desejados
ou visão do futuro,
descrevendo o que
você espera alcançar a
curto e longo prazos.
Liste os fatores que
você acredita que
influenciarão a
mudança em sua
comunidade
Liste as estratégias gerais de sucesso ou as “melhores
práticas” que ajudaram a comunidades a alcançar os tipos de
resultados prometidos pelo seu programa.
Indique as hipóteses de como e porque as estratégias
de mudança trarão os resultados desejados para a
comunidade
Fonte: W.K. Kellogg Foundation

Implementação
Acompanhamento
Monitoramento
Conjunto de Indicadores
Definição de requisitos -
qualidade
• Considerando o prazo e o custo, quanto conseguimos
entregar do objetivo do projeto?
• Nossa metodologia e estratégia de intervenção estão
adequadas a nossa promessa de entrega?
• Os recursos orçados continuam adequados a nossa
promessa de entrega?
• Nosso sistema de monitoramento está dando conta de
avaliar adequadamente as mudanças de conjuntura e nos
orientar na adequação das práticas e estratégias de
intervenção adotadas?

Indicadores para
projetos de
desenvolvimento local
• Específicos para a organização ou projeto
• Elaborados pela própria equipe
Se houver dificuldade:
• Revisitar seus objetivos
• Apoio de consultoria externa

Definição objetivo:
Negócio social
Oferece serviços de
reforma habitacional
para as classes C, D e E
com foco na qualidade
de vida e salubridade
Insalubridade:
• Ambientes sem
ventilação,
• Sem iluminação
adequada,
• Extremamente úmidos
Requisito é uma condição ou capacidade cuja
presença em um produto, serviço ou resultado é
exigida para satisfazer um contrato ou outra
especificação formalmente consensuada ou
imposta (legislação). Fonte: PMBOK

ENTRADAS
PRODUTOS RESULTADOS IMPACTOS
IMPACTOS
Reformas
habitacionais
Reformas:
• MO + Material
• Qualidade
• Preço acessível
• 3 a 5 dias úteis
Moradigna:
• Negócio social com
foco na
salubridade(saúde)
• Acessoa crédito
(pagto12X)
• Precificaçãocom
olhar social
# Pessoas
empregadas
na
comunidade
# Famílias com
moradias
salubres
Emprego =
aumento de
renda
Melhoria na
qualidade de
vida -
ambiente
ventilado, sem
mofo, menos
úmido
Mais dignidade
- melhoria na
autoestima
Economia -
reforma com
MO
inadequada
custam cerca
de 40% a mais
Aumento de
renda das
famílias
impactadas
Redução em %
da umidade do
ambiente
Ambientes
fechados e
úmidos têm
direta relação
com incidência
de doenças
respiratórias
MP: Melhoria
na econômia
da região
LP: Maior IDH,
redução da
criminalidade
MP: Redução
de doenças
respiratórias
LP: Aumento
da expectativa
de vida
Site Moradigna
+ 1.800 pessoas impactadas
+ 500 moradias reformadas
+ de 3 anos

• Relevância Social
• Validade
• Confiabilidade
• Cobertura
• Historicidade
• Periodicidade na atualização
• Comunicabilidade
•Factibilidade para a obtenção
• Inteligibilidade de sua construção
Indicadores
Fonte: JANUZZI, Paulo.

Parte
interessada
Questão Classificação
do indicador
Indicador Frequência de
coleta
Quem coleta
os dados
Instrumento
de coleta
Para quem a
informação
será dirigida?
Que
perguntas
esta parte
interessada
teria sobre o
seu projeto?
Insumo
Processo
Produto
Resultado
Impacto
Que
informação
responde a
pergunta?
Qual a
periodicidade
da coleta de
dados?
Definir as
pessoas da
equipe
responsáveis
fazer a coleta
de dados
Como o dado
será coletado?
Modelo para desenho de indicadores
TEORIA DA
MUDANÇA ou outro
modelo lógico

Fique atento ao efeito
impacto ampliado –
impacto não previsto
originalmente pela equipe
do projeto.
• Registrar estas
observações embora
sem indicadores e não-
quantificáveis
• Irão contribuir para a
revisão do sistema de
indicadores
• Apoiar uma avaliação
de impacto externa
Quando tiver dificuldades
para desenhar seu
sistema de indicadores de
monitoramento, peça
ajuda a uma consultoria
externa, inclua este
investimento no projeto e
negocie com o seu
financiador – opte por um
processo que também
capacite a sua equipe
No inicio do projeto
organize reuniões de
kickoff com os parceiros
financiadores e
apoiadores para levantar
as expectativas destas
organizações relacionadas
aos requisitos, produtos,
resultados e impactos do
projeto
Se o financiador oferecer
uma metodologia própria e
já previamente
estruturada, procure
negociar um processo de
implementação da
metodologia que
considere a capacitação
da sua equipe – via
consultoria externa ou
apoio da equipe do próprio
financiador
1 2 3 4
Sugestões - processo

Encerramento
Avaliação de impacto
• Características do projeto e da organização: estágio de
maturidade do projeto, abrangência – escala do projeto,
complexidade dos impactos a serem analisados
• Publico com quem vamos dialogar: investidores, poder
publico, comunidade
• O que temos de recursos disponíveis (tempo, pessoas,
valores)

Grupos de controle
• Experimentais –
atribuição aleatória
• Quase experimentais –
define o grupo de
comparação através de
técnicas de pareamento
• Não experimentais –
grupos de controle
hipotéticos ou lógicos
• Investimento de tempo
e recursos
• Grau de precisão
• Comparabilidade
Critérios de seleção de metodologias de avaliação de impacto

Fonte: IDIS
Metodologias e Ferramentas Objetivo
Etapa ciclo do
Investimento Social
Investimento
(tempo e
recursos)
Precisão
Comparabilidade
entre projetos
Global Impact Investing Report
Systen (GIIRS)
Impact Reporting and Investment
Standards (IRIS)
Avaliação de Impacto B
Modelo lógico Teoria da Mudança
Descrever o processo desejado
para o impacto socal, com uso de
um modelo lógico
Estimativa do
impacto
Planejamento do
impacto
Baixo
Varia de
acordo com os
indicadores
definidos
Médio
Retorno
esperado; Análise
de custo-benefício
Social Return on Investment (SROI)
Estudar o impacto de um projeto
ou programa, relacionando os
benefícios (sociais, ambientais)
do investimento com o seu custo
Estimativa do
Impacto
Monitoramento do
Impacto
Avaliação do
Impacto
Médio Médio Médio
Métricas
padronizadas e
certificações
Baixo Baixa Alta
Apoiar na transparência,
credibilidade e responsabilidade
nas práticas de mensuração do
investimento de impacto
Monitoramento do
Impacto

Fonte: IDIS
Metodologias e Ferramentas Objetivo
Etapa ciclo do
Investimento Social
Investimento
(tempo e
recursos)
Precisão
Comparabilidade
entre projetos
Difference in differences
Matching (propensity Score
Matching)
Regression
Discontinuity Design (RDD)
Instrumental Variables
Métodos
experimentais
Randomized Control Trials (RTC)
Estudar o impacto através da
utilização de grupos de
tratamento e de controle - com
designação aleatória
Estimativa do
Impacto
Avaliação do
impacto
Alto Alto Médio
Desenhos quase
experimentais
Estudar o impacto através da
utilização de grupos de
tratamento e de controle sem
designação aleatória
Estimativa do
Impacto
Avaliação do
impacto
Alto Alto Baixo

Apresente as impressões
da equipe relacionadas a:
• avanços,
• mudanças de cenários,
• novos riscos que
podem impactar no
resultado,
• adequações
necessárias para
mitigar ou anular os
riscos
Defina, no início do
projeto, o modelo de
apresentação de
resultados e utilize este
modelo até o final do
projeto.
Relatório final será um
somatório dos resultados
intermediários
Indique o período do
cronograma de execução
a que se referem os
resultados
Apresentar:
• os resultados
mensuráveis dos
indicadores tangíveis
com comentários
cabíveis
• os resultados
intangíveis seguidos de
comentários, se
possível com a
incidência de
observações
1 2 3 4
Sugestões - relatório

LINHA DAVIDA DO
PROJETO
LIÇÕESAPRENDIDAS
Linhade investimento:SAÚDE
Projeto:Sorriso Saudável
Número de projetos:3
Base:2017
Nível de satisfação dos comunitários atendidos:não se aplica
Número de atendimentos previstos: 1.006
Número de procedimentos previstos: 7.028
Número de procedimentos previstos por paciente:7
Base:2018
Nível de satisfação dos comunitários atendidos:
Número de atendimentos realizados:630
Número de procedimentos realizados:8.300
Número de procedimentos realizados por pacientes:13
R$ 195,89 -37%
Número pessoas
atendidasValor por procedimento
+18%
Total de próteses
227
Manutenção periódica dos equipamentos como forma de
prevenção e garantiade atendimento do cronograma
Estabelecer critérios de seleção de beneficiários e validar com
as diretorias das associações
Realizar reunião de kick-off com todaa comunidade
Realizar visitatécnicaprévia ás localidades paraorganizar a
transferência das UMOs
Total
Procedimentos
+86%
Procedimentos
por paciente
SUSTENTABILIDADE
A empresa fez a doação de umaUnidade Móvel de
Atendimento – UMO para a prefeitura,que será
utilizada para dar acesso aatendimento dentário em
bairros e áreas de maior vulnerabilidade social.

Avalição interna ou externa – posição do avaliador
Avalição interna
Avaliador(es) – própria
equipe e se situa dentro do
projeto
Avalição externa
Avaliador(es) – se situa
fora do projeto
Maior isenção
Maior facilidade de
observar dificuldades e
insucessos
Especialista
Conhece as dinâmicas de
funcionamento do projeto,
histórico, meandros
políticos, conflitos
Isenção -
credibilidade MaiorMenor
Qual o papel do
avaliador?

Trabalha em uma
organização que
presta serviços
de avaliação para
terceiros
Trabalha em uma
OSC avaliando os
projetos da
organização
Trabalha como
autônomo para
diversas
organizações
58% 45% 30%
Avaliadores

57% 43%
Foco no resultado Foco no processo
• Tem profundo
conhecimento sobre o
tema do projeto
• Emite julgamentos sobre
o projeto
• Garante a comunicação
dos resultados
• Conhece método
científico
• Dá respostas
• Envolve pessoas na
discussão da avaliação
• Constrói instrumentos
para levantar
informações
• Descreve como
determinados elementos
do projeto
causam/geram
resultados
• Gera espaços de
reflexão e aprendizagem

O papel do
avaliador
Amostra
133 OSCs
Considerei o
intervalo de 10 a 8
Concorda
totalmente

”Colocar a relatividade no lugar da certeza, o empoderamento no lugar
do controle e a humildade no lugar da arrogância parece trazer ganhos
claros para o avaliador da quarta geração.”
Silva Rogério, Brandão Daniel apud Egon Guba e Yvona Lincoln

● Gestão de Portfólio de projetos
https://www.youtube.com/watch?v=Ru_e7tNlvqA
● Avaliação de Impacto Social
https://www.youtube.com/watch?v=xAuW64Q9QDo
● Indicadores sociais na avaliação de iniciativas não governamentais
https://www.youtube.com/watch?v=zRGIL1FA_MY
● MDS: Palestra Paulo Jannuzzi
https://www.youtube.com/watch?v=7NIoCPAU8Sg
● J-PAL Poverty Action Lab
https://www.povertyactionlab.org/research-resources/teaching
● Como desenvolver um plano de avaliação
https://ctb.ku.edu/en/table-of-contents/evaluate/evaluation/evaluation-plan/main
● Manual de Avaliação de desenvolvimento comunitário
https://www.startts.org.au/media/Services-Community-Development-Evaluation-Manual.pdf
Links interessantes

● Métricas para Avaliação Socioambiental: Uma Perspectiva para Instituições de Desenvolvimento
Regional. Laboratório de Inovação Financeira
● Logic Model Development Guide, W.K. Kellogg Foundation, 2004
● Avaliação de Impacto na Prática – Banco Mundial – 2015
● Monitoramento e Gestão Adaptativa – Move Social – 2018
● O Modelo C – Change Model
● Avaliação de Impacto Social – metodologias e reflexões; IDIS: Instituto para o Desenvolvimento do
Investimento Social
Bibliografia

Agradecemos a sua participação!
Palestrante
karin.rettl@gmail.com

Festival 2019 - Monitorando projetos e avaliando impacto

Recomendados

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados (20)

Semelhante a Festival 2019 - Monitorando projetos e avaliando impacto

Semelhante a Festival 2019 - Monitorando projetos e avaliando impacto (20)

Mais de ABCR

Mais de ABCR (20)

Festival 2019 - Monitorando projetos e avaliando impacto