Transferir como PDF, PPTX
O que é uma avaliação de impacto?
- 2. Hoje, há muitaconfusão com relação ao que é realmente o impacto de projetos sociais • Aprendizagem dos alunos • Aumento da renda feminina • Redução da taxa de mortalidade • Redução na taxa de evasão escolar MUDANÇA NA VIDA DOS ATENDIDOS PODE SER IMPACTO • Alunos participantes • Mulheres atendidas • Pacientes tratados • Acessos à plataforma de ensino VOLUME DE ATENDIMENTO NÃO É IMPACTO
- 3. Para refletir sobreessa questão, é preciso começar pelo significado da ideia de ‘avaliação’ • Verificação • Ato de avaliar • Valor determinado pelos avaliadores • Estabelecimento do valor de algo, cálculo • Prova • Apreciação da competência ou do progresso de um aluno ou de um profissional • Arbitragem, feita por peritos, que tem por fim a determinação do valor de certos bens ou direitos (Direito) • Apreço, estima (figurado) Avaliar, remete a assinalar, estimar, apreciar ou calcular o valor de algo: Fonte: http://pt.wiktionary.org/wiki/avalia%C3%A7%C3%A3o
- 4. Qualquer avaliação implicadiferentes dimensões práticas e simbólicas Avaliação é um processo de reflexão que requer: Engajamento dos envolvidos Consideração sobre a natureza dos valores em apreciação Argumento racional para justificar a avaliação produzida Acesso a informações para substanciar a avaliação • O que avaliar? • Qual o significado da avaliação para o projeto? • Como avaliar? • Quais os parâmetros utilizados? • Quais os dados disponíveis? • Quem demanda a avaliação? • Quem avalia? • Quem participa?
- 5. Uma primeira decisãoimportante é a seleção de quem será o responsável pela avaliação Avaliador interno • Conhece o projeto em profundidade • Tem menos tempo, em função da lógica operacional • Pode se sentir mais pressionado a apresentar resultados positivos em função do seu envolvimento • Pode não ser um especialista em avaliação • Conhece pouco o projeto • Tem mais tempo, quando se dedica exclusivamente à avaliação • Tende a ter mais autonomia, dependendo dos termos de sua contratação e de sua ética profissional • Deve ser um especialista Muitas organizações demandam a realização de avaliações externas para assegurar sua imparcialidade Avaliador externo
- 6. No caso daavaliação externa, a relação com os executores do projeto tem um papel crítico Avaliador responde à alta gestão Avaliador externo Alta gestão Executores do programa Avaliador externo Alta gestão Executores do programa Risco de boicote: baixo engajamento com os executores Risco de viés: excessiva subordinação aos executores Avaliador responde aos executores
- 7. Cada momento doprojeto exige uma modalidade diferente de avaliação 1. O projeto saiu do papel? SIM NÃO (ou em parte) 2. O projeto foi executado (ou entregue)? SIM NÃO (ou em parte) 3. O projeto tem efeitos para o beneficiário? SIM NÃO AVALIAÇÃO DE PROCESSOS AVALIAÇÃO DA IMPLEMENTAÇÃO AVALIAÇÃO DE IMPACTO Concepção Execução Efeitos
- 8. A avaliação deprocessos estuda aspectos organizacionais de um dado projeto • Capacidades institucionais • Financiamento e gasto • Seleção dos agentes implementadores • Seleção do público-alvo • Sistemas de informação • Capacitação dos implementadores • Sistemas logísticos • Sistemas de monitoramento e avaliação Fonte: Draibe, S. 2001. Análise de processo da Implementação: subsistemas e indicadores O projeto tem consistência organizacional, financeira e jurídica? PREDOMINANTEMENTE QUALITATIVA
- 9. Já a avaliaçãode implementação examina os resultados operacionais O projeto tem consistência organizacional, financeira e jurídica? 1. Prestação da atividade-fim • Produção • Regularidade • Cobertura • Produtividade • Qualidade 2. Opinião e satisfação dos atores • Satisfação dos beneficiários • Envolvimento da sociedade civil • Engajamento dos profissionais Fonte: Draibe, S. 2001. Análise de processo da Implementação: subsistemas e indicadores QUALITATIVA E QUANTITATIVA • Como foi a entrega? • Como o serviço/produto chegou ao beneficiário? • Como o beneficiário percebe esse serviço?
- 10. Nas avaliações deimpacto, o ponto central é compreender que “diferença” o projeto faz na vida do seu público O projeto tem consistência organizacional, financeira e jurídica? • Melhoria das condições nutricionais • Aumento da renda familiar • Melhoria nos exames padronizados • Maior frequência escolar • Ampliação da taxa de ocupação • Maior valor atribuído à educação • Elevação da autoestima • Maior sensação de pertencimento à comunidade • Aumento do controle das ações governamentais Fonte: Draibe, S. 2001. Análise de processo da Implementação: subsistemas e indicadores O projeto mudou as condições de vida do beneficiário? PREDOMINANTEMENTE QUANTITATIVA • Condições da criança • Condições familiares • Desempenho escolar • Comportamento • Empregabilidade • Atitude • Sentimentos • Percepção • Empowerment Dimensões consideradas Exemplos
- 11. As avaliações deimpacto requerem um planejamento minucioso O projeto tem consistência organizacional, financeira e jurídica? Identificar a tese de impacto* Selecionar uma dimensão a ser avaliada Definir claramente os grupos de tratamento e controle Escolher uma variável instrumental Construir a base de dados em dois pontos do tempo Efeito do novo material didático sobre o desempenho dos alunos em língua portuguesa Desempenho na nota Saresp de Língua Portuguesa no 9º ano do Fundamental Escolas sorteadas para começar o programa versus restante da rede Momento anterior e posterior ao início da ação Exemplos Hipótese de que um novo material escolar acelera a aprendizagem dos alunos Planejamento Execução * A Din4mo (www.din4mo.com) disponibiliza uma ferramenta para auxiliar o empreendedor social a refletir sobre sua tese de impacto: cadastre-se, acesse a aba comunidade na parte superior da página e acesse avaliações
- 12. A tese deimpacto oferece hipóteses sobre como um dado projeto provoca certa mudança O projeto tem consistência organizacional, financeira e jurídica? Para testar estas hipóteses, a avaliação de impacto estima a relação de causa e efeito entre o projeto e a dimensão avaliada. • Verificar se o uso do material provocou aumento no desempenho • Quantificar o aumento no desempenho causado por esse uso Uso do material didático Tempo Antes do novo material Depois do novo material Desempenho dos alunos Aumento do desempenho dos alunos
- 13. O grande desafioda avaliação de impacto é conseguir isolar a influência do projeto dos demais fatores A avaliação de impacto buscará determinar o quanto o projeto em questão produz mudança efetiva. Estrutura da escola Programa de reforço escolar Capacitação de professores Frequência de professores Perfil socioeconômico Material didático Gestão da escola Perfil do diretor daescola Outros Desempenho dos alunos Inúmeros fatores podem influenciar o desempenho dos alunos
- 14. Para isso, aavaliação de impacto emprega grupos de tratamento e controle • É fundamental que os dois grupos sejam muito similares (linha de base) para permitir a comparação • Há impacto se houver diferença no desempenho dos dois grupos depois do projeto Grupo tratamento Participantes do projeto Grupo controle Não participantes do projeto Comparação entre o desempenho dos dois grupos IMPACTO DO PROJETO
- 15. Ao usar onovo material didático, o grupo de tratamento aumentou seu desempenho, mas isso não significa necessariamente que houve impacto O projeto tem consistência organizacional, financeira e jurídica? 20 30 0 5 10 15 20 25 30 35 Antes Depois NotanoSaresp Exemplo Uso do material didático
- 16. Ao observamos ogrupo de controle, vemos que seu desempenho médio também cresceu O projeto tem consistência organizacional, financeira e jurídica? Exemplo 20 25 0 5 10 15 20 25 30 35 Antes Depois NotanoSaresp Tempo Isso leva a crer que a nota do grupo de tratamento poderia ter crescido independentemente do uso do material didático
- 17. Só é possívelobservar o impacto ao comparar a evolução dos dois grupos O projeto tem consistência organizacional, financeira e jurídica? Desta forma, podemos concluir que o impacto médio do uso do novo material didático sobre o desempenho escolar é da ordem de 5 pontos, segundo o exame Saresp. Exemplo 20 25 20 30 0 5 10 15 20 25 30 35 Antes Depois NotanoSaresp Impacto = 5 pontos no Saresp Controle vs Tratamento
- 18. Para realizar umaavaliação de impacto, a melhor forma de seleção de participantes é por sorteio O projeto tem consistência organizacional, financeira e jurídica? Público -alvo Tratamento Controle SORTEIO = Impacto Dentro do projeto Fora do projeto ≠ Impacto MODELAGEM ESTATÍSTICA Tratamento Controle ≈ IníciodoprojetoIníciodoprojeto O método experimental é o que garante maior semelhança entre grupos de tratamento e controle Caso o sorteio não seja possível, a escolha é feita por métodos estatísticos, buscando simular grupos semelhantes
- 19. Apesar de nãoser simples em termos técnicos, a avaliação de impacto pode trazer contribuições preciosas para o desenvolvimento do projeto O projeto tem consistência organizacional, financeira e jurídica? Avaliar não é sentenciar, mas sim uma contribuição para a melhoria contínua. (Re)desenhar AplicarAvaliar Aprender PROJETO