Este manual fornece diretrizes para formulação e avaliação de projetos sociais. Apresenta conceitos como programas, projetos, população-alvo e ciclo do projeto. Detalha os passos da formulação, avaliação ex-ante e ex-post, incluindo identificação do problema, diagnóstico, objetivos, indicadores e avaliação de custos e impacto. Inclui anexos com ferramentas como árvore de problemas e objetivos.
1. 1
MANUAL DE FORMULAÇÃO E AVALIAÇÃO DE PROJETOS SOCIAIS
DIVISION DE DESARROLLO SOCIAL
CEPAL
2. 2
ÍNDICE
I.
INTRODUÇÃO
3
II. CONCEITOS BÁSICOS
5
1.1 Programas e Projetos Sociais 6
1.2 População-Objetivo 6
1.3 Formulação, Avaliação e Monitoramento 9
1.4 Metodologias de Avaliação 10
1.5 Impacto e Investimento 12
1.6 Ciclo do Projeto
13
III. FORMULAÇÃO DE PROJETOS
17
2.1 Identificar o problema 17
2.2 Realizar o diagnóstico 21
2.3 Realizar o estudo de mercado 21
2.4 Estabelecer os objetivos de impacto 23
2.5 Selecionar as alternativas 24
2.6 Estabelecer os objetivos de produto 25
2.7 Selecionar os indicadores 27
2.8 Estabelecer as metas 29
2.9 Especificar as premissas 30
2.10 Construir as matrizes de alternativas
32
IV. AVALIAÇÃO EX-ANTE
37
3.1 Calcular os custos de cada alternativa 37
3.2 Realizar a Análise de Impacto 45
3.3 Calcular a Relação Custo-Impacto 45
3. 3
V. PROGRAMAÇÃO E AVALIAÇÃO EX-POST
52
4.1 Construir a matriz de programação 52
4.2 Realizar o plano de operações 54
4.3 Realizar a Avaliação Ex-post
55
ANEXOS
61
Anexo 1.- Árvore de Problemas
Anexo 2.- Árvore de Objetivos
Anexo 3.- Identificação de Áreas de Intervenção
Anexo 4.- Técnicas de Projeção
Anexo 5.- Matemática Financeira
Anexo 6.- Fluxo de Custos
Anexo 7.- Matriz de Planejamento
Anexo 8.- Plano de Operação
Anexo 9.- Elementos de Metodologia e Estatística
BIBLIOGRAFIA
4. 4
INTRODUÇÃO
Este manual é um guia prático que visa a apoiar o trabalho técnico daqueles que estão diretamente relacionados
com a formulação e a avaliação de projetos sociais.
A metodologia possibilita que a partir de um problema específico se identifique a melhor alternativa para resolvê-lo.
No primeiro capítulo se definem alguns conceitos fundamentais para a formulação e a avaliação de projetos.
O segundo analisa os passos que se devem seguir para obter um projeto adequadamente formulado para ser
avaliado.
O terceiro resume os métodos e técnicas requeridas para a avaliação ex-ante.
O quarto capítulo apresenta os elementos necessários para programar as atividades da alternativa selecionada e os
métodos disponíveis para realizar as avaliações ex-post.
Se incorpora um conjunto de anexos de apoio para o aprofundamento de alguns tópicos relevantes do manual.
5. 5
I. CONCEITOS BÁSICOS
1.1 Programas e Projetos Sociais
Um projeto social é a unidade mínima de alocação de recursos que, através de um conjunto integrado de atividades
pretende transformar uma parcela da realidade, reduzindo ou eliminando um déficit, ou solucionando um problema.
Os projetos devem cumprir as seguintes condições:
Ter objetivos claramente definidos (se têm objetivos imprecisos não podem ser avaliados ) .
Identificar a população-objetivo à qual está destinada.
Especificar a localização espacial dos beneficiários.
Estabelecer uma data de início e outra de término.
Os projetos sociais procuram, em geral, satisfazer necessidades de grupos que não possuem recursos para
solventá-las autônomamente através do mercado.
Um programa social é um conjunto de projetos que têm os mesmos objetivos.
A política social é um conjunto de programas que visam aos mesmos objetivos.
Nesta perspectiva, a política se traduz operacionalmente em programas e projetos que a concretizam mediante a
alocação de recursos para a implementação destes.
Na literatura tradicional se considera que os projetos são definidos pela existência de investimento fixo, isto é,
porque se alocam recursos para a aquisição de bens de capital (terreno, construção, equipamento). Os programas,
em forma alternativa, supõem a utilização de recursos somente para gastos (por exemplo, para pagar salários
requeridos para a operação). E de acordo com este raciocínio, se considera que os programas não devem ser
avaliados. No entanto, os projetos não se definem pela presença ou ausência de investimento fixo. Ainda quando
este seja inexistente ou marginal, todo projeto pode e deve ser avaliado.
Quadro 1.1. - Relação entre Política, Programas e Projetos Sociais
6. 6
PROGRAMA 1
Exemplos:
a) Política Investimento em capital humano mediante a
capacitação de jovens de baixos recursos.
Programa Programa Nacional de Capacitação Juvenil.
Projeto Capacitação em manuseio de alimentos para jovens
de escassos recursos.
b) Política Satisfação das necessidades alimentício-nutricionais
de setores populacionais que estão sob a linha de
pobreza.
Programas - Programa Nacional de Refeitórios Escolares.
- Programa Nacional de Complementação Alimentar.
- Programa Materno-Infantil.
Projeto - Um refeitório escolar ( dentro do Programa Nacional
de Refeitórios Escolares).
1.2 População-Objetivo
POLÍTICA SOCIAL
PROGRAMA 2
PROJETO 1 PROJETO 2 PROJETO 3 PROJETO 4
7. Cada projeto tem uma população-objetivo, espacialmente localizada, que deveria receber seus benefícios. É
definida normalmente por pertencer a uma faixa etária (lactantes), por uma localização geográfica (zona rural), por
uma carência específica (desnutridos), etc.
Uma seqüência gráfica do processo de seleção da população-objetivo seria:
7
Quadro 1.2.- População-Objetivo
POPULAÇÃO
DO MUNICÍPIO
(População de
referência)
1.2.1 Focalização
POPULAÇÃO
OBJETIVO
A focalização é um critério utilizado para a formulação de projetos que identifica, com a maior precisão possível, o
conjunto dos potenciais beneficiários. Para isso, se requer conhecer detalhadamente as características do grupo-objetivo.
Só assim será possível desenhar um projeto que se adeqüe às suas necessidades e características
socioculturais.
Focalizar, então implica estabelecer uma oferta de bens e/ou serviços orientada aos mais necessitados.
Uma oferta homogênea para toda a população independentemente de suas diferenças costuma não ser adequada
para aqueles que têm maiores carências devido à barreiras culturais, analfabetismo, falta de informação sobre os
programas e projetos disponíveis, e que tiveram pouca participação na definição das políticas.
Por que se deve focalizar? Porque:
os recursos são limitados,
POPULAÇÃO
AFETADA
(por um problema
específico)
POPULAÇÃO
NÃO AFETADA
POPULAÇÃO
POSTERGADA
POPULAÇÃO
NÃO AFETADA
8. 8
as necessidades insatisfeitas são crescentes
deve-se procurar aumentar a eficácia dos projetos, e
é importante incrementar o impacto produzido pelo projeto sobre a população-objetivo.
1.2.2 Tipos de beneficiários
Todos os projetos sociais são formulados em relação aos beneficiários diretos (população-objetivo definida).
Contudo, também produzem impacto positivo em outras pessoas, identificadas como beneficiários indiretos.
Existem dois tipos de beneficiários indiretos, os legítimos, que não se consideram expressamente como
população-objetivo, mas cujo favorecimento concorda com o espírito do projeto. É o caso, por exemplo, das
famílias dos alunos beneficiários dos programas de alimentação, que recebem o equivalente ao valor monetário da
alimentação de seus filhos.
Os beneficiários ilegítimos são favorecidos com o projeto apesar de estarem fora do espírito do mesmo. É o caso,
por exemplo, dos membros das classes média e alta que têm acesso à subsídios orientados aos grupos carentes.
Há projetos que incorporam benefícios públicos, recebidos não só pela população-objetivo, mas pela sociedade
em conjunto. Assim, as campanhas de vacinação contra a varíola, afetam à crianças imunizadas, aos laboratórios;
como fornecedores de vacinas, e à toda a população ao diminuir o risco de uma eventual epidemia, e
conseqüentemente, os custos de enfrentá-la.
1.2.3. O papel dos beneficiários no projeto
Para maximizar o impacto dos projetos, é fundamental contar com a participação dos beneficiários.
A participação permite melhorar a consideração dos diversos elementos de tipo social, cultural e econômico dos
beneficiários, com o que se aumenta a probabilidade de obter um maior impacto.
9. A população-objetivo conhece melhor que ninguém quais são suas reais necessidades insatisfeitas. Quando estas
são definidas externamente, podem ser obtidos impactos menores aos esperados e/ou custos maiores que os
necessários.
Deve-se priorizar as relações horizontais entre os executantes e os beneficiários do projeto. A frustação dos
beneficiários quanto à sua participação, pode limitar os logros do mesmo projeto.
Buscando maximizar o impacto de um projeto, seus executantes têm a responsabilidade de fomentar a participação
do beneficiários, além da de estimular e motivá-los a trabalhar juntos em prol de um objetivo em comum.
9
1.3 Formulação, avaliação e monitoramento
A formulação é a etapa na qual se identifica o problema e se delineiam as alternativas de um projeto, ou seja, as
opções técnicamente viáveis para sua solução. Estas alternativas surgem da teoria disponível e do conhecimento
obtido das avaliações ex-post efetuadas anteriormente sobre projetos análogos.
A avaliação é uma atividade que permite decidir sobre a conveniência de executar o projeto e escolher a alternativa
ótima.
Assim, formulação e avaliação são as duas faces de uma mesma moeda. Um projeto não pode ser formulado a
menos que se saiba como será avaliado, porque só a partir da metodologia de avaliação é possível determinar qual
é a informação que se deve coletar para sua formulação.
A avaliação, então, serve de ponto de referência para a formulação do projeto, permitindo medir os custos e o
impacto (ou os benefícios) dele, assim como as relações existentes entre ambos.
Existem dois tipos de avaliação, em função do momento em que se realiza e do objetivo visado:
a) Avaliação ex-ante , que se realiza antes do investimento e da operação.
Ela permite estimar tanto os custos como o impacto (ou benefícios ) e assim tomar a decisão (qualitativa) de
implementar ou não o projeto.
A partir dela é possível priorizar diversos projetos e identificar a alternativa ótima para chegar aos
objetivos de impacto pretendidos.
b) Avaliação ex-post que é feita tanto na fase de operação como uma vez
10. terminado o projeto . Cumpre duas funções:
uma qualitativa , que permite decidir se se deve ou não prosseguir com o projeto - quando se
realiza durante a fase de operação -, ou definir conveniência de formular outros projetos similares -
quando se realiza depois que o projeto está concluído -.outra ,
quantitativa , que surge em projetos que se encontram em implementação e possibilita decidir
10
se é ou não necessário
reprogramar.
O monitoramento se relaciona diretamente com a gestão administrativa e consiste num exame contínuo ou
periódico durante a etapa de operação do projeto. Realiza-se com vistas a controlar o cumprimento dos prazos das
atividades programadas, assim como a provisão de insumos para determinar se foram recebidos a tempo, em
quantidade, qualidade e preço previstos e se os produtos cumpriram com as especificações (em quantidades,
qualidade e tempo) em função da programação prevista.
Mesmo que avaliação e monitoramento possam realizar-se durante a fase de operação, o monitoramento se
preocupa do cumprimento da programação proposta, enquanto a avaliação ex-post centra sua atenção na relação
entre os resultados obtidos e os custos.
1.4 Metodologias de Avaliação
As metodologias usadas para avaliar projetos buscam comparar os custos com os objetivos procurados (benefícios
ou impacto). A forma em que se medem os custos é sempre muito semelhante; o que varia é a forma de medir os
benefícios.
Podem-se distinguir três metodologias de avaliação, cujas principais características se apresentam a seguir:
a) Análise Custo-Benefício (ACB) : parte de um princípio muito simples que é o de comparar os custos com
os benefícios econômicos do projeto. Se estes são maiores que os custos, existe uma primeira indicação de
que o projeto deveria ser aprovado.
É requisito básico da ACB que os custos e benefícios do projeto sejam expressos em unidades monetárias,
portanto, é uma metodologia adequada para a análise de projetos produtivos, uma vez que nestes tanto
os custos como os benefícios são de tipo econômico.
No caso dos projetos sociais, os benefícios dificilmente podem ser expressos em unidades monetárias.
Imputar valores a variáveis nutricionais, educacionais, de saúde, etc. implica, em definitiva, fixar um preço
para a vida humana.
11. A ACB é utilizada quase que exclusivamente na etapa ex-ante, para tomar uma decisão a respeito da
execução, rejeição ou postergação de um projeto. No entanto, para projetos sociais é igualmente relevante
a avaliação ex-post já que permite determinar os custos incorridos e o impacto obtido e, em função das
relações entre eles, manter a programação original, reprogramar ou cancelar o projeto.
b) Análise do Custo Mínimo (ACM): compara os custos monetários (tanto em uma avaliação ex-ante como
ex-post), com a possibilidade de alcançar eficientemente objetivos que não se podem expressar em
dinheiro. A ACM deixa de lado a análise dos objetivos (benefícios), assumindo que eles derivam de uma
decisão política (ex: um programa de segurança alimentar), e se dedica a assegurar que sejam alcançados
com custos mínimos. Ou seja, se limita a garantir a eficiência, via minimização de custos, omitindo-se a
respeito da eficácia (impacto) do projeto.
c) Análise Custo-Impacto (ACI): compara como a ACM, os custos (monetários) com a possibilidade de
alcançar eficientemente os objetivos do projeto. A ACI, contudo, não se restringe a avaliar a eficiência de um
projeto, mas também avalia seu impacto, determinando em que medida o projeto alcançará ou alcançou
seus objetivos, que mudanças produzirão ou produziram na população-objetivo e quais são seus efeitos
secundários ou sua eficácia.
A ACI se pode aplicar tanto na avaliação ex-ante como na ex-post.
11
O quadro a seguir mostra as relações entre as diferentes metodologias de avaliação.
Quadro 1.3 - Comparação entre ACB, ACM, ACI
ACB ACM ACI
Termos de
Comparação
Custos e benefícios
(expressos em unidaes
monetárias )
Custos Custo do produto ou
serviço em relação ao
impacto produzido
Impacto
Sobre a sociedade em
conjunto (sem importar
quem assume os custos
e quem recebe os
benefícios). Não se
preocupa nem pela
justiça nem pela
eqüidade
Sobre a sociedade
em conjunto
Sobre a população
objetivo fixada segundo
os objetivos do projeto
Estágio do projeto
em que se aplica
Avaliação ex-ante Avaliação ex-ante Avaliações ex-ante e
ex-post
12. 12
Critérios de
decisão
Calcula-se a relação
entre custos e
benefícios monetários
Calculam-se os
custos. Os
benefícios se
assumem segundo
a política social
Calcula-se a relação
entre os custos e o
impacto produzido
1.5 Impacto e Investimento
A magnitude do impacto obtido por um projeto não é necessariamente uma função linear do investimento. Aumentar
o investimento de um projeto não implica aumentar na mesma proporção seu impacto.
Por exemplo, mesmo que o investimento seja muito elevado, se um projeto de nutrição não entrega a quantidade de
alimento necessária por beneficiário, levando em consideração a distribuição intrafamiliar dos bens alimentícios,
poderia ter um impacto igual à zero. Se não se aumenta a quantidade de calorias e proteínas por porção/indivíduo,
pode-se aumentar de modo ilimitado o investimento sem produzir nenhuma alteração no impacto.
Gráfico 1.1. - Custo Social da Irracionalidade
Investimento
Impacto
Tempo
Investimento
Impacto
O êxito de um projeto não é derivado da magnitude do investimento, mas do impacto que ele produz em função dos
objetivos procurados.
13. 1.6 O Ciclo do Projeto
No processo de um projeto com investimento em ativos fixos apresentam-se três "estados" básicos: pré-investimento
(formulação), investimento e operação. No primeiro, pode-se distinguir a idéia do projeto, o estudo do
perfil, a análise de pré-viabilidade e viabilidade; no segundo, as etapas de desenho e execução; o terceiro começa
quando o projeto entrega os bens ou serviços que justificaram sua implementação.
Cada uma destas etapas está associada a um conjunto de estudos que são necessários para conhecer e avaliar
diversas características do projeto. À medida que se vão cumprindo estas etapas, se adquirem maiores
informações, diminuindo o risco de implementar um projeto ruim, mas aumentam os custos da avaliação.
Portanto, só se deve aprofundar os estudos quando o tamanho do projeto o justifique. Quanto maior seja o volume
de recursos comprometidos, maiores e mais detalhados devem ser os estudos, antes de implementá-lo. Se o projeto
for pequeno, pode-se passar diretamente do perfil à operação.
Nos projetos que não requerem investimento fixo (como ocorre freqüentemente com os projetos sociais), não é
preciso fazer estudos de pré-viabilidade nem análise de viabilidade. Um projeto de complementação alimentar seria
um exemplo deste caso.
13
14. 14
Gráfico 1.2 - Etapas do ciclo de um projeto com investimento
IDÉIA
Rejeita
Espera
PERFIL
VIABILIDADE
EXECUÇÃO
OPERAÇÃO
Rejeita
Rejeita
Rejeita
Espera
Espera
Espera
P
R
É
-
V
I
A
B
I
L
I
D
A
D
E
V
I
A
B
I
L
I
D
A
D
E
PRÉ -VIABILIDADE
DESENHO
15. 15
Gráfico 1.3 - Etapas do Ciclo de um projeto sem investimento
IDÉIA
PERFIL
OPERAÇÃO
Rejeita
Rejeita
Espera
Espera
F
O
R
M
U
L
A
Ç
Ã
O
O
P
E
R
A
Ç
Ã
O
No entanto, em alguns projetos sociais deve-se cumprir com todas as etapas do ciclo do projeto. É o caso da
construção de hospitais onde o investimento fixo é de considerável magnitude.
A seguir se desenvolve em forma breve cada uma das etapas do ciclo do projeto.
1.6.1. O estágio de pré-investimento (formulação)
a) A idéia do projeto.
A primeira fase é a criação da idéia do projeto. Nesta, já é preciso responder a um conjunto de perguntas que se
aprofundarão nas fases posteriores. Os aspectos mais relevantes são:
16. Que necessidades serão atendidas e, em conseqüência, quais sãos os bens e/ou serviços que
16
constituirão os produtos do projeto?
A quem se direciona o projeto, isto é, qual é a população-objetivo do projeto?
Quanto existe de recursos e em que condições?
Onde estará localizado?
Quando iniciar o projeto? Em alguns casos há condicionantes temporais que limitam a possibilidade de
começar a operação do projeto.
Que critérios serão utilizados para a determinação de preços, em relação aos usuários do projeto?
Que alternativas são propostas para levá-lo a cabo?
b) Etapa de Perfil.
Com as informações disponíveis, nesta etapa se visualizam as alternativas básicas de implementação do projeto e
se analisa sua viabilidade técnica, efetuando também uma primeira estimativa de custos e de impacto, mediante a
comparação das alternativas "sem" projeto, "com" projeto e a resultante de otimizar a situação de base.
Considerando o anteriormente dito, esta etapa supõe recolher um conjunto de informações que permita conhecer
em forma preliminar os diversos aspectos do projeto, tais como: a oferta existente, a demanda insatisfeita, a
localização espacial e seus motivos, os aspectos técnicos vinculados às opções consideradas, a magnitude do
investimento requerido, os aspectos financeiros e a organização exigida para a execução e operação.
Se a avaliação é positiva em nível de perfil, se pode optar por dar início à etapa subseqüente. Dependendo do
tamanho do investimento, deve-se decidir entre continuar aprofundando o estudo de pré-viabilidade ou passar
diretamente ao desenho e execução ou operação do projeto. Um resultado negativo implica abandonar a idéia,
temporária (postergação) ou definitivamente.
c) Análise de Pré-Viabilidade (aplicável a projetos com investimento em ativos
fixos).
Nesta fase se estudam com mais detalhe as alternativas propostas. Para isto, devemos considerar:
I. O estudo de mercado, que inclui a demanda esperada para os bens que o projeto ofertará ou os serviços
que prestará e a oferta existente para os mesmos.
17. II. A análise tecnológica centrada no estudo dos custos de investimento e de capital de giro implicados no
17
projeto.
III. A localização e a escala (tamanho), com todas as restrições e condicionantes que podem incidir sobre elas.
IV. A determinação dos custos e receitas para toda a vida do projeto.
V. Os requerimentos organizacionais e condicionantes legais que afetam o projeto. Deve-se considerar a
existência de leis e regulamentos restritivos ou de fomento que o afetam direta ou indiretamente.
VI. O momento ótimo para começar o projeto segundo os condicionamentos temporais existentes.
Quando há investimento fixo (terreno, construção, equipamento), podem ocorrer três situações diferentes:
1) que o investimento tenha uma vida útil ilimitada e os resultados sejam independentes do início da operação;
2) a mesma situação anterior, mas com um investimento de vida útil limitada;
3) que o investimento tenha uma vida útil limitada e os resultados sejam função do tempo e do momento de
concretização do projeto.
Os resultados obtidos nesta fase devem ser submetidos a una análise de sensibilidade, considerando os efeitos
produzidos por mudanças nas variáveis relevantes do projeto. Para isso, se modificam certas variáveis, mantendo
as demais constantes e se recalculam os fatores afetados.
O informe permite decidir entre prosseguir com um estudo de viabilidade, realizar uma análise complementar, ou
abandonar o projeto em forma temporária ou permanente.
d) Análise de viabilidade (aplicável a projetos com investimento fixo)
Na pré-viabilidade se identifica a melhor alternativa, que será desenvolvida detalhadamente na análise de
viabilidade, otimizando a alocação de recursos até a operação do projeto, incluindo as obras civis (tamanho e
localização), o programa de desembolsos e a organização requerida para a construção, pré-
-operação e operação do projeto.
Terminada esta análise o projeto está formulado, e corresponde tomar uma decisão com respeito à sua implantação.
Na realidade, quando um projeto chega até esta fase, já está implicitamente aprovado; podendo quando muito,
sofrer pequenas modificações ou adiamentos. Porisso, as etapas de elaboração do perfil e a pré-viabilidade são
fundamentais para a eliminação dos projetos.
1.6.2 O investimento
18. 18
(aplicável a projetos que requerem investimento fixo)
a) Desenho
Marca o início do processo de investimento. Seu aspecto central é o desenvolvimento dos detalhes da execução,
considerando todos os requisitos e especificações da arquitetura e engenharia que exige a natureza da obra.
b) Execução
É o processo de alocação dos insumos previstos para obter os produtos programados em cada uma das fases da
obra, de acordo ao cronograma e ao caminho crítico determinados na viabilidade.
1.6.3 Operação
Em projetos que requerem investimento fixo, a operação começa depois que este se termina. Em projetos sem
investimento fixo, se realiza uma vez finalizada a formulação em nível de perfil.
Nesta etapa é necessário distinguir duas fases, a primeira ‚ a posta-em-marcha do projeto ( pré-operação) e a
segunda, a plena operação do projeto.
1.6.4 Passos a seguir na formulação e avaliação de projetos
Há dezesseis passos fundamentais na formulação e avaliação de um projeto social, que são:
FORMULAÇÃO:
1. ------> IDENTIFICAR O PROBLEMA
2. ------> REALIZAR O DIAGNÓSTICO
3. ------> REALIZAR O ESTUDO DE MERCADO
4. ------> ESTABELECER O(S) OBJETIVO(S) DE IMPACTO
5. ------> SELECIONAR AS ALTERNATIVAS DO PROJETO
6. ------> ESTABELECER OS OBJETIVOS DE PRODUTO
7. ------> SELECIONAR OS INDICADORES
8. ------> ESTABELECER AS METAS A ALCANÇAR
9. ------> ESPECIFICAR AS PREMISSAS
10. -----> ELABORAR AS MATRIZES DE ALTERNATIVAS
19. 19
AVALIAÇÃO EX-ANTE:?
11. ------> CALCULAR OS CUSTOS DE CADA ALTERNATIVA
12. ------> REALIZAR A ANÁLISE DE IMPACTO DE CADA
ALTERNATIVA
13. ------> CALCULAR A RELAÇÃO CUSTO/IMPACTO
PROGRAMAÇÃO E AVALIAÇÃO EX-POST
14. ------> CONSTRUIR A MATRIZ DE PROGRAMAÇÃO
15. ------> REALIZAR O PLANO DE OPERAÇÃO
16. ------> REALIZAR A AVALIAÇÃO EX-POST
II. FORMULAÇÃO DE PROJETOS
2.1 Identificar o problema
A identificação do problema constitui, talvez, o exercício mais complexo da formulação, dada a quantidade de
variáveis inter-relacionadas que afetam o contexto do mesmo. Sua definição clara e precisa é o primeiro requisito
para alcançar o impacto buscado.
Aqui são particularmente relevantes os conceitos de problema e necessidade, que determinam os objetivos do
projeto e que permitem estabelecer ordenadamente os meios e alternativas para satisfazer tais necessidades.
Para identificar o problema temos que recolher e analisar toda a informação disponível. Devem-se combinar os
dados que permitam identificar a situação em que se encontra a população-objetivo nas áreas definidas como
prioritárias dentro da política social com a percepção que tem essa população sobre suas próprias necessidades e a
importância relativa dada a cada uma delas.
Nesta fase corresponde efetuar uma detalhada observação da realidade e obter a maior quantidade possível de
antecedentes. O ideal é dispor de um estudo de base da população, onde cada entrevistado associe uma pontuação
segundo a importância que atribui a cada um dos problemas destacados pela mesma população.
Um procedimento adequado é realizar um censo que inclua uma pergunta de qualificação de importância, no qual
cada pessoa associe uma pontuação a cada problema tratado, em uma escala, por exemplo, de 1 a 5 pontos.
Muito
Pouco
Imp
Pouco
Imp
Imp
Média
Bem
Imp
Muito
Imp
20. 20
Problema 1
1
2
3
4
5
Problema 2 1 2 3 4 5
.
.
.
Problema j
1 2 3 4 5
Se não se dispõe de um estudo de base, é possível trabalhar com dados secundários, revisão bibliográfica,
consultas a especialistas e informantes--chaves, etc.
O processo de definição do problema deve permitir que se responda às seguintes perguntas:
Existe um problema?
Qual é o problema?
Quais são os elementos essenciais do problema?
Quem está(ão) afetado(s) pelo problema? Ou seja, qual é a população--objetivo?
Qual é a magnitude atual do problema e suas conseqüências?
Conta-se com toda a informação relevante acerca do problema para realizar um estudo acabado?
Dispõe-se de uma visão clara e definida do meio geográfico, econômico e social do problema?
Quais são as principais dificuldades para enfrentar o problema?
Uma técnica que permite sistematizar de maneira ágil e ordenada a informação coletada é a Árvore de Problemas
( causas e efeitos ). Trata-se de uma técnica participativa que apoia o trabalho de gerar idéias criativas na busca do
problema, suas causas e conseqüências. Ainda que seja um esquema simplificado, serve para identificar
dificuldades e possibilita chegar a um consenso sobre as causas e efeitos dos mesmos.
No Anexo 1 se apresenta informação mais detalhada sobre a Árvore de Problemas.
A partir da identificação do problema é possível determinar o objetivo geral. Consiste em colocar o problema em
termos de ação positiva com o fim de contar com um guia na definição de objetivos mais específicos e na busca das
possíveis alternativas de solução dos mesmos.
Um exemplo disso seria:
Problema: Alta incidência de mortalidade infantil na zona rural da
Região Metropolitana.
Objetivo Geral: Diminuir a mortalidade infantil da área rural da Região
Metropolitana.
Problema: Baixo rendimento escolar nas escolas públicas do país.
Objetivo Geral: Aumentar o rendimento escolar dos alunos das escolas públicas do país.
21. Cabe ressaltar que ao definir cada alternativa do projeto, é preciso trabalhar mais profundamente na determinação
dos objetivos específicos.
21
2.2 Realizar o diagnóstico
O diagnóstico se realiza uma vez identificado o problema e o objetivo geral do projeto. Tem duas funções básicas:
I. A descrição, que caracteriza o problema e sua incidência e distribuição na população-objetivo. A linha de base
resume esta informação. Sem ela não é possível formular adequadamente o projeto e não será viável
determinar seu impacto. Portanto, é preferível não realizar nenhum projeto enquanto não se dispõe da linha de
base.
II. A explicação apresenta a estrutura causal quantitativa das variáveis que determinam o problema. Isto permite
estabelecer qual é a quantidade de produto ou serviço que se deve entregar para modificar em uma unidade as
variáveis dependentes especificadas nos objetivos. Um projeto entrega produtos e/ou serviços, que devem
produzir o impacto buscado. Se não está claro quais são os produtos e/ou serviços e suas quantidades, que
permitem modificar situação-problema, resulta impossível formular adequadamente o projeto.
As funções anteriormente expostas se complementam com a identificação dos grupos relevantes para o projeto e o
papel que podem cumprir no mesmo. Corresponde identificar a todos os grupos de interessados (pessoas,
entidades, etc.) que possam influenciar no problema, favorável ou desfavoràvelmente (que apóiem as ações de
mudança que formam parte do projeto ou que estejam contra elas).
Esta informação serve de orientação para conhecer o apoio ou rejeição que o projeto pode obter.
Exemplo:
Projeto: Melhoramento da educação primária da Região Austral.
Grupos Relevantes: Ministério de Educação
Prefeitura
Professores
Centro de Pais
Estudantes
Organizações de desenvolvimento educacional
A quantidade de recursos e tempo utilizados para realizar o diagnóstico deve ser compatível com a escala do
projeto. O diagnóstico não deve ser maior que o projeto, porque assim pode perder utilidade para solucionar o
problema concreto que o originou.
2.3. Realizar o estudo de mercado
22. Uma vez que foi estabelecido claramente o problema e se dispõe de um diagnóstico adequado, deve-se
complementar com uma estimativa do tamanho da demanda.
2.3.1 Estudo de Demanda
Busca conhecer o tamanho da demanda existente para solução de um problema, tanto para a situação atual como
para o lapso de tempo de duração do projeto. Responde à pergunta de quantos produtos e/ou serviços deve o
projeto entregar para que, somados à oferta já existente, se satisfaça à demanda.
Se as alternativas consideram a entrega de diversos produtos e/ou serviços, que podem incidir na demanda, tem-se
que revisar estes antecedentes para formular adequadamente o projeto e, eventualmente, retificar o estudo de
demanda.
Deve-se especificar claramente as carências reais, assim como o custo total que tem a população-objetivo para
satisfazer suas necessidades via mercado.
É necessário considerar:
22
- preço do produto ou serviço,
- preço dos bens substitutos (ônibus x metrô),
- preço dos bens complementares ( gasolina com passagem de ônibus),
- nível e distribuição de renda da população-objetivo,
- custo do tempo de espera,
- custo do tempo de acesso,
- custo do transporte necessário para acessar a comprar ou receber o produto ou serviço,
- preferências dos consumidores (gostos e costumes).
Este estudo deve abranger todo o horizonte do projeto, o que exige dimensionar a situação atual e estimar a futura.
Não há métodos infalíveis para este tipo de estimativa. As alternativas geralmente utilizadas para realizar estas
projeções se encontram apresentadas no Anexo 4.
Na análise da demanda é fundamental a participação da comunidade. O contacto direto com os grupos
afetados muitas vezes é essencial para interpretar e priorizar os problemas que enfrentam.
2.3.2 Estudo da oferta
Também se deve analisar a oferta de produtos e/ou serviços alternativos que podem satisfazer a demanda ao longo
de toda a vida útil do projeto.
O estudo da oferta deve:
23. Identificar os agentes que a geram ( o setor privado, o Estado, projetos sociais de outras organizações, ONG,
23
etc.),
Definir as variáveis que determinam o tamanho da oferta (preço dos bens complementares e substitutos),
Calcular os efeitos que teria a realização do projeto sobre a oferta dos demais agentes ( incidirá nos preços dos
produtos substitutos e/ou complementares, diminuirá a oferta dos demais, etc.).
2.3.3 Relação oferta-demanda
Com a informação sobre a oferta e a demanda pode-se dimensionar o déficit existente. Este dado é de primordial
importância para fixar as metas do projeto, que devem cobrir este déficit.
O cálculo do déficit não é mais que a diferença entre a demanda e a oferta para cada um dos períodos considerados
na vida útil do projeto.
2.4 Estabelecer os objetivos de impacto
É preciso determinar o impacto que se pretende provocar, isto é, a magnitude da modificação que o projeto pretende
produzir no problema que enfrenta a população-objetivo, qualquer que seja a alternativa implementada.
O objetivo último de um projeto social não é a entrega de bens ou serviços, mas o impacto que isto produz,
eliminando ou diminuindo o déficit ou problema.
Para definir um ou mais objetivos de impacto deve-se considerar a Árvore de Problemas e o diagnóstico.
Os objetivos de impacto devem ser:
* Precisos: - Quem se beneficiará com o projeto?
- Que benefício trarão?
- Qual é o impacto que se deseja alcançar?
* Realistas: - Há recursos disponíveis para lograr os objetivos?
- É possível alcançar os objetivos dentro do horizonte do projeto?
* Mensuráveis: - Existem instrumentos que permitirão medir o logro dos objetivos estabelecidos?
* Complementares: - Trabalhar os objetivos em conjunto permite diminuir custos ou aumentar seu
impacto?
24. A complementaridade deve ser determinada mediante a combinação de modelos teóricos e considerações técnicas:
a) Os modelos teóricos resultam de diversas áreas de conhecimento e permitem determinar as relações entre
24
objetivos ( variáveis).
b) As considerações técnicas se referem às vantagens derivadas de considerar complementaridades práticas. Por
exemplo, com a entrega de alimentos (objetivo nutricional) numa escola (que tem um objetivo educacional) se
minimiza o custo afrontado pelo beneficiário para acessar os serviços, se assegura a entrega dos bens e
serviços à população-objetivo e se aumenta a utilização da capacidade instalada na escola.
Exemplos:
Objetivos de impacto:
a) Diminuir a incidência da mortalidade infantil na população rural, ao nível da existente no meio urbano.
b) Diminuir a incidência da malária na zona central a um nível IPA inferior a 2,5.
c) Melhorar o nível nutricional das crianças entre 6-14 anos da cidade de Iquique, a nível equivalente ao
da média nacional.
d) Diminuir a taxa de desemprego dos jovens do distrito de Las Flores a 15% da PEA jovem, no máximo.
Mediante a técnica da árvore de objetivos (meios e fins), transforma-se cada elemento da árvore de problemas em
um objetivo. Assim, as causas passam a serem meios para produzir mudanças nos objetivos de impacto e os efeitos
se convertem nos fins buscados pelo projeto (ver Anexo 2).
Uma vez estabelecidos os objetivos de impacto do projeto, é preciso determinar a importância de cada um, o que
resulta das prioridades expressadas pela população-objetivo.
2.5 Selecionar as alternativas
Definidos os objetivos de impacto e com base no diagnóstico, podem ser estabelecidas as áreas de intervenção, ou
seja, os meios viáveis para o logro dos objetivos procurados. A partir delas, se desenvolvem as diferentes
alternativas do projeto.
2.5.1 Descrição geral de cada alternativa
Deve-se levar em consideração as prioridades, limitações e probabilidade de êxito de cada alternativa, tendo em
vista a capacidade institucional existente e as vantagens comparativas que apresentam.
A árvore de objetivos possibilita graficar as diferentes áreas de intervenção e, a partir delas, estruturar as
alternativas do projeto ( ver Anexo 3 ).
25. Sempre deve ser considerada como alternativa a otimização da situação de base. Isto supõe atividades de baixo
custo, que visam a aumentar a eficiência e a eficácia dos serviços existentes. Num projeto de saúde onde se estuda
a construção de um novo centro de atenção primária, a otimização da situação de base implica mudanças na
administração atual do(s) consultório (s) pré-existente(s) ampliando a cobertura ou melhorando a qualidade dos
serviços, para alcançar os objetivos de impacto procurados.
Definidas as alternativas, deve-se elaborar uma breve descrição de cada uma delas.
2.5.2. Realizar estudos complementares
Em função dos recursos disponíveis e do caráter do projeto (com ou sem investimento fixo) deve-se realizar
estudos complementares nas seguintes áreas:
a) Aspectos legais: para determinar a viabilidade legal da implementação da alternativa.
b) Localização: selecionar para o projeto a localização que gere o maior nível de benefícios para os usuários e
para a comunidade, ao menor custo social. Na localização de um projeto influem a posição geográfica da
população-objetivo, os acessos às matérias primas ou insumos, as facilidades de infra-estrutura e serviços
públicos básicos, as vias de comunicação e meios de transporte, a qualidade e/ou preço do terreno, as
tendências de desenvolvimento do município, a preservação do patrimônio histórico-cultural, as condições
climáticas o controle ecológico e do meio-ambiente.
c) Tamanho: fixa a escala de produção e/ou de entrega de serviços necessários para eliminar o déficit detectado.
Deve contemplar especialmente a relação entre custos fixos e variáveis para otimizar a utilização da capacidade
instalada e maximizar economias de escala.
d) Aspectos administrativos: identifica os requerimentos de profissionais e técnicos, e os custos associados,
25
necessários para implementar a alternativa proposta.
e) Engenharia: se o projeto inclui proceso produtivo, deve-se efetuar estudos de:
Processo de produção. Ou seja, a sucessão de atividades mediante as quais se transformam os
insumos em produtos ou serviços; deve responder à pergunta de como produzir com eficiência a
quantidade de produtos ou serviços previstos.
Requerimentos para a produção. Selecionado o processo técnico, deve-se descrever as funções
dos diferentes meios de produção requeridos e as dificuldades que poderiam surgir com cada um
deles: terreno, edifícios, móveis e equipamentos; mão-de-obra; matérias-primas e auxiliares;
serviços de água, energia, transporte, etc.; assistência técnica e licenças.
2.6 Estabelecer os objetivos de produto
26. O produto ou serviço proposto por cada alternativa é o meio através do qual se espera produzir o impacto desejado.
Cada alternativa pode entregar um ou mais produtos ou serviços (consultas, subsídios, etc.) diferentes, porém todos
orientados a lograr os mesmos objetivos de impacto.
É preciso especificar com claridade os produtos ou serviços que cada uma das alternativas entregará e a
população-objetivo que se beneficiará com eles, para determinar se afetarão de algum modo os resultados dos
estudos da oferta e demanda realizados. Se isto ocorre, devem ser feitas novas análises incluindo os efeitos
previstos da alternativa considerada.
Os objetivos de produto se referem ao tipo de produtos e/ou serviços que cada alternativa entrega à população-objetivo.
26
Portanto cada alternativa pode ter seus próprios e diferentes objetivos de produto.
A definição destes objetivos é básica para a programação e o monitoramento.
Os objetivos de produto devem ser:
* Precisos
* Quantificáveis
* Realistas
* Alcançáveis no prazo estabelecido
Exemplos:
Objetivos de Produto:
a) - Centro de Pais integrados às atividades extra-curriculares das escolas.
* pais e responsáveis trabalhando nos programas educativos das escolas de El Monte,
b) - Jovens de Las Flores capacitados em:
* carpintaria,
* encanamento,
* soldagem.
c) - Mães da Região Central capacitadas em prevenção de desidratação infantil
d) - Obras de canalização e tratamento de águas em funcionamento,
* mosquiteiros entregados,
* tratamentos radicais realizados a pessoas afetadas pela doença.
e) - Rações alimentícias entregadas nas escolas # 326, # 412 e # 365 de
Iquique.
27. Os objetivos de produto definidos em cada alternativa podem requerer um conjunto de insumos e atividades,
dependendo da quão complexa seja a realização de cada produto. Por exemplo, a entrega de rações alimentícias
exigirá a construção de refeitórios e cozinhas, equipamento de refeitório e fogões, insumos alimentícios, pessoal,
etc.
2.7 Selecionar os indicadores
Os indicadores definem o sentido e o alcance de um projeto (avaliação ex-ante) e medem o logro dos objetivos em
cada uma de suas etapas (avaliação ex-post). Tem-se que definir indicadores para cada um dos objetivos de
impacto e de produto.
Cada alternativa pode ter diferentes indicadores de produto, porém não variarão os indicadores de impacto, já que
devem ser iguais para todas as alternativas selecionadas.
27
Os indicadores devem ser:
Ser confiáveis: diferentes avaliadores devem obter os mesmos resultados ao medir um mesmo
projeto com os indicadores propostos.
Ser válidos: devem permitir medir realmente o que se deseja medir.
Medir mudanças específicas, atribuíveis ao projeto e não outras variáveis.
Explicar-se de forma clara e precisa.
Apresentar-se em forma independente para cada objetivo e fase do projeto. Por exemplo, não se
pode assumir indicadores de produto para medir impacto.
Exemplo:
Obj. Impacto: Elevar a qualidade da educação municipal no Distrito de
Vergel à média nacional.
Indicadores de impacto:
- Resultados na Prova Nacional de Rendimento Escolar
- Taxa de repetência
- Taxa de abandono escolar
Obj. Produto # 1: Uso de técnicas de aprendizado ativo -participativas.
Indicador de produto:
- Quantidade de alunos educados com esta técnica.
28. 28
Obj. Produto # 2: Nova escola funcionando na Comuna El Vergel.
Indicador de produto:
- Quantidade de alunos formados na escola.
Se um objetivo de impacto tem mais de um indicador, como no exemplo anterior, deve-se estabelecer o peso de
cada um.
Exemplo: Obj. Impacto: Elevar a qualidade da educação municipal no Distrito
de Vergel à média nacional.
Indicadores de Impacto Peso (Ponderação)
- Resultados na Prova Nacional
de Rendimento Escolar
50 %
- Taxa de repetência 30 %
- Taxa de abandono escolar 20 %
A ponderação de cada indicador pode ser determinada através de técnicas de projeção como as apresentadas no
Anexo 4 ( método Delfi e modelos teórico-matemáticos).
Às vezes, não existem indicadores que permitam medir diretamente os objetivos. Em tal situação, tem-se que
construir dimensões operacionais, obtendo-se os denominados indicadores indiretos.
Exemplo:
Objetivo de Impacto Aumentar a participação dos pais no programa de refeitórios
escolares.
Dimensão Operacional Aumento da participação dos pais que se
traduzem em um aumento dos donativos
recebidos.
Indicador Indireto Quantidade de donativos.
Para cada indicador se deve-se especificar os meios de verificação, explicitando as fontes de informação de onde
foram obtidas. Estas podem ser primárias, isto é, internas ao projeto (pesquisa de campo para o caso da avaliação
ex-post) ou secundárias, como as estatísticas oficiais.
Exemplo:
29. 29
Indicador: Fontes de Verificação
Primária
- Consultas médicas prestadas Registros do Consultório
- Alunos formados Inspeção em terreno
Secundária
- Taxa de mortalidade por malária Registros do Ministério de Saúde
- Taxa de repetência Estatísticas do Ministério de Educação
2.8 Estabelecer as metas
As metas são estimativas a respeito do impacto que produz cada alternativa e a quantidade de cada produto que
entrega. Ou seja, as metas, tanto de impacto como de produto, são independentes para cada alternativa.
As metas se definem em termos de quantidade, qualidade e tempo, utilizando como base os indicadores
selecionados para medir cada objetivo. Por exemplo, se o objetivo de impacto é melhorar o nível nutricional de
crianças entre 6-14 anos, pode-se utilizar indicadores antropométricos que permitem quantificar a taxa de
desnutrição por tipo ( I, II, e III) e estabelecer metas de redução destes tipos em períodos de tempo definidos.
As metas devem claras, precisas e realistas.
As metas devem ser fixadas em relação às necessidades insatisfeitas estabelecidas no estudo de mercado, mas
como nem sempre é possível cobrir o déficit total, as metas podem ser inferiores à demanda insatisfeita.
As metas de impacto devem explicitar:
Que variável ou fenômeno se modifica?
Em que sentido se modifica a variável?
Quanto se modifica essa variável?
Exemplo:
Metas de impacto:
- Diminuir a taxa de desnutrição dos tipos I e II em 50% em 2 anos.
- Diminuir em 20% a taxa de mortalidade infantil em 4 anos.
- Aumentar em 12% anual o número de jovens de 18-24 anos que
entram ao mercado de trabalho formal.
- Diminuir os casos de malária em 80% em 3 anos.
30. 30
As metas nos objetivos de produto devem especificar:
Que produto ou serviço entrega;?
Quantos produtos ou serviços entregam;e
Quem se beneficia com o produto.
Exemplo:
Metas de Produto:
Entregar 800 rações alimentícias ao mês.
Aumentar em 25% a quantidade diária de atendimentos de saúde nos consultórios.
Capacitar a 500 micro-empresários em 1 ano.
Eliminar 50 os focos de mosquitos em 3 anos.
Ao estabelecer as metas de um objetivo que tem mais de um indicador, deve-se ter presente que seu logro supõe
modificar os valores destes indicadores, cuja ponderação está determinada pela magnitude da sua incidência no
logro do objetivo.
A estimativa razoável da meta definida é fundamental para fazer uma adequada avaliação ex-ante. Para isso,
se utilizam o método Delfi, os resultados de avaliações anteriores e/ou os modelos teórico-matemáticos, já
mencionados.
2.9 Especificar as premissas
Ao estabelecer as metas deve-se explicitar as premissas consideradas. As premissas ou suposições são as
condições externas que afetam o projeto, mas que estão fora do seu controle.
Exemplo:
Meta de Produto:
- Alcançar uma cobertura de 70% dos alunos de escolas pública entre
12 e 17 anos que recebem cursos de educação sexual.
Premissas:
- A política de educação sexual do Ministério é estável.
- A posição das Igrejas não interfere no desenvolvimento do projeto.
- Os diretores dos colégios mantém seu apoio ao projeto.
Quando uma premissa é imprescindível para a implantação do projeto, e é improvável que se cumpra, estamos ante
um projeto que não é realista e convém mudar de estratégia.
31. Nao é necessário explicitar todas as premissas associadas à concretização das metas, mas só aquelas que são
críticas e prováveis.
2.10 Elaborar as matrizes de alternativas
A matriz é um marco lógico que organiza e resume a informação de cada alternativa - objetivos de impacto,
objetivos de produto, metas ( estabelecidas segundo os indicadores), fontes de verificação e premissas - e permite
realizar comparações entre elas.
Não substitui, de nenhum modo, os capítulos anteriores, só os complementa.
A seguir se apresentam três alternativas resumidas nestas matrizes. Trata-se de um projeto de prevenção de
malária, adaptado para fins docentes. Tem uma duração de cinco anos, ainda que o impacto estimado projetado
para vinte anos.
O propósito deste exemplo não é o de resumir o projeto, mas mostrar a informação essencial que se deve incluir na
Matriz de Alternativas.
31
32. 32
PROJETO: Controle da Malária
ALTERNATIVA #1: Obras Civis e Tratamentos
OBJETIVO GERAL: Melhorar as condições de vida da população-objetivo, considerando a malária
que a afeta
OBJETIVOS DE
IMPACTO
METAS INDICADORES FONTES DE
VERIFICAÇÃO
PREMISSAS
Alcançar uma
diminuição da
malária a um “nível
controlável”(taxa
de IPA entre 1.0 e
2.5)
* 1.120.489 casos
evitados, que
equivale a
diminuir a IPA a
1.6 (84%)
* IPA
* Registro
Estatístico do
Ministério de
Saúde
OBJETIVOS DE
PRODUTO
METAS INDICADORES FONTES DE
VERIFICAÇÃO
PREMISSAS
OP 1. Eliminação
de focos de
mosquitos
* Eliminar 60
focos
* Quantidade de
focos eliminados
* Inspeção em
terreno e
registro do
projeto
* Política e
orçamento do
Ministério de
Saúde não
sofrem
modificações
OP 2.
Diagnósticos e
tratamentos
médicos
supressivos
* Realizar
1.149.662
diagnósticos e
tratamentos
supressivos
* Quantidade de
diagnósticos e
tratamentos
supressivos
realizados
* Registro
Colaborador
Voluntário (CV)
* Condições
climáticas não
se deterioram
OP 3. Tratamentos
médicos radicais
* Realizar
111.165
tratamentos
radicais
* Quantidade de
tratamentos
radicais
realizados
* Registro
Unidades
Prestadoras de
Serviço de
Saúde (UPSS)
* Níveis de
higiene familiar
não se
deterioram
Descrição: Obras Civis e Tratamentos médicos
Esta alternativa oferece uma combinação de dois tipos de intervenções para controlar a malária:
redução do vetor mosquito nos focos através da construção de canais de drenagem e tratamentos
médicos supressivos e radicais de casos de malária.
* IPA - Incidência Parasitária Anual de Malária por mil habitantes
33. 33
PROJETO: Controle da Malária
ALTERNATIVA #2: Dedetização de casas e Tratamentos médicos
OBJETIVO GERAL: Melhorar as condições de vida da população-objetivo, considerando a malária
que a afeta
OBJETIVOS DE
METAS
INDICADORES FONTES DE
PREMISSAS
IMPACTO
ATIVUDADES
VERIFICAÇÃO
Lograr uma
diminuição da
malária a um
“nível
controlável”(taxa
IPA entre 1.0 e
2.5
* 1.131.073
casos evitados, o
que equivale a
diminuir a IPA a
1.49 ( 85.1% )
* IPA
* Registro
Estatístico do
Ministério de
Saúde
OBJETIVOS DE
PRODUTO
METAS INDICADORES FONTES DE
VERIFICAÇÃO
PREMISSAS
OP 1.
Dedetização de
casas
* Dedetizar
387.500 casas
* Quantidade de
casas
dedetizadas
* Registro da
equipe técnica
que realiza o
serviço
* Política e
orçamento do
Ministério de
Saúde não sofre
modificações
OP 2.
Diagnósticos e
tratamentos
supressivos
* Realizar
1.061.320
diagnósticos e
tratamentos
supressivos
* Quantidade de
diagnósticos e
tratamentos
supressivos
realizados
* Registro
Colaborador
Voluntário (CV)
* Condições
climáticas não se
deterioram
ÒP 3.
Tratamentos
radicais
* Realizar 98.139
tratamentos
radicais
* Quantidade de
tratamentos
radicais
realizados
* Registro
Unidades
Prestadoras de
Serviço de
Saúde (UPSS)
* Níveis de
higiene familiar
não se
deterioram
Descrição: Dedetização de casas e Tratamentos médicos
A técnica central desta alternativa é a dedetização de casas com inseticida durante os dois
primeiros anos do projeto, objetivando eliminar o vetor mosquito das moradias. Esta alternativa
também propõe tratamentos médicos supressivos e radicais.
* IPA - Incidência Parasitária Anual de Malária por mil habitantes
35. 35
PROJETO: Controle da Malária
ALTERNATIVA #3: Obras Civis, Dedetizações e Tratamentos Médicos
OBJETIVO GERAL: Melhorar as condições de vida da população-objetivo, considerando a malária
que a afeta.
OBJETIVOS DE
METAS INDICADORES FONTES DE
PREMISSAS
IMPACTO
VERIFICAÇÃO
Lograr uma
diminuição da
malária a um
“nível
controlável” (uma
taxa de IPA entre
1.0 e 2.5)
* 1.129.416
casos evitados
que equivale a
diminuir a IPA a
1.8 (84.8%)
* IPA
* Registro
Estatístico do
Ministério de
Saúde
OBJETIVOS DE
PRODUTO
METAS INDICADORES FONTES DE
VERIFICAÇÃO
PREMISSAS
OP 1. Eliminação
de focos
* Eliminar 46
focos
* Quantidade de
focos eliminados
* Inspeção em
terreno e
registros do
projeto
* Política e
orçamento do
Ministério de
Saúde não sofre
modificações
OP 2.
Dedetização de
casas
* Dedetizar
242.187 casas
* Quantidade de
casas
dedetizadas
* Registro da
equipe técnica
responsável pelo
serviço
* Condições
climáticas não se
deterioram
OP 3.
Diagnósticos e
tratamentos
médicos
supressivos
* Realizar
1.119.049
diagnósticos e
tratamentos
supressivos
* Quantidade de
dignósticos e
tratamentos
supressivos
realizados
* Registro
Colaborador
Voluntário (CV)
* Níveis de
higiene familiar
não se
deterioram
OP 4.
Tratamentos
médicos radicais
* Realizar
101.048
tratamentos
radicais
* Quantidade de
tratamentos
radicais
realizados
* Registro
Unidades
Prestadoras de
Serviço de
Saúde (UPSS)
Descrição: Obras civis , Dedetização e Tratamentos médicos
36. 36
Esta alternativa apresenta uma combinação das Alternativas 1 e 2, com diferentes magnitudes em
relação às metas a lograr em cada produto
* IPA - Incidência Parasitária Anual de Malária por mil habitantes
37. 37
III. A AVALIAÇÃO EX-ANTE
Definidas e descritas as alternativas, elas devem ser avaliadas para identificar a que tem a melhor relação entre os
custos implicados e o impacto que produz.
A análise custo-impacto (ACI), que permite identificar a alternativa que tem a melhor relação entre eficiência e
eficácia, seleciona a opção que apresenta o menor custo por unidade de impacto.
A ACI requer dois tipos de análise, a de custos (eficiência) e a de impacto (eficácia), para depois avaliar a relação
entre ambas.
3.1 Calcular os custos de cada alternativa (análise da eficiência)
Para cada uma das alternativas propostas deve-se identificar os custos relevantes que se tem que incorrer durante
a vida do projeto.
Os custos podem ser divididos em três categorias:
Custos de capital: são aqueles destinados a adquirir bens cuja duração para o projeto é superior a um
ano.Normalmente, os desembolsos devem ser feitos durante a execução do projeto para que os bens
possam ser utilizados na etapa de operação. Mas, durante a operaçào costuma ser preciso repô-los ou
efetuar ampliações. Os custos de reposição ou de ampliação também formam parte dos custos de
capital.Os custos de capital mais comuns nos projetos sociais são os de terreno, construção, equipamentos
e investimentos complementares.
Custos de manutenção: são os relativos a materiais e serviços que se adquirem para o cuidado dos bens
de capital, com o fim de manter tanto a quantidade como a qualidade da entrega de produtos e/ou serviços.
Por exemplo, manutenção e reparação de equipamentos, de edifícios, etc. Normalmente se calculam como
uma proporção fixa dos custos de capital do projeto para cada período.
Custos de operação: se derivam da compra de bens e/ou serviços cuja vida útil é inferior a um ano. Neste
item se contemplam os necessários para que o projeto funcione e entregue o produto ou serviço desejado.
Nos custos de operação se distinguem:
a) Diretos - derivados de insumos e pessoal imprescindíveis para a realização do projeto. Exemplo: Num
projeto de refeitórios escolares são os alimentos, salários de pessoal, combustíveis, etc.
38. b) Indiretos - não são imprescindíveis, porém permitem aumenta a eficiência do projeto. Exemplo: Neste
38
mesmo projeto, os custos indiretos seriam administração, supervisão, treinamento, etc.
Custos adicionais dos usuários: nos projetos sociais é preciso considerar os custos que deve incorrer
a população-objetivo para receber os serviços e/ou os produtos que entrega o projeto, tais como os
custos de transporte, o valor do tempo da viagem e de espera (medido em horas homem, dividindo o
salário-mínimo mensal por 240 horas de trabalho ao mês), etc.
É importante considerar os custos alternativos ou de oportunidade. Estes se referem, por um lado, ao valor que têm
as doações e o trabalho voluntário, que não por serem gratuitos, deixam de significar um valorável aporte. Se não
são incluídos como custo, se assume que os recursos aportados são infinitos. Estes custos alternativos devem ser
considerados ou nos custos de capital ou nos de operação, conforme seja o caso.
Por outro lado, o capital também tem um custo de oportunidade que deriva do que poderia render se fosse destinado
a investimentos alternativos, tais como aplicações financeiras, ações ou outro tipo de projeto. Normalmente, nos
projetos sociais, este custo equivale a uma taxa de desconto (juros) de 12% ao ano
(ver Anexo 5).
Nestes cálculos se consideram os custos relevantes. Os gastos menores, como materiais de escritório e utensílios,
devem ser agrupados como um item genérico.
Os custos devem ser considerados em termos de preço de mercado. Isto permite transferir o custo dos insumos e
bens ao longo do tempo considerando sòmente a inflação.
Porém, os preços de mercado devem ser ajustados determinando os preços reais que deve pagar a sociedade.
Estes ajustes têm duas origens:
Impostos. Do ponto de vista privado os impostos correspondem a custos, mas para a sociedade não o são
e, portanto, não devem considerados. O projeto paga os preços de mercado; porém os impostos incluídos
no preço são arrecadados para serem utilizados pelo setor público em fins prioritários, dentre os quais, a
realização de projetos sociais. Portanto, para fazer os cálculos da avaliação, devem-se considerar os preços
de mercado descontados os impostos.
Distorções do mercado. Os preços-sombra são aqueles através dos quais o setor público ( Ministério do
Planejamento, Fazenda, etc.) trata de determinar a verdadeira escassez relativa que têm os bens e serviços
utilizados pelo projeto.
39. Os custos de oportunidade e as conseqüentes modificações nos preços de mercado devem ser utilizados na
avaliação. Entretanto, para a elaboração do orçamento, no qual se consideram os desembolsos previstos, deve-se
utilizar os preços de mercado ( os que realmente se pagarão).
3.1.1 Fluxo de custos
O fluxo de custos é uma matriz que contém todos os custos que se deve incorrer no projeto em cada período ( em
geral, anuais), separados por itens (de capital, de operação, de manutenção e de usuários).
39
Na construção de um fluxo de custos deve-se considerar o seguinte:
- Os períodos começam no "ano zero", que corresponde à etapa de investimento do projeto. Os períodos
seguintes incluem os custos de operação, de manutenção e reposição ou ampliação do investimento. No
último período do projeto deve-se incluir, como receita, o valor residual do investimento, que é a estimativa
do preço pelo qual se pode vender os bens de capital ao término do projeto. O terreno tem um valor residual
igual ao valor inicial, ou seja, se recupera em 100%.
- Os valores utilizados nos fluxos devem ser expressados em valores constantes, como Reais de 31/01/97,
dólares de 1 de janeiro de 1996, etc.
- Os bens de capital se alocam na proporção em que serão utilizados para as atividades do projeto. Por
exemplo, para implementar um projeto de educação para adultos se utiliza em certos horários, uma escola
primária já existente, e se considera como custo de capital no projeto só a proporção que se ocupa da infra-estrutura
mencionada. Este é o valor que deve ser incluído no fluxo de custos.
- A vida útil dos bens de capital são os anos esperados de sua duração produtiva. Ela depende das
especificações técnicas de cada bem, incluindo sua obsolescência (técnica e econômica). Para as
construções, por exemplo, se costuma considerar 30 anos.
Se o projeto dura mais que a vida útil de algum dos bens de capital que utiliza, será necessário fazer um
investimento de reposição. Em caso contrário, existirá um valor residual equivalente ao tempo de vida útil
que lhe resta.
Antes de construir o fluxo é conveniente abrir todos os custos do projeto, detalhando preço unitário, quantidade, vida
útil e valor residual.
O Anexo 6 se apresenta um exemplo de fluxo de custos.
3.1.2 Atualização de custos
40. O fluxo de custos requer ser calculado em termos de valor presente ( momento prévio ao início do projeto ou período
0 ), utilizando uma taxa de desconto que é geralmente de 12% anual. O valor presente é o que tem hoje uma
determinada quantidade de dinheiro que se deve gastar ou que deve se ganhar no futuro (dentro do horizonte do
projeto). Cem Reais de amanhã valem menos que cem Reais hoje devido ao custo de oportunidade, portanto, o
valor presente é sempre um montante menor que o do futuro.
O valor presente dos custos de um determinado período é dado pela seguinte fórmula:
40
P F
i
n i
1 i
Onde: Pi = valor presente do período analisado
Fi = custo no futuro do período analisado
i = taxa de desconto
n = quantidade de períodos entre o presente e o futuro.
Em cada alternativa, se deve calcular o valor presente dos custos em cada período1, o que exige somar os valores
de cada coluna do fluxo e depois atualizar cada uma delas. Então se somam os valores presentes dos custos de
cada período, obtendo-se assim o valor presente de toda a alternativa.
F
(1 i)
I F
1
(1 i)
n VP ... 0
1
2
2
3
3
n
F
(1 i)
F
(1 i)
Ou,
n I F
(1 i)
VP 0
i
i 1 n
Onde: VP = valor presente do total de períodos que contempla a alternativa
analisada
I0 = custo do investimento (realizado no período zero)
Fi = custo no futuro , em cada período de operação da alternativa
(1, 2 ..., n)
i = taxa de desconto
n = número de períodos entre o presente e cada ano de operação
da alternativa (1, 2 .., n)
Utilizando a fórmula anterior deve-se calcular o valor presente (VP) dos seguintes itens:
1 Normalmente os projetos contemplam períodos de um ano de duração. Porisso de agora em adiante faremos
referência a períodos anuais.
41. 41
- Custo de Capital (CK) = CT + CC + CE ,
onde:
CT = Custo do Terreno
CC = Custo de Construção
CE = Custo de Equipamento
- Custo de Manutenção (CM)
- Custo de Operação CO = COD + COI ,
onde:
COD = Custos Operação Diretos
COI = Custos Operação Indiretos
- Custo Adicional dos Usuários (CAU)
- Custo Total do Projeto (CT) = CK + CM + CO + CAU
Usando como exemplo o projeto de controle da malária anteriormente tratado, as alternativas têm um custo total
(CT)2 de:
ALT 1: US$ 10.579.790
ALT 2: US$ 8.545.515
ALT 3: US$ 12.196.459
3.1.3 Anualização de Custos
O passo seguinte é calcular os custos médios de cada período ajustado pela taxa de desconto (anualidade) do
projeto. Para isto, aos valores presentes se aplicam a seguinte fórmula:
i
A VP
1 ( n) 1 i
Onde: A = anualidade
2 Por motivos estritamente didáticos alguns dados de custos foram modificados, pelo que o exemplo apresentado
não coincide totalmente com o estudo original.
42. 42
VP = valor presente do total de períodos (anos) do projeto
i = taxa de desconto
n = número de períodos (anos) do projeto 3
Este cálculo se deve efetuar para todas as categorias de custo mencionadas:
- Custo Anual de Capital (CAK) = CAT + CAC + CAE, onde
CAT = Custo Anual do Terreno
CAC = Custo Anual de Construção
CAE = Custo Anual de Equipamento
- Custo Anual de Manutenção (CAM)
- Custo Anual de Operação (CAO) = CAOD + CAOI, onde
CAOD = Custo Anual de Operação Direto
CAOI = Custo Anual de Operação Indireto
- Custo Anual Adicional dos Usuários (CAAU)
- Custo Total Anual (CTA) = CAK + CAM + CAO + CAAU
O custo total anual de cada alternativa do projeto de Controle da Malária é:
ALT 1: US$ 1.416.409
ALT 2: US$ 1.144.063
ALT 3: US$ 1.632.847
Para maiores informações sobre estes cálculos, revisar Anexo 5 ( Matemática Financeira).
3.1.4 Matriz de Custos
A matriz de custos resume o custo anualizado de cada item e permite comparar os diferentes custos de cada
alternativa em uma avaliação ex-ante.
Na matriz de custo se incluem também:
3 Nem sempre a duração das alternativas é igual. Neste caso o valor presente se calcula com um “n” diferente
para cada uma, mas ao calcular a anuidade, deve-se considerar uma mesma quantidade de períodos, que resulta
do tempo transcorrido desde t0 até o horizonte do projeto.
43. * O número de Serviços Anuais Prestados (SAP), que é a quantidade média de serviços ou produtos
entregados à população-objetivo em cada período de duração do projeto. Deve-se considerar tantos SAP
quantos produtos se entregam. Assim, se uma alternativa entrega dois produtos, tem-se que calcular SAP1
e SAP2.
Exemplo: No caso do projeto de controle da malária, existem de três a quatro produtos por alternativa, o que
leva a:
43
ALTERNATIVA SAP 1 SAP 2 SAP 3 SAP 4
( Focos ) ( Dedetizações) ( Tratamentos
Supressivos)
( Tratamentos
Radicais )
ALT 1 3,0 57.483,10 5.558,25
ALT 2 19.375,00 53.066,00 4.906,95
ALT 3 2,3 12.109,35 55.952,45 5.054,40
* O Custo por Unidade de Produto (CUP), que é o valor monetário de entregar uma unidade de produto ou
serviço à população-objetivo. Se calcula dividindo o CTA pelo SAP.
CUP = CTA/SAP
De cada SAP se obtém um CUP. Se existe mais de um produto, o CUP respectivo se calcula dividindo a
proporção que lhe corresponde no montante do CTA pelo respectivo SAP.
O CUP é um indicador da eficiência de cada alternativa do projeto. Em uma avaliação ex-ante permite
determinar qual é a alternativa que gera uma unidade de serviço ou produto com o custo mínimo.
44. 44
Exemplo: (em US$)
ALTERNATIVA
CUP 1
CUP 2
CUP 3
CUP 4
( Focos )
( Dedetizações)
(Trat.Supressivos)
(Trat. Radicais)
ALT 1
285.871
8.12
16.56
( 60.5%)
( 33.0%)
( 6.5%)
ALT 2
27.08
9.80
20.20
( 45.9%)
( 45.4%)
( 8.7%)
ALT 3
399.928
25.24
8.88
18.64
( 45.1%)
( 18.7%)
( 30.4%)
( 5.8%)
Nota: As porcentagens entre parênteses indicam a proporção do custo da respectiva
alternativa que se aloca a cada produto.
A partir destes cálculos se constrói a matriz de custos. Ela resume a seguinte informação:
Quadro 3.1 - Matriz de Custos
ALTERNATIVAS CAT CAC CAE CAK CAM CAOD CAOI CAO CAAU
ALT 1
ALT 2
ALT 3
( Continuação )
ALTERNATIVAS CTA SAP 1 SAP 2 SAP n CUP 1 CUP 2 CUP n
ALT 1
ALT 2
ALT 3
45. 45
3.2. Realizar a Análise de Impacto de cada Alternativa (Análise da Eficácia).
A eficiência na geração de produtos ou serviços de um projeto social não implica, necessàriamente, eficácia no
alcance de seus objetivos de impacto. Para isso, tem-se que realizar a análise de impacto. Esta visa a:
Determinar se a alternativa provoca mudanças nos objetivos de impacto perseguidos.
Medir a magnitude das mudanças.
Em uma avaliação ex-ante o impacto de cada alternativa é uma estimativa, derivada dos objetivos propostos.
3.3 Calcular a Relação Custo-Impacto
Tendo estimado os custos e o impacto de cada alternativa se constrói a Matriz Custo-Impacto, na qual cada
alternativa aparece consignando o custo total anual (CTA), o custo por unidade de produto (CUP) e o impacto médio
anual4 para cada objetivo.
A seguir se desenvolve uma matriz custo-impacto usando como exemplo a avaliação ex-ante do projeto de Controle
da Malária.
Projeto Controle da Malária em Honduras:
ALT 1 - Intensiva em obras civis para eliminar focos e em tratamentos médicos supressivos e radicais.
ALT 2 -Intensiva em aplicaçãode inseticidas, incluindo também tratamentos médicos supressivos e radicais.
ALT 3 - Intervenção intermediária entre as Alternativas 1 e 2 , que inclui obras civis, aplicação de inseticidas
e tratamentos médicos.
OB - Lograr a diminuição da malária a um "nível controlável" ( uma taxa de Incidência Parasitária Anual de
Malária - IPA - entre 1.0 e 2.5, o que significa que finalizado o projeto as operações de controle sejam
mantidas pelo país sem o uso de recursos externos).
* IPA = casos de malária por ano x 1000
população
4 O impacto médio anual é o resultante da divisão entre o impacto total logrado por cada alternativa na “linha de
comparação” ( meta de impacto ) e o horizonte do projeto. Pode ocorrer como neste caso, que o horizonte do
projeto seja maior que o de cada alternativa em particular.
46. 46
Quadro 3.2 - Matriz Custo-Impacto (em US$)
ALTERNATIVAS CUSTOS IMPACTO
( US$ ) ( % )
CTA CUP 1 CUP 2 CUP 3 CUP 4 OB
ALT 1 1.416.409 285.871 0 8.12 16.56 4.20
ALT 2 1.144.063 0 27.08 9.80 20.20 4.26
ALT 3 1.632.847 399.928 25.24 8.88 18.64 4.24
3.3.1 Custo por Unidade de Impacto (CUI)
A relação custo-impacto é o custo de lograr 1% de impacto em cada objetivo.
CUI = CTA / (OB x 100)
CUI = Custo por unidade de impacto ( Quanto custa lograr 1% de
impacto em um determinado objetivo)
CTA = Custo total anual
OB = Impacto anual médio ( meta de impacto / número de períodos)
O CUI se calcula para todos os objetivos de impacto de cada alternativa ( neste exemplo há só um). Seus resultados
aparecem na seguinte matriz:
Quadro 3.3 - Matriz Relação Custo / Impacto (US$)
ALTERNATIVAS
RELAÇÃO CUSTO / IMPACTO
ALT 1 337.240
ALT 2 268.559
47. 47
ALT 3 385.105
Exemplo de como calcular o CUI:
ALT 1: CUI = 1.416.409 / (0.0420 x 100)
(CTA) (OB)
CUI = 337.240
Significando que lograr 1% de impacto implementando a ALT 1 custa
US$ 337.240 anuais.
Quando o projeto tem mais de um objetivo de impacto, a comparação vertical (por colunas) dos respectivos CUI
permite selecionar a alternativa que produz o custo mínimo em cada objetivo.
3.3.2 Diferenças em valores absolutos
Tendo selecionado os custos mínimos, se calculam as diferenças em valores absolutos por objetivo para cada
alternativa.
Exemplo:
Dado que o custo mínimo no Objetivo 1 é US$ 268.559 , se realizam os seguintes cálculos:
ALTERNATIVA:
ALT 1 337.240 - 268.559 = 68.651
ALT 2 268.559 - 268.559 = 0
ALT 3 385.105 - 268.559 = 116.546
Isto significa que lograr uma unidade de impacto implementando a ALT 1, custa US$ 68.650 a mais que com a
ALT 2. Na ALT 3 este custo adicional é de US$ 116.546.
Estes cálculos são feitos para cada um dos objetivos e se resumem na seguinte matriz:
Quadro 3.4 - Matriz de Diferenças em Valores Absolutos ( US$ )
ALTERNATIVA DIFERENÇAS ABSOLUTAS
48. 48
ALT 1 68.680
ALT 2 0
ALT 3 116.546
3.3.3 Diferenças em Valores Relativos
As diferenças em valores relativos (%) se determinam dividindo as diferenças relativas pelo custo mínimo para cada
objetivo, e multiplicando o resultado obtido por 100.
Diferença % = ( Diferença Absoluta / Custo Mínimo ) x 100
Exemplo:
Neste caso o custo mínimo se obtém na ALT 2. O cálculo é o seguinte:
ALTERNATIVA
ALT 1 68.680 / 268.559 x 100 = 25.6 %
ALT 2 0 / 268.559 x 100 = 0.0 %
ALT 3 116.546 / 268.559 x 100 = 43.4 %
Tais resultados indicam que alcançar 1% de impacto custa 25,57% mais na ALT 3 que na ALT 2.
Estes cálculos se fazem para cada um dos objetivos e se resumem na seguinte matriz:
Quadro 3.5 - Matriz de Diferenças em Valores Relativos
ALTERNATIVA DIFERENÇAS RELATIVAS
ALT 1 25.6 %
ALT 2 0.0 %
ALT 3 43.4 %
3.3.4 Resultados da avaliação ex-ante
A análise realizada busca identificar a alternativa que otimiza a relação custo-impacto, ou seja, qual tem o menor
custo para produzir uma unidade de impacto ou grau de alcance dos objetivos.
49. Se houver mais de um objetivo de impacto, temos que somar em cada alternativa os resultados da matriz anterior,
obtendo os totais para cada uma das linhas. Assim se estabelece uma classificação ordenada das alternativas em
função dos respectivos graus relativos de eficiência e eficácia.
49
No exemplo considerado só há um objetivo, e, portanto, o TOTAL é equivalente à relação custo/impacto.
Quadro 3.6 - Relação custo-impacto das alternativas
ALTERNATIVA RELAÇÃO CUSTO / IMPACTO TOTAL ORDEM
ALT 1 25.6 % 25.6 % 2
ALT 2 0.0 % 0.0 % 1
ALT 3 43.4 % 43.4 % 3
O último passo do modelo contempla a inclusão da priorização comunitária dos objetivos de impacto do projeto.
Para isto se multiplicam as diferenças relativas de cada alternativa em cada objetivo pelo ponderador derivado da
importância.
O ponderador de importância se calcula a partir dos dados recolhidos na fase de Identificação do Problema.
Existem as seguintes possibilidades:
1. Quando os dados correspondem à informação primária que reflete uma pontuação independente para
cada objetivo (do modo proposto no item 2.1), o ponderador corresponde ao complemento da
importância
Ponderador = 1 - Importância
Para calcular a importância, uma vez coletada a informação, calcula-se encontra a média e a moda das
opiniões comunitárias a respeito de cada objetivo e se procede da seguinte maneira.
Importância = ( Média + Moda ) / 10
Se existe mais de uma moda, se deve utilizar uma média entre as modas como valor da “Moda”5.
5 O denominador ( 10 ) se obtém da multiplicação da escala de pontuação ( 1 a 5 ) pela quantidade de
coeficientes considerados ( 2 ).
50. 2.- Quando os objetivos estão hierarquizados só em termos de ordem, o ponderador se calcula como a
recíproca da importância.
50
Ponderador = 1 / Importância
A importância de cada objetivo se estabelece em uma escala ordinal na qual a maior pontuação
corresponde ao objetivo mais importante. Assim, se existem três objetivos, o mais importante terá um valor
de 3, o segundo 2 e o terceiro 1.
No exemplo da malária há só um objetivo de impacto, e sua ponderação, portanto é 100%.
Como conclusão da análise custo-impacto pode-se dizer que a alternativa de intervenção ótima é a ALT 1, já que
tem um menor custo por unidade de impacto, pelo que se deve recomendar sua implementação.
A situação é diferente no caso de um projeto que visa a dois objetivos de impacto, como, por exemplo:
- OB1 - Diminuição da taxa de desnutrição infantil
- OB2 - Aumento do rendimento escolar
As duas alternativas trabalhadas apresentam as seguintes diferenças relativas:
Alternativa OB 1 OB 2 TOTAL ORDEM
Alt 1 20.0 00.0 20.0 2
Alt 2 00.0 15.0 15.0 1
Se a população - objetivo considerasse que o primeiro objetivo tem o
dôbro da importância do segundo, os ponderadores seriam:
Ponderadores: - OB1: 1 / 2 = 0.5
- OB2: 1 / 1 = 1.0
Ao multiplicar as diferenças relativas pelo ponderador, obteremos as diferenças relativas ponderadas, como
as seguintes:
Alternativa OB 1 OB 2 TOTAL ORDEM
Alt 1 10.0 00.0 10.0 1
Alt 2 00.0 15.0 15.0 2
51. Como ocorre neste caso, a inclusão da importância dos objetivos pode levar a mudar a ordem na escala e portanto,
modificar o resultado.
51
52. 52
IV. PROGRAMAÇÃO E AVALIAÇÃO EX-POST
A partir da avaliação ex-ante é necessário programar a alternativa selecionada. Isto implica descrever claramente os
insumos e ações necessários para lograr os objetivos de produto propostos. Estas ações se definem como
objetivos de atividade.
Assim como cada objetivo de impacto pode requerer um conjunto de produtos, um objetivo de produto é o resultado
de uma ou mais atividades.
Os objetivos de atividade, tanto quanto os de produto são necessários para o monitoramento. Só assim é possível
determinar se se estão realizando todas as atividades propostas para lograr os produtos e serviços desejados.
Nesta fase deve-se determinar claramente os indicadores, metas, fontes de verificação e suposições de cada
atividade proposta, os quais devem cumprir com os requisitos mencionados no capítulo sobre Formulação.
É importante destacar que a forma mais eficiente de programar a alternativa escolhida supõe a participação dos
principais atores que estarão envolvidos com a operação do projeto.
Para programar é preciso dar os seguintes passos:
4.1 Construir a matriz de programação
A alternativa escolhida se desenvolve na matriz de programação, semelhante à matriz de alternativas, mas só se
elabora para a alternativa selecionada. Inclui também, os objetivos de atividades.
A seguir se apresenta um exemplo de matriz de programação ( pode-se também desenvolver sub atividades).
53. 53
Quadro 4.1 - Matriz de Programação
PROJETO: Controle da Malária
ALTERNATIVA #1: Obras Civis e Tratamentos Médicos
OBJETIVO GERAL: Melhorar as condições de vida da população-objetivo, considerando a malária
que a afeta
OBJETIVOS DE
IMPACTO
METAS
INDICADORES
FONTES DE
VERIFICAÇÃO
PREMISSAS
Lograr uma
diminuição da
malária a um nível
controlável (taxa de
IPA entre 1.0 e 2.5)
* 1.120.489 casos
evitados, o que
equivale a
diminuir a IPA a
1.6 (84%)
* IPA
* Registro
Estatístico do
Ministério de
Saúde
OBJETIVOS DE
PRODUTO
METAS
INDICADORES
FONTES DE
VERIFICAÇÃO
PREMISSAS
OP 1. Eliminação
de focos de
mosquitos
* Eliminar 60
focos
* Quantidade de
focos
eliminados
* Inspeção em
terreno e
registros do
projeto
* Política e
orçamento do
Ministério de
Saúde não sofre
modificações
OP 2. Diagnóstico e
tratamentos
médicos
supressivos
* Realizar
1.149.489
diagnósticos e
tratamentos
supressivos
* Quantidade de
tratamentos e
diagnósticos
supressivos
realizados
* Registro
Colaborador
Voluntário (CV)
* Condições
climáticas não
se deterioram
OP 3. Tratamentos
médicos radicais
* Realizar 111.165
tratamentos
radicais
* Quantidade de
tratamentos
radicais
realizados
* Registro
Unidades
Prestadoras de
Serviço de
Saúde (UPSS)
* Níveis de
higiene familiar
não se
deterioram
54. 54
OBJETIVOS DE ATIVIDADE
METAS
FONTES DE
VERIFICAÇÃO
PREMISSAS
OA 1.1. Identificar focos
* 38 focos
identificados
* Registros
Administração do
projeto
OA 1.2. Construir canais de
drenagem
* Construir 66
canais (777,840 m
cúbicos de água)
* Inspeção em
terreno
OA 2.1. Tomar amostra
sangüínea
* Tomar amostra
de 100% das
pessoas em
estado febril que
se apresentam aos
CV
* Registro
Colaborador
Voluntário
* Pacientes
aceitam que lhes
tirem a amostra
OA 2.2. Administrar medicação
supressiva
* Administrar
medicação
supressiva a 100%
das pessoas às
quais se tomou
amostra
* Registro
Colaborador
Voluntário (CV)
* Disponibilidade
de insumos
básicos (críticos)
OA 3.1. Analisar amostras e
realizar diagnóstico
parasitológico
* Analisar e
diagnosticar 100%
das amostras
* Registros do
laboratório
OA 3.2. Administrar dose aos
pacientes positivos
* Administrar dose
a 100% de
pacientes positivos
* Registro
Unidades
Prestadoras de
Serviço de Saúde
(UPSS)
* Pacientes podem
ser localizados ; há
disponibilidade de
insumos básicos
*IPA - Incidência Parasitária Anual de Malária por mil habitantes
4.2 Realizar o plano de operação
55. Com base na matriz de programação se prepara o plano operativo do projeto, que supõe descrever detalhadamente
cada atividade a ser realizada, o que envolve principalmente os executores do projeto.
O plano operativo inclui:
55
Descrição das atividades e sub atividades
Os recursos humanos necessários ( operários, técnicos, profissionais, consultores, etc)
Premissas das sub atividades.
Designação das responsabilidades.
Descrição detalhada da distribuição do orçamento.
Cronograma tipo Carta Gantt ou outro ( ver Anexo 8 )
O plano operativo é a base para o acompanhamento das atividades do projeto. Pode ser ajustado e modificado em
função das necessidades que se apresentem durante a operação.
4.3 Realizar a avaliação ex-post
A avaliação ex-post se efetua durante a etapa de operação para determinar se é conveniente continuar com o
mesmo e os requerimentos de reprogramação que são necessários para melhorá-lo. Esta avaliação também pode
ser efetuada uma vez que se conclua a operação.
Como na avaliação ex-ante, também na avaliação ex-post se calcula a relação entre os custos e o impacto. Neste
caso, os custos e os impactos são reais. Assim se pode determinar se o projeto produziu ( ou está produzindo ) o
impacto desejado ao custo originalmente calculado.
Os passos a seguir para realizar esta avaliação são:
4.3.1 Calcular os custos reais do projeto
O procedimento de cálculo dos custos na avaliação ex-post é igual ao da ex-
-ante, só que neste caso se consideram os custos realmentes incorridos no projeto. Eles podem ser diferentes dos
originalmente programados.
Deve-se realizar os seguintes cálculos:
* Fluxo de custos
* Atualização de custos
* Anualização de custo
* Matriz de custos ( incluindo CTA, SAP, CUP )
56. 56
4.3.2 Medir o impacto logrado
A análise de impacto ex-post determina se o projeto produziu mudanças em função dos objetivos de impacto
estabelecidos, e a magnitude desta mudança. Realiza-se mediante a comparação entre o estado “inicial” da
população-objetivo ( linha de base ) e o estado “final”, ou situação existente depois de um período de tempo de
operação do projeto ( linha de comparação ).
Existe uma família de modelos cujo objetivo é medir o impacto. Dentre eles é necessário mencionar:
1) Modelo experimental clássico.
Exige selecionar aleatòriamente uma amostra6 que se divide também aleatòriamente, em sub-amostras; o grupo
com projeto ou população beneficiária (grupo-experimental) e o grupo sem projeto (grupo de controle ). Estas sub-amostras
se selecionam antes de iniciar a operação do projeto ( na situação de linha de base) e devem diferenciar-se
ùnicamente pelo fato de que a primeira recebe os bens ou serviços do projeto e a segunda não.
Levando em consideração a seleção aleatória de ambos grupos, as diferenças iniciais entre eles, se existem, devem
ser mínimas, ou seja, entre X e Y7 não deve haver diferenças estatìsticamente significativas.
X - Y = 0 (diferença não significativa )
Se as diferenças iniciais forem estatìsticamente significativas, é preciso realizar uma nova seleção ou distribuição da
população em cada grupo, caso contrário não se poderia medir o impacto.
O modelo compara a situação em que se encontravam os dois grupos na linha de base ( LB ), com a situação na
linha de comparação ( LC ). A partir daí se verificam as mudanças geradas pelo projeto.
Deve-se analisar uma variável de cada vez, mantendo as demais constantes.
O quadro a seguir permite apreciar a lógica do modelo experimental e o tipo de cálculo que se efetua ao avaliar o
projeto.
Quadro 4.2 - Modelo experimental clássico
6 Ver Anexo 9
7 Ver Quadro 4.2
57. 57
Grupos Tempo
L B L C
Com Projeto X X’
Sem Projeto Y Y’
X, X’,Y, Y’= Indicador de impacto de um objetivo
A magnitude em que diferenciem as mudanças produzidas no grupo com projeto ( X’ - X ) , em cada objetivo de
impacto, em relação às observadas no grupo sem projeto ( Y’ - Y ) , será a medida do resultado do projeto no
respectivo objetivo.
Se: X’ - X = Mudanças endógenas (pelo projeto) e exógenas (devidas a
outras razões ) e
Y’ - Y = Sòmente mudanças exógenas,
Então, ( X’ - X ) - ( Y’ - Y ) = Impacto logrado na população beneficiária,
imputável ao projeto (em um objetivo).
Sem dúvida, o modelo experimental clássico constitui uma forma vigorosa para identificar as mudanças produzidas
por um projeto8. No entanto sua aplicação se dificulta porque requer a seleção aleatória dos integrantes de cada um
dos grupos na linha de base ( LB ).
Outro obstáculo para a utilização deste modelo são as dificuldades éticas que derivam de aplicar o projeto a só uma
parte da população-objetivo ( ao grupo experimental ) para assim poder medir o impacto.
2 ) O modelo quase-experimental.
A lógica deste modelo é idêntica à do experimental clássico. Se efetuam medições nas linhas de base ( LB) e de
comparação ( LC ) e logo se comparam as diferenças. Se distingue do experimetal clássico porque a inclusão à um
grupo ou outro não é determinada aleatòriamente.
Este modelo é útil quando se deseja avaliar um projeto durante sua operação e já estão selecionados os
“beneficiários” e os “não-beneficiários”. Se se quer avaliar um programa de alimentação escolar que está em
8 O clássico não é o único modelo experimental, existem ouros mais, porém todos mantém o pricípio de
aleatoriedade amostral. Para maior informação ver Campbell e Stanley : “Diseños experimentales y
cuasiexperimentales en la investigación social”, Amorrortu editores, Buenos Aires, 1991.
58. funcionamento, pode-se comparar as crianças que freqüentam os refeitórios escolares com as que, possuindo as
mesmas características de déficit nutricional e nível sócio-econômico, não os freqüentam, seja por auto-exclusão,
seja porque em sua escola não funciona o programa.
3 ) Modelos não-experimentais.
Estes modelos se aplicam quando a população-objetivo não pode ser comparada com o grupo de controle. Isto é,
considera somente a população beneficiária do projeto, o que impossibilita controlar a incidência de variáveis
exógenas.
Os modelos não-experimentais utilizados com maior freqüência são:
a) Modelo antes-depois ( sem grupo de comparação ). Se efetua uma medição “antes” que o projeto seja
implementado ( LB ), e se comparam os valores obtidos com os resultados derivados de levantar uma linha de
comparação “durante” a operação ou depois que o projeto está concluído.
58
Quadro 4.3 - Modelo Antes-Depois ( sem grupo de comparação )
Grupo L B L C
Com Projeto ( C / P) X X’
X’ - X = Impacto logrado na população beneficiária ( um objetivo )
Este desenho não permite eliminar o efeito do contexto, impossibilitando, em decorrência determinar em
que medida as mudanças registradas são atribuíveis ao projeto.
Tem uma utilidade adicional quando é possível identificar variáveis de controle que permitem estimar,
dentro de certos limites , o impacto do projeto. Ou seja, quando os dois grupos são os mais parecidos
possível em todas as variáveis que possam incidir no impacto ( nível sócio-econô-mico,
nível educacional dos pais, coeficiente intelectual, etc. ).
b) Séries Temporais. Se se dispõe de informação sobre indicadores de mudanças em um conjunto de períodos
prévios e posteriores ao projeto, é possível fazer uma análise de séries temporais, para tirar conclusões sobre
os efeitos imputáveis ao mesmo. Para isso se constroem curvas com base em medições periódicas efetuadas
“antes” , “durante” e “depois” da realização do projeto. Em função das formas que elas assumem, se determina o
impacto do projeto e sua magnitude.
O seguinte gráfico ilustra um exemplo das séries temporais.
59. 59
Gráfico 4.1 - Séries Temporais
Magnitude do
Impacto
.
+
x
+
.
x
+
x
.
+
x
.
x
+
.
x
.
+
x
.
+
x
.
+
x
.
+
x
.
+
x
.
+
-5 -4 -3 -2 -1 0 1 2 3 4 5 6
Antes do
projeto
Durante o
projeto
Caso 1. A função da variável-objetivo ( x) é monòtonamente crescente e
o projeto não a modificou.
Caso 2. A curva (+) indica que houve mudanças durante o projeto, mas o
mesmo ocorre antes e depois dele, o que indica que o projeto não
pode ser considerado como a causa destas mudanças.
Caso 3. É o único caso ( . ) onde as mudanças são, em princípio, atribuíveis
ao projeto.
Depois do
projeto
Em termos estritos, com este modelo não é possível isolar os efeitos imputáveis ao projeto. É o exemplo clássico de
estabelecer a causalidade sem dispor de instrumentos que isolem os diferentes tipos de variáveis que a afetam. No
entanto no caso 3, cabe assumir que o projeto é a causa do impacto porque nem antes nem depois do projeto se
produziram mudanças positivas, mas não se prova que o impacto não tenha sido produzido por uma ou mais
variáveis exógenas.
c) Modelo só depois com grupo de comparação. Em alguns casos é possível definir um grupo de controle, que
permite a comparação dos resultados do projeto ( “depois” ), sem contar com informação sobre a linha de base.
60. 60
Quadro 4.4 - Modelo Só-Depois com Grupo de Comparação
Grupos Antes Depois
Com Projeto (C/P)
X’
Sem Projeto (S/P)
Y’
X’ - Y’ = Diferença dos resultados finais entre os grupos C/P e S/P
(estimativa do impacto logrado em um objetivo, supondo que
não existiam diferenças significativas entre ambos grupos
na linha de base).
4.3.3 Relação custo-impacto
Em etapas pré-definidas do processo de operação do projeto se deve realizar sua análise custo-impacto.
Para isto se efetuam os mesmos cálculos descritos para a avaliação ex-ante.
Há três alternativas, não exclusivas, para comparar os resultados obtidos:
1) Com o mesmo projeto e a programação derivada da avaliação ex-ante. Permite medir o grau em que estas
estimativas se adequaram à realidade e as razões das diferenças encontradas.
2) Com todas as alternativas estabelecidas na avaliação ex-ante. Permite determinar se a alternativa selecionada (
com seus custos e impacto reais) era a ótima. Para uma adequada comparação é preciso ajustar os custos e
impacto das alternativas propostas, à luz da informação que entrega o mesmo projeto.
3) Com outros projetos já realizados, que tenham os mesmos objetivos de impacto e a mesma população-objetivo.
Assim é possível determinar, com dados reais, se o projeto apresenta ou não a melhor relação custo--impacto.
61. 61
ANEXOS
ANEXO 1.- ÁRVORE DE PROBLEMAS:
CAUSAS E EFEITOS
Que é a árvore de problemas ?
É uma técnica participativa que ajuda a desenvolver idéias criativas para identificar o problema e que organiza a
informação recolhida sobre este, gerando um modelo de relações causais centradas no problema.
Como na árvore de objetivos, esta técnica facilita a identificação e organização das causas e conseqüências de um
problema. Assim, complementa mas não substitui o trabalho de recolher informação de base.
Na árvore de problemas o tronco é o problema central, as raízes são as causas ou problemas-causa e a copa os
efeitos ou problemas-efeito.
Cada problema é consequência de outros que aparecem abaixo dele no gráfico e, por sua vez, é causante dos que
aparecem acima. Ou seja, a árvore reflete a inter-relação causas-efeitos.
Como construir a árvore de problemas ?
Deve-se configurar um esquema amplo de causa-efeito em forma de uma árvore, seguindo os seguintes passos:
1.- Identificação de um Problema Central:
Analisar os problemas considerados importantes em uma comunidade.
Selecionar um PROBLEMA CENTRAL considerando as seguintes características:
Se define como uma carência ou déficit
Se apresenta como um estado negativo
É uma situación real e não teórica
Se localiza numa população-objetivo bem definida
Não deve ser confundido com a falta de un serviço específico
62. 62
FALTA DE
COLÉGIOS
INCORRETO CORRETO
2.- Exploração e verificação dos efeitos/conseqüências do Problema Central (copa da árvore).
Os efeitos se localizam na copa da árvore, em uma seqüência que vai do mais imediato ou diretamente
relacionado com o Problema Central, até níveis mais amplos ou gerais.
A seqüência se detém no instante em que foram identificados efeitos suficientemente importantes como para
justificar a atenção ao problema.
Cada etiqueta deve incluir um único efeito.
BAIXO NÍVEL
EDUCACIONAL
DOS JOVENS
63. 63
EFEITOS
PROBLEMA
CENTRAL
BAIXOS NÍVEIS
DE RENDA
DOS JOVENS
BAIXA
ESPECIALIZAÇÃO
LABORAL
BAIXO NÍVEL
EDUCACIONAL DOS
JOVENS
64. 64
3.- Identificação das relações entre os diversos efeitos que produzem o Problema Central
EFEITO 1.1.2
EFEITO 1.1
EFEITO 1.2
EFEITO 2.1
PROBLEMA
CENTRAL
EFEITO 1.1.1
EFEITO 2.1.1
EFEITO 2
EFEITO 1
Se os efeitos detectados são importantes, o Problema Central requer SOLUÇÃO. A melhor forma de solucioná-lo é a partir
da identificação das CAUSAS.
4.- Identificação das causas e suas inter-relações, no âmbito do Problema Central (nas raízes).
65. 65
A seqüência de identificação das causas deve ser iniciada pelas mais diretamente relacionadas com o
Problema Central, as quais se colocam imediatamente sob este. Preferencialmente, identificar poucas e
grandes causas, que depois se irão desagregando e inter-relacionando.
Uma boa técnica é a de perguntar-se por que sucede o que está assinalado em cada etiqueta. A resposta
deveria ser encontrada no nível imediatamente inferior.
Deve-se identificar todas as causas, mesmo que algumas não possam ser modificadas, e deter-se ao
chegar a um nível no qual ainda é possível manipulá-las, representando possibilidades de mudanças.
Deve-se recordar que o que se procura é dispor de um modelo causal orientado à formulação de um
projeto e não chegar a uma teoria exaustiva sobre o problema.
Cada etiqueta deve conter só uma causa.
PROBLEMA
CENTRAL
CAUSA 3
CAUSA 2
CAUSA 1
CAUSA 2.1
CAUSA 2.2
CAUSA 3.1
CAUSA 2.2.1
CAUSA 2.1.1
66. 66
5.- Diagramar a Árvore de Problemas completa, verificando a estrutura causal.
EFEITOS
PROBLEMA CENTRAL
CAUSAS
Em resumo, a Árvore de Problemas deve ser construída considerando as
67. 67
seguintes características:
Os passos a seguir são:
1. Formular um Problema Central:
2. Identificar os EFEITOS verificando a importância do problema;
3. Analisar as inter-relações dos efeitos;
4. Identificar as CAUSAS do problema e suas inter-relações;
5. Diagramar a Árvore de Problemas e verificar a estrutura causal.
É importante lembrar que os elementos incluídos na Árvore de Problemas devem estar apresentados nas seguintes
condições:
Só um problema por ficha,
Problemas existentes (não possíveis, fictícios ou futuros),
Como uma situação negativa,e
Devem ser claros e compreensíveis.
O projeto deve concentrar-se nas raízes (causas). A idéia é que se se resolvem os problemas ou causas, se eliminam
os efeitos negativos que estes produzem.
A continuação se mostra um exemplo esquematizado (não exaustivo) da árvore de problemas.
68. 68
ÁRVORE DE PROBLEMAS: CAUSAS - EFEITOS
PROJETO EDUCAÇÃO JUVENIL
INADEQUADA
INSERÇÃO SOCIAL
BAIXO NÍVEL
EDUCACIONAL
DOS JOVENS
BAIXA INSERÇÃO
LABORAL
ALTA INCIDÊNCIA
DE USO DE DROGAS
ALTO GRAU DE
ALCOOLISMO
BAIXO NÍVEL DE
RENDA
SALÁRIOS
BAIXO NÍVEL DE
PRODUTIVIDADE
ALTOS ÍNDICES DE
DELINQÜÊNCIA
INEFICÁCIA DO
SISTEMA
EDUCACIONAL
MEIO-AMBIENTE
POUCO FAVORÁVEL
AO ESTUDO
PROFESSORES
MAL PREPARADOS
CURRICULUM
INADEQUADO
POUCA OFERTA DE
VAGAS
POUCO ESTÍMULO
DADO AO ESTUDO
ALTO GRAU DE
CONFINAMENTO
POUCA IMPORTÂNCIA
DADA À EDUCAÇÃO
NECESSIDADE DE
TRABALHAR
PRECOCEMENTE
69. 69
ANEXO 2.- A ÁRVORE DE OBJETIVOS:
MEIOS - FINS
A Árvore de Objetivos permite converter a situação negativa descrita na Árvore de Problemas em orientações positivas que
ajudem a dirigir as ações do projeto em desenvolvimento.
É elaborada a partir da Árvore de Problemas e do diagnóstico. Trata-se de revisar cada problema (negativo ) e convertê-lo
em um objetivo (positivo) realista e desejável. Assim, as causas se convertem em meios e os efeitos em fins.
Os passos a seguir são:
1. Traduzir o problema central da Árvore de Problemas em um Objetivo Central. Este se define como a situação oposta
ao problema central, é um estado positivo ao qual se deseja chegar; é seu antônimo.
Esta tradução de problema a objetivo deve ser realizada considerando sempre com base na realidade, já que nem
sempre a situação inteiramente oposta é a que se pode ou se quer lograr.
BAIXO NÍVEL
EDUCACIONAL
DOS JOVENS
ALTO NÍVEL
EDUCACIONAL
DOS JOVENS
PROBLEMA CENTRAL OBJETIVO CENTRAL
2. Trocar todas as condições negativas (causas e efeitos) da Árvore de Problemas por estados positivos (meios e
fins). Esta atividade analisar cada uma das etiquetas e perguntar-se que meios possibilitam alcançar este fim. A
resposta deve ser exatamente o antônimo das causas identificadas anteriormente.
70. O resultado obtido deve apresentar a mesma estructura que tem a Árvore de Problemas, mudando o conteúdo das
etiquetas, mas não a quantidade nem a forma como se relacionam. Se neste processo se põe em dúvida alguma das
relações, se deverá voltar a revisar a Árvore de Problemas antes de prosseguir com a de Objetivos.
70
PROFESSORES
BEM
PREPARADOS
CAUSAS MEIOS
3. Identificar os parâmetros do problema. Isto é, todas aquelas causas que não são modificáveis pelo projeto, seja
porque dependem de situações nas quais o ser humano não pode interferir, como o clima, desastres naturais,
coeficiente intelectual, história de vida das pessoas, etc. Ou porque se encontram fora do âmbito de ação do projeto,
em instâncias superiores (poder legislativo, governo central, etc.) ou pertencem a outra área da política social.
Estes parâmetros se marcam na Árvore de Objetivos porém não se modifica o texto apresentado na de Problemas.
Ao identificar um parâmetro, é possível retirar de ambas árvores todas as causas dele, já que ainda quando exista
alguma causa que pode ser modificada, não produz nenhum efeito no problema central, com o que perde utilidade no
modelo.
ALTO GRAU DE
CONFINAMENTO
CURRICULUM
ADEQUADO
SUFICIENTE
OFERTA DE
VAGAS
INEFICÁCIA DO
SISTEMA
EDUCACIONAL
CURRICULUM
INADEQUADO
POUCA
OFERTA DE
VAGAS
SISTEMA
EDUCACIONAL
EFICAZ
PROFESSORES
MAL
PREPARADOS