Aula 12 01_2016-1_20160112 (1)

FACULDADE DE ECONOMIA, ADMINISTRAÇÃO E CONTABILIDADE DE RIBEIRÃO PRETO
UNIVERSIDADE DE SÃO PAULO
AVALIAÇÃO DE PROJETOS E POLÍTICAS
SOCIAIS: EXPERIÊNCIAS PRÁTICAS
Luiz Guilherme Scorzafave
(LEPES/FEARP/USP)

WORKSHOP
DE TÉCNICAS DE PESQUISA
2009
SETEMBRO DE 2009
AUMENTO DAS AVALIAÇÕES DE IMPACTO NO BRASIL
• Fundação Itaú Social
– Avaliações próprias
– Edital para seleção de projetos
• “O objetivo do edital é estimular a prática de avaliação de
organizações nas quais atuem ex-alunos do curso de
Avaliação Econômica de Projetos Sociais....
• Os projetos selecionados recebem assessoria técnica de
especialistas para realizar a avaliação econômica.
– Com essas iniciativas, a Fundação Itaú Social busca
contribuir na implantação de avaliações de projetos
sociais, tendo em vista o aprimoramento da gestão.

WORKSHOP
2009
SETEMBRO DE 2009
AULA DE HOJE
• Apresentar algumas das avaliações
contempladas nos editais, procurando detalhar
a operacionalização de fato de cada uma
delas.
• Detalhar as boas ideias associadas a cada
avaliação, bem como as dificuldades
enfrentadas para a realização das mesmas.

WORKSHOP
2009
SETEMBRO DE 2009
SUMÁRIO GERAL DA AULA
1. Pontuar as etapas do processo de avaliação
econômica
2. descrever as avaliações:
• Serviço de Convivência e Fortalecimento de Vínculos
(Camp) – desenho e resultados
• Projeto de Qualificação Profissional (Pescar) –
desenho e resultados
• Programa de Qualificação Profissional (Liga) –
desenho de avaliação proposto
3. Conclusões e Exercício! 

WORKSHOP
2009
SETEMBRO DE 2009
ELEMENTOS DO PROCESSO DE
AVALIAÇÃO ECONÔMICA

WORKSHOP
2009
SETEMBRO DE 2009
PROCESSO DE AVALIAÇÃO ECONÔMICA
• O processo de avaliação econômica deve passar pelas
seguintes etapas:
1. Formação de equipe de acompanhamento da avaliação 
gestor
2. Elaboração de documento de referência para contratação
da avaliação – briefing inicial  gestor
3. Planejamento da avaliação (Proposta)
4. Definição da estratégia de avaliação (Desenho)
5. Coleta e análise de dados
6. Análise de Impacto e Retorno Econômico
7. Apresentação e discussão dos resultados
A
V
A
L
I
A
D
O
R

WORKSHOP
2009
SETEMBRO DE 2009
ETAPAS DA AVALIAÇÃO
1. Formação de equipe de acompanhamento da avaliação (responsável é
o gestor do projeto)
• É sugerido que se constitua um grupo para acompanhar o processo de
avaliação e para participar dos principais momentos de validação durante
o processo.
• Gestor do projeto: acompanhamento rotineiro e próximo da avaliação,
interagindo com o avaliador e facilitando o processo de avaliação.
• Equipes do projeto: participam do processo de avaliação e fornecem
informações mais detalhadas sobre o projeto.

WORKSHOP
2009
SETEMBRO DE 2009
1. Formação de equipe de acompanhamento da avaliação (responsável é
o gestor do projeto)
• Gestor da organização: participa do processo de avaliação e apoia
estrategicamente a iniciativa na organização, comunicando para o corpo
diretivo o que está sendo realizado.
• Tem um papel importante na interface com o avaliador facilitando o
processo de entendimento do projeto, de obtenção de dados e informações
necessárias para avaliação.

WORKSHOP
2009
SETEMBRO DE 2009
2. Elaboração de documento de referência para contratação da avaliação
– briefing inicial (responsável é o gestor do projeto e/ou contratante)
• Produtos: Documento de referência para contratação de avaliação que
subsidie o envio de propostas técnicas e comerciais por avaliadores. É
necessário que esse documento seja validado pela equipe de
acompanhamento da avaliação.

WORKSHOP
2009
SETEMBRO DE 2009
3. Planejamento da avaliação (responsável é o avaliador com apoio e
validação do gestor)
• Produto: Plano de avaliação detalhado, com objetivos, etapas, ações,
cronograma, orçamento, pontos de atenção e resultados esperados. 
PROPOSTA DE AVALIAÇÃO

WORKSHOP
2009
SETEMBRO DE 2009
4. Definição da estratégia de avaliação (responsável é o avaliador com
apoio do gestor)
- Construção das perguntas de avaliação;
- Escolha dos indicadores;
- Definição da metodologia;
- Definição do grupo de controle;
- Elaboração dos instrumentos de coleta de dados;
- Apresentação do desenho da avaliação para equipe de
acompanhamento da avaliação e parceiros; e
- eventuais ajustes após a apresentação do desenho
• Produto: desenho de avaliação validado pela equipe de acompanhamento
da avaliação  DESENHO DA AVALIAÇÃO
É muito
importante
que validado
o desenho,
todos estejam
felizes com o
mesmo...

WORKSHOP
2009
SETEMBRO DE 2009
5. Coleta e análise de dados (responsável: empresa de pesquisa com
supervisão do avaliador; apoio do gestor do projeto)
- Pesquisa de campo;
- Obtenção e consolidação dos dados
• Produtos: Banco de dados consolidado e relatório com análise descritiva

WORKSHOP
2009
SETEMBRO DE 2009
6. Análise de Impacto e Retorno Econômico (responsável é o avaliador com
apoio do gestor do projeto)
• Produtos: Relatório final e sumário executivo.
7. Apresentação e discussão dos resultados (responsável é o avaliador com
apoio do gestor do projeto)
• Produtos: Reunião de apresentação dos resultados

WORKSHOP
2009
SETEMBRO DE 2009
AVALIAÇÃO DO PROGRAMA DE
QUALIFICAÇÃO PROFISSIONAL
LIGA SOLIDÁRIA

WORKSHOP
2009
SETEMBRO DE 2009
SUMÁRIO
• Apresentação da Liga e do QP
• Desenho proposto para a avaliação de
impacto sobre empregabilidade e
escolaridade
• Desenho proposto para a avaliação de
impacto sobre habilidades socioemocionais
• O Sorteio!

WORKSHOP
2009
SETEMBRO DE 2009
A INSTITUIÇÃO
• A Liga Solidária, fundada em 10 de março de 1923 como Liga das
Senhoras Católicas de São Paulo, é uma organização social sem fins
lucrativos que desenvolve programas socioeducativos e de cidadania que
beneficiam mais de 3.200 pessoas.
• Foco: educação para a construção da verdadeira cidadania.
• Projetos:
– Abrigos Solidários
– Centros de Educação Infantil (CEIs)
– Programa IDEAL (Educação para o exercício da cidadania para crianças e
adolescentes de 6 a 14 anos de idade no contra turno escolar)
 Programa Qualificação Profissional (QP)
– Programa Religar (Atendimento psicossocial e promoção da autonomia de
famílias com alta vulnerabilidade social)
– Programa Crescer (Educação Nutricional)

WORKSHOP
2009
SETEMBRO DE 2009
O PROGRAMA QUALIFICAÇÃO PROFISSIONAL
• O Programa Qualificação Profissional (QP) existe desde
1992.
• Oferece capacitação técnica por meio de cursos de
habilidades específicas para adolescentes e jovens .
• 4 diferentes áreas: assistente administrativo, suporte
técnico em informática, gastronomia e cabeleireiro.
• 840 horas (10 meses – de fevereiro a novembro)
• Há também visitas a empresas, palestras, ... e também...

WORKSHOP
2009
SETEMBRO DE 2009
...ATIVIDADES VOLTADAS PARA A FORMAÇÃO HUMANA
(1/5 DO CURSO)
• São aulas teóricas e oficinas que tratam de:
Relacionamento/convivência;
Comportamento (na vida e no trabalho);
Trabalho cooperativo (saber trabalhar com outras
pessoas);
Desenvolvimento do senso crítico;
Desenvolvimento do espírito empreendedor;
Fortalecimento dos vínculos familiares e sociais;
Cuidados com a saúde...

WORKSHOP
2009
SETEMBRO DE 2009
ACOMPANHAMENTO PÓS-CURSO
• Após o curso, é feito um acompanhamento durante
seis meses, no qual os profissionais da Instituição
mantém contato com os jovens, fornecendo
indicações de oportunidades de emprego,
especialmente, nas empresas parceiras do
programa.
• O entendimento é que esse período também faz
parte do tratamento.

WORKSHOP
2009
SETEMBRO DE 2009
OBJETIVOS DO QP
• Proporcionar ao público atendido maiores chances de
empregabilidade, de forma a incrementar a renda
dessas pessoas; em outras palavras, facilitar a
inserção de seus beneficiários no mercado de
trabalho.
– Merece destaque o interesse da equipe no desenvolvimento do
espírito empreendedor do jovem
• O QP também trabalha no sentido de fortalecer os
vínculos familiares e sociais dos jovens atendidos
(habilidades socioemocionais)

WORKSHOP
2009
SETEMBRO DE 2009
PÚBLICO ALVO
• Pessoas com 15 anos ou mais, em situação de
vulnerabilidade social.

WORKSHOP
2009
SETEMBRO DE 2009
SELEÇÃO
• Outubro: divulgação nas escolas da região (EXPOQP), site, facebook, boca
a boca (instituição é bastante conhecida na região)
• Novembro: inscrição nos cursos de interesse (ficha de inscrição com diversas
informações socioeconômicas) e processo de seleção com realização de:
 Entrevista (com cada um dos jovens) – avaliar interesse do jovem em
participar do programa;
 Aplicação de prova de matemática e avaliação da capacidade de leitura;
 Aplicação de um pequeno questionário para captar a situação de
vulnerabilidade social
• Divulgação dos resultados e, então, matrícula (em dezembro).
• Cursos começam em fevereiro do ano seguinte.

WORKSHOP
2009
SETEMBRO DE 2009
NÚMEROS
• Inscritos  em torno de 850 inscritos
• Selecionados  240 - é o número oficial de vagas -
recebe recurso da Prefeitura Municipal de São Paulo
– mas, em geral, acaba chamando um pouco mais...
• Jovens recebem alimentação; não há bolsa de
estudo e também não há ajuda com transporte, mas
em geral moram no entorno.

WORKSHOP
2009
SETEMBRO DE 2009
EXECUÇÃO DO PROJETO – EDIÇÃO ATUAL
Antes do
Programa
Programa Pós Programa
Novembro
2013
2014 1º semestre
de 2015
2º semestre de 2015
Seleção Execução do
Projeto
Acompanha
mento pela
Liga Solidária
Contato com os jovens
(via reuniões) para ter
informações sobre a
empregabilidade dos
jovens

WORKSHOP
2009
SETEMBRO DE 2009
METODOLOGIA
• QP busca melhorar a inserção no mercado de trabalho e fortalecer
os vínculos familiares e sociais dos jovens atendidos  nossa
proposta é de desenhos separados para cada um desses objetivos
– Como os indicadores relativos à empregabilidade estão disponíveis para
tratamento e controle no período anterior à avaliação, o controle pelas
informações socioeconômicas presentes nas fichas de inscrição no nosso
entendimento é suficiente para uma estimativa causal.
– No entanto, o mesmo não pode ser dito para as variáveis de impacto
socioemocionais. Nesse caso não existem informações anteriores ao
tratamento. Por essa razão, nossa proposta de avaliação para essa
dimensão será diferente.

WORKSHOP
2009
SETEMBRO DE 2009
IMPACTO SOBRE EMPREGABILIDADE E
ESCOLARIDADE

WORKSHOP
2009
SETEMBRO DE 2009
GRUPOS DE TRATAMENTO E CONTROLE
• Tratados: participaram do projeto em 2014;
• Controle: inscritos para participar dos cursos em
2014, mas não selecionados.
• Equipe da Liga separou fichas para o grupo de
controle, pensando em responder a seguinte
pergunta:
• “Se tivéssemos o dobro de vagas, quem iríamos
convidar???”

WORKSHOP
2009
SETEMBRO DE 2009
INDICADORES DE IMPACTO
Impactos
potenciais
sobre:
Indicadores de impacto
Empregabi-
lidade
Y1 = ocupado (1 = sim; 0 = não)
Y2 = posse de carteira de trabalho (1 = sim; 2 = não)
Y3 = salário recebido (em Reais de 2014)
Escolarida-
de
Y1 = Frequenta escola (1 = sim; 0 = não)
Y2 = Concluiu o ensino médio (1 = sim; 0 = não)
Y3 = Frequenta curso profissionalizante (1 = sim; 0 = não)
Y4 = Frequenta ensino superior (1 = sim; 0 = não)

WORKSHOP
2009
SETEMBRO DE 2009
INDICADORES DE IMPACTO APÓS REUNIÃO NO QP
Impactos
potenciais sobre:
Empregabilidade Y1 = ocupado (1 = sim; 0 = não)
Y4 = se ocupação está relacionada ao curso (1 = sim; 0 = não)
Y5 = quantas vezes trocou de emprego nos últimos 6 meses
Y6 = posição na ocupação (conta-própria, empregado,
empregador)
Y7 = essa ocupação é temporária?
Escolaridade Y1 = frequenta escola (1 = sim; 0 = não)
Y2 = concluiu o ensino médio (1 = sim; 0 = não)
Y3 = frequenta curso profissionalizante (1 = sim; 0 = não)
Y4 = frequenta ensino superior (1 = sim; 0 = não)
Y5 = anos de estudo completos
Y6 = número de vezes que repetiu de ano

WORKSHOP
2009
SETEMBRO DE 2009
PESQUISAS DE CAMPO
1) Pesquisa intermediária no final de 2014 para
atualização cadastral e monitoramento das
atividades realizadas em 2014.
• Para o grupo de controle, o contato foi feito por via
telefônica.  contratamos uma empresa!
• Para o grupo de tratamento, a atualização cadastral
foi feita pela própria equipe do QP. O mesmo
questionário de monitoramento também foi preenchido
por esse grupo.

WORKSHOP
2009
SETEMBRO DE 2009
PESQUISAS DE CAMPO
2) Contato telefônico para atualização cadastral em
Agosto/2015  Estagiários LEPES
• Já dá uma ideia do atrito.
• Permite correr atrás das pessoas antes da pesquisa
de campo final.
• Atualiza os cadastros para a empresa que fará a
pesquisa de campo.

WORKSHOP
2009
SETEMBRO DE 2009
PESQUISAS DE CAMPO
2) Pesquisa de campo domiciliar em
novembro/dezembro de 2015, para capturar
indicadores de empregabilidade e de
escolaridade de interesse.
• pesquisa = entrevistas domiciliares
• Com empresa contratada.

WORKSHOP
2009
SETEMBRO DE 2009
HIPÓTESE DE IDENTIFICAÇÃO
• Dois indivíduos - um do tratamento e outro do
controle, com as mesmas características
socioeconômicas antes do tratamento – por
hipótese, teriam a mesma trajetória, em termos
dos resultados de interesse, caso o indivíduo
tratado não tivesse participado do tratamento.
• Sendo assim, as diferenças hoje observadas entre
os dois indivíduos, por hipótese, são devidas à
participação no tratamento.

WORKSHOP
2009
SETEMBRO DE 2009
VARIÁVEIS SOCIOECONÔMICAS
• Variáveis do indivíduo: idade; gênero; notas nas
avaliações de português e matemática realizadas
durante o momento da inscrição; informação se já
participou de outro programa no EDD (Educandário
Dom Duarte – onde acontece o QP); estado civil; no
caso de ser solteiro se mora com o pai e mãe; no caso
de casado, se tem filhos; e se tem experiência de
trabalho anterior.
• Variáveis da família: escolaridade dos pais; renda
familiar per capita; se recebe algum beneficio social.

WORKSHOP
2009
SETEMBRO DE 2009
Curso Turno Matric. Não Matric.
Assistente Administrativo Manhã 24 28
Assistente Administrativo Tarde – T1 25 24
Assistente Administrativo Tarde – T2 22
Assistente Administrativo Noturno – T1 22 52
Assistente Administrativo Noturno - T2 19
Total Assistente Administrativo 112 104
Cabelereiro Manha 26 36
Cabelereiro Tarde 23 38
Total Cabelereiro 49 74
Gastronomia Tarde 18 5
Gastronomia Noturno 19 12
Total Gastronomia 37 17
Sup. Técnico em Informática Manhã 23 3
Sup. Técnico em Informática Tarde 22 7
Sup. Técnico em Informática Noturno 22 3
Total Suporte Técnico em Informática 67 13
Total 265 208
Tamanho dos grupos

WORKSHOP
2009
SETEMBRO DE 2009
ESTIMATIVAS DE IMPACTO POSSÍVEIS
a) separadamente para assistente administrativo
b) assistente administrativo + suporte técnico em
informática (media de idade é mais parecida entre
esses dois cursos e os dois cursos são certificados
pelo SENAI)
c) cabelereiro + gastronomia (recebem público
parecido em termos de idade e gênero)

WORKSHOP
2009
SETEMBRO DE 2009
RESUMO DA AVALIAÇÃO
Antes do
Programa
Programa Pós Programa
Novembro
2013
2014 1º semestre
de 2015
2º semestre
de 2015 -
outubro
Execução do
Projeto
novembro
Seleção Atualização
Cadastral e
Monitorame
nto
Acompanha
mento pela
Liga
Solidária
Pesquisa
domiciliar para
ter
informações
sobre
empregabilida
de e
escolaridade

WORKSHOP
2009
SETEMBRO DE 2009
PESQUISA DE CAMPO
1) Ocorreu no final de 2015.
2) Acabamos de receber os dados de
empregabilidade...
3) Importante controlar pelas atividades que o
controle fez durante 2014.

WORKSHOP
2009
SETEMBRO DE 2009
IMPACTO SOBRE HABILIDADES
SOCIOEMOCIONAIS

WORKSHOP
2009
SETEMBRO DE 2009
GRUPO DE TRATAMENTO E CONTROLE
• Como não temos nenhuma informação sobre os aspectos
socioemocionais anteriores ao tratamento para a turma
de 2014, nossa proposta foi coletar tais informações
para a turma de 2015.
• Grupo de tratamento: pessoas que entraram no
programa em 2015.
• Grupo de controle: pessoas interessadas em fazer os
cursos do programa de qualificação profissional em
2015, mas que por restrição de vagas, não puderam ser
selecionadas.

WORKSHOP
2009
SETEMBRO DE 2009
INDICADORES DE IMPACTO
Impactos potenciais
sobre:
Socioemocional Y1 = Conscienciosidade
Y2 = Extroversão
Y3 = Estabilidade Emocional
Y4 = Abertura ao Novo
Y5 = Amabilidade
Y6 = Locus de controle

WORKSHOP
2009
SETEMBRO DE 2009
DEFINIÇÕES
• Conscienciosidade: O indivíduo que possui conscienciosidade demonstra
autodisciplina, organização e tem foco na realização de deveres e em atingir
os objetivos definidos. Seu comportamento segue um plano de ação, o que
diminui seu nível de espontaneidade.
• A Extroversão consiste em um intenso envolvimento do indivíduo com o mundo
exterior, com a intenção de procurar estimulação e companhia alheia. O
indivíduo extrovertido caracteriza-se por sua capacidade de comunicação,
assertividade, sociabilidade e tendência a chamar atenção para si mesmo
dentro de um grupo.
• Indivíduos com Estabilidade Emocional são menos reativos emocionalmente e
não possuem sentimentos negativos persistentes (porém não necessariamente
experimentam muitos sentimentos positivos). Tendem a ser mais calmos e menos
vulneráveis ao estresse, à raiva e à ansiedade.

WORKSHOP
2009
SETEMBRO DE 2009
DEFINIÇÕES
• A Abertura ao Novo é um traço de pessoas que aceitam com facilidade
participar de novas experiências, que tendem a ser apreciadoras das
artes e tem opiniões que podem ser classificadas como não-
convencionais. Aquele que se caracteriza como "aberto ao novo" tende
a ser imaginativo, criativo e intelectualmente curioso.
• A Amabilidade reflete a preocupação com a harmonia social, isto é,
pessoas que apresentam tal característica dão valor a boa relação com
os outros indivíduos e tendem a ser amigáveis, generosas, compassivas
e cooperantes.
• O Locus de Controle revela se o indivíduo tende a atribuir o controle
de sua vida ao esforço pessoal e à competência própria (nota mais
alta) ou a fatores externos, como sorte e ações alheias (nota mais
baixa).

WORKSHOP
2009
SETEMBRO DE 2009
PESQUISAS DE CAMPO
• No ato da inscrição para os cursos de 2015 (novembro/2014), foi
aplicada linha de base dos aspectos socioemocionais (SENNA 1.0 –
adultos) em todos os inscritos.
• Para a coleta dos indicadores pós-tratamento, coleta foi feita em
novembro/dezembro/2015.
– vantagem de fazermos a pesquisa ainda em novembro:
diminuição do atrito dentro do grupo de tratamento, com redução
dos custos de aplicação, visto que há necessidade de pesquisa
domiciliar apenas para o grupo de controle.  deu tudo certo!
– desvantagem é que o tratamento (curso) ainda não terá
terminado.  como foi feito na segunda quinzena, ok.

WORKSHOP
2009
SETEMBRO DE 2009
HIPÓTESE DE IDENTIFICAÇÃO
• Como nesse caso teremos informações de antes e de
depois do programa, poderemos usar uma estratégia
de diferenças em diferenças.
• As hipóteses, nesse caso, são:
i. evolução dos indicadores socioemocionais para os
grupos de tratamento e controle era parecida antes
da passagem pelo programa de qualificação; e
ii. a única diferença entre os grupos de tratamento e
controle pós tratamento, é que um grupo participou
do QP e o outro não.

WORKSHOP
2009
SETEMBRO DE 2009
RESUMO DA AVALIAÇÃO
Antes do Programa Programa
Novembro 2014 2015 1º semestre de
2016Execução
do Projeto
Novembro -
2015
Seleção Aplicação da
Linha de Base
para captar os
indicadores
de interesse
Pesquisa pós-
intervenção
para captar os
indicadores
de interesse
Acompanhame
nto pela Liga
Solidária

WORKSHOP
2009
SETEMBRO DE 2009
VALIDAR/CONVERSAR COM A LIGA:
1. Indicadores de impacto, a partir do SENNA;
2. Tempo entre a finalização do tratamento e a
aplicação da pesquisa de campo.
3. Possível aleatorização na escolha do
tratamento em 2015.
TOPARAM!!!!!

WORKSHOP
2009
SETEMBRO DE 2009
O SORTEIO!

WORKSHOP
2009
SETEMBRO DE 2009
APLICAÇÃO DO SENNA
• Durante o período de inscrições para os cursos de 2015, foi
realizada a aplicação do questionário socioemocional SENNA para
todos aqueles que se inscreveram no processo seletivo do programa
para o ano de 2015.
• No mesmo procedimento de inscrição, os candidatos preencheram
uma ficha cadastral, uma ficha de vulnerabilidade social, além de
a equipe da Liga realizar uma entrevista com cada candidato onde
foram avaliados itens como interesse, postura e capacidade de
escrita, bem como o grau de vulnerabilidade (nada, pouco, muito e
extremamente vulnerável). Os candidatos também realizaram uma
prova de matemática (no dia seguinte ao da inscrição).

WORKSHOP
2009
SETEMBRO DE 2009
TIPOS DE INSCRITOS
• A equipe do Qualificação Profissional (QP) separou, para cada
curso e período, as fichas em quatro categorias:
a) aquelas que não se encaixavam no público-alvo do projeto (por
questões referentes a idade e relacionamento com o tráfico de
drogas, fundamentalmente);
b) aquelas que deveriam ser incluídas no QP, seja por
encaminhamento do SASF (Serviço de Apoio e Segurança
Familiar), por serem de alta vulnerabilidade, seja por já terem
feito parte de algum outro projeto da Liga Solidária.
c) aqueles que não compareceram para fazer a prova de
matemática
d) aquelas que se encaixaram no público-alvo e que participaram
de todas as etapas do processo de inscrição; dessa forma,
seriam utilizadas para seleção aleatória dos alunos da turma
2015.

WORKSHOP
2009
SETEMBRO DE 2009
Curso Período Vagas Vulnerabilidade
Encami-
nhados
Excluíd
os
Extrema Alta Baixa Nada
Gastrono
mia
Tarde 25 -- -- -- -- -- --
Noite 25 5 27 36 8 3 23
Cabelerei
ro
Manhã 25 6 16 41 8 2 13
Tarde 25 5 19 23 3 5 --
Suporte
Técnico
Inform.
Manhã 25 1 7 11 2 1 --
Tarde 25 4 16 30 9 4 8
Noite 25 -- -- -- -- -- --
Assist.
Administ.
Manhã 25 2 16 19 1 0 14
Tarde 50 2 27 44 10 8 --
Noite 50 -- -- -- -- -- --

WORKSHOP
2009
SETEMBRO DE 2009
SORTEIO
• Optamos por construir os grupos de controle através de
pares/trincas, semelhantes em algumas características
observáveis e realizar a aleatorização dentro dos
pares/trincas
• Grande vantagem = garante que um eventual atrito
não ocorra de forma heterogênea entre os grupos de
tratamento e controle (se, por ex, não alcançarmos uma
pessoa do grupo de controle na pesquisa de campo de
2015, podemos simplesmente excluir o seu par da
análise)
• Desvantagem: redução da amostra e aumento da
variância dos estimadores.

WORKSHOP
2009
SETEMBRO DE 2009
OPERACIONALIZAÇÃO DO SORTEIO
• Para cada curso e período, separamos os alunos por
grau de vulnerabilidade  seleção deve manter a
proporção de inscritos em cada categoria de
vulnerabilidade.
• Organizamos pares ou trincas (dependendo de cada
caso) de inscritos, em ordem decrescente de nota.
Assim, por exemplo, se no grupo de vulnerabilidade
haviam 8 inscritos, fizemos 2 trincas e 1 par (os
indivíduos que ficaram no par foram selecionados
aleatoriamente).

WORKSHOP
2009
SETEMBRO DE 2009
EXEMPLO
• Sorteio 1 = atribuímos um numero aleatório para cada
trinca/par. E estipulamos uma regra que o maior
número sairia do sorteio (denominado como Extra,
podendo ser usado para reposição).
• Sorteio 2, atribuímos um número aleatório para cada
um dos 8 inscritos. Dentro de cada par/trinca,
estabelecemos a seguinte regra: o maior número iria
para o tratamento, o segundo maior para o controle e,
no caso das trincas, o terceiro maior número iria para
uma eventual reposição, caso o inscrito sorteado para o
tratamento não aparecesse para iniciar o curso.

WORKSHOP
2009
SETEMBRO DE 2009
EXEMPLO
Inscrito Nota Vulnerabi
lidade
Sorteio
1
Sorteio
2
Situação
1 8.8 0 0,052 0,37 2 Reposição
2 8.8 0 0,64 1 Tratamento
3 8.5 0 0,55 0 Controle
4 8.4 0 0,317 0,62 0 Controle
5 7.1 0 0,66 1 Tratamento
6 6.5 0 0,906 1,00 1 Extra
7 6.2 0 0,36 2 Extra
8 4.4 0 0,80 0 Extra
2 vagas
𝑁𝑜𝑡𝑎 𝐹𝑖𝑛𝑎𝑙 =
𝑁𝑜𝑡𝑎 𝑀𝑎𝑡𝑒𝑚á𝑡𝑖𝑐𝑎 + 𝑁𝑜𝑡𝑎 𝐸𝑛𝑡𝑟𝑒𝑣𝑖𝑠𝑡𝑎
2
nota da entrevista = contempla itens como a capacidade de escrita, de resolução de
tarefas simples e de atitudes durante a entrevista (distração, postura, etc.).

WORKSHOP
2009
SETEMBRO DE 2009
BOAS IDEIAS
• Atualização cadastral!!!! Fundamental!!! Em função
da dificuldade de achar os jovens já
experimentada em pesquisas anteriores, optamos
por um campo de atualização/monitoramento no
meio da avaliação!!!
• Aleatorização para avaliação de impacto do
programa sobre as habilidades emocionais.

WORKSHOP
2009
SETEMBRO DE 2009
BOAS IDEIAS
• Trabalho junto a direção da Liga sobre a
importância dos socioemocionais e da
aleatorização.
• Presença de profissional habilitado para dar
suporte a avaliação dentro da Liga e que “fala a
nossa língua”.
• Ganhar a confiança da equipe a frente do projeto
no dia a dia.

WORKSHOP
2009
SETEMBRO DE 2009
DIFICULDADES
• Atrito entre as pesquisas de campo.
• Pessoal do QP ajuda mais a encontrar os tratamentos do
que os controles.
• Inserção de alunos pós início do programa sem aviso
• No-show
• Troca de alunos de turmas (nem todas as turmas estão
sendo avaliadas, por questão de tamanho de turma)
• Bases de dados (ex. telefone a mão na ficha de
inscrição digitada)

WORKSHOP
2009
SETEMBRO DE 2009
EM SUMA
Alguns pontos importantes para
pensar no momento de fazer a
avaliação

WORKSHOP
2009
SETEMBRO DE 2009
PONTOS IMPORTANTES
1. Qualidade e disponibilidade de dados cadastrais
I. Quais informações devem conter??
II. Como armazenar???
2. Definição dos grupos de tratamento e controle
3. Definição de indicadores de impacto e factibilidade
de mensuração
4. Pesquisa de campo: importante pensar BASTANTE
para a construção dos questionários de interesse (pré-
teste)
5. Explorar o uso de bases secundárias

WORKSHOP
2009
SETEMBRO DE 2009
EXERCÍCIO

WORKSHOP
2009
SETEMBRO DE 2009
PENSEM PARA O PROJETO PESCAR
• Grupo de tratamento
• Grupo de controle
• Indicadores de impacto
• Pequeno questionário para captar as
dimensões de interesse de mercado de
trabalho
• Para me entregar no final da aula! 

WORKSHOP
2009
SETEMBRO DE 2009
APRESENTAÇÃO DA INSTITUIÇÃO E DO
PROJETO PESCAR

WORKSHOP
2009
SETEMBRO DE 2009
INTRODUÇÃO
O Projeto Pescar existe desde 1976, quando o
empresário Geraldo Linck abriu as portas da sua
empresa para que 15 jovens, em vulnerabilidade
social, aprendessem uma profissão.
Atualmente o Projeto Pescar conta com 146
unidades no Brasil e 29 unidades no exterior e
já capacitou 23.811 jovens.

WORKSHOP
2009
SETEMBRO DE 2009
65

WORKSHOP
2009
SETEMBRO DE 2009
OBJETIVO DO PROJETO
“Desenvolvimento pessoal, cidadania e qualificação
profissional, através do desenvolvimento e aquisições
progressivas de conhecimentos, habilidades e atitudes que
buscam prevenir a ocorrência de risco social, fortalecem a
saudável convivência familiar e comunitária, a
permanência na escola, a participação cidadã e a formação
geral para o mundo do trabalho”

WORKSHOP
2009
SETEMBRO DE 2009
IDEIA BÁSICA DO PROJETO
67
• O curso de iniciação profissional é ministrado no
interior das empresas e organizações parceiras;
• Duração = de 10 a 12 meses (carga horária
total entre 800 e 1200 horas), no turno inverso
ao da escola (é exigido frequência escolar e
frequência mínima no projeto de 75%).
diferencial

WORKSHOP
2009
SETEMBRO DE 2009
68
• São realizadas atividades diárias, de segunda a
sexta-feira, em horário fixo pré-estabelecido,
com duração entre 4 e 6 horas diárias.
• Turmas: entre 15 e 25 jovens;
• Projeto realiza um acompanhamento dos
egressos por cerca de 2 anos, após o término do
programa.

WORKSHOP
2009
SETEMBRO DE 2009
69
• O projeto é uma parceria da Fundação Pescar,
que entra com o know how e material dos cursos,
e as empresas ou parceiros locais, que entram
com espaço físico, uniformes dos alunos e
salário do educador social.

WORKSHOP
2009
SETEMBRO DE 2009
70
• educador social: peça-chave no projeto
– organiza as informações dos alunos participantes;
– ministra uma parte das aulas;
– organiza a participação dos profissionais convidados
para falar a respeito de temas específicos do curso de
profissionalização em questão; e
– faz a intermediação entre a empresa e a Fundação
Pescar.

WORKSHOP
2009
SETEMBRO DE 2009
71
• A seleção do educador social é feita pela
equipe do Pescar, entre pedagogos, assistentes
sociais ou psicólogos.

WORKSHOP
2009
SETEMBRO DE 2009
O CURSO
• 60% desenvolvimento pessoal e cidadania (comum)
– descoberta do eu, família, saúde, meio ambiente,
ecologia, comunicações e tecnologias, ambiente de
trabalho e empreendedorismo.
• 40% de formação profissional (difere entre cursos)

WORKSHOP
2009
SETEMBRO DE 2009
SELEÇÃO
73
• Idade entre 16 e 19 anos
• cursando, no mínimo, o 7º ano do EF
• em situação de vulnerabilidade social
• sem experiências sistemáticas no mercado formal de
trabalho
• que não tenha concluído ou esteja cursando algum
tipo de curso técnico ou profissionalizante

WORKSHOP
2009
SETEMBRO DE 2009
SELEÇÃO
74
• O período e o tipo de processo seletivo variam
entre as unidades do Projeto Pescar, sendo que a
divulgação das vagas ocorre via rádio, escolas,
conselhos locais, CRAS etc.
• Existe uma visita ao domicílio para checar o real
interesse e perfil do candidato.

WORKSHOP
2009
SETEMBRO DE 2009
DIFICULDADES PARA A AVALIAÇÃO
75
• Processo é descentralizado – as
informações dos candidatos ficam na
empresa (com o educador social); muitos
educadores já não tinham mais as fichas

WORKSHOP
2009
SETEMBRO DE 2009
76
• Além disso, um outro problema é que, apesar de
o projeto possuir um modelo de ficha de
inscrição, na prática muitas unidades alteraram
esse modelo para a sua seleção.
• Não homogeneidade das fichas de inscrição 
dificultou tb a definição da amostra de jovens a
serem acompanhados.

WORKSHOP
2009
SETEMBRO DE 2009
77
• Número pequeno de jovens atendidos por unidade, com
projeto espalhado pelo Brasil;
• Ocorre em empresas que operam em ramos setoriais
diferentes;
• Embora abranja jovens dentro de um intervalo pequeno
de idade, é num período importante da vida (16 e 19
anos)
• Retomaremos esse exemplo mais tarde...

WORKSHOP
2009
SETEMBRO DE 2009
AVALIAÇÃO DO SERVIÇO DE CONVIVÊNCIA E
DE FORTALECIMENTO DE VÍNCULOS DO
CAMP-GUARUJÁ

WORKSHOP
2009
SETEMBRO DE 2009
AVALIAÇÃO DE IMPACTO DO SERVIÇO DE FORTALECIMENTO
DE VÍNCULOS - CAMP GUARUJÁ
79

WORKSHOP
2009
SETEMBRO DE 2009
SUMÁRIO
80
• Descrição do CAMP e do Serviço de
Fortalecimento de Vínculos
• Aspectos metodológicos – avaliação de
impacto
• Resultados

WORKSHOP
2009
SETEMBRO DE 2009
DESCRIÇÃO DO CAMP E DO SERVIÇO DE
FORTALECIMENTO DE VÍNCULOS
12/01/2016 81

WORKSHOP
2009
SETEMBRO DE 2009
CENTRO DE FORMAÇÃO PROFISSIONAL CAMP-GUARUJÁ
12/01/2016 82
• Constituído em 28 de abril de 1968, é uma associação de
direito privado, de fins não econômico-lucrativos, entidade de
assistência social e utilidade pública nas esferas Municipal,
Estadual e Federal, que já beneficiou mais de 15 mil
adolescentes, famílias e comunidade.
• Missão: “Promover, defender e garantir os direitos de
adolescentes, jovens e pessoas com deficiência, ofertando-lhes
proteção social e integração ao mundo do trabalho, na
perspectiva de seu desenvolvimento pleno, autonomia e
dignidade no exercício da cidadania”

WORKSHOP
2009
SETEMBRO DE 2009
PROGRAMAS
12/01/2016 83
• Serviço de Fortalecimento de Vínculos
Objetivo Geral: Propiciar Formação Humana e Profissional para
Adolescentes e Jovens em vulnerabilidade e/ou risco pessoal e
social; defender e garantir seus direitos, além de promover ações
socioassistenciais à família e à comunidade, na perspectiva da
proteção social e o pleno exercício da cidadania.
Programa IntegrAção
Programa Aprendiz Integral

WORKSHOP
2009
SETEMBRO DE 2009
AÇÕES DO INTEGRAÇÃO
12/01/2016 84
• É a porta de entrada dos jovens na instituição
• Cursos de comunicação oral e escrita, postura, raciocínio
lógico; cursos também para atividades de ocupações
específicas como telemarketing, contabilidade, recursos
humanos, entre outros.
• Atividades voltadas para a formação humana dos jovens.

WORKSHOP
2009
SETEMBRO DE 2009
APRENDIZ INTEGRAL
12/01/2016 85
• Quando os jovens concluem o programa IntegrAção,
passam a ser atendidos pelo Programa Aprendiz
Integral (ou seja, são inseridos no mercado de
trabalho como aprendizes).
• Durante esse período, os jovens continuam recebendo
apoio psicossocial e supervisão de suas atividades.

WORKSHOP
2009
SETEMBRO DE 2009
OBJETIVOS
12/01/2016 86
• Contribuir para a integração e permanência do
jovem no mercado de trabalho, favorecendo sua
ascensão social;
• Contribuir para a permanência do jovem no
sistema educacional.
• Promover o fortalecimento de vínculos familiares e
comunitários;
• Possibilitar o reconhecimento do trabalho e da
educação como direitos de cidadania.

WORKSHOP
2009
SETEMBRO DE 2009
CRITÉRIOS PARA A SELEÇÃO - INTEGRAÇÃO
12/01/2016 87
 Jovens entre 14 e 16 anos
 Matriculados e frequentando escola no período noturno
(acompanham o aluno na escola) – tem que estar cursando
pelo menos a 8ª série do Ensino Fundamental no momento
da seleção. Explicar o porquê...
 Em situação de vulnerabilidade social: renda mensal per
capita inferior a ½ salário mínimo (orfãos, pessoas com
necessidades especiais)

WORKSHOP
2009
SETEMBRO DE 2009
PROCESSO SELETIVO
12/01/2016 88
• O processo seletivo para as turmas de 2010 teve início entre 03 e
07 de agosto de 2009, com a retirada das fichas de inscrição na
sede da instituição.
• Foram pré-selecionados 1.482 candidatos, avaliando-se os critérios
de idade e escolaridade.
– Os jovens tinham que apresentar um documento (RG, RG escolar,
certidão de nascimento ou cartão SUS) e 20 latinhas de alumínio
amassadas para ajudar com as obras da nova sede da
Instituição.
• Destes, 1.354 jovens retornaram com a ficha preenchida, fazendo a
inscrição para o processo seletivo.

WORKSHOP
2009
SETEMBRO DE 2009
PROCESSO SELETIVO
12/01/2016 89
• Na primeira fase do processo seletivo, 1.309 inscritos fizeram uma
prova composta por uma dissertação e 29 alternativas de múltipla
escolha, com base nas informações contidas na Proposta Curricular do
Estado de São Paulo para a 7ª série do Ensino Fundamental – Ciclo II
e no Conteúdo Programático Anual da Prefeitura Municipal de
Guarujá para o 8º ano, envolvendo as disciplinas de Português,
Matemática e Conhecimentos Gerais.

WORKSHOP
2009
SETEMBRO DE 2009
PROCESSO SELETIVO
12/01/2016 90
• Na segunda fase, foi feita a análise da situação socioeconômica do
candidato. Foram avaliados prioritariamente os candidatos com renda
per capita de até meio salário mínimo (R$232,50 por pessoa) e maior
número de pontos na prova (mínimo de 40% de acerto). As fichas que
estavam contraditórias ou com renda mal esclarecida foram também
avaliadas através de visitas domiciliares.
• O processo seletivo prioriza candidatos portadores de deficiência
física; órfãos com renda familiar per capita não superior a meio
salário mínimo mensal; e outros indivíduos com renda familiar per
capita não superior a meio salário mínimo mensal.

WORKSHOP
2009
SETEMBRO DE 2009
PROCESSO SELETIVO
91
• Para o Programa IntegrAção (Turma 2010) foram aprovados
460 adolescentes (225 para a turma do 1º semestre e 235
para a turma do 2º semestre).
• Período integral e duração de 4 meses

WORKSHOP
2009
SETEMBRO DE 2009
ASPECTOS METODOLÓGICOS
AVALIAÇÃO DE IMPACTO
92

WORKSHOP
2009
SETEMBRO DE 2009
QUAIS INDICADORES DE IMPACTO VOCÊS
ACHAM QUE PODERÍAMOS USAR AQUI???

WORKSHOP
2009
SETEMBRO DE 2009
OBJETIVO E INDICADORES DE IMPACTO
12/01/2016 94
• O objetivo desta avaliação é verificar o impacto do Serviço
de Fortalecimento de Vínculos sobre: empregabilidade,
qualidade do emprego e educação dos jovens atendidos.Impactos
potenciais sobre:
Empregabilidade Y1 = ocupado (1 = sim; 0 = não)
Qualidade do
emprego
Y3 = jornada de trabalho (em horas semanais)
Escolaridade Y1 = Frequenta escola (1 = sim; 0 = não)
Y2 = Frequenta ensino superior (1 = sim; 0 = não)

WORKSHOP
2009
SETEMBRO DE 2009
DADOS
95
O grupo de tratamento
• Conjunto de indivíduos que entraram no IntegrAção em 2010
• Dados: foram coletados dados de “depois” pela Equipe do
CampGuarujá – 2º semestre de 2013.
• São utilizadas apenas as informações daqueles que terminaram
o programa Aprendiz Integral em 2012, tendo, portanto,
realizado todas as atividades previstas pela instituição no
âmbito do Serviço de Convivência e Fortalecimento de Vínculos.
Complicado!

WORKSHOP
2009
SETEMBRO DE 2009
TRAJETÓRIA DOS GRUPOS
12/01/2016 96
2009 2010 2011 2012 2013 (2º
semestre)
Tratados T0 T1
Processo
seletivo
(14 a 16 anos
e (pelo menos
cursando a 8ª
serie do EF)
IntegrAção Aprendiz Aprendiz Ocupado?
(18 a 20
anos)
Estudando?
Controle
- - - Ocupado?
Estudando?

WORKSHOP
2009
SETEMBRO DE 2009
E QUAIS GRUPOS DE CONTROLE VOCÊS
SUGEREM AQUI?

WORKSHOP
2009
SETEMBRO DE 2009
O GRUPO DE CONTROLE
• Usaremos dados da pesquisa Mensal do Emprego – PME – do
IBGE – entrevistas realizadas entre os meses de agosto e
novembro de 2013.

WORKSHOP
2009
SETEMBRO DE 2009
O GRUPO DE CONTROLE
• Primeiramente, vale a observação de que em cada mês, há
8 grupos diferentes de domicílios (grupos rotacionais, nos
termos da PME): domicílios em sua 1ª entrevista, domicílios
em sua 2ª entrevista, e assim, sucessivamente. Iniciaremos
com um grupo de controle com o menor conjunto de
restrições possíveis.
• Assim, selecionaremos uma única observação (uma
entrevista) de todos os jovens que passaram pela PME entre
os meses de agosto a novembro de 2013.

WORKSHOP
2009
SETEMBRO DE 2009
2013 2013 2013 2013
Primeira entrevista do
domicílio no painel da PME
acontece em...
Agosto Setembro Outubro Novembro
Agosto/2013 1 2 3 4
Setembro/2013 1 2 3
Outubro/2013 1 2
Novembro/2013 1
Julho/2013 2 3 4 -
Junho/2013 3 4
Maio/2013 4
Agosto/2012 5 6 7 8
Setembro/2012 5 6 7
Outubro/2012 5 6
Novembro/2012 5
Julho/2012 6 7 8
Junho/2012 7 8
Maio/2012 8

WORKSHOP
2009
SETEMBRO DE 2009
O GRUPO DE CONTROLE
• Para tornar os jovens do grupo de controle mais
parecidos com os tratados, foi feito um filtro inicial
para a idade e para a escolaridade do jovem: foram
selecionados apenas os jovens com idade entre 18 e
20 anos e com escolaridade maior ou igual a 8ª serie
ou 9º ano do ensino fundamental.
• Denominamos essa abordagem de cross-section, visto
que trabalhamos apenas com as entrevistas de 2013,
ou seja, de um único corte no tempo.

WORKSHOP
2009
SETEMBRO DE 2009
O GRUPO DE CONTROLE
• Num segundo momento usamos o painel da PME para ter um
maior controle do passado ocupacional dos jovens e da renda
familiar anterior.
• Foram feitos dois recortes:
– o primeiro consiste em selecionar do grupo acima (cross-section)
apenas os que também participaram da PME de 2012 e que
foram observados trabalhando em 2012;  longitudinal 1
– o segundo recorte consiste em selecionar do grupo acima (cross-
section) apenas os que também participaram da PME 2012 e que
apresentavam em 2012 renda familiar per capita menor do que 1
(um) salário mínimo  longitudinal 2

WORKSHOP
2009
SETEMBRO DE 2009
2012 2012 2012 2012 2013 2013 2013 2013
Primeira entrevista do
domicílio no painel da
PME acontece em...
Ago Set Out Nov Ago Set Out Nov
Agosto/2012 1 2 3 4 5 6 7 8
Setembro/2012 1 2 3 5 6 7
Outubro/2012 1 2 5 6
Novembro/2012 1 5
Julho/2012 2 3 4 6 7 8
Junho/2012 3 4 7 8
Maio/2012 4 8

WORKSHOP
2009
SETEMBRO DE 2009
METODOLOGIA
104
 Seleção em observáveis
1. Regressões nas amostras completas (cross-section, longitudinal 1,
longitudinal 2)
• X= gênero e raça do jovem; idade e escolaridade da mãe do jovem; e
composição familiar (tamanho da família e presença de irmãos mais novos e
mais velhos).
2. Matching (apenas na amostra cross-section)
• P(T=1)=f(X)
• 1 vizinho, sem reposição, com reposição, caliper 0,01
• Duas estimativas: comparação não-condicional de médias entre os
tratados e controle; e a comparação condicional de médias entre
tratamento e controle (condicional nas mesmas variáveis do propensity
score).

WORKSHOP
2009
SETEMBRO DE 2009
METODOLOGIA
12/01/2016 105
• Uma grande preocupação que tivemos foi com a escolha das regiões
metropolitanas da PME. Com quais trabalhar?
• Para uma melhor escolha do grupo de controle, exploramos as
informações do Censo Demográfico do IBGE de 2010, base que
permite a identificação de municípios. Construímos indicadores de
mercado de trabalho e distribuição da atividade econômica para o
Guarujá e para todas as regiões metropolitanas cobertas pela PME e
escolhemos as regiões mais parecidas com o Guarujá.
• Pelas comparações realizadas, foram eleitas como grupo de controle
as regiões metropolitanas do Rio de Janeiro , São Paulo e Recife.

WORKSHOP
2009
SETEMBRO DE 2009
METODOLOGIA
12/01/2016 106
• A estratégia de identificação é que condicional em características
observáveis relacionadas à estrutura socioeconômica e familiar
do jovem e condicional nas oportunidades em termos de dinâmica
de mercado de trabalho, os jovens da PME representam um
contrafactual do que teria acontecido com os jovens do Camp-
Guarujá caso esses não tivessem passado por lá.

WORKSHOP
2009
SETEMBRO DE 2009
DESCRIÇÃO DOS DADOS
12/01/2016 107

WORKSHOP
2009
SETEMBRO DE 2009
RESULTADOS – AVALIAÇÃO DE IMPACTO
12/01/2016 108
Indicadores de mercado de trabalho

TRABALHA?
Trabalha? Cross Section Longitudinal
Amostra
completa
pareado com reposição Jovens
trabalhavam em
2012
Jovens com
r_fam_pc< 1smDif.simples Dif. Condic.
RECIFE 0,395 0,374 0,344 0,249 0,319
(0,042) (0,071) (0,048) (0,066) (0,061)
RIO 0,365 0,352 0,317 0,288 0,381
(0,040) (0,070) (0,048) (0,045) (0,044)
SP 0,137 0,171 0,180 0,002 0,109
(0,047) (0,073) (0,059) (0,059) (0,065)
TODAS 0,291 0,288 0,272 0,202 0,312
(0,044) (0,066) (0,053) (0,045) (0,047)

TEM REGISTRO NA CARTEIRA DE TRABALHO?
Está
registrado
(carteira de
trabalho)?
Cross Section Longitudinal
Amostra
completa
trabalhavam em
2012
Jovens com
RECIFE 0,212 0,085 0,083 0,189 0,194
(0,076) (0,103) (0,078) (0,097) (0,091)
RIO 0,315 0,380 0,351 0,218 0,289
(0,064) (0,097) (0,063) (0,073) (0,066)
SP 0,085 0,111 0,101 0,041 0,083
(0,052) (0,079) (0,069) (0,066) (0,076)
TODAS 0,156 0,202 0,204 0,089 0,16
(0,056) (0,081) (0,069) (0,063) (0,063)

SALÁRIO
Salário? (em
número de
salários
mínimos)
Amostra
completa
trabalhavam em
2012
Jovens com
RECIFE 0.25 0.27 0.24 0.32 0.32
(0.07) (0.09) (0.07) (0.11) (0.10)
RIO 0.05 0.08 0.13 0.02 0.15
(0.09) (0.15) (0.10) (0.10) (0.10)
SP -0.02 -0.09 -0.09 0.02 0.04
(0.06) (0.07) (0.06) (0.07) (0.08)
TODAS 0.04 0.09 0.10 0.06 0.13
(0.06) (0.08) (0.07) (0.07) (0.07)

JORNADA DE TRABALHO
Jornada semanal? Cross Section Longitudinal
Amostra
completa
trabalhavam
em 2012
Jovens com
RECIFE -0.73 1.78 -2.57 3.74 4.05
(1.44) (2,04) (1.60) (2.54) (2.26)
RIO -1.13 0,08 1.00 -1.16 0.16
(1.55) (2.18) (1.80) (1.81) (1.89)
SP -4.59 -5,16 -5.66 -3.71 -4.08
(1.18) (1,47) (1.32) (1.34) (1.32)
TODAS -3.52 -3,01 -2.81 -2.50 -1.69
(1.17) (1,56) (1.40) (1.38) (1.39)

WORKSHOP
2009
SETEMBRO DE 2009
113
RESULTADOS – AVALIAÇÃO DE IMPACTO
Indicadores relacionados à escolaridade

FREQUENTA ESCOLA
Frequenta escola? Cross Section Longitudinal
Amostra
completa
trabalhavam em
2012
Jovens com
r_fam_pc<
1sm
Dif.simples Dif. Condic.
RECIFE -0,065 -0.008 -0,017 -0,077 -0,053
(0,051) (0.076) (0,066) (0,078) (0,071)
RIO -0,014 -0.016 -0,021 0,012 -0,003
(0,050) (0.074) (0,063) (0,056) (0,057)
SP 0,073 0.057 0,073 0,026 0,043
(0,048) 0.074 (0,064) (0,065) (0,069)
TODAS 0,016 0.000 -0,004 0,014 0,016
(0,045) (0.068) (0,061) (0,051) (0,051)

FREQUENTA ENSINO SUPERIOR, CONDICIONAL EM
TER ENSINO MÉDIO
Frequenta ensino
superior (com
ensino médio
completo?
Amostra
completa
trabalhavam em
2012
Jovens com
RECIFE 0,369 0,385 0,357 0,217 0,292
(0,047) (0,069) (0,046) (0,091) (0,080)
RIO 0,419 0,467 0,406 0,46 0,409
(0,043) (0,065) (0,039) (0,058) (0,052)
SP 0,363 0,479 0,44 0,372 0,375
(0,035) (0,059) (0,036) (0,059) (0,065)
TODAS 0,384 0,452 0,418 0,394 0,387
(0,031) (0,058) (0,038) (0,040) (0,038)

WORKSHOP
2009
SETEMBRO DE 2009
RETORNO ECONÔMICO
12/01/2016 116

BENEFÍCIOS DO PROJETO
Serviço de
Fortalecimento
de Vínculos
Maior acesso ao
ensino superior
Maior escolaridade
futura
Maiores salários
futuros
Estimado! Hipóteses!

DO IMPACTO ESTIMADO AO BENEFÍCIO MONETÁRIO
• Se de fato existe um efeito causal positivo do
programa, isso significa que do total de jovens
tratados com ensino médio completo e que em
2013 frequentam ensino superior - são 76 jovens -
uma parte não estaria frequentando caso não
tivesse passado pelo projeto.
• Ou seja, 0,418*76 = 32 jovens corresponde
aproximadamente ao total de jovens tratados que
frequentam o ensino superior devido ao projeto.

12/01/2016119
2013 2014 2015 2016 2017 2018 ... 2059
cursando 1º
ano do ensino
superior
cursando
2º ano
cursando
3º ano
cursando
4º ano -
conclusão
Nº de
alunos
32 22 12 12 12
Idade 19 anos 20 21 22 23 24 ... 65
Anos de
estudo
11 12 13 14 15 15 ... 15

WORKSHOP
2009
SETEMBRO DE 2009
• A ideia é calcular o fluxo de rendimentos dos jovens tratados
que em função do programa terão maior escolaridade;
• E também calcular o fluxo de rendimento que os jovens teriam
caso não tivessem passado pelo programa, ou seja, admitindo
uma escolaridade final de 11 anos.
• A diferença entre os dois fluxos, trazida a valor presente, é o
valor do beneficio do projeto – ou seja, é o acréscimo no fluxo
de rendimentos futuros em função do projeto.
• Iremos admitir que esses jovens permaneçam no mercado de
trabalho até os 65 anos de idade.

WORKSHOP
2009
SETEMBRO DE 2009
• Para construir os fluxos salariais usamos os valores dos
rendimentos mensais recebidos no emprego principal, por idade
e escolaridade, coletados pela PNAD (Pesquisa Nacional de
Amostras por Domicílios) de 2013.

EXEMPLO
• 2010 = valor total dos salários recebidos
pelos tratados na ausência do tratamento é de
R$ 497,243 * 32 * 12 = R$190.941, 35.
– R$497,243 = média de salário para jovens com
idade entre 16 e 18 anos e escolaridade entre 8 e
10 anos de estudo obtido da PNAD de 2013
12/01/2016122

EXEMPLO
• 2014  (R$ 963,6 * 22 + R$ 1035,4 * 10) *12=
378.647,79  22 jovens continuam
frequentando ensino superior (estão no 2º ano
do ensino superior) e 10 jovens abandonaram o
ensino superior e estão agora apenas no
mercado de trabalho (terminam com 12 anos de
estudo)
• Hip: jovens tratados estejam também no
mercado de trabalho, em função, dos resultados
positivos expressivos para a empregabilidade
12/01/2016123

WORKSHOP
2009
SETEMBRO DE 2009
124
idade tratamento contrafactual liquido = beneficio anual
do projeto
2010 16 integração R$ 190.941,35 -R$ 190.941,35
2011 17 aprendiz emprego com remuneração
semelhante ao do aprendiz
0
2012 18 aprendiz emprego com remuneração
semelhante ao do aprendiz
0
2013 19 R$ 370.035,53 R$ 331.963,66 R$ 37.790,28
2014 20 R$ 378.647,79 R$ 331.963,66 R$ 46.526,31
2015 21 R$ 387.260,04 R$ 331.963,66 R$ 55.262,34
2016 22 R$ 387.260,04 R$ 331.963,66 R$ 55.262,34
2017 23 R$ 716.908,37 R$ 431.972,35 R$ 276.899,95
2018 24 R$ 716.908,37 R$ 431.972,35 R$ 276.899,95
... ... R$ 716.908,37 R$ 431.972,35 R$ 276.899,95
2024 30 R$ 716.908,37 R$ 431.972,35 R$ 276.899,95
2025 31 R$ 1.047.334,08 R$ 540.471,94 R$ 506.862,14
... ... R$ 1.047.334,08 R$ 540.471,94 R$ 506.862,14
2034 40 R$ 1.047.334,08 R$ 540.471,94 R$ 506.862,14
2035 41 R$ 1.255.922,93 R$ 702.418,56 R$ 553.504,37
... ... R$ 1.255.922,93 R$ 702.418,56 R$ 553.504,37
2059 65 R$ 1.255.922,93 R$ 702.418,56 R$ 553.504,37

CUSTOS DO PROJETO
CUSTO TOTAL DO SERVIÇO DO CAMP GUARUJÁ R$ 2.325.100,00
Especificações Custo Mensal Custo Anual
RH – Salários R$ 125.067,00 R$ 1.500.800,00
Material de Consumo R$ 16.166,66 R$ 194.000,00
Material Didático R$ 2.650,00 R$ 31.800,00
Serviços de Terceiros R$ 1.266,66 R$ 15.200,00
Manutenção R$ 1.891,66 R$ 22.700,00
Utensílios e Serviços R$ 6.258,33 R$ 75.100,00
Veículos R$ 2.283,33 R$ 27.400,00
RH – Encargos R$ 25.166,66 R$ 302.000,00
Seguros R$ 708,33 R$ 8.500,00
Tributárias R$ 6.408,33 R$ 76.900,00
Despesas Gerais R$ 5.891,66 R$ 70.700,00
Total R$ 193.758,62 R$ 2.325.100,00

WORKSHOP
2009
SETEMBRO DE 2009
TAXA INTERNA DE RETORNO
12/01/2016 126

TAXA INTERNA DE RETORNO (TIR)
Taxa interna de retorno (% ao ano)
variações do contrafactual contrafactual
original
contrafactual
alternativovariações do custo
custo observado 9,49% 6,86%
custo 30% maior que o observado 8,08% 6,01%
Obs: contrafactual alternativo admite que 20% do
grupo de controle curse ensino superior

WORKSHOP
2009
SETEMBRO DE 2009
RESUMO DO CAMP-GUARUJÁ
128
• Avaliação de impacto indicou resultados positivos para inserção no
mercado de trabalho e inserção no ensino superior.
• A partir desse ultimo resultado construímos uma avaliação de retorno
econômico, que indicou valores bastante razoáveis para a TIR.
• Hipótese chave: condicional nas variáveis de estrutura familiar, os
jovens da PME representam um bom contrafactual do que teria
acontecido com os jovens que participaram do Serviço de
Fortalecimento de Vínculos caso esses não tivessem passado por lá.

WORKSHOP
2009
SETEMBRO DE 2009
DIFICULDADES
• Tratados são altamente selecionados – e não havia
INFORMAÇÃO para os não selecionados (um possível grupo
de controle poderia ser os não selecionados – há excesso de
demanda).
• Uma parte razoável dos tratados não foi encontrada – eram
245 jovens e foi feito contato com 145. Análises mostraram
que amostra manteve representatividade.
• Deve haver um controle bem de perto com a coleta dos dados.
Nesse caso a coleta foi feita pela equipe do Camp-Guarujá
com pouco acompanhamento. Quando fomos usar os dados,
um ano depois, não havia 100% de memória acerca da
coleta.

WORKSHOP
2009
SETEMBRO DE 2009
BOAS IDEIAS
• Explorar as diferentes bases de dados de fontes
externas: PME e Censo Demográfico  mais
importantes; mas também usamos: PNAD e Censo
da Educação Superior para análise de retorno
econômico.
• Trabalhar com diferentes grupos de controle,
nesse caso procurando uma maior robustez nos
resultados. Para uma medida de impacto, havia
20 estimativas diferentes.
GERAL

WORKSHOP
2009
SETEMBRO DE 2009
VOLTANDO AO PESCAR...
RESULTADOS DO EXERCÍCIO
O QUE ENCONTRAMOS?
131

WORKSHOP
2009
SETEMBRO DE 2009
132
• Reunião inicial para coleta de dados com a Fundação Pescar: Maio de
2014
• Discussão e Elaboração do Desenho de Avaliação:
Maio a Outubro/2014
• Preparativos para Pesquisa de Campo: Nov/2014 a Maio/2015
• Pesquisa de Campo: Junho e Julho/ 2015
• Tratamento dos Dados e Análise Preliminar: Ago a Out/2015
• Análise Final: Outubro e Novembro/2015

WORKSHOP
2009
SETEMBRO DE 2009
133
• Reunião inicial para coleta de dados com a Fundação Pescar: Maio de
2014
• Discussão e Elaboração do Desenho de Avaliação:
Maio a Outubro/2014
• Preparativos para Pesquisa de Campo: Nov/2014 a Maio/2015
• Pesquisa de Campo: Junho e Julho/ 2015
• Tratamento dos Dados e Análise Preliminar: Ago a Out/2015
• Análise Final: Outubro e Novembro/2015

WORKSHOP
2009
SETEMBRO DE 2009
DIFICULDADES COM AS FICHAS DE INSCRIÇÃO
134
• Fichas de inscrição dos controles não ficavam
armazenadas na sede da Fundação Pescar, mas em
poder dos educadores sociais de cada unidade
atendida;
• Atraso no envio das fichas;
• Muitos modelos de fichas diferentes (as fichas de
inscrição das unidades não seguiam um modelo
comum);
• Recebimento de fichas de inscrição incompletas.
• Importância: garantir tratamento e controle o mais
parecidos pré-tratamento.

WORKSHOP
2009
SETEMBRO DE 2009
UNIDADES PESCAR NAS QUAIS NÃO FOI POSSÍVEL REALIZAR A
PESQUISA DE CAMPO
135
Unidade Ano Problemas
Cimpor 2012 Vieram apenas fichas de visita domiciliar dos jovens selecionados.
Consórcio
Tupaciretã
2012
2013
Retirada do campo para redução de custos (poucos controles na cidade)
Elster 2012 Apenas cadastro com nome dos inscritos
Dimeltoz 2013
Poucos indivíduos no campo (25), retirada do campo por questão de custo de
aplicação em Caxias do Sul
Expert 2012 Vieram apenas fichas de visita domiciliar dos jovens selecionados.
Expert 2013
Vieram apenas as primeiras páginas das fichas de visita domiciliar dos jovens
selecionados.
Redemaq 2012 Vieram apenas fichas de visita domiciliar dos jovens selecionados.
Redemaq 2013 Não recebemos nenhuma ficha de inscrição dos jovens selecionados.
RPR 2012 Vieram apenas fichas de visita domiciliar dos jovens selecionados.
Sapore 2012 Unidade não faz mais parte do Projeto Pescar.
Soul 2012 Apenas cadastro com endereço, sem ficha de inscrição
Vicunha 2012
Vieram apenas as primeiras páginas da ficha de inscrição e posteriormente as fichas
de visita domiciliar dos jovens selecionados.
Vicunha 2013
Vieram apenas as primeiras páginas da ficha de inscrição e posteriormente as fichas
de visita domiciliar dos jovens selecionados.

WORKSHOP
2009
SETEMBRO DE 2009
PESQUISA DE CAMPO - 2015
136

WORKSHOP
2009
SETEMBRO DE 2009
DIFICULDADES COM O CAMPO
137
• Adiamento por atraso com as fichas e por questões
orçamentárias;
• Dificuldade de encontrar as pessoas devido ao espaço
de tempo entre o preenchimento da ficha de inscrição e
o momento do campo;
• Mau tempo (chuva e alagamentos) em Porto Alegre no
período do campo.

WORKSHOP
2009
SETEMBRO DE 2009
TAXA DE RESPOSTA DA PESQUISA DE CAMPO POR
UNIDADE E REGIÃO/MUNICÍPIO
138
Cidade Unidade
Previsto Realizado Realizado/Previsto
Controle Tratado Controle Tratado Controle Tratado
Porto Alegre
Rio Grande
ASAV 87 78 72 52 83% 67%
RPR 12 12 4 9 33% 75%
CDL 5 13 2 7 40% 54%
Unicred 8 17 3 12 38% 71%
Total 112 120 81 80 72% 67%
Itajubá Alstom 29 29 28 23 97% 79%
Matão Citrosuco 49 49 45 41 92% 84%
Bigaçu Sulcatarinense 14 14 21 6 150% 43%
Total 204 212 175 150 86% 71%

WORKSHOP
2009
SETEMBRO DE 2009
INSCRITOS X NÃO ENTREVISTADOS
139
Variáveis Amostra
Tratados Controles
N. obs. Médias N. obs. Médias
Homem
I 212 0,472 392 0,497
NE 62 0,532 217 0,502
Estuda
I 211 0,986 386 0,948
NE 61 0,984 213 0,944
Série
I 191 7,974 365 8,082
NE 60 7,967 205 8,029
Trabalha
I 89 0,045 215 0,037
NE 31 0,032 117 0,034
Reside com a mãe
I 212 0,858 393 0,847
NE 62 0,774 218 0,839
Obs: Em todos os casos, não se rejeitou a hipótese de que as médias dos dois
grupos eram estatisticamente iguais com 90% de confiança

WORKSHOP
2009
SETEMBRO DE 2009
INSCRITOS X NÃO ENTREVISTADOS
140
Variáveis Amostra
Tratados Controles
N. obs. Médias N. obs. Médias
Reside com o pai
I 212 0,425 393 0,468
NE 62 0,371 218 0,454
Água encanada
I 212 0,679 393 0,842
NE 62 0,645 218 0,849
Esgoto
I 212 0,585 393 0,669
NE 62 0,581 218 0,651
Renda familiar
I 168 1092,69 296 1258,00
NE 52 1041,87 161 1278,50
Renda familiar per capita
I 139 236,64 265 399,33
NE 39 198,34 142 407,31
Obs: Em todos os casos, não se rejeitou a hipótese de que as médias dos dois
grupos eram estatisticamente iguais com 90% de confiança

WORKSHOP
2009
SETEMBRO DE 2009
ANÁLISE DE ATRITO E MISSINGS
141
• O atrito não foi seletivo: as características médias dos
não entrevistados eram semelhantes a dos entrevistados,
tanto no tratamento como no controle  pesquisa de
campo com boa representatividade
• Boa qualidade das respostas do questionário de
campo: o fato de ter sido feita com tablet ajudou a
reduzir drasticamente a taxa de não resposta às
questões (missings)

WORKSHOP
2009
SETEMBRO DE 2009
ANÁLISE COMPARATIVA DOS TRATADOS E
CONTROLES QUE RESPONDERAM À
PESQUISA DE CAMPO
142

WORKSHOP
2009
SETEMBRO DE 2009
DIFERENÇA DE MÉDIAS - VARIÁVEIS DO CAMPO DE 2015
143
Variáveis Grupo N. obs. Médias Variáveis Grupo N. obs. Médias
Idade
C 175 18,766
Salário por hora
C 87 18,06
T 150 19,240 T 80 15,45
Frequenta escola atualmente
C 175 0,440 Carteira assinada no último
trabalho
C 42 0,833
T 150 0,367 T 45 0,867
Fez Enem alguma vez
C 175 0,303 Tempo (em meses) no último
trabalho
C 46 8,87
T 150 0,387 T 47 6,00
Participou de algum curso de
QP nos últimos 4 anos
C 175 0,560 Remuneração no último
trabalho
C 46 784,52
T 150 0,373 T 47 831,68
Duração (em meses) do curso
de QP
C 82 11,0 Horas trabalhadas (por
semana) no último trabalho
C 46 20,696
T 53 10,9 T 48 21,396
Trabalha atualmente
C 175 0,509 Salário por hora no último
trabalho
C 46 19,75
T 150 0,533 T 47 20,35
Carteira de trabalho assinada
C 74 0,959
Remuneração da família
C 149 2040,67
T 73 0,904 T 131 2028,08
Tempo (em meses) nesse
trabalho
C 89 10,5
Número de pessoas na família
C 174 4,46
T 80 11,9 T 150 4,48
Remuneração do trabalho
C 88 903,16
Renda familiar per capita
C 149 547,77
T 80 1040,70 T 131 552,79
Horas trabalhadas (por
semana)
C 88 23,9
T 80 31,0

WORKSHOP
2009
SETEMBRO DE 2009
TESTE DE DISTRIBUIÇÃO DAS VARIÁVEIS CATEGÓRICAS
PESQUISA DE CAMPO DE 2015-TRATADOS X CONTROLES
144
Variáveis p-valor (exato)
Nível de ensino que frequenta atualmente 0,274
Nível de ensino mais elevado que frequentou 0,968
Escolaridade da mãe 1,000
Escolaridade do pai 0,719
Posição da família 1,000

WORKSHOP
2009
SETEMBRO DE 2009
PERFIL DOS ALUNOS EGRESSOS DO
PROJETO PESCAR – 2012 E 2013
145

WORKSHOP
2009
SETEMBRO DE 2009
TRABALHO E ESTUDO
146
Unidade
Estuda e
Trabalha
Estuda e Não
Trabalha
Não Estuda e
Trabalha
Não Estuda e
Não Trabalha
T C T C T C T C
Alstom 30,4 14,3 17,4 17,9 39,1 32,1 13,0 35,7
ASAV 11,5 20,8 28,8 40,3 28,8 19,4 30,8 19,4
CDL 28,6 42,9 100,0 28,6
Citrosuco 24,4 22,2 2,4 20,0 43,9 33,3 29,3 24,4
RPR 33,3 25,0 11,1 25,0 44,4 25,0 11,1 25,0
Sulcatarinense 9,5 66,7 16,7 71,4 16,7 19,0
Unicred 8,3 8,3 33,3 8,3 33,3 75,0 33,3
Total 19,3 18,3 17,3 25,7 34,0 32,6 29,3 23,4

WORKSHOP
2009
SETEMBRO DE 2009
DISTRIBUIÇÃO POR ESCOLARIDADE MÁXIMA
147
Unidade Fund. Médio
Médio
Integrado
Prof. EJA Sup. Dist.
Sup.
Pres.
T C T C T C T C T C T C T C
Alstom 57 57 13 11 9 11 22 21
ASAV 31 39 60 58 8 1 2 1
CDL 71 5 29 5
Citrosuco 4 61 69 5 2 5 2 2 27 22
RPR 13 25 63 5 25 25
Sulcatar. 29 83 62 10 17
Unicred 17 33 75 67 8
Total 13 22 62 61 7 4 3 1 1 1 2 14 10

WORKSHOP
2009
SETEMBRO DE 2009
SITUAÇÃO DE TRABALHO
148
Unidade
Trabalha Carteira Assinada Empregado
Conta
própria
Estagiário
T C T C T C T C T C
Alstom 70 46 85 100 69 69 19 31 13
ASAV 40 40 90 88 90 69 14 10 17
CDL 71 100 50 100 40 100 60
Citrosuco 68 56 93 100 93 72 20 7 8
RPR 78 50 100 100 100 100
Sulcatarinen
se
17 81 100 88 100 12
Unicred 17 33 100 100 100 100
Total 53 51 90 96 84 74 9 17 7 9

WORKSHOP
2009
SETEMBRO DE 2009
CURSOS DE QUALIFICAÇÃO PROFISSIONAL
149

WORKSHOP
2009
SETEMBRO DE 2009
NÚMERO DE PARTICIPAÇÕES EM CURSOS DE QP
NOS ÚLTIMOS 4 ANOS
150
Número de cursos de QP Controle Tratamento Total
1 67 44 111
2 13 8 21
3 2 1 3
4 1 0 1
Total 83 53 136
47,42% (83) dos controles e 35,33% (53) dos tratados entrevistados
no campo disseram ter feito ou estar fazendo algum curso de
qualificação profissional (exceto Pescar) nos últimos 4 anos.

WORKSHOP
2009
SETEMBRO DE 2009
MOMENTO EM QUE TRATADOS E CONTROLES
PARTICIPARAM DE CURSOS DE QP
151
Controles Tratados Total
Fez curso de QP antes 11 12 23
Fez curso de QP no mesmo ano 30 12 42
Fez curso de QP depois 51 35 86

WORKSHOP
2009
SETEMBRO DE 2009
MOMENTO EM QUE TRATADOS E CONTROLES
PARTICIPARAM DE CURSOS DE QP
152
Fez curso de QP antes Fez curso QP no mesmo ano Fez curso QP depois Total
Sim Não Não 20
Sim Sim Não 2
Sim Não Sim 0
Não Sim Não 28
Não Sim Sim 11
Não Não Sim 74
Sim Sim Sim 1
Não Não Não 189

WORKSHOP
2009
SETEMBRO DE 2009
DURAÇÃO DOS CURSOS DE QP SEPARADA POR
MOMENTO E GRUPO
153
Momento Grupos N. Obs.
Duração (em meses)
Média Mínima Máxima
Fez curso de QP antes
C 11 7,9 3 18
T 12 14,6 3 36
Fez curso de QP no mesmo
ano
C 29 9,2 2 24
T 12 9,1 2 36
Fez curso de QP depois
C 50 12,2 1 48
T 35 11,2 1 36

WORKSHOP
2009
SETEMBRO DE 2009
INSTITUIÇÕES DOS CURSOS DE QP COM
DURAÇÃO SUPERIOR A 12 MESES
154
Fez curso de QP antes
Instituição de Ensino Duração (em meses)
ETEC - Escola Técnica Silvyo de Mattos Carvalho 18
SENAC 18
Não sabe/Não lembra 24
Escola New Point 24
Associação da Liga de Amparo aos Necessitados 24
Star Training Center Formação Profissional 36

Aula 12 01_2016-1_20160112 (1)

Aula 12 01_2016-1_20160112 (1)

Recomendados

Recomendados

Mais conteúdo relacionado

Destaque

Destaque (10)

Semelhante a Aula 12 01_2016-1_20160112 (1)

Semelhante a Aula 12 01_2016-1_20160112 (1) (20)

Aula 12 01_2016-1_20160112 (1)