Impacto do Prouni sobre desempenho de seus alunos no Enade

abraes.
INSTITUIÇÕES PARTICULARES DE ENSINO SUPERIOR E PROUNI: O IMPACTO DO PROGRAMA DE INCLUSÃO SOBRE O DESEMPENHO DE SEUS ALUNOS NO ENADE
RESUMO
Este trabalho faz uma reflexão sobre as diferentes formas de acesso ao ensino superior, comparando-as em termos do impacto na qualidade da formação do aluno medida através de seu desempenho no ENADE.
Tendo em vista que os programas de inclusão são fruto de uma decisão de alocação de recursos públicos, foi realizada a análise do custo deste benefício comparado ao retorno que ele oferece à sociedade em termos de qualidade acadêmica do aluno formado.
O impacto na qualidade do aluno é mensurado objetivamente através do diferencial de resultados no Enade entre os alunos oriundos de cada programa e o aluno médio, tendo como base de informação as notas brutas dos concluintes disponíveis nos microdados divulgados pelo Inep para os ciclos de 2010, 2011 e 2012. A quantificação do custo por aluno utiliza informações relativas ao gasto público em cada programa, rateadas pelo número de alunos engajados em cada um.
A análise incluiu um processo de investigação extenso, considerando cerca de 1.386.466 dados, e 126 variáveis. Parte do cruzamento de cada um dos fatores socioeconômicos, demográficos, e regionais, constantes do questionário coletado no ENADE, com o desempenho acadêmico dos alunos, ganhando insigths sobre os dados e avaliando a significância das relações entre eles.
Por meio da identificação dos fatores de maior relevância é possível explicar as diferenças entre as notas dos alunos, e por fim, quantificar o impacto de cada variável quando controlados os efeitos de todas as demais.
Como resultado final obtemos que, do lado do desempenho acadêmico, a bolsa Prouni apresenta o maior impacto, produzindo um aumento médio de 10 pontos nos resultados do Enade em relação ao aluno típico médio; esse número é 4 pontos superior ao diferencial obtido pelos concluintes de universidades públicas. O custo destes programas também é bastante assimétrico, com o Prouni liderando no quesito eficiência, e a universidade pública liderando os níveis de investimento / aluno.
Ao longo da análise fica clara a associação de condições socioeconômicas mais favoráveis com desempenho acadêmico superior. Assim como a maior ocorrência dos alunos que reúnem estas condições na Universidade Pública. Porém os dados também revelam que (i) o tempo de dedicação ao curso fora da sala de aula, portanto o esforço dispendido pelo aluno e, (ii) programas de acesso como o Prouni, mais do que compensam essas diferenças sociais, permitindo que alunos bolsistas da rede particular de ensino superior estejam entre os melhores resultados nacionais do ENADE, em proporção substancialmente superior à média nacional.

abraes.
2
1. INTRODUÇÃO
1.1. Motivação e oportunidade de análise
O Enade hoje é feito de maneira censitária para todos os concluintes de ensino superior. Os microdados são divulgados na íntegra por concluinte que prestou o exame, com todas as informações constantes na ficha de inscrição e respostas do questionário sócio econômico, sem identificação do aluno.
Com base nestas informações, que incluem IES, curso, localidade, tipo de financiamento (próprio aluno, bolsa da IES, FIES, Prouni integral ou parcial, bolsa estadual/municipal, e outras), tempo de dedicação ao curso, e origem do ensino médio, é possível cruzar-se características socioeconômicas, raciais, regionais e demográficas de cada aluno com seu resultado no exame, e avaliar o impacto de cada uma delas no seu desempenho acadêmico.
A qualidade e abrangência da informação são ao mesmo tempo o ponto forte e o desafio da análise, uma vez que de um lado envolvem um instrumental estatístico e metodologia especializados para trabalhar com grande volume de dados, e de outro representam 100% da informação bruta disponível sobre o ENADE.
Até o presente momento esses dados foram pouco explorados no debate sobre políticas públicas voltadas para o acesso ao ensino superior.
Este trabalho traz resultados analíticos e empíricos inéditos que podem fundamentar posições importantes para a discussão sobre o Ensino Superior, fugindo do lugar comum e do debate político de cunho meramente ideológico.
1.2. Proposta de trabalho e abordagem metodológica
Este trabalho busca fazer uma descrição geral dos resultados dos últimos 3 ciclos do Enade, tanto olhando para as características socioeconômicas, quanto regionais, raciais e demográficas dos concluintes, e suas associações com os resultados brutos de desempenho de cada um no ENADE. Por resultados brutos definimos o percentual de acertos de questões de cada aluno, sem os ajustes de padronização feitos pela metodologia do Inep quando os padroniza para efeitos de agregação por curso, e para comparação regional.
Após avaliar a população total disponível, propusemos um recorte da amostra que considera os dados de maior confiabilidade, baseado nos alunos que se dedicaram em responder o que lhes era perguntado (ele pode ter deixado algumas questões em branco, mas não a seção inteira). Com isso, concentramos a análise em uma amostra que permite avaliar os efeitos de cada uma das variáveis disponíveis no desempenho acadêmico dos alunos no Enade, seja:
(i) pela análise descritiva da amostra, que constitui ponto de partida;

abraes.
3
(ii) pela identificação das dimensões relevantes por análise fatorial
(iii) pelos agrupamentos e cruzamentos entre as variáveis-chave que as representam;
(iv) pela análise de regressão, buscando quantificar os impactos de cada variável nos resultados dos alunos, quando controlados os efeitos fixos relevantes.
1.3. Impactos e resultados a serem mapeados
A análise de regressão permite comparar os efeitos dos diferentes programas de acesso, levando em conta as diversas regiões, cursos, condições socioeconômicas e quaisquer outras características de interesse, diretamente sobre o desempenho dos alunos a partir de um processo de avaliação que segue a mesma metodologia há vários anos, é censitária, e feita com abrangência nacional.
O objetivo é quantificar os impactos do benefício;
(i) de cada um dos programas de acesso, e
(ii) das características (sociais, demográficas, raciais, regionais etc) que colocam os alunos em condições diferenciadas de aproveitamento de seus cursos.
Complementando o outro lado da análise, estes benefícios foram confrontados com os custos efetivos de cada programa, de forma a se estabelecer a eficiência relativa de alocação de recursos (públicos ou não) em cada um.
1.4. Implicações sobre as Políticas Públicas e sua eficiência relativa
A partir desses resultados, é possível avaliar a eficiência da aplicação dos recursos públicos em investimentos diretos do Governo Federal nas IESs públicas, vis-à-vis o acesso à rede particular via programas de inclusão, quando se comparam os impactos de cada programa sobre o desempenho dos alunos por unidade monetária.
Para se estabelecer conclusões sobre a eficiência relativa é suficiente aceitar o Enade como instrumento homogêneo (não necessariamente ideal) de avaliação da qualidade da formação do aluno e considerar o custo da renúncia fiscal por aluno em contraposição ao custo médio por aluno na rede pública de ensino superior.

abraes.
4
2. OS MICRODADOS DO ENADE
2.1. Disponibilidade de informações nos microdados.
O total de concluintes disponíveis por ciclo do Enade disponíveis nos microdados é:
Tabela 1: Total de alunos concluintes por ciclo de cursos no Enade
Ano Enade
Número de Respondentes
% Total
% Acumulado
2010
422.896
30,5
30,5
2011
376.219
27,1
57,6
2012
587.351
42,4
100,0
Total
1.386.466
100,0
Para esses dados estão disponíveis 126 variáveis, agrupadas nas seções:
a) variáveis de IES (3);,
b) variáveis de curso (4);
c) variáveis do inscrito (18);
d) variáveis de presença (11);
e) variáveis de prova (6);
f) variáveis de desempenho (16);
g) variáveis do questionário de participação da prova (11), e
h) variáveis do questionário socioeconômico (56).
Algumas dessas varáveis foram recodificadas em novas para efeitos de modelagem estatística, porém todas das variáveis criadas se basearam em resultados das variáveis originais; isto é, 100% das informações utilizadas estão disponíveis nos 3 arquivos disponíveis no site do Inep com os microdados dos ciclos dos cursos avaliados em 2010, 2011 e 2012, totalizando os 1.386.466 alunos mostrados na tabela 1.
2.2. Limitações dos dados: Ausentes e Respostas em Branco
Desses alunos concluintes, existe um contingente considerável (19.2%) que não compareceu ao exame no dia da prova, como mostra a tabela 2.
Além disso, muitos alunos deixam parte significativa em branco, comprometendo os resultados das notas que as incorporam por introduzir viés negativo nas observações que não necessariamente correspondentes aos resultados dos Alunos (segundo suas características disponíveis na amostra).

abraes.
5
Tabela 2: Concluintes presentes na prova no dia do Exame
% Total
% Acumulado
Ausentes
266.071
19,2
19,2
Repostas OK
1.117.227
80,6
99,8
Resultado desconsiderado por probl. administrativos
2.130
0,2
100,0
Aluno fora do cadastro
39
0,0
100,0
Total
1.385.467
99,9
N / D
999
0,1
Total Geral
1.386.466
100,0
A tabela 3, ilustrativa dessa questão, mostra a variável que descreve a presença do aluno na parte discursiva da prova de componente específico. Além dos ausentes na prova, podemos verificar 21% adicionais de concluintes que entregaram esta seção da prova em branco.
Tabela 3: Presença do aluno na parte discursiva da prova de componente específico
% Total
% Acumulado
Ausentes
266.071
19,2
19,2
Prova Objetiva e Discursiva em Branco
291.019
21,0
40,2
Protesto
3.195
0,2
40,4
Repostas OK
824.209
59,4
99,9
Resultado desconsiderado por probl. administrativos
468
0,0
100,0
Prova não realizada por probl. administrativos
505
0,0
100,0
Total
1.385.467
99,9
N / D
999
0,1
Total Geral
1.386.466
100,0
Este mesmo número para a parte discursiva de formação geral é de 12.5%, sendo que nem sempre os alunos que deixam em branco uma parte da prova, deixam também a outra.
Como não é possível estabelecer um critério que separe os potenciais “protestos”, os comportamentos negligentes, a falta de comprometimento com o propósito da avaliação, da real falta de conhecimento, optou-se pela forma mais objetiva.
Só foram consideradas na análise os resultados de Alunos que não deixaram nenhuma parte inteira da prova em branco. Mais especificamente: se o aluno deixou de responder apenas a uma ou mais

abraes.
6
questões, ele estará em nossa amostra. Porém se deixou de responder a todas as questões de um segmento da avaliação, suas informações simplesmente serão excluídas da amostra para a análise do desempenho das notas.
2.3. Universo de dados considerados válidos para este estudo
Ao aplicar-se o filtro de considerar apenas as notas de alunos que não deixaram nenhuma seção inteira da prova em branco, reduzimos nossa amostra para 787.470 concluintes, conforme a tabela 4.
Tabela 4: Concluintes que não deixaram nenhum segmento da prova em branco e estiveram presentes no exame do Enade, por ciclo de cursos
Ano Enade
% Total
% Acumulado
2010
242.252
30,8
30,8
2011
213.236
27,1
57,8
2012
331.982
42,2
100,0
Total
787.470
100,0
Todas as informações estatísticas compiladas das seções seguintes permanecem restritas a este universo de alunos. A premissa é que os percentuais encontrados nesta amostra devam ser representativos do desempenho da população, por incluírem apenas as respostas de alunos que dedicaram atenção e se empenharam em preencher todas as seções da prova. E portanto cujas informações dos questionários apresentam maior fidedignidade.
2.4. Os dados brutos das notas como métrica de desempenho dos alunos
Existe uma longa discussão sobre se o Enade seria o melhor instrumento de avaliação para acessar adequadamente a assimilação de conhecimentos do aluno ao longo do seu curso. E ainda mais no que se refere a seus resultados agregados, padronizados pelo afastamento relativo de grupos como faz a metodologia do INEP, que os incorporam em suas métricas de avaliação institucional como o CPC e o IGC.
Não pertence ao escopo deste trabalho entrar nesta discussão, nem questionar a qualidades do Enade como instrumento de avaliação do aluno. Basta para nossos propósitos que se aceite que:
(i) Trata-se de um exame censitário;
(ii) é aplicado a todos concluintes em igualdade de condições;
(iii) a metodologia é estável nos 3 ciclos considerados, permitindo comparabilidade entre os alunos, e
(iv) a metodologia utilizada permite identificar os impactos das características individuais na variabilidade de seus resultados.

abraes.
7
Os microdados contém, para cada aluno que fez a prova, o número de acertos em cada parte da prova, e o número bruto percentual de acertos para formação geral, formação específica, separados em questões discursivas e objetivas. Além da nota geral, que pondera 25% da nota de formação geral, com 75% do componente específico. Todos resultados mostraram que a nota geral é mais informativa do ponto de vista estatístico, por carregar as informações contidas em todas as demais variáveis de nota e minimizar possíveis distorções pelo formato de cada parte da prova.
O fato de a nota ser bruta, isto é, sem nenhum tipo de padronização pelo afastamento relativo de seu grupo, permite incorporar toda informação de variabilidade da população para a metodologia utilizada. E ao mesmo tempo controlar pelos efeitos fixos originais que afetam os resultados no nível do aluno, sem precisar introduzir qualquer tipo de heterogeneidade pela agregação por instituição e por curso.
Em outro trabalho, com escopo voltado para comparação de IES, é possível utilizar-se metodologia similar para obter as notas dos concluintes segmentadas por instituição e curso, dadas as características regionais, socioeconômicas, e demográficas, de seus alunos. A sutileza desta abordagem é entender que as notas observadas no Enade dizem muito mais respeito ao aluno incluindo seu esforço, condições e disposição de dedicação ao curso, e buscar posicionar o desempenho agregado da IES controlando os resultados, não só pelas características e contexto social de seus alunos.
Em outras palavras, a não consideração de alguns aspectos em nível individual do aluno, podem enviesar seriamente os resultados de algumas instituições por conta do perfil de seu alunado, devido a limitações na metodologia de agregação das notas do Enade.
3. DESCRIÇÃO DOS DADOS
O número de dimensões e variáveis contidas em microdados nos obrigam a fazer opções sobre o conjunto de análises a fazer, tabelas e relações a focar.
Nosso processo de trabalho e abordagem aos dados é top-down, ganhando insights a partir de um overview inicial dos resultados e descendo sucessivamente nos detalhes e no processo de quantificação dos impactos, de forma a seguir caminhos baseados em evidências, e cujos resultados e relações se mostraram significativos, permitindo conclusões inequívocas e reproduzíveis por outros pesquisadores.
3.1. Comportamento das Notas Gerais do Enade em função de variáveis selecionadas
3.1.1.Origem Racial
Diante da pergunta do questionário socioeconômico do Enade, que identificava: “Como você se considera?”, e seu cruzamento com os resultados na prova, observa-se a maior nota para os que se autodeclaram brancos (estatisticamente significativa), e inferior para as minorias negras e indígenas. Pardos e amarelos aparecem no grupo intermediário, ligeiramente abaixo da média nacional.

abraes.
8
3.1.2.Idade
No quesito idade, é facilmente verificável que quanto maior a idade, menor o desempenho na prova, colocando uma vantagem natural aos alunos mais jovens. Em particular a classe de 26 anos ou mais já apresenta desempenho abaixo da média nacional e concentra 44.3% da amostra de concluintes.
Tabela 5: Nota Geral no Enade segundo origem racial
Como você se considera?
% Total
Nota Bruta (%acertos) da Prova
Erro-padrão da média
N / D
64.694
8,2%
39,07
0,05
Em branco
1.109
0,1%
40,67
0,41
Branco(a)
452.305
57,4%
44,07
0,02
Negro(a)
51.092
6,5%
42,28
0,06
Pardo(a) / Mulato(a)
200.674
25,5%
42,84
0,03
Amarelo(a) (de origem oriental)
13.053
1,7%
42,83
0,12
Indígena ou de origem indígena
4.543
0,6%
42,13
0,20
Total
787.470
100,0%
43,19
0,02
Tabela 6: Nota Geral no Enade por faixa de idade
Faixa de Idade
% Total
Erro- padrão da média
até 20a
57.490
7,3%
39,08
0,05
20a-23a
213.128
27,1%
44,63
0,03
23a-26a
168.119
21,3%
44,14
0,03
26a-30a
121.986
15,5%
42,82
0,04
30a-35a
93.509
11,9%
42,61
0,04
35a-40a
56.926
7,2%
42,58
0,06
40a-50a
59.089
7,5%
42,31
0,05
50a ou mais
17.223
2,2%
40,84
0,10
Total
787.470
100,0%
43,19
0,02
3.1.3.Ensino médio de origem público/privada
Os concluintes que tiveram oportunidade de ter cursado todo o ensino médio em escola privada, apresentam vantagem considerável em relação à média nacional (25.3% dos alunos). Ter estudado em escola pública o tempo todo ou em parte (60.3%) produz notas no Enade abaixo da média nacional, e o pior cenário é para aqueles que fizeram parte na escola pública e parte na privada.

abraes.
9
Tabela 7: Nota Geral no Enade segundo origem do Ensino Fundamental e Médio
Em que tipo de escola você cursou o ensino médio?
% Total
N / D
64.694
8,2%
39,07
0,05
Em branco
3.448
0,4%
40,09
0,22
Todo em escola pública
437.183
55,5%
42,67
0,02
Todo em escola privada (particular)
198.839
25,3%
46,19
0,03
A maior parte em escola pública
37.627
4,8%
42,13
0,07
A maior parte em escola privada (particular)
28.160
3,6%
43,30
0,08
Metade em escola pública e metade em escola privada (particular)
17.519
2,2%
40,12
0,10
Total
787.470
100,0%
43,19
0,02
3.1.4.Região
Os alunos das regiões Norte (6.5%) e Centro-Oeste (9.7%) nitidamente apresentam desempenho pior do que o da média nacional do exame. Os alunos das regiões Sul e Sudeste apresentam resultados muito próximos das médias, talvez por representarem o maior contingente amostral e praticamente definirem juntos a média (68.2% dos alunos). Os alunos do Nordeste, apresentam resultados significativamente superiores (distância maior que 2 erros padrão acima da média nacional). A explicação deste fenômeno advém do maior percentual de concluintes em escolas públicas de ensino superior (38%, contra 14% da região sudeste, e 22% na média nacional), que em seu ingresso selecionam alunos com desempenho acadêmico superior, e com condições socioeconômicas em geral associadas a notas maiores no Enade. Veremos isso ao longo deste trabalho. Tabela 8: Nota Geral no Enade segundo Região de Funcionamento do Curso
Região de Funcionamento do Curso
% Total
Norte
51.197
6,5%
39,98
0,06
Nordeste
123.758
15,7%
44,04
0,04
Sudeste
357.954
45,5%
43,65
0,02
Sul
178.408
22,7%
43,35
0,03
Centro-Oeste
76.153
9,7%
41,51
0,05
Total
787.470
100,0%
43,19
0,02

abraes.
10
3.1.5.Renda
Do ponto de vista da renda, observa-se um claro aumento de desempenho na nota média dos alunos à medida que aumenta o nível de renda familiar. Um valor em torno de 5 salários mínimos é o ponto de corte aproximado a partir do qual uma maior renda está associada a notas acima da média nacional, e menor do que 5 salários, a um desempenho inferior à média nacional.
Tabela 9: Nota Geral do Enade segundo a Renda Média da Família
Somando a sua renda com a renda dos familiares que moram com você, quanto é, aproximadamente, a renda familiar? (Considere a renda de todos os seus familiares que moram na sua casa com você)
% Total
N / D
64.694
8,2%
39,07
0,05
Em branco
1.425
0,2%
40,67
0,35
Nenhuma
17.927
2,3%
44,98
0,10
Até 1,5 salário mínimo (até R$ 697,50)
61.885
7,9%
41,12
0,05
Acima de 1,5 até 3 salários mínimos (R$ 697,51 a R$ 1.395,00)
178.904
22,7%
42,12
0,03
Acima de 3 até 4,5 salários mínimos (R$ 1.395,01 a R$ 2.092,50)
148.293
18,8%
43,01
0,03
Acima de 4,5 até 6 salários mínimos (R$ 2.092,51 a R$ 2.790,00)
99.595
12,6%
43,69
0,04
Acima de 6 até 10 salários mínimos (R$ 2.790,01 a R$ 4.650,00)
117.398
14,9%
44,90
0,04
Acima de 10 até 30 salários mínimos (R$ 4.650,01 a R$ 13.950,00)
80.083
10,2%
46,59
0,05
Acima de 30 salários mínimos (mais de R$ 13.950,01)
17.266
2,2%
46,86
0,11
Total
787.470
100,0%
43,19
0,02
3.1.6.Escolaridade do pai e da mãe
Da mesma forma que a renda familiar, o nível de escolaridade dos pais é diretamente associado ao desempenho médio nos resultados do Enade de seus filhos, sendo tanto maiores quanto maior o número de anos de estudo tanto do pai quanto da mãe. Este resultado é recorrente em trabalhos com dados de censo e em geral está associado ao fato de que um maior nível de escolaridade em geral se traduz em maior produtividade, e portanto maior nível salarial e de renda da família, que acaba por propiciar melhores condições de dedicação e estudo dos filhos.
Outro resultado que vale a pena ser citado é que o nível de ensino médio, tanto do pai quanto da mãe, é o primeiro nível a produzir resultados superiores à média nacional.

abraes.
11
Esse fato corrobora:
(i) o conhecido efeito concentrador de renda da educação: pais com maior nível educacional, produzem filhos com resultados superiores na prova do Enade, e portanto que apresentam condições melhores de aproveitar seus cursos, e
(ii) o fenômeno de que o ensino médio é o nível de escolaridade de maior impacto na adição de valor para condição econômica do indivíduo.
Tabela 10: Nota Geral do Enade segundo a Escolaridade da Mãe
Até que nível de ensino sua mãe estudou?
% Total
N / D
64.694
8,2%
39,07
0,05
Em branco
3.134
0,4%
39,27
0,23
Nenhuma escolaridade
33.286
4,2%
40,82
0,07
Ensino fundamental: 1º ao 5º ano (antiga 1ª à 4ª série)
200.786
25,5%
42,53
0,03
100.933
12,8%
42,89
0,04
Ensino médio
214.175
27,2%
43,71
0,03
Ensino superior
113.588
14,4%
45,40
0,04
Pós-graduação
56.874
7,2%
46,05
0,06
Total
787.470
100,0%
43,19
0,02

abraes.
12
Tabela 11: Nota Geral do Enade segundo a Escolaridade do Pai
Até que nível seu pai estudou?
% Total
N / D
64.694
8,2%
39,07
0,05
Em branco
4.093
0,5%
40,96
0,21
Nenhuma escolaridade
42.023
5,3%
41,11
0,06
231.800
29,4%
42,58
0,03
99.233
12,6%
43,08
0,04
Ensino médio
200.648
25,5%
43,69
0,03
Ensino superior
106.506
13,5%
45,76
0,04
Pós-graduação
38.473
4,9%
46,95
0,07
Total
787.470
100,0%
43,19
0,02
3.1.7.Escola pública/privada
Alunos que estudam em escolas de ensino superior públicas apresentam na média um resultado no Enade substancialmente superior à média nacional. Reversamente aos alunos da rede privada que apresentam resultado inferior. Este resultado provavelmente está associado ao fato de que alunos com condições socioeconômicas superiores, como nível de renda familiar, e escolaridade dos pais, têm vantagem competitiva de desempenho no processo seletivo (vestibular + enem) nas universidades públicas. O que é mais um indício do conhecido efeito de concentração de renda do ensino superior gratuito.
Tabela 12: Concluintes que cursaram IESs públicas x privadas
Categoria Administrativa IES
% Total
Pública
172.587
21,9%
47,87
0,03
Privada
614.883
78,1%
41,88
0,02
Total
787.470
100,0%
43,19
0,02

abraes.
13
3.1.8.Tempo de estudo fora da sala de aula
Como não deveria deixar de se esperar, o tempo de dedicação do aluno fora de sala é determinante em seus resultados. Esta tabela tem a conclusão direta de que o empenho e esforço do aluno, independente de outras condições socioeconômicas e de acesso, é capaz de impactar significativamente o resultado do aluno. A partir de 4 horas de dedicação semanal, o resultado médio da nota do Enade dos alunos supera a média nacional. E a partir de 12 horas, supera os resultados médios dos alunos da universidade pública.
Tabela 13: Dedicação aos Estudos fora de sala de aula
Quantas horas por semana, aproximadamente, você dedica aos estudos, excetuando as horas de aula?
% Total
N / D
64.694
8,2%
39,07
0,05
Em branco
4.397
0,6%
40,09
0,20
Nenhuma, apenas assisto às aulas
47.140
6,0%
40,26
0,06
Uma a três
364.569
46,3%
42,19
0,02
Quatro a sete
184.265
23,4%
44,79
0,03
Oito a doze
70.147
8,9%
46,54
0,05
Mais de doze
52.258
6,6%
48,10
0,06
Total
787.470
100,0%
43,19
0,02

abraes.
14
3.1.9.Situação de Trabalho
Diante da pergunta sobre a melhor descrição para a situação de trabalho, o fato mais marcante é a superioridade dos resultados dos alunos que não estavam trabalhando no momento. Que contrasta fortemente com o dos que afirmaram trabalhar em período integral, e que apresentaram resultado abaixo da média nacional. Vale observar que os alunos que disseram “trabalhar eventualmente” (constituem pouco menos de 5% da amostra, e têm a renda mais baixa entre os alunos que dizem trabalhar) exibiram notas significativamente abaixo da média nacional. E que os concluintes trabalhando em período parcial ficaram próximos da média geral.
Esses resultados corroboram os resultados da pergunta anterior que avaliava o tempo de dedicação do aluno fora de sala de aula, demonstrando que quanto maior a dedicação ao curso, melhores os resultados acadêmicos.
Tabela 14: Situação atual de trabalho
Indique a resposta que melhor descreve sua atual situação de trabalho. (Não contar estágio, bolsas de pesquisa ou monitoria)
% Total
N / D
64.694
8,2%
39,07
0,05
Em branco
2.825
0,4%
39,82
0,24
Não estou trabalhando
255.594
32,5%
45,19
0,03
Trabalho eventualmente
38.296
4,9%
42,13
0,07
Trabalho até 20h / semana
45.984
5,8%
43,40
0,07
Trabalho mais de 20 e menos de 40h / semana
103.373
13,1%
43,51
0,04
Trabaho em tempo integral (40h ou mais)
276.704
35,1%
42,34
0,03
Total
787.470
100,0%
43,19
0,02
3.1.10. Nota Geral Média no Enade por Programa de Bolsas / Financiamento
Entre as variáveis que produzem diferenças significativas no desempenho dos alunos, o fato de pertencer ao Programa Prouni (com bolsa integral) é o que produz o maior impacto nas notas do Enade.
O segundo maior impacto advém dos alunos Prouni com bolsas parciais, e o terceiro vem das instituições privadas que oferecem bolsas próprias. Só daí segue-se o FIES, e então as demais alternativas de financiamento.

abraes.
15
Tabela 15: Concluintes por Bolsa ou Programa de Acesso
Que tipo de bolsa de estudos ou financiamento você recebe ou recebeu para custear as mensalidades do curso?
% Total
N/D
64.694
8,2%
39,07
0,05
Em Branco
376.891
47,9%
43,39
0,02
Múltiplas respostas
123.245
15,7%
43,62
0,04
ProUni integral
44.868
5,7%
49,35
0,06
ProUni parcial
17.493
2,2%
43,91
0,10
FIES
28.093
3,6%
42,25
0,07
Prouni Parcial e FIES
2.029
0,3%
44,25
0,27
Outro tipo bolsa governo
30.244
3,8%
41,03
0,07
Bolsa própria instituição
61.317
7,8%
43,11
0,05
Bolsa outra empresa / ONG
20.537
2,6%
41,79
0,09
Financiamento própria inst.
10.313
1,3%
41,13
0,13
Financiamento outrra entidade
3.914
0,5%
41,42
0,21
Mais de um tipo bolsa
3.832
0,5%
44,09
0,22
Total
787.470
100,0%
43,19
,02
4. SUMARIZAÇÃO E ANÁLISE DOS RESULTADOS
O número de diferentes variáveis disponíveis para análise é um desafio metodológico do ponto de vista de avaliação seus impactos individuais, dada a sobreposição de informações associadas que carregam, ou tecnicamente, a multicolinearidade presente nos dados.
Como forma de identificar mais do que variáveis, e sim diferentes dimensões relevantes de informações disponíveis nos dados, utilizamos de análise fatorial para buscar os conjuntos de variáveis que melhor descrevem a variabilidade da amostra, e separamos os resultados dos extremos dos concluintes em dois grupos, a fim de avaliar os pontos diferenciadores que melhor os caracterizem.
4.1. Principais Dimensões de informação presentes na amostra
A fim de identificar as principais dimensões nos dados, optou-se por aplicar uma análise de componentes principais às variáveis disponíveis na amostra. O objetivo desta metodologia é agrupar as variáveis com informações similares, e ordená-las segundo a contribuição de cada fator para explicar a variabilidade encontrada na amostra (diferença entre os alunos).

abraes.
16
A variância total explicada da amostra pelos 15 fatores abaixo é de 67.2%, tendo sido extraídos os fatores que apresentaram autovalores maiores do que 1.
Na tabela 16, observamos destacadas as variáveis que apresentaram cargas capazes de caracterizar mais fortemente cada um dos componentes extraídos, que estão em ordem de contribuição para a variância (primeiros contribuem mais).
Tabela 16: Matriz de cargas dos componentes principais extraídos da amostra considerada
Numa rápida análise verificamos que:
a. o primeiro fator reúne a escolaridade dos pais, o histórico em ensino médio privado e o nível de renda;
b. O segundo fator identifica aspectos regionais e raciais;
c. O terceiro fator agrupa características da IES, como o fato de ser pública ou privada, e de ser ou não universidade;
d. O quarto fator inclui a idade e o estado civil.

abraes.
17
e. O quinto fator é a área de conhecimento do curso;
f. No sexto fator aparecem novamente características regionais, em particular a presença ou não dos alunos nas regiões sul ou sudeste;
g. O sétimo fator é o período de trabalho integral ou parcial;
h. O oitavo fator é a dedicação do aluno ao curso medido por horas de estudo fora da sala de aula, e o estudo em período matutino, que contribui para a mesma dimensão;
i. O nono fator considera o fato de o do aluno cursar o ensino superior numa cidade diferente da que cursou ensino médio;
j. O décimo fator é a associação entre a região nordeste e a origem racial de minoria negra;
k. O décimo primeiro fator é o fato de o Alunos residir na Região Norte;
l. O décimo segundo fator temos a mudança de Estado da Federação para cursar o ensino superior, e
m. O décimo terceiro, décimo quarto e décimo quinto fatores estão relacionados ao tipo de bolsa ou financiamento com que o aluno conta. Importante ressaltar que a grande maioria não conta com nenhum.
É importante mencionar que esta metodologia não está avaliando o impacto de cada um desses fatores na nota do Enade, ou desempenho acadêmico do aluno, e sim caracterizando as principais dimensões de informação presentes na amostra, i.e. as características que melhor definem as diferenças entre os perfis de concluintes que fizeram a prova nos últimos 3 anos.
E depois de se observar o conjunto dos componentes extraídos, mais uma vez fica claro o papel de relevância dos fatores socioeconômicos, com destaque para escolaridade dos pais, nível de renda e acesso ao ensino médio privado; questões raciais e regionais, e oportunidade de fazer o ensino superior em IES pública.
Chama atenção o fato de logo na sequência aparecerem as condições de dedicação do aluno ao curso. Estes fatores iniciais “explicam” muito mais as diferenças entre os alunos do que “ter acesso a uma bolsa de estudos ou financiamento”, que acabam por cumprir o papel de “compensar” os níveis performance acadêmica nitidamente distintos dos alunos com condições socioeconômicas superiores.
4.2. O que diferencia o grupo dos alunos das IESs públicas e privadas? E dos alunos com Bolsa Prouni?
Ao comparar a nota geral média dos alunos da rede de IES públicas com as escolas da rede privada, verificamos uma grande diferença do desempenho em favor das públicas. A tabela 17, mostra isso em sua primeira linha.
Porém uma análise mais atenta da mesma tabela demonstra que não só as notas de rede privada são inferiores, como as condições socioeconômicas dos seus alunos: menor escolaridade dos pais, menos tempo dedicado aos estudos fora de sala de aula, um percentual duas vezes menor de alunos estudando no período matutino, e o dobro de alunos que trabalham período integral, além de uma

abraes.
18
idade média mais elevada. Os alunos da rede privada também tiveram menos oportunidades de cursar ensino médio privado, ressaltando os efeitos concentradores de melhor acesso à educação.
O Prouni compensa as diferenças
O resultado impressionante advém do efeito do Prouni: apesar das condições muito inferiores dos alunos do programa (menos da metade da renda média da família, escolaridade dos pais substancialmente inferior, 5x menos alunos tiveram condições de fazer ensino médio privado, condições raciais com maior percentual de minorias, ocorrência de trabalho em período integral e de estudo em período matutino similares às médias nacionais), o desempenho de seus concluintes no Enade não só são superiores à média nacional, como significativamente superiores aos dos alunos das escolas públicas.
Além disso, o número de horas de estudo dedicadas fora de sala de aula chega a ser superior ao das escolas públicas. Em outras palavras, apesar das condições socioeconômicas menos favoráveis, dentro da estrutura de seleção e de incentivos do programa, o aluno bolsista Prouni na rede privada é capaz de compensar sua desvantagem com base no esforço individual, dedicando-se o programa e obtendo um resultado na média superior ao dos alunos da rede pública, e em muito superior à média nacional.
Tabela 17: Alunos de IESs Públicas x Alunos de IESs Privadas e o efeito da Bolsa Prouni Integral
Públicas
Privadas
Total
Total
Não Prouni
Prouni 100%
Nota Geral Enade
47,87
41,88
41,30
49,36
# casos
172.549
614.762
570.309
44.453
% casos
21,9%
78,1%
72,4%
5,6%
cursou E.M. privado
37,2%
26,5%
28,1%
5,1%
Idade
26,68
28,76
28,92
26,70
Renda Média (em S.M.)
6,80
6,85
7,18
2,99
escolaridade do pai*
2,21
2,06
2,08
1,86
escolaridade da mãe*
2,45
2,21
2,22
2,11
# horas estudo fora sala
5,85
4,88
4,79
6,00
período matutino
54,3%
25,3%
25,5%
23,1%
trabalha integral
21,2%
39,1%
38,9%
40,8%
trabalha parcial
23,6%
23,9%
24,0%
22,3%
sexo masculino
38,3%
35,4%
35,2%
38,3%
casados
15,1%
23,9%
24,2%
19,9%
brancos
52,8%
58,7%
59,3%
51,8%

abraes.
19
negros
6,6%
6,5%
6,1%
11,5%
pardos
28,3%
24,7%
23,9%
35,3%
Nas seções seguintes esse resultado será recorrente e ficará progressivamente mais claro, sendo quantificado conjuntamente na seção 5, em que os efeitos de todas as variáveis são controlados por meio de análise de regressão, de forma a se isolar as influências das condições socioeconômicas diferentes dos alunos de diferentes grupos, e do impacto do programa na nota do aluno.
4.3. O que diferencia o grupo dos alunos com as melhores notas dos alunos com as piores?
A fim de contrastar os dois grupos extremos de alunos, avaliando-se comportamentos mais distantes da média, optou-se por contrapor os alunos que estão entre as 10% melhores notas no Enade, com os 10% que possuem as piores notas. Para efeito de comparação computou-se os valores médios em cada grupo, e na amostra total, para variáveis selecionadas. E cada grupo foi dividido entre alunos Prouni e não Prouni a fim de se demonstrar o efeito “compensatório” do Prouni como política de acesso.

abraes.
20
Tabela 18: Os 10% melhores alunos contra os 10% piores, segundo variáveis selecionados
10% piores notas
10% melhores notas
Total
Não Prouni
Prouni
Não Prouni
Prouni
Não Prouni
Prouni
Geral
Nota Geral Enade
20,52
20,97
67,44
67,68
42,82
49,35
43,19
# casos
77.771
1.494
70.752
7.944
742.445
44.866
787.311
% casos
9,9%
0,2%
9,0%
1,0%
94,3%
5,7%
100,0%
Renda Média (em S.M.)
5,9
2,8
9,2
3,2
7,1
3,0
6,8
cursou E.M. privado
21%
4%
43%
5%
30%
5%
29%
Estuda em IES Pública
14%
2%
44%
1%
23%
1%
22%
# horas estudo fora sala
4,0
5,1
6,4
6,6
5,0
6,0
5,1
brancos
51%
48%
64%
56%
58%
52%
57%
negros
7%
13%
5%
10%
6%
11%
6%
pardos
26%
37%
23%
33%
25%
35%
25%
sexo masculino
35%
40%
39%
38%
36%
38%
36%
escolaridade do pai*
1,84
1,79
2,49
1,90
2,11
1,86
2,10
escolaridade da mãe*
2,01
2,04
2,64
2,14
2,27
2,11
2,27
período matutino
22%
17%
48%
27%
32%
23%
32%
trabalha integral
36%
45%
29%
36%
35%
41%
35%
trabalha parcial
25%
23%
25%
24%
24%
22%
24%
(*) 0:
nenhuma escularidade
1:
cursou fundamental até 5o. ano
2:
cursou fundamental até 9o. ano
3:
cursos ensino médio
4:
cursou ensino superior
5:
cursou pós-graduação
A partir da tabela 18, é observa-se que os indivíduos do grupo com melhores notas possuem pais com maior escolaridade, trabalham em período integral em menor proporção, estudam em período matutino em maior frequência, tem maior participação de brancos, menor de negros, estudam mais frequentemente em IESs públicas, dedicam mais tempo ao estudo fora de sala de aula, cursaram mais o ensino médio privado, e possuem renda maior.
É nítido, portanto, que as condições socioeconômicas dos indivíduos de melhores notas, é superior aos das piores. Não por acaso, essas são as mesmas condições que permitem o maior acesso à Universidade Pública por estarem associadas ao maior desempenho acadêmico desde o ensino médio, levando ao ingresso de alunos com melhores resultados desde o processo seletivo. As notas superiores no Enade, acabam sendo consequência dessas condições iniciais de “vantagem” desses alunos.

abraes.
21
Prouni & Não Prouni
Por outro lado, o aluno que pertence ao programa Prouni, mais do que compensa essa diferença de condições. Alunos Prouni aparecem numa proporção 3 x menor do que a média no grupo das piores notas, e 2x maior do que a média no grupo das melhores notas. A nota geral dos alunos Prouni é em média 15% superior ao dos alunos não Prouni, quando se olha para o total da amostra.
Enquanto os alunos dos grupos das melhores notas estudam em 48% dos casos no período matutino, os alunos Prouni estudam de manhã em apenas 27% dos casos, e possuem uma renda em média 3x inferior aos alunos não Prouni. Neste mesmo grupo das melhores notas, apesar da “desvantagem” em praticamente todas as variáveis, esses alunos competem com as mesmas notas, e dedicam tempo de estudo fora de sala de aula semelhante ao dos alunos de IESs públicas.
Este é um resultado importante uma vez que reforça a conclusão de que políticas de inclusão com claros sistemas de incentivo (como a perda da bolsa em caso de mau resultado acadêmico) e corretamente direcionados a indivíduos em situação de fragilidade social, e baixas condições de acesso, produzem condições que compensam a desigualdade social da entrada no sistema.
No grupo das 10% piores notas, o efeito é o mesmo: apesar dos indicadores mostrarem menor escolaridade dos pais, menor renda, alunos que trabalham em maior frequência, e estudam em menor proporção no período da manhã, tendo tido menor oportunidade de fazer o ensino médio em colégios privados, ainda assim o fato de pertencer ao programa Prouni aumenta a dedicação de horas de estudo fora de sala de aula, e compensa a renda da família que é praticamente a metade da dos alunos não Prouni.
Na classe das melhores notas, os alunos fizeram ensino médio em escola privada numa frequência 2x superior ao dos alunos das piores notas, e estudam em IES públicas numa proporção 3x maior do que nas piores notas.

abraes.
22
4.4. Visualizações Gráficas
Talvez as duas visualizações gráficas que resumam os principais efeitos verificados na análise descritiva dos dados sejam as que selecionamos nos gráficos 1 e 2.
O Gráfico 1 mostra:
(i) a associação positiva entre renda da família e resultados de aproveitamento do curso dos indivíduos nelas inseridos;
(ii) a relação entre um maior nível de escolaridade e um desempenho superior dos alunos, para qualquer nível de renda. Gráfico 1: Nota Geral no Enade segundo a Renda Familiar e Escolaridade do Pai

abraes.
23
O Gráfico 2 mostra a associação entre os resultados das notas dos alunos e os diferentes níveis de renda familiar, comparando os concluintes oriundos das escolas públicas, com os programas de acesso ao ensino superior particular (Prouni, FIES, e bolsas das próprias instituições).
É fácil verificar que os alunos participantes do Programa Prouni com bolsa integral tem resultados superiores a todos os outros, incluindo os alunos de escolas públicas, exceto para rendas familiares acima de 30 salários mínimos, onde o resultado é praticamente ruído (são apenas 20 alunos nesta condição, em toda amostra dos 3 anos de concluintes)
A ordenação das curvas também chama bastante atenção, com alunos Prouni de bolsa integral em primeiro lugar, seguidos pelos alunos de escolas públicas, alunos de Prouni com bolsa parcial, alunos com bolsas das próprias instituições privadas onde estudam, e por último, os alunos do FIES.
Para todos os programas, a associação entre o nível de renda e as notas é positiva (cresce a renda, melhora o desempenho do aluno).
Vale ressaltar que os alunos Prouni de bolsa integral apresentam resultados menos sensíveis ao nível de renda familiar, mostrando resultado bastante uniforme do programa ao longo da curva.
Gráfico 2: Nota Geral no Enade em IES Pública x Privada, na presença de Programas de Bolsa

abraes.
24
5. QUANTIFICAÇÃO DOS IMPACTOS
5.1. Análise de Regressão: impacto dos efeitos fixos, controlados pelos principais fatores de influência
Tendo como variável dependente a nota geral do Enade, e recodificando algumas das variáveis para que pudessem ser adequadamente modeladas, e ter seu impacto na nota geral verificado, obtivemos os resultados abaixo. Uma regressão altamente significativa, com p-value do teste F virtualmente zero, com valor da estatística F de 2250,9 para 90 graus de liberdade, e R2 de 0.235, o que constitui um resultado adequado para modelos com este volume de observações e dimensionalidade.
Tabela 19: Regressão da Nota Geral do Enade contra variáveis disponíveis
Área de Curso no Enade
Beta
Erro-padrão
Estatística "t"
p-value
Constante
30,744
0,092
334,888
0,000
IES_PUB
6,115
0,046
132,408
0,000
IES_CENTUNIV
-0,16
0,046
-3,451
0,001
IES_UNIV
0,103
0,037
2,778
0,005
REG_SE
1,695
0,054
31,261
0,000
REG_S
1,553
0,059
26,32
0,000
REG_N
-2,276
0,08
-28,537
0,000
REG_NE
1,156
0,064
18,166
0,000
SEXO_M
1,345
0,034
39,748
0,000
MATUTINO
1,147
0,039
29,752
0,000
CASADO
-0,259
0,038
-6,74
0,000
BRANCO
-0,701
0,073
-9,594
0,000
NEGRO
-1,715
0,09
-19,047
0,000
PARDO
-1,107
0,076
-14,638
0,000
ANOS_APOS_EM
0,047
0,003
17,713
0,000
ESTUDO_PAI
0,302
0,016
19,468
0,000
ESTUDO_MAE
0,301
0,015
19,932
0,000
TRAB_INTEGRAL
-0,458
0,042
-10,989
0,000
TRAB_PARCIAL
-1,307
0,041
-31,522
0,000
ESTUDO_FORA_SALA
0,32
0,004
82,899
0,000
ORIGEM_EM_PRIV
1,351
0,041
33,299
0,000
PESSOAS_EM_CASA
-0,544
0,009
-62,236
0,000
MUDOU_CID
-0,032
0,048
-0,671
0,502
MUDOU_EST
-0,102
0,068
-1,508
0,131
RF_15_30SM
1,342
0,056
23,833
0,000
RF_30_45SM
2,821
0,059
47,461
0,000
RF_45_60SM
3,826
0,065
58,984
0,000
RF_60_100SM
4,831
0,064
75,073
0,000
RF_MAIS_10SM
5,799
0,071
82,053
0,000

abraes.
25
BOLSA_PROUNI100
10,046
0,066
151,73
0,000
BOLSA_PROUNI50
4,86
0,1
48,365
0,000
BOLSA_FIES
0,375
0,083
4,539
0,000
BOLSA_PROPRIA_INST
1,734
0,056
30,951
0,000
BOLSA_OUTRA_PRIV
1,129
0,091
12,453
0,000
BOLSA_OUTRA_PUBL
-0,203
0,077
-2,641
0,008
O mesmo modelo de regressão inclui um efeito fixo para cada área de cursos do exame, permitindo controlar os resultados das notas gerais por área de conhecimento, temos os coeficientes:
Tabela 20: Efeitos Fixos por curso estimados na regressão
Área de Curso no Enade
Beta
Erro-padrão
Estatística "t"
p-value
DIREITO
4,402
0,06
73,86
0,000
ECONOMIA
-6,442
0,183
-35,248
0,000
PSICOLOGIA
2,713
0,106
25,675
0,000
CIENCIAS_CONTABEIS
0,513
0,08
6,42
0,000
DESIGN
8,14
0,168
48,538
0,000
TURISMO
5,696
0,194
29,373
0,000
SECRETARIADO_EXECUTIVO
10,762
0,312
34,548
0,000
RELACOES_INTERNACIONAIS
6,655
0,244
27,255
0,000
TECNOLOGIA_NEGOCIOS
5,961
0,059
100,718
0,000
JORNALISMO
11,123
0,149
74,666
0,000
PUBLICIDADE_E_PROPAGANDA
1,422
0,124
11,485
0,000
ARQUITETURA_E_URBANISMO
6,699
0,153
43,794
0,000
TECNOLOGIA_INDUSTRIAL
5,888
0,207
28,414
0,000
TECNOLOGIA_ALIMENTOS
0,141
0,434
0,324
0,746
TECNOLOGIA_CONSTRUCAO
7,712
0,593
13,013
0,000
TECNOLOGIA_QUIMICA
4,587
0,691
6,634
0,000
TECNOLOGIA_SISTEMAS
4,223
0,15
28,104
0,000
TECNOLOGIA_AMBIENTAL
7,504
0,595
12,614
0,000
MATEMATICA
-3,671
0,173
-21,191
0,000
LETRAS
8,599
0,098
87,937
0,000
FISICA
-0,722
0,353
-2,047
0,041
QUIMICA
1,813
0,169
10,714
0,000
BIOLOGIA
8,366
0,108
77,815
0,000
PEDAGOGIA
13,98
0,064
219,704
0,000
HISTORIA
0,128
0,143
0,892
0,372
ARTES_VISUAIS
14,476
0,248
58,447
0,000
GEOGRAFIA
6,113
0,16
38,296
0,000
FILOSOFIA
4,285
0,229
18,748
0,000
COMPUTACAO
7,138
0,093
76,743
0,000

abraes.
26
MUSICA
-1,992
0,43
-4,632
0,000
CIENCIAS_SOCIAIS
9,999
0,271
36,878
0,000
ENGENHARIA_1
6,271
0,161
38,835
0,000
ENGENHARIA_2
3,297
0,146
22,577
0,000
ENGENHARIA_3
-0,439
0,189
-2,328
0,020
ENGENHARIA_4
-2,412
0,251
-9,629
0,000
ENGENHARIA_5
9,607
0,441
21,76
0,000
ENGENHARIA_6
-1,885
0,152
-12,407
0,000
ENGENHARIA_7
3,062
0,203
15,051
0,000
ENGENHARIA_8
6,972
0,347
20,078
0,000
MEDICINA_VETERINARIA
9,193
0,185
49,573
0,000
ODONTOLOGIA
14,639
0,167
87,412
0,000
MEDICINA
16,881
0,134
125,684
0,000
AGRONOMIA
11,277
0,184
61,199
0,000
FARMACIA
8,293
0,132
63,007
0,000
ENFERMAGEM
13,552
0,09
151,24
0,000
FONOAUDIOLOGIA
13,488
0,373
36,123
0,000
NUTRICAO
9,761
0,16
61,193
0,000
EDUCACAO_FiSICA
6,532
0,132
49,417
0,000
FISIOTERAPIA
7,942
0,128
62,175
0,000
SERVICO_SOCIAL
1,365
0,11
12,457
0,000
ZOOTECNIA
10,662
0,332
32,102
0,000
TERAPIA_OCUPACIONAL
8,496
0,538
15,792
0,000
BIOMEDICINA
7,391
0,23
32,102
0,000
TECNOLOGIA_RADIOLOGIA
9,483
0,334
28,41
0,000
TECNOLOGIA_AGROINDUSTRIA
8,914
0,53
16,821
0,000
TECNOLOGIA_HOSPITALAR
7,568
0,615
12,308
0,000
5.2. Qual a sensibilidade dos fatores de interesse
A interpretação desses coeficientes é bem direta para a maior parte dos casos. Para os controles de curso, o valor do beta estimado é o que deve ser somado à nota para um curso deferente de Administração, que é o maior programa do país, e serve de referência.
Já as variáveis: IES_PUB (se estuda em IES pública=1), IES_CENTUNIV (se estuda em centro universitário=1), IES_UNIV (se estuda em universidade=1), REG_SE (se estuda na região sudeste=1), REG_S (se estuda na região sul=1), REG_N (se estuda na região norte=1), REG_NE (se estuda na região nordeste=1), SEXO_M (se é do sexo masculino=1), MATUTINO (se estuda em período matutino=1), CASADO (se é casada(o)=1), BRANCO (se estuda em IES pública=1), NEGRO (se estuda em IES pública=1), PARDO (se estuda em IES pública=1), TRAB_INTEGRAL (se trabalha em período integral=1), TRAB_PARCIAL (se trabalha em período parcial=1), ORIGEM_EM_PRIV (se fez ensino médio em escola privada=1), MUDOU_CID (se mudou de cidade para cursar o ensino superior=1), MUDOU_EST (se mudou de estado=1), RF_15_30SM (se a renda familiar é entre 1.5 e 3.0 s.m.=1), RF_30_45SM (se a renda familiar é entre 3.0 e 4.5 s.m.=1), RF_45_60SM (se a renda familiar é entre

abraes.
27
4.5 e 6.0 s.m.=1), RF_60_100SM (se a renda familiar é entre 6 e 10 s.m.=1), RF_MAIS_10SM (se a renda familiar é de 10 s.m. ou mais=1), BOLSA_PROUNI100 (se tem bolsa Prouni 100%=1), BOLSA_PROUNI50 (se tem bolsa Prouni 50%=1), BOLSA_FIES (se é bolsista FIES=1), BOLSA_PROPRIA_INST (se tem bolsa da própria IES=1), BOLSA_OUTRA_PRIV (se possui outro tipo de bolsa privada=1), BOLSA_OUTRA_PUBL (se possui outro tipo de bolsa privada =1), apresentam uma codificação zero ou um, permitindo que se associe diretamente impacto daquela característica (positiva ou negativa e dada pela magnitude do beta estimado) na nota geral do aluno.
Algumas outras variáveis como ESTUDO_PAI, ESTUDO_MAE, ESTUDO_FORA_SALA e PESSOAS_EM_CASA apresentam valores em escala. E neste caso seu efeito total na nota é o produto do beta pelo valor da variável. Por exemplo, com 4 pessoas em casa, a nota geral do aluno no Enade cai em média 2.18 pontos (-0.544 x 4). Ou com Pai e Mãe na última categoria em anos de estudo, ambos com pós-graduação, falamos em (5x0.302 + 5x0.301), o que produz um impacto total de 3 pontos na nota geral do aluno.
5.3. Quanto Custa um aluno no ensino superior?
5.3.1.No Prouni
A renúncia fiscal estimada para o programa Prouni e relatada no “Relatório de Parecer Prévio sobre as Contas do Governo da República”, feito pelo TCU, foi de R$ 824M para 2013. A Secretaria da Receita Federal estimou o mesmo número para 2013 em R$750.9M. Ela advém da isenção de pagamento do IRPJ, da CSLL e da COFINS para as IES que aderirem ao Prouni, na proporcionalidade das vagas ocupadas para as vagas exigidas pelo programa para 100% da isenção.
O total de bolsas ativas do Prouni em dezembro de 2013 foi de 500.263, sendo que aproximadamente 55.8%1 delas são integrais e o restante, parciais. Considerando o custo do aluno parcial a metade do aluno integral, teríamos cerca de 389.8mil alunos integrais equivalentes. E neste caso chegamos a um custo aproximado de R$ 1.926 por aluno, por ano, ou a cerca de R$161 por aluno equivalente / mês.
5.3.2.Numa IFES (Instituição Federal de Ensino Superior)
Segundo o “Relatório de Parecer Prévio sobre as Contas do Governo da República”, feito pelo TCU, o custo corrente por aluno equivalente é de R$ 13.996 por ano (ou R$16.054 quando incluídas as despesas com hospitais universitários). Supondo o número sem hospital universitário, estamos falando num custo mensal por aluno no programa de R$1.166.
1 Número estimado pelo autor com base em modelo de evasão ajustado pelos dados anuais de ingresso de alunos no Prouni, e que chega no número de bolsas Prouni ativas para dezembro de 2013 fornecido pelo Prof. Dilvo Ristoff, de 500.263 alunos.

abraes.
28
5.3.3.No Fies
Também para 2013, estimativas da equipe de análise do Credit Suisse, mostram o custo por aluno no FIES como algo na casa dos R$4.700 / ano, baseado num ticket médio no setor privado ao redor de R$600 / mês. Isto implicaria um custo do programa de cerca de R$390 por aluno por mês.
5.3.4.Com uma bolsa no setor privado
A partir do valor médio das mensalidades no Ensino Superior Privado estimado pela Hoper Educação, de um ticket médio de R$621/mês para 2013, e considerando uma bolsa/desconto médios oferecidos na casa dos 15%-25% do valor da mensalidade, estaríamos chegamos num custo dos programas estritamente privados da ordem de R124 / mês.
6. ANÁLISE BENEFÍCIO-CUSTO
Comparando o benefício advindo do aumento da nota geral no Enade com o custo por aluno entre programas, podemos ter uma boa ideia da efetividade do recurso público sendo alocado em cada um. Totalizando as matrículas da tabela 21, chegamos a 3.7M de alunos, ou 50.8% das matrículas do ensino superior em 20132, sem contar outros recursos públicos como escolas e bolsas mantidas por governos estaduais e municipais.
Como é patente ao longo de todo este trabalho, as disparidades de condições socioeconômicas influem seriamente nas notas dos concluintes. Como o ensino superior público tem um elevado nível de exigência acadêmica para ingresso, este acaba selecionando os alunos que tiveram mais oportunidades de estudar em escola privada no ensino médio, cuja renda familiar e escolaridade dos pais eram maiores.
2 Segundo o Censo da Educação Superior 2013, o número total de matrículas na Graduação foi de 7.305.977.

abraes.
29
Tabela 21: Custo por aluno e Incremento de nota por Programa de Acesso ao Ensino
Custo / Aluno
Nota Bruta Média no Enade
Incremento na Nota Bruta
# Alunos atualmente matriculados atingidos pelo programa
Incremento de nota para cada R$1000 de no aluno investimento
IFES (públicas)
13.996
47,87
6,1
1.137,9mil
0,4
Prouni 100%
1.926
49,35
10
279,4mil
5,2
Prouni 50%
963
43,91
4,9
220,9mil
5,1
FIES
4700
42,25
0,4
1.407mil
0,1
Bolsas das Próprias IES
1490
43,11
1,7
664mil
1,1
Ao controlar pelos efeitos fixos das demais variáveis na análise de regressão foi possível identificar a contribuição à nota do aluno, e entende-se, à sua produtividade futura. Portanto, esta é uma medida do benefício de cada programa, avaliado diretamente pelo desempenho do aluno. Dividindo-se este valor por cada R$1000 investidos por cada programa no aluno, obtém-se a última coluna, isto é o impacto de cada R$1.000 investidos por ano em cada indivíduo.
Fica clara a superioridade do Prouni e de esquemas mais exigentes para concessão e seleção de bolsas por mérito acadêmico, aumentando a eficiência dos programas e dos recursos públicos neles investidos.
Infelizmente, com os dados disponíveis no censo não é possível separar os efeitos do processo de ingresso inicial dos alunos, que se baseia no Enem, e que em tese pode introduzir um viés de seleção dos alunos de melhor desempenho, da exigência de desempenho acadêmico mínimo durante o curso, o que poderá eliminar os alunos de piores resultados, e implicaria notas médias maiores ao longo do tempo. Porém, qualquer que seja a causa, e provavelmente ambas são válidas em algum sentido, e a conclusão final permanece a mesma: os alunos Prouni apresentam desempenho significativamente superior à média, inclusive aos alunos de universidades públicas.
Fato é que o setor privado é capaz de produzir alunos tão bons ou melhores do que a universidade pública, a um custo 7 vezes menor no Prouni, recebendo alunos de desempenho acadêmico e situação social muito desfavoráveis em relação ao aluno médio das IFES. E se olharmos a razão entre o incremento de nota por R$1.000 investidos por aluno, chegamos a um número 13 vezes mais eficiente quando comparamos os bolsistas Prouni integrais da rede privada, com os alunos de universidades públicas.

abraes.
30
Tanto do ponto de vista acadêmico e pedagógico, quanto de políticas públicas, uma investigação mais detalhada a respeito da estrutura de incentivos que leva a resultados de desempenho superiores dos alunos do Prouni no Enade é fundamental para a melhoria da eficiência dos demais programas.
7. CONCLUSÕES
Entre as conclusões que podemos tirar a partir dos resultados apresentados, vale a pena destacar:
7.1. A qualidade aluno depende do ambiente de incentivos.
Entre as restrições feitas aos alunos para a manutenção no programa Prouni está a aprovação em pelo menos 75% das disciplinas.
Seja por este fato que ou descarta os alunos com notas muito baixas pelo caminho, ou impõe um maior nível de exigência aos que permanecem, ou até seja porque o processo seletivo de ingresso já faz uma seleção inicial, fato é que as notas dos alunos no Prouni são superiores ao dos demais programas de acesso. Isso por si só torna a alocação de recursos no programa mais eficiente, fazendo com que os gastos indiretos com a renúncia fiscal sejam investidos em alunos que apresentam melhores resultados.
O que nos leva à importante questão de que os programas de bolsas, sejam públicos ou privados, deveriam exigir um nível mínimo de desempenho acadêmico para seus ingresso e manutenção, destinando recursos a alunos que de fato invistam energia em seu programa.
7.2. Programas públicos de acesso conferem chance a mais do que 50% dos alunos do Ensino Superior hoje.
Ao olhar para os números dos programas separadamente, só em IES públicas de um lado (26.4% dos alunos), ou apenas Fies ou Prouni nas privadas (26.1%), perde-se a dimensão da relevância da participação conjunta dessas iniciativas no acesso ao ensino superior. O debate em geral se restringe a cada programa ao invés de considerar o conjunto das políticas que alocam recursos públicos para permitir que mais alunos estudem e se qualifiquem.
7.3. O setor particular tem papel absolutamente central nas políticas de acesso ao ensino superior, e faz um bom trabalho se controlados outros fatores socioeconômicos, regionais e demográficos, que acabam impactando negativamente nos resultados dos alunos. Isso é corroborado pelo fato de que alunos oriundos do Prouni apresentam impacto na nota do Enade superior aos que pertençam à Universidade Pública. Em outras palavras, políticas de acesso como o Prouni mais do que compensam a desvantagem relativa que alunos vindos de estratos socioeconômicos mais baixos, produzindo resultados acadêmicos na média superiores aos alunos de IESs públicas, que carregam os alunos dos estratos superiores.

abraes.
31
7.4. Um número que normalmente não é destacado é o contingente de alunos que se forma recebendo bolsa ou ajuda da própria IES onde estudam. Esse número é significativo, tendo atingido nos ciclos 2010-2012 a participação de 32% dos programas de bolsa no ensino superior. O que é próximo em ordem de grandeza aos cerca de 40% de concluintes oriundos do Prouni e Fies somados.
7.5. Quando comparado ao Prouni, o ensino oferecido pela universidade pública é pouco eficiente e concentrador de renda.
O custo por aluno de uma vaga de universidade pública é substancialmente superior, e apresenta impacto menor no resultado aos alunos se comparado ao Prouni. Além de em geral estar associado a um maior nível de renda da família do aluno, maior escolaridade dos pais, e estudo fundamental e médio cursado em escola privada.
Existe uma questão importante de que a universidade pública tem um papel preponderante na pesquisa científica hoje no brasil, e que este custo estaria sendo contabilizado neste número. De toda forma, a expansão do sistema via expansão de vagas públicas não encontra suporte em termos de resultados de desempenho dos alunos, e representa um nível de gasto que poderia ser revisto com uma realocação mais eficiente de recursos públicos com maiores impactos para a sociedade.
7.6. Necessidade de estudos adicionais para traduzir/quantificar o desempenho no Enade, em melhor produtividade, salários e renda gerada na sociedade.
É sabido que níveis superiores de educação estão fortemente associados a renda média mais alta. E a renda mais alta advém da maior produtividade deste indivíduo, que recebe salários mais elevados exatamente por oferecê-la à sociedade. Por este aspecto seria de se supor que notas superiores no Enade, de alguma forma se traduzissem em diferenciais de produtividade, e melhores condições de vida no futuro.
De toda forma parece mais provável que um indivíduo do grupo com notas mais elevadas no Enade venha a se mostrar mais produtivo no futuro, do que um pertencente ao grupo das notas mais baixas.
7.7. Universidade Pública pode ser revista como política de expansão e modelo de organização para o ensino superior do país .
É sabido que diferentes escolas públicas apresentam resultados e indicadores bastante heterogêneos. Uma das formas de aumentar a eficiência da rede de universidades públicas é exatamente gerenciar a alocação de recursos de forma a privilegiar as que apresentam melhores resultados acadêmicos no Enade, incentivando melhoria na gestão e obtenção de resultados de seu produto final, que é o aluno. Menos do que o volume de recursos destinados às Universidades Públicas, é a eficiência em sua aplicação ao obter resultados é que conta. Caso contrário a operação de algumas instituições federais por instituições privadas de resultado comprovado no desempenho do aluno não só aliviaria o orçamento público, liberando recursos para outros investimentos, como aumentaria a eficiência dos recursos por ela alocados, entenda-se professores e infraestrutura a serviço e em condições de produzir alunos melhor preparados.

abraes.
32
8. REFERÊNCIAS E FONTES DE DADOS
Credit Suisse Securities Research &Analytics. Brazil Education, Who Said Education Wasn’t Good In Brazil. February 27th, 2014.
Hoper Educação. Análise Setorial do Ensino Superior Privado. Brasil / 2014.
INEP Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. [portal do Inep na internet]. Microdados Enade 2010, 2011 e 2012 [acesso em 20 ago 2014]. Disponível em: http://portal.inep.gov.br
INEP Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. [portal do Inep na internet]. Sinopses Estatísticas da Educação Superior [acesso em 20 ago 2014]. Disponível em: http://portal.inep.gov.br
Ministério do Planejamento, Orçamento e Gestão. Secretaria de Orçamento Federal. [portal do orçamento federal na internet]. Orçamentos da União. Exercício Financeiro 2013. Projeto de Lei Orçamentária. [acesso em 26 set 2014]. Disponível em: http://www.orcamentofederal.gov.br
Prouni Programa Universidade para Todos. [portal Prouni na internet]. Dados e Estatísticas [acesso em 26 set 2014]. Disponível em: http://prouniportal.mec.gov.br
SRF Receita Federal. Demonstrativo dos Gastos Tributários 2013. Agosto 2012.
TCU Tribunal de Contas da União. Relatório e Parecer Prévio sobre as Contas do Governo da República. Exercício de 2012. Brasília. 2013.
TCU Tribunal de Contas da União. Relatório e Parecer Prévio sobre as Contas do Governo da República. Exercício de 2013. Brasília. 2014.

Impacto do Prouni sobre desempenho de seus alunos no Enade

Recomendados

Recomendados

Mais conteúdo relacionado

Destaque

Destaque (14)

Semelhante a Impacto do Prouni sobre desempenho de seus alunos no Enade

Semelhante a Impacto do Prouni sobre desempenho de seus alunos no Enade (20)

Mais de Palácio do Planalto

Mais de Palácio do Planalto (20)

Impacto do Prouni sobre desempenho de seus alunos no Enade