1. Panorama das Avaliações e
Indicadores Educacionais no
Brasil
Reynaldo Fernandes
Universidade de São Paulo
2. Indicadores e Avaliação na Educação Básica:
Funções do Governo Federal
Avaliação Diagnóstica: Apenas oferecendo
instrumentos (ex: provinha Brasil).
Avaliação Somativa:
Grandes Exames (SAEB, Prova Brasil, Enem e Pisa)
Indicadores de Fluxo (aprovação, reprovação e abandono)
IDEB – Principal Indicador
Não há indicadores de valor adicionado para a educação
básica
Avaliação Formativa: Não há
Fonte de dados: Exames e Censo Educacional
3. SINAES
Sistema que envolve três tipos de avaliações:
Avaliação dos estudantes – ENADE
Avaliação de cursos
Avaliação de instituições
Auto-avaliação interna
Avaliação externa
Avaliação das IES no Brasil
4. Principais Indicadores
Enade
IDD
CPC
Conceito do Curso
Obs – Há também o censo da educação
superior com informações por alunos,
professores etc.
5. 20 Anos de SAEB/Prova Brasil:
Uma Avaliação de Seus
Resultados
17. 1) Por que as notas do SAEB caem nos anos
90?
2) O que determinou, a partir de 2003, o
crescimento das notas do SAEB/Prova Brasil
nos anos iniciais do ensino fundamental?
3) Por que esse crescimento não se confirmou
(ao menos na mesma intensidade) para as
outras fases do ensino básico?
Perguntas Chaves
19. Explicação mais comum: universalização do
ensino, com inclusão dos alunos mais carentes
Queda de desempenho em exames padronizados
em períodos de expansão de matrículas tem sido
observado em outros lugares
Por exemplo, nos EUA, a pontuação média do SAT
(em expressão verbal) caiu cerca de meio desvio
padrão entre 1963 e 1980, período de forte
expansão da proporção de jovens que completam a
high school (Hanushek, 1986).
Por que o SAEB “despenca” entre 1995 e
2001?
20. Expansão de matrículas e queda de
desempenho
Hip 1: a expansão piora a qualidade de
ensino (e.g. as matrículas crescem mais
rápido do que os recursos)
Hip 2: efeito de composição: o perfil dos
alunos que fazem a prova muda.
Por que o SAEB “despenca” entre 1995 e
2001? (continuação)
21. A redução no atraso escolar e da evasão (para as
séries mais avançadas) é muito mais significativa
do que a inclusão para explicar a mudança de
composição dos alunos que fazem o SAEB.
Em 1995, 93,9% das crianças de 10 anos de idade
freqüentavam a escola. Esse número sobe para
97,6% em 1999
Nesse período a pontuação do SAEB cai 10 pontos
em matemática e 17,5 pontos em leitura.
Por quê o SAEB “despenca” entre 1995 e
2001? (continuação)
22. Com a queda da repetência há um
“desrepresamento” de alunos atrasados, o que
tende a provocar uma onda. No caso, um
movimento de redução e posterior aumento nas
notas do SAEB
Passada a onda, o nível da proficiência deveria
ser inferior ao inicial. O fluxo, no entanto, seria
melhor
Para as séries mais avançadas a composição
dos alunos muda também devido a redução da
evasão
Por quê o SAEB “despenca” entre 1995 e
2001? (continuação)
23. Três possibilidades:
1) Comparar o desempenho de determinada série
ao longo do tempo, independentemente da idade
dos alunos (e.g. SAEB/Prova Brasil).
2) Comparar o desempenho de gerações
sucessivas em determinada idade,
independentemente da série cursada (e.g. PISA).
3) Comparar o desempenho de gerações
sucessivas em determinada série,
independentemente do ano que o aluno é
testado.
Como avaliar se o desempenho dos estudantes
está melhorando ao longo do tempo?
24. Fluxo escolar
% de crianças de 10 anos atrasadas ou fora da
escola
57
53.03
43.79
37.33
32.70 31.23
1995 1997 1999 2001 2003 2005
Fonte: PNAD – IBGE - vários anos
25. Desempenho no SAEB: Série X Geração
(Fernandes e Natenzon, 2003)
Figura 1. Mediana do desempenho em Matemática: Série X Geração
Região Sudeste 1995-2001
4a série do Ensino Fundamental como referência
120
130
140
150
160
170
180
190
200
210
220
1995 1997 1999 2001
Proficiência
Série Geração Geração na série
27. A proficiência dos alunos tem um crescimento
expressivo entre 2005 e 2013: 29 pontos em
matemática e 24 pontos em leitura
Entre o 5º e o 9º ano a variação na proficiência é em
torno de 50 pontos
Assim, os alunos avançaram (entre 2005 e 2013)
aproximadamente 1,9 ano de estudo em leitura e 2,3
anos em matemática
Aspectos de Destaque
28. Inflação de Notas
Melhora das condições familiares – educação
dos pais.
Aumento da educação infantil
Ênfase na alfabetização e “numeramento”
Ensino Fundamental de nove anos
O Crescimento Após 2005: Explicações
29. Minas Gerais: Introdução do EF de 9 Anos
em 2004
4.9 4.9
5.8
6
6.2
4
4.5
5
5.5
6
6.5
2005 2007 2009 2011 2013
IDEB - Anos Iniciais - MG
IDEB Anos Iniciais
30. Ribeirão Preto: Introdução do EF de 9 Anos
em 2007
4.6
4.7
4.9
6.1 6.1
4
4.5
5
5.5
6
6.5
2005 2007 2009 2011 2013
IDEB - Anos Iniciais - RP
IDEB Anos Iniciais
31. Pablo A. Peña (2014)
Impacto em Matemática: 4,43 pontos (0,09DP)
Impacto em LP: 5,11 pontos (0,1 DP)
Isso explicaria 11% do crescimento em
matemática e 14% do crescimento em LP,
entre 2007 e 2011
Impacto da Introdução do Ensino de 9 anos
ao final da 1ª Etapa do EF
32. O Crescimento do IDEB na Fase
Inicial do Ensino Fundamental e a
“Teoria da Onda”
33. Esperava-se que o crescimento do IDEB na
primeira fase do ensino fundamental,
observada a partir de 2007, fosse observada
também :
a partir de 2011 nos anos finais do ensino
fundamental; e
a partir 2015 no ensino médio
Isso não ocorreu em 2011 para os anos finais
do EF e não se espera que ocorra em 2015
para o EM
Questão: Por que?
“Teoria da Onda”
35. A proficiência dos alunos tem um crescimento
razoável entre 2005 e 2013: 12 pontos em
matemática (0,24 DP) e 13,9 pontos em leitura (0,28
DP)
Não há estudos sobre efeito de composição para a 2ª
fase do EF, mas temos o PISA (pessoas com 15 anos
– escolaridade ideal 1º ano do EM)
Os resultados do PISA são compatíveis com os
resultados do SAEB/Prova Brasil.
Aspectos de Destaque
36. Desempenho Brasil - PISA
Média Leitura Matemática Ciências
2012
2009
402
401
410
412
391
386
405
405
2006 384 393 370 390
2003 383 403 356 390
2000
12- 00
368
34
396
14
334
57
375
30
Resultado por área de conhecimento
38. Em tese o PISA mede o desempenho entre
gerações sucessivas.
Para o Brasil, no entanto, isso não ocorre em
virtude de parte da geração de referência já estar
fora da escola ou abaixo do 8º ano (7ª série) do EF.
Em 2012, a proporção de jovens da geração de
referência elegível para o PISA foi de 72,7%. Em
2000 essa proporção era em torno de 60%
Assim, o PISA também está sujeito a efeitos de
composição
Desempenho Brasil - PISA
39. A geração de referência e a data da realização da
prova tem mudado entre diferentes edições do
PISA no Brasil.
Desempenho Brasil - PISA
Edição População de Referência - 15 anos
completos em:
Dada do
Exame
2000 30 de junho outubro
2003 30 de abril agosto
2006 30 de abril agosto
2009 31 de dezembro 2008 maio
2012 31 de dezembro 2011 maio
40. A mudança da geração de referência e a data da
realização da prova tem dois impactos:
1) Eleva a proporção de alunos nas séries mais
elevadas (efeito positivo sobre as notas)
2) Para cada série, reduz o tempo de exposição
(efeito negativo sobre as notas)
Desempenho Brasil - PISA
41. Nascidos entre junho a dezembro (Klein, 2001)
Desempenho Brasil: considerando apenas
que satisfazem qualquer dos critérios
Média Leitura Matemática Ciências
2009 398 408 382 403
2006 385 394 370 390
2003 382 403 354 389
2000
09-00
371
27
397
11
340
42
375
28
43. Hipóteses:
1. Como não ocorreu mudança no ensino após o EF1
e, especialmente no EM, os ganhos iniciais vão
sendo perdido (decay)
2. Problemas com integração vertical da escala (uma
única escala para diferentes níveis de ensino)
3. Um ano a mais de escolaridade no início vai se
tornando menos importante nas séries mais
avançadas (relacionado com o item 1)
4. Efeitos de composição
Por Que o Avanço no EF1 não Alcançou o
EM?
44. Decay tem sido observado em várias
intervenções educacionais e em vários lugares.
Intervenções pontuais (positivas ou negativas)
tendem a se dissipar se não houver continuidade
Esse é o pior cenário. Os ganhos iniciais seriam
perdidos e, ao final, os alunos chegariam no
mesmo lugar que chegariam na falta do
crescimento de desempenho observado do EF1
Intervenção Educacional e Decay
45. Não há como garantir que a escala do SAEB seja
uma escala de intervalos (10 pontos significa a
mesma coisa em qualquer ponto da escala).
Ainda que seja uma escala de intervalos, pode ser
mais difícil crescer quanto a pontuação vai
aumentando. O conhecimento pode apresentar
retornos decrescentes. Isso também é verificado na
escalo do NAEP
A escala se limita a leitura e matemática e os
principais ganhos nas séries mais avançadas podem
se dar em outras dimensões (e.g. ciências, história
etc)
Os Menores Crescimentos nas Séries Finais do Ensino
Básico e a Escala Vertical
46. Ensino Fundamental de 9 Anos
No 5º ano – Um ano a mais em 5 (20% a mais)
No 9º ano – Um ano a mais em 9 (11% a mais)
No fim do EM – Um ano a mais em 12 (8% a
mais)
O Impacto do EF de 9 Anos Pode Perder
importância nas Séries Mais Avançadas
47. Da mesma forma que a mudança de composição
de quem faz a prova foi importante para explicar
a queda do desempenho no final do EF1 nos
anos 90, ele pode ser importante hoje para
explicar o pior desempenho apresentado no
Ensino Médio.
Estão chegando alunos ao final do EM que há
alguns anos atrás não chegariam e esses alunos
tendem a ter um pior desempenho (queda da
repetência e evasão)
Evolução do Desempenho no Ensino Médio e
o Efeito de Composição
49. Evolução do desempenho no SAEB/Prova
Brasil : 1995 a 2013
Como devemos interpretar o movimento das
notas do SAEB/Prova Brasil ao longo do tempo?
O quadro apresentado deve ser considerado
positivo ou negativo?
50. Perfil da escolaridade do brasileiro com 22 anos
de idade
0%
10%
20%
30%
40%
50%
60%
1992 1993 1994* 1995 1996 1997 1998 1999 2000* 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011
0 a 4 anos de estudo 5 a 8 anos de estudo 9 a 11 anos de estudo 12 anos de estudo ou mais