O documento discute os principais sistemas de avaliação e indicadores educacionais no Brasil. Ele aborda: 1) as funções do governo federal na avaliação da educação básica, que incluem avaliação diagnóstica, somativa e formativa; 2) o SINAES, que avalia estudantes, cursos e instituições de ensino superior; e 3) os principais indicadores como o IDEB e os resultados do SAEB/Prova Brasil ao longo do tempo.

1. Panorama das Avaliações e
Indicadores Educacionais no
Brasil
Reynaldo Fernandes
Universidade de São Paulo

2. Indicadores e Avaliação na Educação Básica:
Funções do Governo Federal
 Avaliação Diagnóstica: Apenas oferecendo
instrumentos (ex: provinha Brasil).
 Avaliação Somativa:
 Grandes Exames (SAEB, Prova Brasil, Enem e Pisa)
 Indicadores de Fluxo (aprovação, reprovação e abandono)
 IDEB – Principal Indicador
 Não há indicadores de valor adicionado para a educação
básica
 Avaliação Formativa: Não há
 Fonte de dados: Exames e Censo Educacional

3.  SINAES
 Sistema que envolve três tipos de avaliações:
 Avaliação dos estudantes – ENADE
 Avaliação de cursos
 Avaliação de instituições
 Auto-avaliação interna
 Avaliação externa
Avaliação das IES no Brasil

4. Principais Indicadores
 Enade
 IDD
 CPC
 Conceito do Curso
Obs – Há também o censo da educação
superior com informações por alunos,
professores etc.

5. 20 Anos de SAEB/Prova Brasil:
Uma Avaliação de Seus
Resultados

6. O IDEB decresce nos anos 90 e
cresce a partir de 2003/2005

7. IDEB - Anos Iniciais EF
3.8
3.6
3.5
3.6
3.8
4.2
4.6
5
5.2
3
3.3
3.6
3.9
4.2
4.5
4.8
5.1
5.4
5.7
6
1997 1999 2001 2003 2005 2007 2009 2011 2013
IDEB
IDEB AI

8. IDEB – Anos Finais EF
3.9
3.7 3.7
3.6
3.5
3.8
4
4.1
4.2
3
3.3
3.6
3.9
4.2
4.5
4.8
1997 1999 2001 2003 2005 2007 2009 2011 2013
IDEB
IDEB AF

9. IDEB – Ensino Médio
4
3.6 3.6 3.6
3.4
3.5
3.6
3.7 3.7
3
3.3
3.6
3.9
4.2
4.5
4.8
1997 1999 2001 2003 2005 2007 2009 2011 2013
IDEB
IDEB EM

10. Na evolução do IDEB o
desempenho no SAEB/Prova Brasil
é o dominante

11. Desempenho – Série Histórica
SAEB/Prova Brasil
186.5
170.7
165.1
169.4
172.3
175.8
184.3
190.6
195.9
150
155
160
165
170
175
180
185
190
195
200
1997 1999 2001 2003 2005 2007 2009 2011 2013
Língua Portuguesa - Anos Iniciais
Língua Portuguesa AI

12. Desempenho – Série Histórica
SAEB/Prova Brasil
250
232.9
235.2
232 231.9
234.6
244
243
245.8
225
230
235
240
245
250
255
1997 1999 2001 2003 2005 2007 2009 2011 2013
Língua Portuguesa - Anos Finais
Língua Portuguesa AF

13. Desempenho – Série Histórica
SAEB/Prova Brasil
283.9
266.6
262.3
266.7
257.6
261.4
268.8
267.6
264.1
255
260
265
270
275
280
285
290
1997 1999 2001 2003 2005 2007 2009 2011 2013
Língua Portuguesa - Ensino Médio
Língua Portuguesa EM

14. Desempenho – Série Histórica
SAEB/Prova Brasil
190.8
181
176.3 177.1
182.4
193.5
204.3
209.6
211.2
150
160
170
180
190
200
210
220
1997 1999 2001 2003 2005 2007 2009 2011 2013
Matemática - Anos Iniciais
Matemática AI

15. Desempenho – Série Histórica
SAEB/Prova Brasil
250
246.4
243.4
245
239.5
247.4
248.7
250.6
251.5
235
240
245
250
255
260
1997 1999 2001 2003 2005 2007 2009 2011 2013
Matemática - Anos Finais
Matemática AF

16. Desempenho – Série Histórica
SAEB/Prova Brasil
288.7
280.3
276.7
278.7
271.3
272.9
274.7
273.9
270.2
260
265
270
275
280
285
290
295
1997 1999 2001 2003 2005 2007 2009 2011 2013
Matemática – Ensino Médio
Matemática EM

17. 1) Por que as notas do SAEB caem nos anos
90?
2) O que determinou, a partir de 2003, o
crescimento das notas do SAEB/Prova Brasil
nos anos iniciais do ensino fundamental?
3) Por que esse crescimento não se confirmou
(ao menos na mesma intensidade) para as
outras fases do ensino básico?
Perguntas Chaves

18. A queda das notas do SAEB nos
anos 90

19.  Explicação mais comum: universalização do
ensino, com inclusão dos alunos mais carentes
 Queda de desempenho em exames padronizados
em períodos de expansão de matrículas tem sido
observado em outros lugares
 Por exemplo, nos EUA, a pontuação média do SAT
(em expressão verbal) caiu cerca de meio desvio
padrão entre 1963 e 1980, período de forte
expansão da proporção de jovens que completam a
high school (Hanushek, 1986).
Por que o SAEB “despenca” entre 1995 e
2001?

20.  Expansão de matrículas e queda de
desempenho
 Hip 1: a expansão piora a qualidade de
ensino (e.g. as matrículas crescem mais
rápido do que os recursos)
 Hip 2: efeito de composição: o perfil dos
alunos que fazem a prova muda.
Por que o SAEB “despenca” entre 1995 e
2001? (continuação)

21.  A redução no atraso escolar e da evasão (para as
séries mais avançadas) é muito mais significativa
do que a inclusão para explicar a mudança de
composição dos alunos que fazem o SAEB.
 Em 1995, 93,9% das crianças de 10 anos de idade
freqüentavam a escola. Esse número sobe para
97,6% em 1999
 Nesse período a pontuação do SAEB cai 10 pontos
em matemática e 17,5 pontos em leitura.
Por quê o SAEB “despenca” entre 1995 e
2001? (continuação)

22.  Com a queda da repetência há um
“desrepresamento” de alunos atrasados, o que
tende a provocar uma onda. No caso, um
movimento de redução e posterior aumento nas
notas do SAEB
 Passada a onda, o nível da proficiência deveria
ser inferior ao inicial. O fluxo, no entanto, seria
melhor
 Para as séries mais avançadas a composição
dos alunos muda também devido a redução da
evasão
Por quê o SAEB “despenca” entre 1995 e
2001? (continuação)

23.  Três possibilidades:
1) Comparar o desempenho de determinada série
ao longo do tempo, independentemente da idade
dos alunos (e.g. SAEB/Prova Brasil).
2) Comparar o desempenho de gerações
sucessivas em determinada idade,
independentemente da série cursada (e.g. PISA).
3) Comparar o desempenho de gerações
sucessivas em determinada série,
independentemente do ano que o aluno é
testado.
Como avaliar se o desempenho dos estudantes
está melhorando ao longo do tempo?

24. Fluxo escolar
% de crianças de 10 anos atrasadas ou fora da
escola
57
53.03
43.79
37.33
32.70 31.23
1995 1997 1999 2001 2003 2005
Fonte: PNAD – IBGE - vários anos

25. Desempenho no SAEB: Série X Geração
(Fernandes e Natenzon, 2003)
Figura 1. Mediana do desempenho em Matemática: Série X Geração
Região Sudeste 1995-2001
4a série do Ensino Fundamental como referência
120
130
140
150
160
170
180
190
200
210
220
1995 1997 1999 2001
Proficiência
Série Geração Geração na série

26. O Crescimento do IDEB na Fase
Inicial do EF a partir de 2003

27.  A proficiência dos alunos tem um crescimento
expressivo entre 2005 e 2013: 29 pontos em
matemática e 24 pontos em leitura
 Entre o 5º e o 9º ano a variação na proficiência é em
torno de 50 pontos
 Assim, os alunos avançaram (entre 2005 e 2013)
aproximadamente 1,9 ano de estudo em leitura e 2,3
anos em matemática
Aspectos de Destaque

28.  Inflação de Notas
 Melhora das condições familiares – educação
dos pais.
 Aumento da educação infantil
 Ênfase na alfabetização e “numeramento”
 Ensino Fundamental de nove anos
O Crescimento Após 2005: Explicações

29. Minas Gerais: Introdução do EF de 9 Anos
em 2004
4.9 4.9
5.8
6
6.2
4
4.5
5
5.5
6
6.5
2005 2007 2009 2011 2013
IDEB - Anos Iniciais - MG
IDEB Anos Iniciais

30. Ribeirão Preto: Introdução do EF de 9 Anos
em 2007
4.6
4.7
4.9
6.1 6.1
4
4.5
5
5.5
6
6.5
2005 2007 2009 2011 2013
IDEB - Anos Iniciais - RP
IDEB Anos Iniciais

31.  Pablo A. Peña (2014)
 Impacto em Matemática: 4,43 pontos (0,09DP)
 Impacto em LP: 5,11 pontos (0,1 DP)
 Isso explicaria 11% do crescimento em
matemática e 14% do crescimento em LP,
entre 2007 e 2011
Impacto da Introdução do Ensino de 9 anos
ao final da 1ª Etapa do EF

32. O Crescimento do IDEB na Fase
Inicial do Ensino Fundamental e a
“Teoria da Onda”

33.  Esperava-se que o crescimento do IDEB na
primeira fase do ensino fundamental,
observada a partir de 2007, fosse observada
também :
 a partir de 2011 nos anos finais do ensino
fundamental; e
 a partir 2015 no ensino médio
 Isso não ocorreu em 2011 para os anos finais
do EF e não se espera que ocorra em 2015
para o EM
 Questão: Por que?
“Teoria da Onda”

34. Evolução do desempenho no
SAEB/Prova Brasil na Fase Final do
EF: 2005 a 2013

35.  A proficiência dos alunos tem um crescimento
razoável entre 2005 e 2013: 12 pontos em
matemática (0,24 DP) e 13,9 pontos em leitura (0,28
DP)
 Não há estudos sobre efeito de composição para a 2ª
fase do EF, mas temos o PISA (pessoas com 15 anos
– escolaridade ideal 1º ano do EM)
 Os resultados do PISA são compatíveis com os
resultados do SAEB/Prova Brasil.
Aspectos de Destaque

36. Desempenho Brasil - PISA
Média Leitura Matemática Ciências
2012
2009
402
401
410
412
391
386
405
405
2006 384 393 370 390
2003 383 403 356 390
2000
12- 00
368
34
396
14
334
57
375
30
Resultado por área de conhecimento

37. Desempenho Latino Americano no PISA – Média
Geral
2000 2003 2006 2009 2012 12-00 12-06
OCDE 496 498 493 496 497 1 4
COLÔMBIA - - 381 399 393 - 12
BRASIL 368 383 384 401 402 34 18
ARGENTINA 401 - 382 396 397 -4 15
MÉXICO 410 397 409 420 417 7 8
CHILE 403 - 431 439 436 33 5
URUGUAI - 432 422 427 412 - -10
PANAMÁ - - - 369 - - -
PERU 317 - - 369 375 58 -

38.  Em tese o PISA mede o desempenho entre
gerações sucessivas.
 Para o Brasil, no entanto, isso não ocorre em
virtude de parte da geração de referência já estar
fora da escola ou abaixo do 8º ano (7ª série) do EF.
 Em 2012, a proporção de jovens da geração de
referência elegível para o PISA foi de 72,7%. Em
2000 essa proporção era em torno de 60%
 Assim, o PISA também está sujeito a efeitos de
composição
Desempenho Brasil - PISA

39.  A geração de referência e a data da realização da
prova tem mudado entre diferentes edições do
PISA no Brasil.
Desempenho Brasil - PISA
Edição População de Referência - 15 anos
completos em:
Dada do
Exame
2000 30 de junho outubro
2003 30 de abril agosto
2006 30 de abril agosto
2009 31 de dezembro 2008 maio
2012 31 de dezembro 2011 maio

40.  A mudança da geração de referência e a data da
realização da prova tem dois impactos:
1) Eleva a proporção de alunos nas séries mais
elevadas (efeito positivo sobre as notas)
2) Para cada série, reduz o tempo de exposição
(efeito negativo sobre as notas)
Desempenho Brasil - PISA

41.  Nascidos entre junho a dezembro (Klein, 2001)
Desempenho Brasil: considerando apenas
que satisfazem qualquer dos critérios
Média Leitura Matemática Ciências
2009 398 408 382 403
2006 385 394 370 390
2003 382 403 354 389
2000
09-00
371
27
397
11
340
42
375
28

42. Evolução do desempenho no
SAEB/Prova Brasil no Ensino Médio:
2005 a 2013

43.  Hipóteses:
1. Como não ocorreu mudança no ensino após o EF1
e, especialmente no EM, os ganhos iniciais vão
sendo perdido (decay)
2. Problemas com integração vertical da escala (uma
única escala para diferentes níveis de ensino)
3. Um ano a mais de escolaridade no início vai se
tornando menos importante nas séries mais
avançadas (relacionado com o item 1)
4. Efeitos de composição
Por Que o Avanço no EF1 não Alcançou o
EM?

44.  Decay tem sido observado em várias
intervenções educacionais e em vários lugares.
 Intervenções pontuais (positivas ou negativas)
tendem a se dissipar se não houver continuidade
 Esse é o pior cenário. Os ganhos iniciais seriam
perdidos e, ao final, os alunos chegariam no
mesmo lugar que chegariam na falta do
crescimento de desempenho observado do EF1
Intervenção Educacional e Decay

45.  Não há como garantir que a escala do SAEB seja
uma escala de intervalos (10 pontos significa a
mesma coisa em qualquer ponto da escala).
 Ainda que seja uma escala de intervalos, pode ser
mais difícil crescer quanto a pontuação vai
aumentando. O conhecimento pode apresentar
retornos decrescentes. Isso também é verificado na
escalo do NAEP
 A escala se limita a leitura e matemática e os
principais ganhos nas séries mais avançadas podem
se dar em outras dimensões (e.g. ciências, história
etc)
Os Menores Crescimentos nas Séries Finais do Ensino
Básico e a Escala Vertical

46. Ensino Fundamental de 9 Anos
 No 5º ano – Um ano a mais em 5 (20% a mais)
 No 9º ano – Um ano a mais em 9 (11% a mais)
 No fim do EM – Um ano a mais em 12 (8% a
mais)
O Impacto do EF de 9 Anos Pode Perder
importância nas Séries Mais Avançadas

47.  Da mesma forma que a mudança de composição
de quem faz a prova foi importante para explicar
a queda do desempenho no final do EF1 nos
anos 90, ele pode ser importante hoje para
explicar o pior desempenho apresentado no
Ensino Médio.
 Estão chegando alunos ao final do EM que há
alguns anos atrás não chegariam e esses alunos
tendem a ter um pior desempenho (queda da
repetência e evasão)
Evolução do Desempenho no Ensino Médio e
o Efeito de Composição

48. Efeito de Composição no Ensino Médio
38.4
41
44.4
45.3
46.6
48
48.8
51.2 51.6 51.8 52
54.4
55.5
30
35
40
45
50
55
60
2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013
Taxa Líquida de Matrícula no Ensino Médio

49. Evolução do desempenho no SAEB/Prova
Brasil : 1995 a 2013
 Como devemos interpretar o movimento das
notas do SAEB/Prova Brasil ao longo do tempo?
 O quadro apresentado deve ser considerado
positivo ou negativo?

50. Perfil da escolaridade do brasileiro com 22 anos
de idade
0%
10%
20%
30%
40%
50%
60%
1992 1993 1994* 1995 1996 1997 1998 1999 2000* 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011
0 a 4 anos de estudo 5 a 8 anos de estudo 9 a 11 anos de estudo 12 anos de estudo ou mais