Palestra com a temática "AVALIAÇÃO ESTADUAL Comparada às Nacionais: SAEB e ENEM", ministrada por Silvana Morais, em março de 2010, durante a Formação Profissional dos Professores do Centro de Mídias de Educação do Amazonas, em Manaus.

1. AVALIAÇÃO ESTADUAL
Comparada às Nacionais:
SAEB e ENEM
Março/2010

2. O QUE É SADEAM?
É o Sistema de Avaliação do Desempenho Educacional
do Amazonas, que nos dois primeiros anos avaliou os
alunos do 5º e 9º anos do Ensino Fundamental e 3ª série
do Ensino Médio e EJA médio, mas, também pretende
avaliar:
• Coordenadores;
• Gestores;
• Professores;
• Seduc-sede.

3. OBJETIVOS
Diagnosticar o nível de aprendizagem dos alunos dos anos iniciais
e finais do ensino fundamental em língua portuguesa e matemática,
bem como suas competências e habilidades descritas na matriz do
SAEB;
Diagnosticar o nível de aprendizagem dos alunos do ensino médio
(regular e EJA) nas competências e habilidades descritas na matriz
do ENEM;
Identificar os fatores intervenientes no processo ensino-
aprendizagem, como ambiente físico, gestão administrativa e
participativa, gestão pedagógica e gestão do pedagogo.
Compor o Índice de Desenvolvimento Educacional do Amazonas -
IDEAM;
Orientar ações para melhoria do ensino.

4. CARACTERÍSTICAS DAS
AVALIAÇÕES
SAEB ANTIGO ENEM NOVO ENEM
Pesquisa por amostra Avaliação por adesão Avaliação por adesão
Matriz de referência Matriz baseada em 5 Matriz de referência em
construída a partir das grandes competências- 4 áreas de
respostas nos item - TCT conhecimento, construí
TRI da a partir das
respostas dos alunos -
TRI
Resultados refletem o Resultado reflete Resultado pode refletir
desempenho da rede apenas o resultado do o desempenho da
de ensino aluno escola

5. TEORIA DA MEDIDA
Quando se desenvolve um teste objetiva-se,
utilizando esse instrumento, obter uma amostra de
comportamentos (que representem algo latente, não
passível de observação direta).
Ao se fazer uso de um teste o comportamento é
quantificado de alguma forma a fim de que se obtenha
um escore numérico (Lord,1980).
Na teoria da medida o significado de uma
mensuração, incluindo um escore em um teste, requer
a especificação de uma comparação.

6. TEORIA DA MEDIDA
Por exemplo, a mensuração de altura envolve a
comparação entre o comprimento de uma pessoa e o
comprimento de uma medida, como uma escala
métrica (Embretson & Reise, 2000)
Uma comparação tem duas características que
devem ser especificadas: (a) o padrão com o qual um
escore é comparado e (b) a base numérica da
comparação (ordem, diferença, relação, etc.).
Para a medida de altura: o padrão com o qual uma
pessoa é comparada é uma escala métrica e a base
numérica é uma relação

7. TEORIA DA MEDIDA
Na TCT o padrão para comparações entre escores é
outra pessoa (ou seja, a distribuição dos escores) e a
base numérica da comparação é ordinal.
Na TRI os níveis do traço latente têm significado em
comparação com itens. Pessoas e itens são colocados
em uma escala comum nos modelos da TRI (Embretson
& Reise, 2000).

8. TCT – TEORIA CLÁSSICA DOS TESTES
Preocupação: explicar o resultado final total, isto é, a
soma das respostas dadas a uma série de itens,
expressa no escore total (T).
Interesse: produzir testes de qualidade.
O foco é o comportamento (escore num teste –
conjunto de comportamentos).

9. TCT – TEORIA CLÁSSICA DOS TESTES
EXEMPLO
Sujeito Item 1 Item 2 Item 3 Item 4 Item 5 Escore total
1 1 1 0 0 0 2
2 0 1 1 0 0 2
3 1 1 0 1 0 3
4 1 1 1 0 0 3
5 1 0 1 0 1 3
6 1 1 1 1 0 4
7 1 1 1 0 1 4
8 1 1 0 1 1 4

10. LIMITAÇÕES DA TCT
Talvez a falha mais importante da TCT é que as
características dos examinandos e as características do
teste não podem ser separadas: cada um só pode ser
interpretado no contexto do outro.
A habilidade de um examinando é definida somente
em termos de um teste particular.
Quando o teste é “difícil” o examinando parecerá ter
baixa habilidade; quando o teste é “fácil” o examinando
parecerá ser mais habilidoso.

11. LIMITAÇÕES DA TCT
Se um item é difícil ou fácil, depende da habilidade
dos examinandos que estão sendo testados, e a
habilidade dos examinandos depende se os itens do
teste são fáceis ou difíceis!
Assim, é muito difícil comparar examinandos que
fizeram testes diferentes e muito difícil comparar itens
cujas características foram obtidas usando diferentes
grupos de examinandos.

12. LIMITAÇÕES DA TCT
Quais as conseqüências práticas de características
do item dependerem do grupo de examinandos do qual
elas foram obtidas, isto é, são grupo-dependentes?
Quais são as conseqüências dos escores dos
examinandos serem dependentes de um conjunto
particular de itens administrado, isto é, são teste-
dependentes?

13. LIMITAÇÕES DA TCT
É difícil comparar examinandos que fazem testes
diferentes: os escores nos dois testes estão em
escalas diferentes e não existe relação funcional entre
as escalas.
Quando os examinandos são de habilidades
diferentes (i. é., o teste é mais difícil para um grupo
do que para outro), seus escores no teste contêm
diferentes quantidades de erro.

14. TRI – TEORIA DE RESPOSTA AO ITEM
As características desejáveis de uma teoria de teste
alternativa incluiriam:
(a) características dos itens não grupo-dependentes,
(b) escores dos examinandos não teste-dependentes,
(c) modelo expresso no nível do item ao invés do teste,
(d) modelo que não requer formas de teste estritamente
paralelas para avaliar a fidedignidade,
(e) modelo que provê uma medida da precisão para cada
escore.

15. CARACTERÍSTICA DA TRI
Estimativas da habilidade dos examinandos não
são teste-dependentes.
Os índices dos itens não são grupo-dependentes.
As estimativas das habilidades obtidas de
diferentes conjuntos de itens serão as mesmas
(exceto por erros amostrais).
Na TRI os parâmetros dos itens e a habilidade são
invariantes.

16. POSTULADOS DA TRI
 A TRI baseia-se em dois postulados:
I. O desempenho de um examinando em um item
pode ser predito (ou explicado) por um conjunto de
fatores chamados traços latentes ou habilidade;
II. A relação entre o desempenho de um examinando
em um item e o conjunto de traços presentes pode
ser descrita por uma função monotônica
crescente: Função Característica do Item ou Curva
Característica do Item (CCI).

17. TCT versus TRI
TCT TRI
A fidedignidade tem A função de informação tem
prioridade na construção prioridade na construção
dos testes dos testes
A dificuldade dos itens A dificuldade dos itens tem
não tem papel decisivo papel decisivo na
na construção dos testes construção dos testes
O teste é avaliado como Os itens são as unidades de
um todo análise

18. PARÂMETROS
valor de a discriminação classificação do item
0 nenhuma quanto à dificuldade
0.01 a 0.34 muito baixa
muito fácil
0.35 a 0.64 Baixa
0.65 a 1.34 Moderada fácil
1.35 a 1.69 alta médio
> 1.7 muito alta
díficil
+ perfeita
muito díficil

19. SADEAM 2008
Como foi realizado?
Elaboração de
Pré – testagem Construção
Item Análise dos Itens
dos itens das Provas
Matriz ENEM
Processamento
Encaminhamento Retorno e
Aplicação e constituição
do Material conferência
das bases de dados
Análise dos dados Indicadores de
Qualidade da Escola
Fatores Contextuais
– Questionários
Desempenho –
Prova Fatores Associados
+ Fluxo Escola
IDEAM
Divulgação dos Resultados e Oficina com as Escolas

20. SADEAM 2008
Resultados
Desempenho 3º ano

21. SADEAM 2008
Resultados
Competências ENEM
I. Dominar a norma culta da Língua Portuguesa e fazer uso das linguagens
matemática, artística e científica.
II. Construir e aplicar conceitos das várias áreas do conhecimento para a
compreensão de fenômenos naturais, de processos histórico-geográficos, da
produção tecnológica e das manifestações artísticas.
III. Selecionar, organizar, relacionar, interpretar dados e informações
representados de diferentes formas, para tomar decisões e enfrentar situações-
problema.
IV. Relacionar informações, representadas em diferentes formas, e conhecimentos
disponíveis em situações concretas, para construir argumentação consistente.
V. Recorrer aos conhecimentos desenvolvidos na escola para elaboração de
propostas de intervenção solidária na realidade, respeitando os valores humanos
e considerando a diversidade sociocultural.

22. SADEAM 2008
Resultados

23. SADEAM 2008
Resultados

24. SADEAM 2008
Indicadores de Qualidade
•Foram definidos seis indicadores de qualidade que
abordam três dimensões: Gestão Escolar, Práticas
Pedagógicas e Ambiente Físico.
•Os indicadores de qualidade são numéricos e individuais
para cada instituição e município.
•Os indicadores ainda pretendem evidenciar características
das escolas /municípios e indicar possíveis ações internas
que buscam garantir bons resultados escolares.

25. SADEAM 2008
Indicadores de Qualidade
Escola
Perfil
Diretor Gestão Política
Ambiente
Gestão do Pedagogo
Coordenador
Gestão Gestão Administrativa
Participativa
Professor
Práticas
Pedagógicas Práticas de Ensino
Aluno
Práticas de incentivo
ao uso da Biblioteca

26. SADEAM 2008
Indicadores de Qualidade

28. COMPOSIÇÃO DO IDEAM- Ens. Médio
IDEAM - Médio = N x P onde:
N = Nota obtida na prova objetiva com equivalência de 0 a 10 pontos.
P = inverso do tempo médio de conclusão na etapa de ensino (aferido
através da taxa de aprovação de cada série da etapa de ensino).
Sendo que: N ~ 0 a 10 e P ~ 0 a 1
O IDEAM - Médio, utiliza metodologia específica do estado, portanto,
NÃO PODE SER COMPARADO AO IDEB_Médio.
1ª SÉRIE 2ª SÉRIE 3ª SÉRIE
TOTAL T=Temp
(AP%) (AP%) (AP%)
ESPECIFICAÇÃO Número o Médio N= Nota
ESCOLA X 75,0 78,0 89,0 80,7 de para P = 1/T padroniz N*P
séries concluir ada
1 série
ESPERADO 100,0 100,0 100,0 100,0
TEMPO PARA
CONCLUIR 1,3 1,3 1,1 3,7 3 1,2460,802 5,0 4,01

29. ENS. MÉDIO REGULAR- IDEAM
REDE ESTADUAL - MÉDIA POR MUNICÍPIO
Mais de 4,0 pontos
De3,1 a 4,0 pontos
De 2,6 a 3,0 pontos
De 2,0 a 2,5 pontos
Menos de 2 pontos

30. ÍNDICE DE DESENVOLVIMENTO DA EDUCAÇÃO DO
AMAZONAS
ENSINO MÉDIO- 2008
LOCAL MÉDIO REGULAR EJA
CAPITAL 2,0 1,7
INTERIOR 2,4 2,0
ESTADO 2,2 1,9
Fonte: CESPE- UnB/SEDUC/DEPLAN/GEPIE

31. “...escola eficaz é aquela que viabiliza
que seus alunos apresentem
desempenho educacional além do
esperado, face à origem social dos
alunos e à composição social do corpo
discente da escola.”
Mortimore, P.

32. Obrigada!