AVALIAÇÃO ESTADUAL Comparada às Nacionais: SAEB e ENEM

14.887 visualizações

Publicada em

Palestra com a temática "AVALIAÇÃO ESTADUAL Comparada às Nacionais: SAEB e ENEM", ministrada por Silvana Morais, em março de 2010, durante a Formação Profissional dos Professores do Centro de Mídias de Educação do Amazonas, em Manaus.

Publicada em: Educação
0 comentários
1 gostou
Estatísticas
Notas
  • Seja o primeiro a comentar

Sem downloads
Visualizações
Visualizações totais
14.887
No SlideShare
0
A partir de incorporações
0
Número de incorporações
15
Ações
Compartilhamentos
0
Downloads
114
Comentários
0
Gostaram
1
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide

AVALIAÇÃO ESTADUAL Comparada às Nacionais: SAEB e ENEM

  1. 1. AVALIAÇÃO ESTADUAL Comparada às Nacionais: SAEB e ENEM Março/2010
  2. 2. O QUE É SADEAM? É o Sistema de Avaliação do Desempenho Educacional do Amazonas, que nos dois primeiros anos avaliou os alunos do 5º e 9º anos do Ensino Fundamental e 3ª série do Ensino Médio e EJA médio, mas, também pretende avaliar: • Coordenadores; • Gestores; • Professores; • Seduc-sede.
  3. 3. OBJETIVOS Diagnosticar o nível de aprendizagem dos alunos dos anos iniciais e finais do ensino fundamental em língua portuguesa e matemática, bem como suas competências e habilidades descritas na matriz do SAEB; Diagnosticar o nível de aprendizagem dos alunos do ensino médio (regular e EJA) nas competências e habilidades descritas na matriz do ENEM; Identificar os fatores intervenientes no processo ensino- aprendizagem, como ambiente físico, gestão administrativa e participativa, gestão pedagógica e gestão do pedagogo. Compor o Índice de Desenvolvimento Educacional do Amazonas - IDEAM; Orientar ações para melhoria do ensino.
  4. 4. CARACTERÍSTICAS DAS AVALIAÇÕES SAEB ANTIGO ENEM NOVO ENEM Pesquisa por amostra Avaliação por adesão Avaliação por adesão Matriz de referência Matriz baseada em 5 Matriz de referência em construída a partir das grandes competências- 4 áreas de respostas nos item - TCT conhecimento, construí TRI da a partir das respostas dos alunos - TRI Resultados refletem o Resultado reflete Resultado pode refletir desempenho da rede apenas o resultado do o desempenho da de ensino aluno escola
  5. 5. TEORIA DA MEDIDA Quando se desenvolve um teste objetiva-se, utilizando esse instrumento, obter uma amostra de comportamentos (que representem algo latente, não passível de observação direta). Ao se fazer uso de um teste o comportamento é quantificado de alguma forma a fim de que se obtenha um escore numérico (Lord,1980). Na teoria da medida o significado de uma mensuração, incluindo um escore em um teste, requer a especificação de uma comparação.
  6. 6. TEORIA DA MEDIDA Por exemplo, a mensuração de altura envolve a comparação entre o comprimento de uma pessoa e o comprimento de uma medida, como uma escala métrica (Embretson & Reise, 2000) Uma comparação tem duas características que devem ser especificadas: (a) o padrão com o qual um escore é comparado e (b) a base numérica da comparação (ordem, diferença, relação, etc.). Para a medida de altura: o padrão com o qual uma pessoa é comparada é uma escala métrica e a base numérica é uma relação
  7. 7. TEORIA DA MEDIDA Na TCT o padrão para comparações entre escores é outra pessoa (ou seja, a distribuição dos escores) e a base numérica da comparação é ordinal. Na TRI os níveis do traço latente têm significado em comparação com itens. Pessoas e itens são colocados em uma escala comum nos modelos da TRI (Embretson & Reise, 2000).
  8. 8. TCT – TEORIA CLÁSSICA DOS TESTES Preocupação: explicar o resultado final total, isto é, a soma das respostas dadas a uma série de itens, expressa no escore total (T). Interesse: produzir testes de qualidade. O foco é o comportamento (escore num teste – conjunto de comportamentos).
  9. 9. TCT – TEORIA CLÁSSICA DOS TESTES EXEMPLO Sujeito Item 1 Item 2 Item 3 Item 4 Item 5 Escore total 1 1 1 0 0 0 2 2 0 1 1 0 0 2 3 1 1 0 1 0 3 4 1 1 1 0 0 3 5 1 0 1 0 1 3 6 1 1 1 1 0 4 7 1 1 1 0 1 4 8 1 1 0 1 1 4
  10. 10. LIMITAÇÕES DA TCT Talvez a falha mais importante da TCT é que as características dos examinandos e as características do teste não podem ser separadas: cada um só pode ser interpretado no contexto do outro. A habilidade de um examinando é definida somente em termos de um teste particular. Quando o teste é “difícil” o examinando parecerá ter baixa habilidade; quando o teste é “fácil” o examinando parecerá ser mais habilidoso.
  11. 11. LIMITAÇÕES DA TCT Se um item é difícil ou fácil, depende da habilidade dos examinandos que estão sendo testados, e a habilidade dos examinandos depende se os itens do teste são fáceis ou difíceis! Assim, é muito difícil comparar examinandos que fizeram testes diferentes e muito difícil comparar itens cujas características foram obtidas usando diferentes grupos de examinandos.
  12. 12. LIMITAÇÕES DA TCT Quais as conseqüências práticas de características do item dependerem do grupo de examinandos do qual elas foram obtidas, isto é, são grupo-dependentes? Quais são as conseqüências dos escores dos examinandos serem dependentes de um conjunto particular de itens administrado, isto é, são teste- dependentes?
  13. 13. LIMITAÇÕES DA TCT É difícil comparar examinandos que fazem testes diferentes: os escores nos dois testes estão em escalas diferentes e não existe relação funcional entre as escalas. Quando os examinandos são de habilidades diferentes (i. é., o teste é mais difícil para um grupo do que para outro), seus escores no teste contêm diferentes quantidades de erro.
  14. 14. TRI – TEORIA DE RESPOSTA AO ITEM As características desejáveis de uma teoria de teste alternativa incluiriam: (a) características dos itens não grupo-dependentes, (b) escores dos examinandos não teste-dependentes, (c) modelo expresso no nível do item ao invés do teste, (d) modelo que não requer formas de teste estritamente paralelas para avaliar a fidedignidade, (e) modelo que provê uma medida da precisão para cada escore.
  15. 15. CARACTERÍSTICA DA TRI Estimativas da habilidade dos examinandos não são teste-dependentes. Os índices dos itens não são grupo-dependentes. As estimativas das habilidades obtidas de diferentes conjuntos de itens serão as mesmas (exceto por erros amostrais). Na TRI os parâmetros dos itens e a habilidade são invariantes.
  16. 16. POSTULADOS DA TRI  A TRI baseia-se em dois postulados: I. O desempenho de um examinando em um item pode ser predito (ou explicado) por um conjunto de fatores chamados traços latentes ou habilidade; II. A relação entre o desempenho de um examinando em um item e o conjunto de traços presentes pode ser descrita por uma função monotônica crescente: Função Característica do Item ou Curva Característica do Item (CCI).
  17. 17. TCT versus TRI TCT TRI A fidedignidade tem A função de informação tem prioridade na construção prioridade na construção dos testes dos testes A dificuldade dos itens A dificuldade dos itens tem não tem papel decisivo papel decisivo na na construção dos testes construção dos testes O teste é avaliado como Os itens são as unidades de um todo análise
  18. 18. PARÂMETROS valor de a discriminação classificação do item 0 nenhuma quanto à dificuldade 0.01 a 0.34 muito baixa muito fácil 0.35 a 0.64 Baixa 0.65 a 1.34 Moderada fácil 1.35 a 1.69 alta médio > 1.7 muito alta díficil + perfeita muito díficil
  19. 19. SADEAM 2008 Como foi realizado? Elaboração de Pré – testagem Construção Item Análise dos Itens dos itens das Provas Matriz ENEM Processamento Encaminhamento Retorno e Aplicação e constituição do Material conferência das bases de dados Análise dos dados Indicadores de Qualidade da Escola Fatores Contextuais – Questionários Desempenho – Prova Fatores Associados + Fluxo Escola IDEAM Divulgação dos Resultados e Oficina com as Escolas
  20. 20. SADEAM 2008 Resultados Desempenho 3º ano
  21. 21. SADEAM 2008 Resultados Competências ENEM I. Dominar a norma culta da Língua Portuguesa e fazer uso das linguagens matemática, artística e científica. II. Construir e aplicar conceitos das várias áreas do conhecimento para a compreensão de fenômenos naturais, de processos histórico-geográficos, da produção tecnológica e das manifestações artísticas. III. Selecionar, organizar, relacionar, interpretar dados e informações representados de diferentes formas, para tomar decisões e enfrentar situações- problema. IV. Relacionar informações, representadas em diferentes formas, e conhecimentos disponíveis em situações concretas, para construir argumentação consistente. V. Recorrer aos conhecimentos desenvolvidos na escola para elaboração de propostas de intervenção solidária na realidade, respeitando os valores humanos e considerando a diversidade sociocultural.
  22. 22. SADEAM 2008 Resultados
  23. 23. SADEAM 2008 Resultados
  24. 24. SADEAM 2008 Indicadores de Qualidade •Foram definidos seis indicadores de qualidade que abordam três dimensões: Gestão Escolar, Práticas Pedagógicas e Ambiente Físico. •Os indicadores de qualidade são numéricos e individuais para cada instituição e município. •Os indicadores ainda pretendem evidenciar características das escolas /municípios e indicar possíveis ações internas que buscam garantir bons resultados escolares.
  25. 25. SADEAM 2008 Indicadores de Qualidade Escola Perfil Diretor Gestão Política Ambiente Gestão do Pedagogo Coordenador Gestão Gestão Administrativa Participativa Professor Práticas Pedagógicas Práticas de Ensino Aluno Práticas de incentivo ao uso da Biblioteca
  26. 26. SADEAM 2008 Indicadores de Qualidade
  27. 27. COMPOSIÇÃO DO IDEAM- Ens. Médio IDEAM - Médio = N x P onde: N = Nota obtida na prova objetiva com equivalência de 0 a 10 pontos. P = inverso do tempo médio de conclusão na etapa de ensino (aferido através da taxa de aprovação de cada série da etapa de ensino). Sendo que: N ~ 0 a 10 e P ~ 0 a 1 O IDEAM - Médio, utiliza metodologia específica do estado, portanto, NÃO PODE SER COMPARADO AO IDEB_Médio. 1ª SÉRIE 2ª SÉRIE 3ª SÉRIE TOTAL T=Temp (AP%) (AP%) (AP%) ESPECIFICAÇÃO Número o Médio N= Nota ESCOLA X 75,0 78,0 89,0 80,7 de para P = 1/T padroniz N*P séries concluir ada 1 série ESPERADO 100,0 100,0 100,0 100,0 TEMPO PARA CONCLUIR 1,3 1,3 1,1 3,7 3 1,2460,802 5,0 4,01
  28. 28. ENS. MÉDIO REGULAR- IDEAM REDE ESTADUAL - MÉDIA POR MUNICÍPIO Mais de 4,0 pontos De3,1 a 4,0 pontos De 2,6 a 3,0 pontos De 2,0 a 2,5 pontos Menos de 2 pontos
  29. 29. ÍNDICE DE DESENVOLVIMENTO DA EDUCAÇÃO DO AMAZONAS ENSINO MÉDIO- 2008 LOCAL MÉDIO REGULAR EJA CAPITAL 2,0 1,7 INTERIOR 2,4 2,0 ESTADO 2,2 1,9 Fonte: CESPE- UnB/SEDUC/DEPLAN/GEPIE
  30. 30. “...escola eficaz é aquela que viabiliza que seus alunos apresentem desempenho educacional além do esperado, face à origem social dos alunos e à composição social do corpo discente da escola.” Mortimore, P.
  31. 31. Obrigada!

×