Validade e Fiabilidade de instrumentos de avaliação

3.158 visualizações

Publicada em

SUMÁRIO: validade e de fiabilidade; índice de dificuldade dos itens; índice de discriminação dos itens; mancha dos resultados do teste

Publicada em: Educação
0 comentários
2 gostaram
Estatísticas
Notas
  • Seja o primeiro a comentar

Sem downloads
Visualizações
Visualizações totais
3.158
No SlideShare
0
A partir de incorporações
0
Número de incorporações
14
Ações
Compartilhamentos
0
Downloads
97
Comentários
0
Gostaram
2
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide

Validade e Fiabilidade de instrumentos de avaliação

  1. 1. A AVALIAÇÃO DAS APRENDIZAGENS DOS ALUNOS: CONSTRUÇÃO E CLASSIFICAÇÃO DE ITENS DE AVALIAÇÃO Formadora: Cristina Barcoso Lourenço spzs.cristinalourenco@gmail.com SUMÁRIO: validade e de fiabilidade; índice de dificuldade dos itens; índice de discriminação dos itens; mancha dos resultados do teste
  2. 2. AGENDA 2A avaliação das aprendizagens dos alunos: construção e classificação de itens de avaliação 5ª Sessão Continuação da sessão anterior Reflexão sobre o seguinte tema: questões de validade e de fiabilidade Índice de dificuldade dos itens Índice de discriminação dos itens Mancha dos resultados do teste
  3. 3. 3A avaliação das aprendizagens dos alunos: construção e classificação de itens de avaliação
  4. 4. 4A avaliação das aprendizagens dos alunos: construção e classificação de itens de avaliação PARA QUE SERVEM AS NOTAS? (texto entregue) 1.QUESTIONAMENTO ACERCA DA VALIDADE E DA FIABILIDADE. 2.PROFESSORES CATALOGAM OS ALUNOS? 3.“SE OS ALUNOS PENSAM QUE AS NOTAS NÃO RECOMPENSAM O SEU TRABALHO DE UMA FORMA JUSTA, A MOTIVAÇÃO DESAPARECE.
  5. 5. VALIDADE E FIABILIDADE 5A avaliação das aprendizagens dos alunos: construção e classificação de itens de avaliação Questões de validade e de fiabilidade (análise e discussão do documento entregue).
  6. 6. TESTE 6A avaliação das aprendizagens dos alunos: construção e classificação de itens de avaliação Teste = instrumento de medida a que se recorre para avaliar determinados conhecimentos e capacidades. A classificação que lhe é atribuída deve apresentar um elevado grau de exatidão. Classificação obtida = Classificação verdadeira (ou universal) + Erro de medição Diminui a exatidão da classificação atribuída. Pode considerar-se como uma inconsistência, já que, de uma medição para outra, as medidas obtidas não estão de acordo, não são consistentes. PORÉM qualquer medição é naturalmente afetada de erro, pelo que, para cada aluno, submetido a um teste, se pode considerar:
  7. 7. VALIDADE E FIABILIDADE 7A avaliação das aprendizagens dos alunos: construção e classificação de itens de avaliação São duas das principais características psicométricas da avaliação. Teste é válido se avalia realmente aquilo para que foi construído. Se um teste não avalia o que é suposto avaliar então a sua utilização é enganadora. FERNANDES, Domingos (2008). Avaliação das Aprendizagens: Desafios às teorias, páticas e políticas. Lisboa, Texto Editores, págs 113-115.
  8. 8. VALIDADE E FIABILIDADE 8A avaliação das aprendizagens dos alunos: construção e classificação de itens de avaliação validade que avalia até que ponto o procedimento de medição produz a resposta correta. fiabilidade que avalia até que ponto um procedimento de medição produz a mesma resposta independentemente da forma e da altura em que é aplicado.
  9. 9. VALIDADE 9A avaliação das aprendizagens dos alunos: construção e classificação de itens de avaliação A validade de um teste é representada pelo grau de exatidão com que o instrumento de avaliação consegue avaliar o que na verdade pretende medir. A validade não se refere propriamente ao teste em si mesmo, mas sim à interpretação de resultados tendo em vista um determinado propósito. O conceito de validade surge, assim, sempre no contexto de uma situação de avaliação, o que conduz a diferentes tipos de validade.
  10. 10. VALIDADE 10A avaliação das aprendizagens dos alunos: construção e classificação de itens de avaliação A validade de um instrumento é definida como a propriedade de medir aquilo que se pretende que meça. Para analisar a validade de uma observação ou de um instrumento, temos de procurar saber o que está a ser medido e através de que variáveis (critérios de classificação). Os diferentes meios de análise conduzem a diferentes tipos de validade, o que por sua vez condiciona o nosso conhecimento. https://estudogeral.sib.uc.pt/bitstream/10316/9968/1/RD199801.pdf
  11. 11. VALIDADE 11A avaliação das aprendizagens dos alunos: construção e classificação de itens de avaliação Literatura refere vários tipos de validade: 1. Validade de previsão – em que medida um teste é um bom indicador de desempenhos futuros da pessoa que o resolve. 2. Validade de conteúdo – em que medida um teste contém uma amostra significativa do conteúdo relevante do domínio(s) que foi ensinado e que se pretende avaliar.FERNANDES, Domingos (2008). Avaliação das Aprendizagens: Desafios às teorias, páticas e políticas. Lisboa, Texto Editores, págs113-115.
  12. 12. VALIDADE 12A avaliação das aprendizagens dos alunos: construção e classificação de itens de avaliação 3. Validade concorrente – em que medida os resultados do teste se correlacionam com os resultados de outro teste ou de outra avaliação das mesmas ou outras aprendizagens. 4. Validade de constructo – em que medida o teste é uma aferição adequada do construto, da competência que está a ser avaliada. FERNANDES, Domingos (2008). Avaliação das Aprendizagens: Desafios às teorias, páticas e políticas. Lisboa, Texto Editores, págs113-115.
  13. 13. VALIDADE 13A avaliação das aprendizagens dos alunos: construção e classificação de itens de avaliação INVESTIGADORES… RELEVAM A VALIDADE DE CONTEÚDO. CONSIDERAM… Que a validade de um teste não deve estar apenas diretamente relacionada com o teste em si mesmo, ou com os resultados que produz, mas também com a interpretação e utilização que se faz desses resultados e com as consequências das decisões avaliativas. É a introdução das questões de natureza ética e social na elaboração de um conceito que era apenas considerado do ponto de vista psicométrico. FERNANDES, Domingos (2008). Avaliação das Aprendizagens: Desafios às teorias, páticas e políticas. Lisboa, Texto Editores, págs113-115.
  14. 14. FIABILIDADE 14A avaliação das aprendizagens dos alunos: construção e classificação de itens de avaliação Quando se classifica um teste pretende-se que o grau de exatidão, com que o instrumento de avaliação mede o que na verdade pretende medir, seja o maior possível. A fiabilidade de um instrumento de avaliação é a consistência dos seus resultados. Para analisar se um teste é fiável temos de quantificar em que medida o desempenho dos alunos se mantém sensivelmente o mesmo, se resolverem o exame em tempos ou ocasiões diferentes. FERNANDES, Domingos (2008). Avaliação das Aprendizagens: Desafios às teorias, páticas e políticas. Lisboa, Texto Editores, págs 113-115.
  15. 15. FIABILIDADE 15A avaliação das aprendizagens dos alunos: construção e classificação de itens de avaliação UM TÉCNICA CLÁSSICA PARA AVALIAR A FIABILIDADE DE UM TESTE É ADMINISTRAR O MESMO TESTE COM ALGUNS DIAS DE INTERVALO E COMPARAR OS DESMPENHOS OBTIDOS EM CADA ADMINISTRAÇÃO - RETESTE FERNANDES, Domingos (2008). Avaliação das Aprendizagens: Desafios às teorias, páticas e políticas. Lisboa, Texto Editores, págs 113-115.
  16. 16. FIABILIDADE 16A avaliação das aprendizagens dos alunos: construção e classificação de itens de avaliação Fatores que influenciam a fiabilidade de um teste Fatores inerentes ao aluno - Instabilidade de características pessoais - Modo como o aluno reage a tarefas avaliativas - Saúde -… Fatores inerentes ao processo de aplicação da prova - Deficientes condições em que a prova é aplicada - … Fatores relativos ao instrumento de avaliação - Imprecisões ou ambiguidade na formulação dos itens - Deficientes critérios de classificação - …
  17. 17. FIABILIDADE 17A avaliação das aprendizagens dos alunos: construção e classificação de itens de avaliação Fatores que influenciam a fiabilidade de um teste Fatores inerentes ao classificador - Personalidade - Experiência - Efeito de halo (interferência causada devido à simpatia ou antipatia que o avaliador tem pela pessoa que está sendo avaliada) - Hierarquia de critérios - Momento em que se efetua a classificação - Duração da sessão de classificação - Intervalo entre as sessões de classificação - …
  18. 18. FIABILIDADE 18A avaliação das aprendizagens dos alunos: construção e classificação de itens de avaliação Processos de moderação que contrariam os fatores que influenciam a fiabilidade da classificação: Formação de avaliadores Resolução e análise detalhada da prova antes de se iniciar a classificação Análise detalhada dos critérios Multiclassificação das provas Classificação item a item ou grupo a grupo Variação da ordem da classificação das provas …
  19. 19. FIABILIDADE 19A avaliação das aprendizagens dos alunos: construção e classificação de itens de avaliação Critérios de Classificação Nos exames nacionais, provas de aferição e testes intermédios estão enunciados os critérios de classificação gerais e específicos dos testes. Na construção de critérios gerais de um teste, a sua elaboração deve ser tão exaustiva quanto possível, de forma a aumentar a fiabilidade da classificação. Duas metodologias para a elaboração de critérios específicos de classificação: Classificação Criterial — em que se atribuem pontos ou códigos a cada uma das várias fases do processo de resolução do item. Podem, ou não, construir-se diferentes cenários de resposta e para cada um deles subdivide-se a cotação pelas várias fases de resolução que o aluno deve percorrer. Classificação Holística — o avaliador parte de uma impressão global sobre as características da resposta dada, apreciando a resposta como um todo e não nas suas partes componentes. Nos exames, provas nacionais e testes intermédios segue-se a primeira metodologia, embora o ponto de partida possa ser o da segunda, especialmente quando se trata de respostas extensas, uma vez que ao se agruparem as respostas em categorias, de acordo com a sua qualidade, o classificador estabelece modelos de referência que o ajudam a minimizar a interferência da subjetividade na classificação.
  20. 20. FIABILIDADE 20A avaliação das aprendizagens dos alunos: construção e classificação de itens de avaliação Cabe aos avaliadores a tarefa de assegurar a clareza das instruções, a qualidade e adequabilidade dos itens e a aplicação inequívoca dos critérios definidos. Este último aspeto, relativo à fiabilidade da classificação, torna-se bastante dependente das características do classificador que deve estar consciente dos efeitos das suas próprias opiniões e expetativas sobre a avaliação.
  21. 21. CONCLUÍNDO…VALIDADE E FIABILIDADE 21A avaliação das aprendizagens dos alunos: construção e classificação de itens de avaliação VALIDADE Representada pelo grau de exatidão com que o instrumento de avaliação consegue avaliar o que na verdade pretende medir. Precisão com que o teste mede aquilo que se propõe medir. Grau em que conhecemos aquilo que a prova está a medir. Um instrumento é válido na extensão em que mede aquilo a que se propõe medir. FIABILIDADE Consistência da medida, dos resultados, fornecida pelo teste. CLASSIFICAÇÃO DE UM ALUNO – medida do construto = classificação verdadeira + erro de medida
  22. 22. ANÁLISE DOS RESULTADOS 22A avaliação das aprendizagens dos alunos: construção e classificação de itens de avaliação ÍNDICE DE DIFICULDADE O índice de dificuldade de um item está relacionado com a percentagem de respostas corretas dadas a esse item. Um item é tanto mais difícil quanto menor é o seu índice de dificuldade. ÍNDICE DE DISCRIMINAÇÃO O índice de discriminação de um item, num teste, traduz a diferença de sucesso, nesse item, entre os alunos com melhor classificação no teste e os de classificação mais baixa.
  23. 23. EXERCÍCIO PRÁTICO 23A avaliação das aprendizagens dos alunos: construção e classificação de itens de avaliação CONSTRUÇÃO DE UMA GRELHA DE CLASSIFICAÇÃO E ANÁLISE DOS RESULTADOS OBTIDOS NUM TESTE 1. Criar a grelha 1.1. Preparar a grelha de classificação. Usar a função SOMA 1.2. Criar menções qualitativas 1.3. Criar cores nas menções qualitativas 1.4. Criar cores na coluna das cotações 2. Analisar resultados 2.1. Calcular nº alunos (função CONTAR), médias (função MÉDIA) nº de negativas/positivas (função CONTAR.SE), criar gráfico 2.2. Determinar o índice de dificuldade 2.2.1. Criar gráfico 2.3. Determinar o índice de discriminação 2.3.1. Criar gráfico 2.4. Analisar conjuntamente os parâmetros: índice de dificuldade e de discriminação. Criar gráfico. Interpretar.
  24. 24. EXERCÍCIO PRÁTICO 24A avaliação das aprendizagens dos alunos: construção e classificação de itens de avaliação CONSTRUÇÃO DE UMA GRELHA DE CLASSIFICAÇÃO E ANÁLISE DOS RESULTADOS OBTIDOS NUM TESTE Manual de apoio Exercício

×