Este documento discute conceitos e critérios para a construção de instrumentos de avaliação, incluindo validade, confiabilidade, autenticidade, interatividade e praticidade. Também aborda procedimentos de avaliação como analítico e holístico, e a importância de paradigmas e escalas de avaliação.

2. Formação continuada
ESCOLA TEREZA
FRANCESCUTI
Avaliação
Prof.ª MS. Letícia Santos
ticia_santos@yahoo.com.br
Prof.ª Esp. Mariana Correia
mari.literatura@gmail.com
http://profmarianacorreia.blogspot.com.br

3. Para pensar sobre avaliação:

4. O“Os instrumentos de avaliação da
aprendizagem, também, não podem ser
quaisquer instrumentos, mas sim os
adequados para coletar os dados que
estamos necessitando para configurar o
estado de aprendizagem do nosso
educando.” (LUCKESI, 2000, p.10)

5. Conceitos e critérios que
subjazem à construção dos
instrumentos de avaliação:

6. 1) VALIDADE: o quanto o teste
mede aquilo que deve medir
O1.1 validade de construto:
O desempenho do aluno precisa
refletir àquilo que pretendíamos avaliar ao
criarmos o teste. Diante de uma
confirmação nesse sentido, teríamos a
validade de construto. esse conceito está
ligado a uma definição teórica acerca do
objeto a ser medido .

7. 1) VALIDADE: o quanto o teste
mede aquilo que deve medir
O1.2 validade de critério:
Está ligada a quanto os
resultados obtidos em um teste estão
de acordo com os resultados de outro
teste, em que ambos têm os mesmos
critérios como base de avaliação.

8. 1) VALIDADE: o quanto o teste
mede aquilo que deve medir
1.3 validade de conteúdo:
Diz respeito à representatividade do
conteúdo avaliado frente ao conteúdo
pretendido. “a validade de conteúdo é obtida
quando um teste efetivamente avalia
amostras de conteúdo relevantes e
representativas, com base nas quais
poderão ser tiradas conclusões sobre o
desempenho do candidato relativo àquele
conteúdo”. (Schlatter et al, 2005, p.15)

9. 1) VALIDADE: o quanto o teste
mede aquilo que deve medir
O ) 1.4 validade de face:
É a relação do teste em contraposição às
expectativas dos alunos. A partir disso, um teste só tem
validade de face se os alunos que o fizerem julgarem-no
(e isso subjetivamente) satisfatório, no sentido de
acreditarem que tal teste mediu realmente os
conhecimentos propostos para medição. "essa
validade ocorre quando o teste parece avaliar aquilo
que pretende avaliar" (Hughes, 1989).

10. 1) VALIDADE: o quanto o teste
mede aquilo que deve medir
O1.5 validade de impacto ou efeito retroativo:
Está relacionado às consequências dos
resultados da avaliação não só no indivíduo,
como também na sociedade, consequências
essas que podem ser tanto positivas como
negativas, dependendo da forma como for
encarada.

11. 2. CONFIABILIDADE
Todos os candidatos precisam ser avaliados
em igualdade de condições, impedindo ao máximo
a influência de fatores externos ao teste. Ele é
ligado à uniformidade de aplicação: " a
confiabilidade de um instrumento se dá à medida
que construímos, aplicamos e corrigimos tal
instrumento obtendo desempenhos próximos aos
que teriam os alunos em condições que não as do
momento daquela avaliação" (BACHMAN &
PALMER, 1996; HUGHES, 1989)

12. 3. AUTENTICIDADE:
Trata-se da relação entre o tipo de
tarefa existente em um teste e as
características de uso real da língua alvo
daquele teste (no caso de avaliação de
linguagem).
A autenticidade de um teste se dá
quando as tarefas desse teste apresentam
questões que conseguem simular as
necessidades do aluno no mundo real.

13. 4.INTERATIVIDADE:
Está atrelado à quantidade e ao
tipo de envolvimento que um aluno
precisa ter para realizar as tarefas do
teste. Um teste interativo precisaria
então fazer com que os alunos se
envolvessem nele, demonstrando
suas habilidades ao máximo.

14. 5. PRATICIDADE:
“Relação entre os recursos
necessários para o desenvolvimento de
um teste, sua aplicação e os recursos
disponíveis para essas atividades”.
(SANTOS, 2007, p.44). Um teste prático
tem equivalência entre os recursos
disponíveis e as necessidades exigidas
para colocá-lo em prática.

15. PROCEDIMENTO DE AVALIAÇÃO,
PARADIGMAS E ESCALAS
OO que fazer com o teste depois
aplicá-lo nos alunos? como atribuir-lhe
valor? de que forma se deve
avaliar as respostas dadas pelos
alunos às tarefas propostas por
nosso instrumento?

16. OFormas (procedimentos) utilizadas
hoje em testes de desempenho: a
avaliação analítica e a holística.

17. Avaliação holística
OAtribuição de uma única nota ao
desempenho do aluno, baseada na
impressão geral de tal
desempenho, sendo que a base
para a emissão dessa nota é uma
escala de critérios previamente
definida e descrita para aquele
teste

18. Avaliação analítica
OAtribuição de uma série de notas
para uma lista de aspectos relativos
ao desempenho do aluno. As notas,
nesse tipo de avaliação, são
atribuídas a partir de um paradigma
previamente definido que contém
os itens específicos a serem
avaliados, sendo que cada item tem
sua escala descrita e definida.

19. Paradigmas de avaliação
Definem os parâmetros que guiam a
avaliação, eles apresentam quais e
quantos itens serão avaliados, e
definem sob que prisma deve ser
olhado o objeto.

20. Escalas de avaliação
Parte do paradigma: é a partir do que foi definido
como parâmetro num paradigma que a escala é
construída; é a partir dos itens a serem avaliados
(itens previamente determinados pelo
paradigma), que é construída a escala para cada
item. Assim sendo, ela é uma espécie de
esquema de pontuação e possui níveis de
atendimento.

21. OSe temos como objetivo, através da
avaliação, fazer inferências válidas sobre
a capacidade de um candidato de expor
suas ideias por escrito em língua
portuguesa, é necessário, portanto, dar-lhe
uma tarefa de produção escrita, na
qual ele possa efetivamente usar a
língua portuguesa para expressar-se e
desenvolver suas ideias. (SCHLATTER
et al., 2005, p.14)

22. OSe avaliação é, segundo Luckesi
(2005, p.9), “um juízo de qualidade
sobre dados relevantes para uma
tomada de decisão”, então devemos:

23. O escolher o tipo de procedimento que iremos
adotar para avaliarmos a produção de nossos
alunos (qual será nosso enfoque, o que nos
importa mais observar);
O segundo, construir paradigmas e escalas de
avaliação coerentes com nosso construto e
enfoque, construções essas necessárias para a
formação de uma base justa, e que nos servirão
de base na hora de emitirmos nosso juízo e de
tomarmos a decisão a respeito da produção
elaborada pelo aluno.

24. Proficiência
O A avaliação deverá verificar a
aprendizagem não a partir dos mínimos
possíveis, mas sim a partir dos mínimos
necessários. (LUCKESI, 2005, p.44- 45)

25. Exemplo de um paradigma

26. ENEM 2013 – C4 - H12 –
Competência de área 4 – Compreender a
arte como saber cultural e estético gerador
de significação e integrador da organização
do mundo e da própria identidade.
H12 – Reconhecer diferentes funções da
arte, do trabalho da produção dos artistas em
seus meios culturais.

27. ENEM 2013 – C4 - H12 – Q.99
O artista gráfico polonês Pawla
Kuczynskiego nasceu em 1976
e recebeu diversos prêmios por
suas ilustrações. Nessa obra,
ao abordar o trabalho infantil,
Kuczynskiego usa sua arte
para:
A difundir a origem de marcantes diferenças sociais.
B estabelecer uma postura proativa da sociedade.
C provocar a reflexão sobre essa realidade.
D propor alternativas para solucionar esse problema.
E retratar como a questão é enfrentada em vários países
do mundo.

28. Prova Brasil - Tópico 1
ODescritor 3
OInferir o sentido de uma palavra
ou expressão

29. Questão: O Pavão
E considerei a glória de um pavão ostentando o
esplendor de suas cores; é um luxo imperial. Mas andei
lendo livros, e descobri que aquelas cores todas não
existem na pena do pavão. Não há pigmentos. O que há
são minúsculas bolhas d´água em que a luz se fragmenta,
como em um prisma. O pavão é um arco-íris de plumas.
Eu considerei que este é o luxo do grande artista,
atingir o máximo de matizes com o mínimo de elementos.
De água e luz ele faz seu esplendor; seu grande mistério é
a simplicidade.
Considerei, por fim, que assim é o amor, oh! minha
amada; de tudo que ele suscita e esplende e estremece e
delira em mim existem apenas meus olhos recebendo a luz
de teu olhar. Ele me cobre de glórias e me faz magnífico.

30. No 2º parágrafo do texto, a expressão ATINGIR O
MÁXIMO DE MATIZES significa o artista:
(A) fazer refletir, nas penas do pavão, as cores do
arco-íris.
(B) conseguir o maior número de tonalidades.
(C) fazer com que o pavão ostente suas cores.
(D) fragmentar a luz nas bolhas d’água.

31. “Não há resposta. Não vai
haver resposta. Nunca
houve uma resposta. Esta é
a resposta.”
Gertrude Stein
(1874-1946, escritora e poeta norte-americana)

32. Referências
O SANTOS, Leticia da Silva. Proficiência em língua materna : um novo olhar para a
avaliação de produção textual. Dissertação de Mestrado. UFRGS, 2010.
O LUCKESI, Cipriano. O que é mesmo o ato de avaliar a aprendizagem. In: Pátio, n.12, Ano
3, p.7-12, 2000
O SCHLATTER, Margarete; ALMEIDA, A.; FORTES, M. S.; SCHOFFEN, J. R. Avaliação de
desempenho e os conceitos de validade, confiabilidade e efeito retroativo. In: A avaliação
do texto de vestibular: diferentes enfoques. COPERSE, UFRGS, p.11-35, 2005.
O HUGHES, A. Testing for Language Teachers. Cambridge: Cambridge University Press,
1989.
O BACHMAN, Lyle F. & PALMER, A. S. The construct validation of some components of
communicative proficiency. In: Tesol Quarterly 16, p.26-38, 1982.