Uma apresentação das diretrizes de elaboração de itens publicadas em fontes internacionais e de raro acesso no Brasil.

1. ELABORAÇÃO DE ITENS DE
AVALIAÇÃO
FACULDADE ALFREDO NASSER
2017/1
Prof. MSc. Newton Paulo Monteiro

2. Formas de avaliação
• Testes objetivos;
• Provas dissertativas;
• Ensaios, artigos, relatórios;
• Apresentações;
• Auto-avaliação, avaliação em pares, avaliação
em grupo (interação);
• Portfólios, projetos etc.

3. Alguns critérios de qualidade
Quadro 1
VALIDADE Os resultados são uma representação exata do
conhecimento e habilidade que se pretende avaliar.
CONFIABILIDADE Os resultados são consistentes, replicáveis
(interna / externa).
AUTENTICIDADE Existe similaridade com situações reais.
JUSTIÇA A avaliação oferece condições iguais e adequadas para
todos demonstrarem seu conhecimento.
TRANSPARÊNCIA As informações sobre como o conhecimento será avaliado e
quais conhecimentos / competências serão avaliadas bem
como os resultados são claramente apresentadas aos
alunos.
PRATICIDADE O processo avaliativo deve ser exequível.
EFEITO RETROATIVO A avaliação tem impactos sobre as práticas de estudo do
aluno; espera-se que o impacto seja positivo.

4. Alinhamento
Coerência entre avaliação e ensino
1. A avaliação se concentra nas habilidades,
conteúdos, conhecimentos descritos na
documentação do curso (ex. programa; projeto
de curso; ementa; plano de aula; diretrizes).
2. A avaliação é elaborada a partir das
especificações - ou matriz - , que por sua vez
reflete a documentação do curso.
3. As especificações (matriz) são o plano/projeto
da avaliação, assim como existem planos de aula
e projetos de curso.

5. AlinhamentoFigura 1
MATRIZ DE
ESPECIFICAÇÕES
DE UMA
AVALIAÇÃO
DOCUMENTAÇÃO
DE UM
PROGRAMA DE
ENSINO
VERSÃO 1
VERSÃO 2
VERSÃO X...
As especificações - ou matriz - de uma avaliação/teste definem (1) o objetivo, os critérios e o
construto da avaliação; (2) a quantidade de itens/questões e seus pesos, que se alinhada com
o programa de ensino será proporcional; (3) critérios de correção. As especificações também
apresentam exemplos de questões. Uma opção alternativa, mais sucinta e adequada para a
sala de aula, é a tabela de especificações, ou table of specifications.
Exemplos:
- Matrizes de referência para a avaliação do rendimento escolar, Prefeitura de São Paulo -
http://portal.sme.prefeitura.sp.gov.br/Portals/1/Files/16762.pdf
- Test and Item Specifications - Oklahama State Dept. Education - Science, Biology - Estados Unidos
http://sde.ok.gov/sde/sites/ok.gov.sde/files/BIO_Test_and_Item_Specifications_0.pdf
- Table of Specifications - Ministry of Education - English - British Columbia - Canadá
https://www.bced.gov.bc.ca/exams/specs/grade10/en/13_table_description.pdf

6. Definição do construto
• “[Construtos] são traços, aptidões ou
características supostamente existentes e
abstraídos de uma variedade de
comportamentos que tenham significado
educacional (ou psicológico). Assim, fluência
verbal, rendimentos escolar, aptidão
mecânica, inteligência, motivação,
agressividade, entre outros, são [construtos].”
(VIANNA, 2014).

7. Taxonomia de
objetivos de aprendizagem
Taxonomia de Bloom (Ferraz e Belhot , 2010)
• Pode ser usada no ensino e na avaliação
Figura 2

8. DIRETRIZES PARA
ELABORAR ITENS DE PROVA OBJETIVA
Com base em HALADYNA e DOWNING (1989)

9. PROCEDIMENTOS GERAIS
1.Use os formatos resposta correta ou melhor
resposta;
2.Evite formatos como NDA e “Todas”;
3.Reduza o tempo de leitura por evitar
fraseologia longe;
4.Evite questões que induzem ao erro.

10. DIRETRIZES PARA
O CONTEÚDO DAS QUESTÕES
1.Cada questão deve tratar de um único
objetivo de aprendizagem;
2.Cada questão de abordar um único
problema;
3.Mantenha as questões independentes;
cuidado para não sugerir a resposta de uma
questão no conteúdo da outra;
4.Elabore questões baseadas nos exemplos
dos autores

11. DIRETRIZES PARA O ENUNCIADO
1. Elabore o enunciado como pergunta ou como
sentença incompleta (preferencialmente
pergunta);
2. Certifique-se de que o enunciado seja claro e
que o aluno saiba exatamente o que é pedido;
3. Evite fraseologia negative, prefira enunciados
positivos (se for realmente necessário usar
negativas, destaque. Ex: NÃO);
4. Inclua a ideia central e a maior parte da
fraseologia no enunciado.

12. DIRETRIZES PARA AS OPÇÕES
1. Use um bom número de opções (4 a 5);
2. Apresente as opções em ordem lógica ou numérica;
3. Elabore opções independentes entre si (sem sobreposição);
4. Apresente opções de extensão igual;
5. Procure não usar opções do tipo “não sei”;
6. Prefira não empregar fraseologia negativa;
7. Evite “sempre”, “nunca” e similares;
8. Evite construções gramaticais que possam sugerir a resposta;
9. Evite dar pistas para respostas por meio de associações
fonéticas, opções absurdas, fraseologia excessivamente
generalista ou específica.

13. DIRETRIZES PARA
A RESPOSTA CORRETA
1.Certifique-se de ter apenas uma resposta
correta;
2.Distribua as alternativas corretas de forma
homogênea pelas várias opções do teste (a,
b, c, d, e).

14. DIRETRIZES PARA OS DISTRATORES
1.Use distratores plausíveis; evite os sem
lógica;
2.Use erros dos alunos nos distratores;
3.Use afirmações verdadeiras, mas que não
respondem o item.

15. 1 - Qual é o
problema com esta questão?
Uma mulher com 24 anos deu à luz um menino com Síndrome
de Down. Ela tem depressão e pergunta: qual é probabilidade
de ter um outro filho com o mesmo problema? A sua resposta
será:
a. 2 %
b. 5 %
c. 25%
d. menos que 10%.
e. De 15 a 18%.

16. 2 - Qual é o
problema com esta questão?
De acordo com a narrativa, em que país
Napoleão nasceu?
a.Inglaterra;
b.França;
c.Alemanha;
d.Itália.

17. 3 - Qual é o
problema com esta questão?
A melhor fonte de informações atualizadas
sobre saúde é a:
a.Livros
b.Revistas acadêmicas
c.Diretrizes
d.Internet
e.Jornais

18. 4 - Qual é o
problema com esta questão?
A varíola é causada pelo mesmo vírus da
a.Herpes labial simples
b.Herpes Zoster
c.Estomatite herpética
d.Todas as acima
e.Nenhuma das alternativas

19. 5 - Qual é o
problema com esta questão?
Qual das seguintes não é uma característica da
neurofibromatose?
a.pigmentação da pele
b. Não há aumento de risco de câncer cerebral
c.Perda auditiva
d.Não há anomalia renal
e.História familiar positiva

20. Respostas
1. As alternativas “d” e “e” usam intervalos de porcentagem; além disso, a
alternativa “d” inclui as alternativas “a” e “b”.
2. A leitura da narrativa é dispensável para responder a questão; basta o
conhecimento prévio;
3. O enunciado sugere a resposta com o artigo feminino e o singular;
4. A resposta “d” é a correta. Note que se o aluno souber que “a” e “b” são
verdadeiras poderá deduzir que “c” também é, e portanto, ficará fácil deduzir a
alternativa correta. Além disso, “d” e “e” se excluem. Em última análise, a
questão acaba não tendo de fato cinco alternativas.
5. Uso de expressão negativa no enunciado (especialmente sem destaque), e dupla
negativa, já que existem alternativas com expressões negativas.

21. Enunciados
de questões dissertativas
• Enade 2016 - 2 questões FG / 3 questões CE
• ELEMENTOS DA QUESTÃO:
1) Contextualização (coletânea comtextos /
charges / tabelas / figuras)
2) Enunciado / estímulo
(tema, problema, pergunta)
1) Critérios de correção (rubrica)
Amostra de rubrica - Enem

22. Quando usar
questões dissertativas?
• Para avaliar habilidades cognitivas superiores
(explicação; avaliação; discussão);
• Para avaliar a competência de escrita;
• Para avaliar o conhecimento de fatos,
compreensão, respostas a problemas, prefira
questões objetivas;

23. Como elaborar
questões dissertativas?
1)Tenha clareza dos seus objetivos
2)Redija o enunciado com clareza
3)Selecione um texto para contextualizar o
tema (coletânea de textos, figuras, tabelas,
charges etc)
4)Solicite uma ação: explicar, avaliar, discutir,
apresentar etc.

24. Exemplo de enunciado
1) Com base nas informações e nos dados
apresentados,
2) redija um texto dissertativo acerca da
abrangência, no Brasil, dos serviços de
saneamento básico e seus impactos na saúde da
população.
3) Em seu texto, mencione as políticas públicas já
implementadas e
4) apresente uma proposta para a solução do
problema apresentado no texto acima.

25. PADRÃO DE RESPOSTA - ENADE 2013
PADRÃO DE RESPOSTA
Em termos de atendimento à proposta, espera-se que o estudante estabeleça
relação entre a qualidade do serviço de esgotamento sanitário e de tratamento da
água para o agravamento do número de casos de internação e morte por diarreia
entre a população brasileira: geralmente, quanto maior a abrangência dos
serviços, menor a ocorrência de internações por essa moléstia e menor os gastos
com os tratamentos de saúde.
Espera-se, também, que o estudante mencione pelo menos duas políticas públicas
implementadas para buscar resolver o problema e que proponha uma ação
visando contribuir para a sua solução.

26. REFERÊNCIAS
E INDICAÇÕES DE LEITURA
• AL-FARIS, E. A. et ali. A practical discussion to avoid common pitfalls when constructing multiple choice question
items. Journal of Family and Community Medicine. Vol. 17, nº. 02, agosto de 2010. Disponível em:
https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3045096/
• BAHARLOO, A. Test fairness in traditional and dynamic assessment. Theory and practice in language studies.
Vol. 3, n º 10, outubro de 2013. Disponível em:
http://www.academypublication.com/issues/past/tpls/vol03/10/30.pdf
• BALDWIN, D. ; FOWLES, Fowles, M.; LIVINGSTON, S. Guidelines for constructed-response and other
performance assessments. Princeton, NJ: Educational Testing Service, 2008. Disponível em:
https://www.ets.org/Media/About_ETS/pdf/8561_ConstructedResponse_guidelines.pdf
• BROOKHART, S. M. How to create and use rubrics for formative assessment and grading. Alexandria, VA:
ASCD, 2013.
• BROWN, J. D.; HUDSON, T. Criterion-referenced language testing. Cambridge, UK: CUP, 2002.
• Code of Fair Testing Practices in Education. Washington, DC: Joint Committee on Testing Practices, 2004.
Disponível em: http://www.apa.org/science/programs/testing/fair-testing.pdf
• COSTA, S. F. Matriz de especificações: suporte operacional de uma avaliação. Estudos em avaliação
educacional. N.º 12, 1995. Disponível em:
http://www.fcc.org.br/pesquisa/publicacoes/eae/arquivos/1125/1125.pdf
• FERRAZ, A, P, C. M.; BELHOT, R. V. Taxonomia de Bloom: revisão teórica e apresentação das adequações do
instrumento para definição de objetivos instrucionais. Gestão & Produção, São Carlos, v. 17, n. 2, p. 421-431,
2010. Disponível em: http://www.scielo.br/pdf/gp/v17n2/a15v17n2
• FIVES, H.; DiDonato-Barnes, N. Classroom test construction: the power of a table of specifications. Practical
Assessment, research and evaluation. Vol. 18, nº 3, Fevereiro, 2013. Disponível em:
http://pareonline.net/pdf/v18n3.pdf
• FULCHER, G. Practical language testing. New York: Routledge, 2010.

27. • HALADYNA, T.M., and DOWNING, S.M. (1989) Multiple-choice item-writing guidelines/rules/suggestions/advice
In: A taxonomy of multiple choice item-writing rules, Applied Measurement in Education. pp. 37-50. Disponível
em: http://www.nova.edu/hpded/ctl/forms/multiple_choice.pdf
• HALADYNA, T. M.; DOWNING, S.M ; RODRIGUEZ, M. C. A Review of Multiple-Choice Item-Writing Guidelines
for Classroom Assessment. Applied Measurement In Education, 15(3), 309–334, 2002. Disponível em:
https://sites.educ.ualberta.ca/staff/ldelia/M'Choice'Tests=Haladyna_Guidelines_AME_2002.pdf
• HALADYNA, T. M.; RODRIGUEZ, M. C. Developing and validating test items. New York: Routledge, 2013.
• HENNING, G. Twenty common testing mistakes for EFL teachers to avoid. English Teaching Forum. Nº 3, 2012.
Disponível em: http://files.eric.ed.gov/fulltext/EJ997528.pdf
• KUNNAN, A. J. Fairness and justice in language assessment: principles and public reasoning. CELC
Symposium. Singapore, 2013. Disponível em:
http://www.nus.edu.sg/celc/research/books/4th%20Symposium%20proceedings/6).%20John%20Kunnan.pdf
• O’NEILL, G.; MURPHY F. Assessment: guide to taxonomies of learning. Dublin: University College Dublin,
2010. Disponível em: https://www.ucd.ie/t4cms/UCDTLA0034.pdf
• PASQUALI, L. Psicometria: teoria dos testes na Psicologia e na Educação. 5ª ed. Petrópolis, RJ: Vozes, 2013.
• RODRIGUES JUNIOR, J. F. et ali. Avaliação do Estudante Universitário: fundamentos e recursos. São Paulo:
Brasília, 2009.
• ROGIER, D. Assessment literacy: building a base for better teaching and learning. English Teaching Forum. n.º
3, 2014.
• ROSSIT, R. A. S.; STORANI, K. (Org.) Avaliação nos processos educacionais. São Paulo: Unifesp, 2010.
• VIANNA, H. M. Validade de construto em testes educacionais. Estudos em Avaliação Educacional., São
Paulo, v. 25, n. 60, p. 136-152, n. especial, dez. 2014. Disponível em: file:///C:/Users/User/Downloads/3309-
13087-1-PB.pdf

28. OBRIGADO
Contato:
newton@unifan.edu.br