1. ANÁLISE DO EXAME DO CREMESP 2009 CONFORME O MANUAL DO NATIONAL BOARD OF MEDICAL EXAMINERS (NBME ® ) Carlos Fernando Collares, Valdes Roberto Bollela, João Carlos da Silva Bizário, Waldir Logulo Grec, José Lúcio Martins Machado Curso de Medicina da Universidade Cidade de São Paulo (UNICID) INTRODUÇÃO Desde 2005 o Conselho Regional de Medicina do Estado de São Paulo (CREMESP) realiza anualmente o Exame de Avaliação dos acadêmicos egressos de escolas médicas. Assim o Conselho acredita identificar deficiências na formação do médico do Estado de São Paulo e contribuir efetivamente para a melhoria da qualidade do ensino médico no país. Desde sua implementação existe um caloroso debate sobre a utilização de exames deste tipo para concessão de registros profissionais aos médicos. Em exames decisivos (“high-stakes examinations”) é fundamental que os testes sejam psicometricamente válidos, confiáveis e tenham alto poder discriminativo. Do ponto de vista taxonômico, as avaliações discentes devem ainda mensurar níveis cognitivos elevados, como a capacidade de resolução de problemas em casos clínicos, ao invés da mera memorização de informações. OBJETIVOS Avaliar as questões do exame do CREMESP, conforme as orientações do manual de construção de questões do National Board of Medical Examiners (NBME ® ), entidade responsável por exames similares nos Estados Unidos da América há várias décadas. MÉTODOS As 120 questões da primeira fase do Exame de 2009 foram revistas e avaliadas para detecção de questões cujos enunciados não utilizaram casos clínicos, além de erros técnicos de redação identificados como não-conformidades, as quais deveriam ser evitadas conforme o referencial teórico supracitado. REFERÊNCIAS BIBLIOGRÁFICAS Braddom CL. A brief guide to writing better test questions. Am J Phys Med Rehabil. 1997 Nov-Dec;76(6):514-6. Case SM, Swanson DB. Constructing written test questions for the basic and clinical sciences. 3rd ed (revised). National Board of Medical Examiners, 2002. URL: http://www.nbme.org/PDF/ItemWriting_2003/2003IWGwhole.pdf Coderre S, Woloschuk w, McLaughlin K. Twelve tips for blueprinting. Med Teach 2009;31:322-324. Coderre SP, Harasym P, Mandin H, Fick G. The impact of two multiple-choice question formats on the problem-solving strategies used by novices and experts. BMC Med Educ. 2004 Nov 5;4:23. Collins J. Education techniques for lifelong learning: writing multiple-choice questions for continuing medical education activities and self-assessment modules. Radiographics. 2006 Mar-Apr;26(2):543-51. Downing SM. The effects of violating standard item writing principles on tests and students: the consequences of using flawed test items on achievement examinations in medical education. Adv Health Sci Educ Theory Pract. 2005;10(2):133-43. Field A. Discovering statistics using SPSS. 3rd. ed. Los Angeles: Sage, 2009. 822 p. Fraenkel JR, Wallen NE. How to design and evaluate research in education. 7th ed. New York: McGraw-Hill, 2009. 642 p. Franzen MD. Reliability and validity in neuropsychological assessment. 2nd. Ed. New York: Kluwer/Plenum, 2004. 465 p. Madaus G, Russell M, Higgins J. The Paradoxes of High Stakes Testing: How They Affect Students, Their Parents, Teachers, Principals, Schools, and Society. Information Age Publishing, 2009. 264 p. Masters JC, Hulsmeyer BS, Pike ME, Leichty K, Miller MT, Verst AL. Assessment of multiple-choice questions in selected test banks accompanying text books used in nursing education. J Nurs Educ. 2001 Jan;40(1):25-32. Morrison S, Free KW. Writing multiple-choice test items that promote and measure critical thinking. J Nurs Educ. 2001 Jan;40(1):17-24. Palmer EJ, Devitt PG. Assessment of higher order cognitive skills in undergraduate education: modified essay or multiple choice questions? BMC Medical Education 2007, 7:49. Pasquali L. Psicometria: teoria dos testes na psicologia e na educação. 3. ed. Petrópolis: Vozes, 2008. 400 p. Pasquali L. Validade dos Testes Psicológicos: Será Possível Reencontrar o Caminho? Psic.: Teor. e Pesq., Brasília, 2007, Vol. 23 n. especial, pp. 099-107. Patto MHS. Para uma crítica da razão psicométrica. Psicol USP 1997;8(1). Schultheis NM. Writing cognitive educational objectives and multiple-choice test questions. Am J Health Syst Pharm. 1998 Nov 15;55(22):2397-401. Schuwirth LW, van der Vleuten CP. Different written assessment methods: what can be said about their strengths and weaknesses? Med Educ 2004;38:974–979. Shumway JM, Harden RM; Association for Medical Education in Europe. AMEE Guide No. 25: The assessment of learning outcomes for the competent and reflective physician. Med Teach. 2003 Nov;25(6):569-84. Tarrant M, Knierim A, Hayes SK, Ware J. The frequency of item writing flaws in multiple-choice questions used in high stakes nursing assessments. Nurse Educ Today. 2006 Dec;26(8):662-71. Thompson B. Exploratory and confirmatory factor analysis: understanding concepts and applications. Washington, D.C.: American Psychological Association, 2004. 195 p. Wagner MB, Motta VT, Dornelles CC. SPSS passo a passo. Caxias do Sul: EDUCS, 2004. 172 p. Correspondências para o autor principal : carloscollares@gmail.com RESULTADOS Parcela significativa das questões não utilizou casos clínicos em seu enunciado (N=45; 37,50%), o que limita a avaliação de níveis cognitivos mais elevados. Foram encontradas 53 não-conformidades em 41 questões (34,17% da prova). Uma questão apresentou três não-conformidades, 10 questões apresentaram duas não-conformidades e 30 questões, uma não-conformidade. As ocorrências mais comuns foram: questões com enunciado negativo (“exceto”, “não”) (N=10; 8,33%); opções com termos vagos (“freqüentemente”, “geralmente”) (N=9; 7,50%); opções com termos absolutos (ex.: “nunca”, “sempre”, “todas”, “nenhuma”) (N=7; 5,83%) e enunciados “vazios” (“unfocused stems”) (N=7; 5,83%). Dentre as 120 questões, 55 (45,83%) foram consideradas adequadas, seja pelo nível cognitivo mensurado, seja pela ausência de não-conformidades. CONCLUSÕES Exames com testes de múltipla escolha, se adequadamente construídos, têm se mostrado uma das melhores estratégias para avaliação cognitiva. Todavia, há dúvidas se tal Exame seria capaz, isoladamente, de concluir sobre a qualidade da formação e a capacidade profissional de futuros médicos. Tais inferências dependem da avaliação de um conjunto de competências dificilmente examináveis por um único método de avaliação. A frequência de problemas técnicos no Exame compromete a justiça da prova (“fairness”), sua validade e confiabilidade, especialmente se houver intenção de utilizá-la para concessão de licença profissional. Além do índice de dificuldade das questões, seria importante também a realização e publicação de análises psicométricas post hoc mais aprofundadas, como os índices de discriminação, a análise fatorial e o alfa de Cronbach, para determinação dos níveis de validade e confiabilidade do Exame. A nota de corte para aprovação deveria ser determinada por métodos específicos, como os de Angoff, Hofstee, Ebel e suas modificações. A disponibilização de um feedback detalhado poderia auxiliar as instituições formadoras na avaliação e requalificação de seus próprios programas. É necessário sistematizar o processo de confecção e análise das questões utilizadas no Exame, bem como ampliar a consonância com as diretrizes curriculares vigentes, no intuito de garantir a qualidade do Exame como instrumento de avaliação dos egressos. Nota: O NBME ® é uma organização independente sem fins lucrativos que fornece exames de alta qualidade para profissões da área da saúde. Os autores não têm qualquer afiliação com o NBME, cuja mera citação não implica em endosso ao conteúdo deste estudo. Exemplo de questão com três não-conformidades interligadas. Enunciado negativo Enunciado sem caso clínico Repetição de dados em outras alternativas: fornece uma pista lógica que favorece o “ test wiseness ” A maior parte dos elementos da alternativa correta está presente nas demais alternativas A linguagem das alternativas não é paralela. Alternativas de redação heterogênea. Exemplos de questões com duas não-conformidades. Enunciado sem caso clínico e sem foco (“ unfocused stem ”)