Apresentação realizada no 3º Congresso de Engenharia de Produção da Região Sul 2014 na UNISOCIESC em Joinville, SC, Brasil. As instituições de ensino superior buscam conhecer melhor seu público-alvo com o objetivo de aumentar a retenção dos alunos e proporcionar maior qualidade de seus serviços educacionais, atividade que se torna mais difícil quando se trata de Educação à Distância já que seu público se encontra distante fisicamente e/ou temporalmente. Uma possibilidade para atenuar esse problema é a automatização das atividades de avaliação através de Testes Adaptativos Computadorizados. O objetivo deste trabalho é propor uma arquitetura para a construção de um sistema de gestão deste tipo de avaliação que possa ser utilizado em diferentes momentos de um curso da modalidade EaD. Realiza-se uma pesquisa bibliográfica para a identificação de conceitos centrais sobre TAC e sua posterior aplicação em um estudo de caso onde é elaborada e apresentada a proposta de arquitetura bem como as próximas etapas da pesquisa.

1. Arquitetura para um Sistema de Gestão de
Testes Adaptativos Computadorizados
Paulo Rogério Pires Manseira (UNISOCIESC) paulo.manseira@sociesc.og.br
Mehran Misaghi (UNISOCIESC) mehran@sociesc.org.br

2. Introdução
Instituições de Ensino
Busca e
exploração de
dados
Perfilamento,
evasão e
qualidade
Complexidade
maior em EaD
Personalização do ensino
Postura ativa, ritmo de
aprendizagem e ênfase na
formação
Testes diagnósticos e análise
de proficiência
Maior esforço na
elaboração, análise e
feedback
Computer-Based
Testing
Uso de TI em avaliação
para classificação,
seleção e aferição
Computerized
Adaptive Testing
JOHNSON et al., 2013; ALVES et al., 2011; SCHEUERMANN; BJORNSSON, 2009; MOREIRA JUNIOR, 2011.

3. Objetivo
Propor uma arquitetura para a construção de um sistema
de gestão de testes adaptativos computadorizados,
que possa ser utilizado em diferentes momentos de um
curso da modalidade EaD

4. Pesquisa
bibliográfica
• TAC
• TRI
• Modelos de uso
• Algoritmos
Estudo de caso
• Escolha do
modelo
• Modelagem e
implementação
do sistema
• Projeto piloto
Avaliação dos
resultados
• Análise
quantitativa
• Análise
qualitativa
Metodologia
Trabalho em andamento

5. O TAC é um
– teste computadorizado flexível e adaptável
– ao indivíduo que está sendo examinado,
– em tempo real,
– e que gera dados estatísticos tanto do indivíduo quanto do
grupo a que o indivíduo pertence,
– em função do nível de proficiência inferido a partir das questões
apresentadas
– que seguem certa metodologia psicométrica em sua formulação
Revisão Bibliográfica
PINTON-GONÇALVES, 2012.

6. Testes Adaptativos
Computadorizados
Unidimensional
Multidimensional
Revisão Bibliográfica
• Existência de uma relação entre habilidade (traço latente) e
probabilidade de resposta correta
• Estimadores de proficiência obtidos através de inferência estatística
RECKASE, 2009; DEMARS, 2010; MOREIRA JUNIOR, 2011; PINTON-GONÇALVES, 2013.

7. Início
Fim
Seleção e
apresentação deum
item
Avaliação da
resposta
Estimação da(s)
habilidade(s)
Critério de
parada foi
atingido?
sim
não
Revisão Bibliográfica
Adaptado de FETZER et al., 2011.
Algoritmo básico de um TAC

8. Exemplo de um TAC
Revisão Bibliográfica
MOREIRA JUNIOR, 2011.

9. TAC
Banco de
itens
Critério de
início
Algoritmo
para seleção
de itens
Algoritmo
para
estimação de
habilidade
Critério de
término
Revisão Bibliográfica
Arquitetura de um TAC
THOMPSON; WEISS, 2011.

10. Vantagens
• A correção automática.
• Controle do tempo de exposição.
• A personalização do teste.
• Diminuição do tempo necessário.
• Diminuição do número de questões.
• Possibilidade de aplicação na EaD.
• Testes em dias, horários e locais
diferentes.
• Permite comparação entre indivíduos.
• Feedback instantâneo.
• Não necessita impressão.
• Questões com uso de multimídia.
• Acompanhamento evolutivo dos
indivíduos.
Revisão Bibliográfica
Desvantagens
• Banco de itens
– Elaboração de questões com
qualidade psicométrica.
– Metodologia de calibração inicial.
– Potencial aumento de custos
(profissionais de estatística).
– Sistema computacional rápido e
seguro.
– Necessita de procedimentos
criteriosos na inclusão/exclusão de
itens.
MOREIRA JUNIOR, 2011; PITON-GONÇALVES, 2012.

11. Resultados e Discussão
Servidor LMS
Servidor ERP
AlunoServidor TAC
Professor
Administrador
Auto-teste
LMS
Avaliação
Administração
Gestão do TAC
Diagrama Conceitual

12. Resultados e Discussão
Diagrama de Componentes

13. Resultados e Discussão
Diagrama de Casos de Uso do Módulo Aluno

14. Resultados e Discussão
Diagrama de Casos de Uso do Módulo Webservices

15. Resultados e Discussão
Diagrama de Casos de Uso do Módulo Gestão

16. Resultados e Discussão
Diagrama de Casos de Uso do Módulo Administração

17. ResultadoseDiscussão Diagrama de Casos de Uso
do Módulo TAC

18. Resultados e Discussão
Protótipo de Projeto Gráfico

19. Este é um trabalho em andamento e em estágio inicial
Resultados e DiscussãoResultadosesperados
Uso de TAC de forma simples em diferentes momentos de estudo.
A propiciação de avaliações formativas e feedbacks constantes.
Oferecer indicativos de lacunas no aprendizado de alunos.
O diagnóstico e a personalização do processo de ensino-aprendizagem.

20. Estudo de caso
• Modelar
detalhes
técnicos
• Escolher
algoritmos da
TRI
• Implementar
sistema
Estudo de caso
• Realizar teste
piloto
Avaliação dos
resultados
• Análise
quantitativa
• Análise
qualitativa
• Apresentação
dos
resultados
Considerações Finais
Próximas etapas

21. ABREU, R. C. P.; SILVA, P. N. DIA - Ferramenta de teste adaptativo informatizado. Edu.Tec Revista Científica Digital da Faetec, Rio de Janeiro, ano 4, v. 1,
n. 1, Fev. 2012. Disponível em <http://www.faetec.rj.gov.br/desup/index.php/1013-5-edicao-ano-iv-vol-01-n-01 >. Acesso em 01 jul. 2013.
ALVES, D. T. et al. Análise de metodologia baseada no sistema de ensino individualizado de Keller aplicada em um curso introdutório de eletromagnetismo.
Revista Brasileira de Ensino de Física, São Paulo, v. 33, n. 1, Mar. 2011. Disponível em <http://repositorio.ufpa.br/jspui/handle/2011/3231>. Acesso em 07 jul.
2013.
BIRDSALL, M. Implementing Computer Adaptive Testing to Improve Achievement Opportunities. [S.l.]: Office of Qualifications and Examinations Regulation,
2011.
CARVALHO, R. M.; COELHO, E. G. Sistema de Testagem Adaptativa Computadorizada (CAT) da Universidade de Brasília com Pré-Testagem Automatizada.
2011, 121 f. Monografia (Licenciatura em Computação) Departamento de Ciência da Computação, Instituto de Ciências Exatas, Universidade de Brasília,
Brasília.
CURA JUNIOR, C. et al. Uma Ferramenta Adaptativa de Avaliação da Aprendizagem Baseada no Perfil Cognitivo e Metacognitivo do Estudante. Revista de
Informática Aplicada, São Caetano do Sul, v. 3, n. 2, p. 41-48, 2007.
DALPIAZ, M. G. G. SIA on-line: Sistema Integrado de Avaliação On-line baseado em Testes Adaptativos Informatizados (TAIs). 2007, 75 f. Monografia
(Tecnólogo em Análise e Desenvolvimento de Sistemas). Faculdade de Tecnologia SENAC/RS, Porto Alegre.
DEMARS, C. Item response theory. Oxford: Oxford University Press, 2010.
FERNANDES, P. G. M. Sistema Computadorizado de Avaliação Adaptativa em Larga Escala (SCAALE). 2009, 152 f. Monografia (Ciência da Computação).
Departamento de Ciência da Computação, Instituto de Ciências Exatas, Universidade de Brasília, Brasília.
FETZER, M. et al. Computer Adaptive Testing (CAT) in an Employment Context. White paper. Roswell, USA: PreVisor, 2011.
HUANG, Y.-.; LIN, Y.-.; CHENG, S.-C. An adaptive testing system for supporting versatile educational assessment. Computers & Education, v. 52, p. 53-67,
2009.
JOHNSON, L. et al. NMC Horizon Report: 2013 Higher Education Edition. Austin, Texas: The New Media Consortium, 2013.
JUSTINO, G; ANDRADE, D. F. Software para avaliação de aprendizagem utilizando a teoria da resposta ao item. In: WORKSHOP SOBRE INFORMÁTICA
NA ESCOLA, 13. 2007, Rio de Janeiro. Anais... Rio de Janeiro: SBC, 2007.
LILLEY, M.; BARKER, T.; BRITTON, C. The development and evaluation of a software prototype for computer-adaptive testing. Computers & Education, v.
43(1), p. 109-123, 2004.
Referências

22. LUECHT, R. M.; SIRECI, S. G. A Review of Models for Computer-Based Testing. [S.l.]: CollegeBoard, 2011.
MANSEIRA, P. R. P.; MISAGHI, M. Proposta de ferramenta para uso abrangente de testes adaptativos computadorizados na educação a distância. In:
CONGRESSO BRASILEIRO DE ENGENHARIA DE PRODUÇÃO, 3., 2013, Ponta Grossa. Disponível em
<http://www.aprepro.org.br/conbrepro/2013/down.php ?id=178&q=1>. Acesso em 10 jan. 2014.
MOREIRA JUNIOR, F. J. Sistemática para a implantação de Testes Adaptativos Informatizados baseados na Teoria da Resposta ao Item. 2011, 334 f. Tese
(Doutorado) – Centro Tecnológico, UFSC, Florianópolis.
OLIVEIRA, L. H. M. Testes Adaptativos Sensíveis ao Conteúdo do Banco de Itens: uma Aplicação em Exames de Proficiência em Inglês para Programas de
Pós-Graduação. 2002, 200 f. Dissertação (Mestrado) – ICMC-USP, Instituto de Ciências Matemáticas e de Computação, ICMC/USP, São Carlos.
OLIVEIRA, L. H. M.; ALUÍSIO, S. M.; PITON-GONÇALVES, J. Criação e aplicação de Testes Adaptativos Informatizados: um estudo de caso. In:
CONGRESSO DA SOCIEDADE BRASILEIRA DE COMPUTAÇÃO, 24., 2004, Salvador. Anais… São Paulo: Editora TecArt LTDA., 2004.
PIMENTEL, E. P.; OMAR, N. An Architecture of a Computer Learning Environment for Mapping the Student’s Knowledge Level. Journal of Issues in Informing
Science & Information Technology, v. 4, p. 313-326, 2007.
PITON-GONÇALVES, J. A Integração de Testes Adaptativos Informatizados e Ambientes Computacionais de Tarefas para o Aprendizado do Inglês
Instrumental. 2004, 116 f. Dissertação (Mestrado) – ICMC-USP, Instituto de Ciências Matemáticas e de Computação, ICMC/USP, São Carlos.
PITON-GONÇALVES, J. Desafios e perspectivas da implementação computacional de Testes Adaptativos Multidimensionais para avaliações educacionais.
2012, 153 f. Tese (Doutorado) – Instituto de Ciências Matemáticas e de Computação, ICMC/USP, São Carlos.
RECKASE, M. D. Multidimensional Item Response Theory. New York: Springer, 2009.
SANTOS, P. et al. Modeling the Computing Based Testing domain extending IMS QTI: Framework, models and exemplary implementations. Computers in
Human Behavior, v. 28, p. 1648-1662, 2012.
SCHEUERMANN, F,; BJÖRNSSON, J. (Eds.). The Transition to Computer-Based Assessment: New Approaches to Skills Assessment and Implications for
Large-scale Testing. Luxemburgo: European Communities, 2009.
TRIANTAFILLOU, E.; GEORDIADOU, E.; ECONOMIDES, A. A. The design and evaluation of a computerized adaptive test on mobile devices. Computers &
Education, v. 50(4), p. 1319-1330, 2008.
THOMPSON, N. A.; WEISS, D. J. A Framework for the Development of Computerized Adaptive Tests. Practical Assessment, Research & Evaluation, 16(1),
2011. Disponível em: <http://pareonline.net/getvn.asp ?v=16&n=1>. Acesso em 10 jul. 2013.
Referências

23. Obrigado!
Paulo Rogério Pires Manseira
paulo.manseira@sociesc.og.br