Geração de Itens para Avaliações a partir de Dados Abertos

Geração Semiautomática de Itens a partir de Dados
Abertos para Avaliações Educacionais com o uso de
Testes Adaptativos Computadorizados
Paulo R P Manseira (paulo.manseira@sociesc.org.br)
Mehran Misaghi (mehran@sociesc.org.br)

Introdução
LOD Brasil 2014 | 19 a 21 de novembro | Florianópolis 2
Instituições de Ensino
Busca e
exploração de
dados
Perfilamento,
evasão e
qualidade
Complexidade
maior em EaD
Personalização do ensino
Postura ativa, ritmo de
aprendizagem e ênfase na
formação
Testes diagnósticos e análise de
proficiência
Maior esforço na elaboração,
análise e feedback
Computerized Adaptive
Testing
Banco de Itens
Geração Automática
de Itens

Objetivos
Apresentar uma forma para GAI a partir de uma base de dados LOD,
de forma que os itens gerados possam ser incorporados a um BI
Espera-se possibilitar a ampliação do número de oportunidades para o uso de TAC,
com foco em avaliações de baixo risco
• Testes diagnósticos e testes formativos
• Não apresentam consequências diretas em relação à medidas e cálculos de
resultados acadêmicos

Procedimentos Metodológicos
Pesquisa
Bibliográfica
• TRI
• TAC
• GAI
• LOD
Estudo de caso
• Escopo do
sistema
• Modelo de
item com
IMS-QTI
• Endpoint
SPARQL do
DBpedia
Análise dos
dados
• Qualidade
dos dados
retornados
• Combinação
dos dados
para geração
de itens

• Um conjunto de modelos estatísticos e
probabilísticos que buscam medir um
traço latente
• É um componente da Psicometria que
empresta instrumentos de medição da
Estatística e Probabilidade
• Sua unidade de análise é o Item
• Para o modelo unidimensional
Teoria do
Traço Latente
Probabilidade
Estatística
• Independência local (um item não
influencia a resposta a outro item)
• Unidimensionalidade (os itens de um
teste medem o mesmo traço latente) TRI
5
Revisão da literatura – TRI
(COSTA, 2009; MOREIRA JUNIOR, 2011; PASQUALI, 2011)
LOD Brasil 2014 | 19 a 21 de novembro | Florianópolis

Revisão da literatura – TRI (ML3)
i indica um determinada questão do teste;
j indica um determinado indivíduo que realizou o teste;
Uij é uma variável que assume 1 ou 0, caso o indivíduo j
acerte ou erre o item i;
θj é o traço latente estimado do indivíduo j;
ai é o parâmetro de discriminação do item i;
bi é o parâmetro de dificuldade do item i;
ci é o parâmetro de acerto casual do item i;
e é a constante matemática Número de Euler, base dos
logaritmos naturais, cujo valor é 2,718281...;
P(Uij=1|θj) é a Função de Resposta do Item (FRI) e indica a
probabilidade do indivíduo j com traço latente medido em θj
responder corretamente o item i, ou seja, é a proporção de
respostas corretas para o item i entre os indivíduos com o
traço latente medido em θj.
(MOREIRA JUNIOR, 2011; PASQUALI, 2011)

• Administrados através de um
sistema informatizado
• Apresenta questões
• Coleta as respostas
• Escolhe em tempo real qual item
será administrado
• Calcula em tempo real a habilidade
do indivíduo
• Possibilita estimações mais precisas
sobre o traço latente
• Precisa de menos itens que os
testes convencionais
7
Revisão da literatura – TAC
Início
Fim
Seleção e
apresentação de um
item
Avaliação da
resposta
Estimação da(s)
habilidade(s)
Critério de
parada foi
atingido?
sim
não
(VAN DER LINDEN; GLAS, 2010; FETZER et al., 2011; MOREIRA JUNIOR, 2011; PITON-GONÇALVES, 2012)
LOD Brasil 2014 | 19 a 21 de novembro | Florianópolis

Revisão da literatura – GAI
• Criação de itens a partir de um modelo
• Variáveis são preenchidas a partir de um conjunto de definição/restrição
• Modelos gerados a partir de itens calibrados são chamados de Modelos Isomorfos
• Propicia o aumento de tamanho do BI
• Propicia a diminuição da taxa de exposição dos itens
• O uso de itens isomorfos tende a aumentar o erro padrão na estimação
• Menor impacto quando se trata de avaliações diagnósticas ou formativas
(REVUELTA, 2000; BEJAR et al., 2003; SOUZA, 2010; MOREIRA JUNIOR, 2011; GIERL; LAI, 2013; LUECHT, 2013; FOULONNEAU; RAS, 2013)

Revisão da literatura – LOD
• Dados abertos
• Triplas sujeito-predicado-objeto
• XML, RDF, RDFS, OWL, SPARQL etc.
(HEBELER, 2009; HAUSENBLAS; KARNSTEDT, 2010; LINKING OPEN DATA, 2014)

Revisão da literatura – LOD
(DATAHUB, 2014; LINKING OPEN DATA, 2014)
9.855 datasets
listados pela
plataforma
DataHub

Resultados e discussão – Foco deste trabalho
Consultas SPARQL
Modelos de Itens
Dicionário de
Dados
Banco de
Itens
Dados Abertos TAC

Resultados e discussão – Modelos no padrão IMS-QTI
Qual a capital do estado de
<nome do estado>?
Entre os poetas listados abaixo
qual pertence ao movimento
artístico <nome do
movimento>?
<choiceInteraction responseIdentifier="RESPONSE" shuffle="false" maxChoices="1">
<prompt>Qual a capital do estado de/do {estado}?</prompt>
<simpleChoice identifier="{codigoResposta1}">{textoResposta1}</simpleChoice>
</choiceInteraction>
<prompt> Entre os poetas listados abaixo qual pertence ao movimento artístico
{nomeMovimento}?</prompt>

Resultados e discussão – Consulta SPARQL
<prompt>Qual a capital do estado de/do {estado}?</prompt>
PREFIX dbpedia-type: <http://dbpedia.org/class/yago/>
PREFIX dbpedia-prop: <http://dbpedia.org/property/>
PREFIX rdfs: <http://www.w3.org/2000/01/rdf-schema#>
SELECT DISTINCT ?estado ?capital
WHERE {
?itemEstado a dbpedia-type:StatesOfBrazil ;
rdfs:label ?estado ;
dbpedia-prop:seat ?itemCapital.
?itemCapital rdfs:label ?capital .
FILTER (
langMatches( lang(?estado), "PT" ) &&
langMatches( lang(?capital), "PT" )
)
}

Resultados e discussão – Consulta SPARQL
<prompt> Entre os poetas listados abaixo qual pertence ao movimento artístico
{nomeMovimento}?</prompt>
PREFIX dcterms: <http://purl.org/dc/terms/>
PREFIX rdfs: <http://www.w3.org/2000/01/rdf-schema#>
PREFIX dbo: <http://dbpedia.org/ontology/>
PREFIX cat: <http://dbpedia.org/resource/Category:>
SELECT ?nomePoeta ?nomeMovimento
WHERE {
?poeta dcterms:subject cat:Brazilian_poets;
rdfs:label ?nomePoeta ;
dbo:movement ?movimento .
?movimento rdfs:label ?nomeMovimento
FILTER (
LANG(?nomePoeta) = "pt" &&
LANG(?nomeMovimento) = "pt"
)
}

Resultados e discussão – Sobre os dados de Estados
• Foi retornado um conjunto com 24 estados: Acre, Alagoas, Amapá, Amazonas,
Bahia, Ceará, Distrito Federal, Espírito Santo, Goiás, Maranhão, Mato Grosso,
Mato Grosso do Sul, Pará, Paraíba, Paraná, Pernambuco, Piauí, Rio Grande do
Norte, Rio Grande do Sul, Rondônia, Roraima, São Paulo, Sergipe e Tocantins
• Não foram retornados
• Minas Gerais e Rio de Janeiro devido ao predicado <http://dbpedia.org/property/
seat> possuir um valor literal e não o endereço de outro sujeito no dataset,
• Santa Catarina devido a inexistência da ligação do predicado <http://dbpedia.org/
property/seat> definido

Resultados e discussão – Sobre os dados de Poetas
• Foi retornado um conjunto de 50 poetas brasileiros com os respectivos
movimentos artísticos dos quais foram participantes
• Foram identificados 4 resultados inválidos nos quais não se identificava corretamente
o nome do movimento artístico: “Poesia concreta”, “Poesia fonética”, “Novas mídias”
e “Literatura do Brasil”.
• Outros resultados foram corretamente identificados em cada movimento artístico:
• Barroco com 1 resultado, Parnasianismo com 11, Modernismo com 3, Romantismo com
20, Neoclassicismo com 7, Naturalismo com 1, Neorromantismo com 1 e Simbolismo
com 2 resultados
• O uso de outros vocabulários trouxeram resultados corretos, mas com poetas
diferentes
• Ao se trocar o objeto cat:Brazilian_poets por <http://dbpedia.org/class/yago/
BrazilianPoets> o conjunto de itens retornados para Barroco continuou sendo 1, mas ao
invés de Gregório de Matos da consulta original obteve-se Bento Teixeira com a nova
consulta

Resultados e discussão – Sobre os dados de Poetas
• A criação dos itens a partir dos modelos propostos necessita de uma resposta
correta e outras três incorretas
• Escolheu-se aleatoriamente outros nomes de capitais ou poetas respectivamente
para as alternativas incorretas de acordo com o modelo de item.
• Através da leitura automatizada dos resultados retornados foi possível gerar os
itens preenchendo as variáveis de seus respectivos modelos através de análise
combinatória
• Para o modelo de item sobre Estados brasileiros obteve-se a construção de 1.771
itens
• Para o modelo de item sobre poetas brasileiros foi possível a construção de 49.423
itens diferentes em função da possibilidade de arranjos de subconjuntos de poetas
• Desconsiderou-se para cada questão outros poetas do mesmo movimento artístico ou o
poeta cuja escolha seria a correta mas que participou de mais de um movimento

Considerações finais
• Primeira incursão no uso de LOD e GAI
• Percebe-se a possibilidade prática da GAI utilizando LOD
• Identificou-se duas situações sensíveis:
• Os dados obtidos podem ser incorretos como os 4 itens identificados pela consulta de poetas
• Os dados podem estar ausentes ou não ligados através da ontologia ou vocabulário utilizados na consulta
como é o caso dos poetas do movimento Barroco, Gregório de Matos e Bento Teixeira
• É necessário certo esforço na identificação dos datasets e suas respectivas ontologias e vocabulários,
para que se possa realizar uma adequada extração de dados
• Para trabalhos futuros:
• A identificação de padrões para a criação de itens mais complexos, como aqueles utilizados no ENEM e outros
exames de larga escala
• Construção de uma ferramenta de autoria com foco em usuários especialistas em conteúdo, mas sem
conhecimento técnico das tecnologias envolvidas
• Realizar a validação final sobre qualidade dos itens gerados através de um TAC baseado na TRI com o modelo
ML3

Referências
ALVES, D. T. et al. Análise de metodologia baseada no sistema de ensino individualizado de Keller aplicada em um curso introdutório de eletromagnetismo. Revista Brasileira de
Ensino de Física, São Paulo, v. 33, n. 1, Mar. 2011. Disponível em <http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1806-11172011000100014&lng= en&nrm=iso>. Acesso
em 07 jul. 2013.
BEJAR, Isaac I. et al. A feasibility study of on-the-fly item generation in adaptive testing. The Journal of technology, learning and assessment, v. 2, n. 3, 2003.
BIRNBAUM, A. Some Latent Trait Models and Their Use in Infering an Examinee’s Ability. In: LORD, F. M.; NOVICK, M. R. Statistical Theories of Mental Test Scores. Reading, MA:
Addison-Wesley, 1968.
COSTA, D. R. Métodos Estatísticos em Testes Adaptativos Informatizados. Dissertação. 2009. 120 f. Dissertação (Mestrado) – Departamento de Métodos Estatísticos, Instituto de
Matemática, Universidade Federal do Rio de Janeiro, Rio de Janeiro.
DATAHUB. DataHub. Disponível em: <http://datahub.io/>. Acesso em: 13 set. 2014
FETZER, M. et al. Computer Adaptive Testing (CAT) in an Employment Context. White paper. Roswell, USA: PreVisor, 2011.
FOULONNEAU, M.; RAS, E. Assessment Item Generation, the way forward. In: 2013 International Computer Assisted Assessment (CAA) Conference, 20., 2013, Southampton, UK.
Proceedings… Southampton, 2013..
GARCIA-CASTRO, R.; FENSEL, D.; ANTONIOU, G. (Eds.). The Semantic Web: ESWC 2011 Workshops. Springer, 2012.
GIERL, M. J.; LAI, H. Using Weak and Strong Theory to Create Item Models for Automatic Item Generation. In: GIERL, M. J.; HALADYNA, T. M. (Eds.). Automatic item generation:
Theory and practice. Routledge, 2012.
HAUSENBLAS, M.; KARNSTEDT, M. Understanding Linked Open Data as a Web-Scale Database. In: International Conference Nn Advances In Databases Knowledge And Data
Applications (DBKDA), 2., 2010, Menuires. Proceedings... Menuires: IEEE, 2010.
HEBELER, J. et al. Semantic Web Programming. Indianapolis: Wiley Publishing, 2009.
IMS GLOBAL. IMS Global Learning Consortium. Disponível em: <http://www.imsglobal.org/>. Acesso em: 07 set. 2014.
JOHNSON, L. et al. NMC Horizon Report: 2013 Higher Education Edition. Austin, Texas: The New Media Consortium, 2013.

Referências
LINKING OPEN DATA. The Linking Open Data Cloud. Disponível em: <http://lod-cloud.net/>. Acessado em: 13 set. 2014.
LORD, F. M. A theory of test scores (No. 7). PsychometricMonograph, 1952.
LUECHT, R. M. An Introduction to Assessment Engineering for Automatic Item Generation. In: GIERL, M.; HALADYNA, T. M. (Eds). Automatic Item Generation: theory and practice.
Taylor & Francis, 2013.
MOREIRA JUNIOR, F. J. Sistemática para a implantação de Testes Adaptativos Informatizados baseados na Teoria da Resposta ao Item. 2011, 334 f. Tese (Doutorado) – Centro
Tecnológico, UFSC, Florianópolis.
PASQUALI, L. Psicometria: Teoria dos testes na Psicologia e na Educação. 4ª ed. Petrópolis: Vozes, 2011.
PITON-GONÇALVES, J. Desafios e perspectivas da implementação computacional de Testes Adaptativos Multidimensionais para avaliações educacionais. 2012, 153 f. Tese
(Doutorado) – Instituto de Ciências Matemáticas e de Computação, ICMC/USP, São Carlos.
RASCH, G. Probabilistic Models for Some Intelligence and Attainment Tests. Copenhagen: Danish Institute for Educational Research, 1960.
REVUELTA, J. Estimación de habilidadmediante ítems isomorfos. Efectos en la fiabilidad de las puntuaciones. Psicothema, v. 12, n. 2, p. 303-307, 2000.
SCHEUERMANN, F,; BJÖRNSSON, J. (Eds.). The Transition to Computer-Based Assessment: New Approaches to Skills Assessment and Implications for Large-scale Testing.
Luxemburgo: European Communities, 2009.
SOUZA, S. Z. Avaliação: da pedagogia da repetência à pedagogia da concorrência? In: DALBEN, A. I. L. F. et al. (Org). Didática: convergências e tensões no campo da formação e do
trabalho docente. Belo Horizonte: Autêntica, 2010.
THOMPSON, N. A.; WEISS, D. J. A Framework for the Development of Computerized Adaptive Tests. Practical Assessment, Research & Evaluation, 16(1), 2011. Disponível em:
<http://pareonline.net/getvn.asp? v=16&n=1>. Acesso em 10 jul. 2013.
VAN DER LINDEN, W. J.; GLAS, C. A. W. Elements of Adaptive Testing. Statistical for Social and Behavioral Sciences. New York: Springer Science+BusinessMedia, LLC, 2010.
WRIGHT, B. D. Sample-free test calibration and person measurement. Proceedings of the 1967 Invitational Conference on Testing Problems. Princeton, N. J.: ETS - Educational
Testing Service, 1968.

Questionamentos

Geração de Itens para Avaliações a partir de Dados Abertos

Recomendados

Recomendados

Mais conteúdo relacionado

Último

Último (20)

Destaque

Destaque (20)

Geração de Itens para Avaliações a partir de Dados Abertos