SlideShare uma empresa Scribd logo
1 de 112
Baixar para ler offline
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
Teoria de Resposta ao Item:
Modelos para Respostas não Dicotômicas
com uso de Software Livre
1
Marcos Antonio da Cunha Santos
Departamento de Estatística UFMG
msantos@est.ufmg.br
MINICURSO
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
2
Objetivos:
o Descrição introdutória dos principais modelos da TRI
e das implementações disponíveis em software livre
o Apresentar algumas implementações no R e
procedimentos para algumas análises, como
unidimensionalidade e comportamento diferencial do
item
MINICURSO
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
3
PARTE 1
1. Introdução
2. Modelos para respostas dicotômicas
3. Modelos para respostas não dicotômicas:
o Modelo de Resposta Gradual
o Modelo de Resposta Contínua (Samejima)
o Modelos de desdobramento: modelo GGUM
PARTE 2
o Comportmento diferencial do item
MINICURSO
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
Parte 1 – Alguns modelos da TRI e suas implementações
1. Introdução
2. Modelos para respostas dicotômicas
3. Modelos para respostas não dicotômicas:
o Modelo de Resposta Gradual
o Modelo de Resposta Contínua (Samejima)
o Modelos de desdobramento: modelo GGUM
4
MINICURSO
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
Exemplo: proporção de acertos
Item de uma prova com 54 questões (Antigo vestibular UFMG)
5
Introdução
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
proporção de escolhas “C”no grupo
6
Faixa de
pontuação total
26-28 pontos
Introdução – Curva característica do item
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
7
curva teórica
Introdução – Curva característica do item
Exemplo: proporção de acertos
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
Item 1 Item 2 Item 3 Item 4 Item 5 Item 6
Indivíduo 1 1 1 1 1 1 0
Indivíduo 2 0 1 1 1 1 0
Indivíduo 3 0 0 1 1 1 0
Indivíduo 4 0 0 0 1 1 0
Indivíduo 5 0 0 0 0 1 1
… ... … … … … …
Em teste tipo certo/errado: a cada item corresponde uma curva
característica, definida por um conjunto de parâmetros
8
Introdução – Curva característica do item
Comportamento
atípico
Exemplos de curvas associadas aos itens:
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
9
Introdução
o Desejável clareza na interpretação dos parâmetros do
modelo adotado - desafio na modelagem matemática.
o Alguns modelos se tornaram bem sucedidos na descrição
dos resultados e aplicação de testes ou questionários
(modelos 1, 2 e 3 parâmetros).
Nesta breve introdução apresentaremos alguns modelos mais
usuais da TRI e sugestões de como implementá-los.
Modelos para descrever
o comportamento de um item:
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
10
o Nos modelos da TRI, as estimativas dos parâmetros dos
itens e das habilidades não são triviais e exigem métodos
computacionais. Métodos usuais: algoritmo EM, MCMC
Introdução
Modelos para descrever
o comportamento de um item:
Modelos para respostas dicotômicas
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
11
O modelo 1P (modelo de Rasch)
Rasch propõs um modelo que atende às seguintes propriedades:
o a curva de resposta é da família das funções logísticas
o A habilidade do indivíduo j e o nível de dificuldade do item i são
medidos em uma mesma escala. É possível portanto:
𝐴𝑗 = 𝐷𝑖
Modelos para respostas dicotômicas
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
12
A probabilidade de acerto do item é
A seguinte transformação é introduzida na equação para simplificar o
tratamento matemático:
𝐴𝑗 = 𝑒𝛼𝑗
𝐷𝑖 = 𝑒β𝑖
Modelos para respostas dicotômicas
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
13
Deste modo a relação entre a probabilidade de acerto de um item i
(escala de 0 a 1), para o indivíduo j com habilidade θj é
𝑃(𝑈𝑗=1|𝜃𝑗) =
𝑒
𝜃𝑗−𝛽𝑖
1+𝑒
𝜃𝑗−𝛽𝑖
Características do modelo:
• atribui a cada indivíduo uma medida de habilidade θ
• atribui a cada item um único parâmetro  (dificuldade)
• separa conceitualmente:
habilidade do indivíduo dificuldade do item
Os parâmetros de dificuldade e habilidade são medidos em uma mesma
escala padronizada. Na maioria das aplicações práticas, a escala N(0,1)
Modelos para respostas dicotômicas
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
14
o modelo 2P:
• β, parâmetro de dificuldade do item
• α, parâmetro de discriminação
o modelo 3P
• β, parâmetro de dificuldade do item
• α, parâmetro de discriminação
• c, parâmetro de probabilidade de acerto ao acaso.
Outros modelos usuais para respostas dicotômicas
acrecentam mais parâmetros ao modelo de Rasch:
Modelos para respostas dicotômicas
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
15
Modelo de três parâmetros (permite obter as expressões para os
modelos 1P e 2P):
• a: parâmetro de discriminação: é o poder de discriminar os
respondentes em relação à habilidade exigida pelo item
• b: parâmetro de dificuldade: quanto maior seu valor, mais difícil
é a questão
• c: parâmetro de acerto ao acaso: probabilidade de um item ser
respondido corretamente ao acaso
Modelos para respostas dicotômicas
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
-3 -2 -1 0 1 2 3
0.0
0.2
0.4
0.6
0.8
1.0
x
y
16
Modelo 3P: (a=1, b=0, c=0) (a=1, b=0.5, c=0.1) (a=1, b=1, c=0.15)
Modelos para respostas dicotômicas
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
Modelo 3P: (a=1, b=0, c=0) (a=1, b=0.5, c=0) (a=1, b=1.0, c=0)
-3 -2 -1 0 1 2 3
0.0
0.2
0.4
0.6
0.8
1.0
x
y
17
Modelos para respostas dicotômicas
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
Modelo 3P (a=1, b=0, c=0) e (a=2, b=0, c=0)
-3 -2 -1 0 1 2 3
0.0
0.2
0.4
0.6
0.8
1.0
x
y
18
Modelos para respostas dicotômicas
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
19
Implementação dos modelos 1P, 2P e 3P e outros no R:
opacote “MIRT”
opacote “ltm”
Funções implementadas no “ltm”:
rasch( ) modelo 1P
ltm( ) modelo 2P
tpm( ) modelo 3P
grm ( ) modelo de resposta gradual
outras
Modelos para respostas dicotômicas
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
20
Exemplo pacote ltm - Law School Admission Test (LAST)
1000 individuos, 5 questoes
library(ltm) #carrega o pacote ltm
head(LSAT) #primeiras linhas do banco
Item 1 Item 2 Item 3 Item 4 Item 5
1 0 0 0 0 0
2 0 0 0 0 0
3 0 0 0 0 0
4 0 0 0 0 1
5 0 0 0 0 1
6 0 0 0 0 1
Modelos para respostas dicotômicas
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
21
Pacote ltm – modelo Rasch
# modelo Rasch sem restrições na discriminação
modelo1=rasch(LSAT)
# valores ajustados dos parâmetros
coef(modelo1, prob=TRUE)
Dffclt Dscrmn P(x=1|z=0)
Item 1 -3.6152665 0.7551347 0.9387746
Item 5 -2.7801716 0.7551347 0.8908453
Item 4 -1.7300903 0.7551347 0.7869187
Item 2 -1.3224208 0.7551347 0.7307844
Item 3 -0.3176306 0.7551347 0.5596777
Modelos para respostas dicotômicas
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
22
# Curva característica – ajuste ao modelo 3P
modelo3=tpm(LSAT)
plot(modelo3, items=c(4,2,3))
-4 -2 0 2 4
0.0
0.2
0.4
0.6
0.8
1.0
Item Characteristic Curves
Ability
Probability
4
2
3
Modelos para respostas dicotômicas
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
Curva de Informação
o Derivando a função log-verossimilhança em relação ao parâmetro
𝜃 temos a função escore:
o O EMV é a solução da equação S(𝜃) = 0
o A derivada segunda da função log-verossimilhança no ponto que a
função atinge o valor máximo define a Informação de Fisher.
23
Modelos para respostas dicotômicas
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
24
o A informação esperada de Fisher é
o Sob condições apropriadas de regularidade,
Modelos para respostas dicotômicas
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
25
o O termo informação foi introduzido em estatística por Fisher,
que a definiu como o inverso da precisão com que se estima o
parâmetro
o A quantidade de informação é calculada para cada valor de
𝜃, sendo uma função definida de −∞ a +∞
o A função de informação não depende da distribuição dos
examinandos ao longo da distribuição da escala de habilidades
o Quanto maior o valor da informação → menos incerteza sobre
os parâmetros
Modelos para respostas dicotômicas
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
26
Como exemplo, no modelo 3P:
𝐼𝑖 𝜃 = 𝐷2𝑎𝑖
2 [1 − 𝑃𝑖 𝜃 ]
𝑃𝑖 𝜃
𝑃𝑖 𝜃 − 𝑐𝑖
1 − 𝑐𝑖
2
Neste modelo, a informação é maior quando:
• 𝑏𝑖 é próximo de θ,
• maior o parâmetro 𝑎𝑖
• menor o valor de 𝑐𝑖
Modelos para respostas dicotômicas
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
27
o A utilidade da função de informação do item na avaliação e
desenvolvimento de testes depende do ajuste da CCI
o um item pode apresentar um valor alto da função de informação
em uma região da escala de habilidades, mas o item pode não
ter valor se o interesse é medir o construto em outra posição da
escala.
o Função de informação do teste: 𝐼 𝜃 = σ𝑖=1
𝑵
𝐼𝑖(𝜃)
Modelos para respostas dicotômicas
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
28
Exemplo real de função de informação do teste 𝐼 𝜃 = σ𝑖=1
𝑵
𝐼𝑖(𝜃)
Modelos para respostas dicotômicas
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
29
# curvas de informação no ltm
plot(modelo3, type="IIC", items=c(4,2,3),legend =TRUE)
-4 -2 0 2 4
0.05
0.10
0.15
0.20
Item Information Curves
Ability
Information
Item 4
Item 2
Item 3
Modelos para respostas dicotômicas
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
30
# habilidades estimadas por padrão de
# respostas
factor.scores(modelo3)
Call:
tpm(data = LSAT)
Scoring Method: Empirical Bayes
Factor-Scores for observed response patterns:
Item 1 Item 2 Item 3 Item 4 Item 5 Obs Exp z1 se.z1
1 0 0 0 0 0 3 2.230 -1.871 0.790
2 0 0 0 0 1 6 5.820 -1.463 0.792
3 0 0 0 1 0 2 2.583 -1.446 0.793
4 0 0 0 1 1 11 8.944 -1.032 0.796
5 0 0 1 0 0 1 0.701 -1.325 0.796
6 0 0 1 0 1 1 2.628 -0.908 0.800
7 0 0 1 1 0 3 1.185 -0.889 0.801
8 0 0 1 1 1 4 5.969 -0.463 0.809
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
Modelo de Resposta Gradual
Modelo de Resposta Gradual
o proposto por Samejima, 1969
o No Modelo de Resposta Gradual, itens são formados por
um conjunto de respostas ordenadas.
31
Exemplo (uma possibilidade)
a) Concordo fortemente
b) Concordo
c) Discordo
d) Discordo fortemente
ordenação
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
Modelo de Resposta Gradual
32
Respostas:
a) Concordo fortemente k=3
b) Concordo k=2
c) Discordo k=1
d) Discordo fortemente k=0
Exemplo: item com 4 categorias de respostas
categorias
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
Modelo de Resposta Gradual
33
Exemplo: item com 4 categorias de respostas
conjunto
escolha 1
conjunto
escolha 1 ou superior
conjunto
escolha 2 ou superior
= -
P(escolha 1) = P(escolha 1 ou superior) - P(escolha 2 ou superior)
Respostas:
a) Concordo fortemente k=3
b) Concordo k=2
c) Discordo k=1
d) Discordo fortemente k=0
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
Modelo de Resposta Gradual
34
expressão
proposta pelo
modelo
P(escolha k ou superior) é dada por
De acordo com o modelo, probabilidade do j-ésimo respondente
escolher a categoria k do item i é
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
Modelo de Resposta Gradual
35
Respostas:
a) Concordo fortemente k=3
b) Concordo k=2
c) Discordo k=1
d) Discordo fortemente k=0
categoria de resposta no item curva característica
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
Modelo de Resposta Gradual
36
Os parâmetros indicam a forma e a localização das posições centrais
das curvas de resposta das categorias:
• O parâmetro ai no MRG não pode ser interpretado como
discriminação
• O parâmetro bij - limite das categorias - representa a habilidade
necessária para um indivíduo responder acima do limiar j
com 50% de probabilidade.
• Nos modelos de resposta graduadas, os bij de um mesmo item
são ordenados
• bij é dito parâmetro de locação
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
Modelo de Resposta Gradual
37
Curvas características - item com 3 categorias de respostas
1
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
Modelo de Resposta Gradual
38
4
3
1
2
1
Curvas características - item com 4 categorias de respostas
probabilidade
de escolha da
categoria 4
para um
indivíduo com
nível 2
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
Modelo de Resposta Gradual
39
Curva Característica do Item e Curva de Informação do Item
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
Modelo de Resposta Gradual
40
Análise da curva característica do item
Exemplo de item a ser recodificado, revisado ou retirado (pouca discriminação)
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
Modelo de Resposta Gradual
41
# ajuste com o modelo de Samejima
fit=grm(matriz.resp)
# curva característica para item 3
plot(fit, item=3, lwd = 2, legend = TRUE)
Implementação para o Modelo Resposta Gradual:
pacotes “ltm” ou “MIRT”
No ltm:
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
Modelo de Resposta Gradual
42
# curva de informação do item 2
plot(fit, type = "IIC", items = 2, lwd = 2)
# curva de informação do item 3 e 4
plot(fit, type = "IIC", items = c(3,4), lwd = 2)
# curva de informação do teste
plot(fit, type = "IIC", items = 0, lwd = 2)
# escores
factor.scores(fit, resp.patterns = ...)
pacote ltm
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
Modelo de Resposta Gradual
43
Curva Característica do Item e curva de informação do item
-4 -2 0 2 4
0.0
0.4
0.8
Item Response Category Characteristic Curves
Item: 12_2_4
Ability
Probability
1
2
3
-4 -2 0 2 4
0.05
0.10
0.15
0.20
Item Information Curves
Ability
Information
1
-4 -2 0 2 4
0.0
0.4
0.8
Item Response Category Characteristic Curves
Item: 12_4
Ability
Probability
1
2
3
-4 -2 0 2 4
0.0
0.2
0.4
Item Information Curves
Ability
Information
1
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
Modelo de Resposta Gradual
44
# matriz policórica (pacote minicurso)
mpolicorica=poli(matriz.resp)
Mpolicorica
Verificação de unidimensionalidade
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
Modelo de Resposta Gradual
45
A=plot.autov(matriz.resp) #pacote minicurso
2 4 6 8 10
0.5
1.0
1.5
2.0
2.5
3.0
3.5
Autovalores associados aos componentes principais
Verificação de unidimensionalidade
Modelo Multidimensional
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
46
Modelo Multidimensional - R package “MIRT”
O modelo muldimensional:
• m níveis
• m variáveis latentes
• itens
,
associados às variáveis latentes
Modelo Multidimensional
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
47
library(mirt)
#Desagrupar os dados
dados<-expand.table(LSAT7)# Ex. com 1000 respondentes e 5 itens
#Ajuste modelos de 1,2 e 3 parâmetros
fit.1PL<- mirt(dados, 1, itemtype ="1PL")
fit.2PL<- mirt(dados, 1, itemtype ="2PL")
fit.3PL<- mirt(dados, 1, itemtype "3PL", guess=.2)
#Parâmetros dos modelos
coef(fit.1PL)
coef(fit.2PL)
coef(fit.3PL)
#a=discriminação, d=dificuldade, g=acerto ao acaso
Modelo Multidimensional
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
48
library(mirt)
#Desagrupar os dados
dados<-expand.table(LSAT7)# Ex. com 1000 respondentes e 5 itens
#Ajuste modelos de 1,2 e 3 parâmetros
fit.1PL<- mirt(dados, 1, itemtype ="1PL")
fit.2PL<- mirt(dados, 1, itemtype ="2PL")
fit.3PL<- mirt(dados, 1, itemtype "3PL", guess=.2)
#Parâmetros dos modelos
coef(fit.1PL)
coef(fit.2PL)
coef(fit.3PL)
#a=discriminação, d=dificuldade, g=acerto ao acaso
número de dimensões
Modelo Multidimensional
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
49
residuals(fit.1PL)
#Curva de informação total do teste
plot(fit.1PL)
plot(fit.2PL)
plot(fit.3PL)
#Curva de informação do item
itemplot(fit.3PL,1,type="info")
#Comparação de modelos etc
Modelo Multidimensional
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
50
Material adicional – Modelo de Resposta Gradual
Roteiro com comandos
http://www.est.ufmg.br/~msantos/script_minicurso.txt
dados de exemplo (banco de treino):
http://www.est.ufmg.br/~msantos/fcomplex_exemplo.txt
Modelo para resposta contínua
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
51
aj é o parâmetro de discriminação
bj é o parâmetro de dificuldade
αj parâmetro de escala
k = valor máximo da escala para o item
Modelo TRI para resposta contínua
Modelo para resposta contínua
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
52
Modelo de Resposta Contínua (Samejima, 1973).
o O modelo é uma generalização do modelo de resposta gradual
o A cada item são atribuídos três parâmetros: a, b e α.
o Os parâmetros com interpretação semelhante ao do modelo de resposta
gradual
o o parâmetro α é um parâmetro geométrico, sem uma interpretação prática.
Modelo para resposta contínua
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
53
Modelo de Resposta Contínua (Samejima, 1973).
o Este modelo aplicável quando a resposta a um item pode ser situada
em uma escala contínua, entre um valor mínimo e um valor máximo.
o Diferentes itens podem ter diferentes valores mín/máx
o O modelo foi pouco utilizado, após a sua proposição, devido a
dificuldades de implementação computacional. Uma implementação
foi viabilizada após a contribuição de Shojima (2005).
o Implementação: pacote R “EstCRM”
Modelo para resposta contínua
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
54
a) Concordo fortemente k=3
b) Concordo k=2
c) Discordo k=1
d) Discordo fortemente k=0
Modelo de resposta contínua como generalização
do modelo de resposta gradual
K mínimo
K máximo
Resposta Contínua
Resposta Gradual
Modelo para resposta contínua
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
55
Funções implementadas no pacote “EstCRM”
Objetivo Função
Estimação dos parâmetros dos itens EstCRMitem(…)
Estimação das habilidades individuais EstCRMperson (…)
Gráfico 3D das curvas teóricas de resposta plotCRM(…)
Dados simulados simCRM(…)
Outras …
Modelo para resposta contínua
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
56
Dados de exemplo que acompanha o pacote: planilha “EPIA”
o 1033 estudantes marcaram em um segmento de reta (112
mm) uma posição entre dois pontos de referência, segundo
seu julgamento para cinco itens
o Os itens avaliam uma escala de impulsividade.
o O escore é a distância em milímetros do ponto inicial da
escala
Modelo para resposta contínua
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
57
Quase nunca Quase sempre
item 1 Longs for excitement
Item 2 Does not stop and think things over before doing anything
Item 3 Often shouts back when shouted at
Item 4 Likes doing things in which he/she has to act quickly
Item 5 Tends to do many things at the same time
Item 5: Tende a fazer muitas coisas ao mesmo tempo
x
Posição escolhida
Modelo para resposta contínua
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
58
Visualização do banco de dados “EPIA”
library(EstCRM) #carrega o pacote EstCRM
fix(EPIA) #abre janela para edição de dados
dados do
exemplo
Modelo para resposta contínua
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
59
Calibração
Os vetores “max.item” e “min.item” definem uma mesma escala de 0 a 112 para
todos os itens
max.item = c(112,112,112,112,112)
min.item = c(0,0,0,0,0)
Estimando os parâmetros dos itens
CRM = EstCRMitem(EPIA, max.item, min.item, max.EMCycle =
500, converge = 0.01)
par <- CRM$param
Modelo para resposta contínua
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
60
Visualizando os parâmetros
CRM
Largest Parameter change at the last EM Cycle is 1.386805e-05
Final Paramater Estimates:
a b alpha
Item 1 0.394 -0.623 0.591
Item 2 0.549 1.299 0.731
Item 3 0.324 0.235 0.645
Item 4 0.672 0.394 0.943
Item 5 0.626 0.343 0.921
Modelo para resposta contínua
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
-3 -2 -1 0 1 2 3
0.00
0.02
0.04
0.06
0.08
0.10
theta
y
61
Probabilidade de escolha
entre 99,5 e 100,5
Modelo para resposta contínua
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
62
Obtendo as curvas para o item 2
plotCRM(par,item=2,min.item, max.item)
Category Response Curves - Item 2
-3
-2
-1
0
1
2
3
20
40
60
80
100
0.00
0.05
0.10
0.15
Ability Scale
Response Scale
Prob
Modelo para resposta contínua
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
63
Modelo para resposta contínua
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
64
Modelo para resposta contínua
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
65
Modelo para resposta contínua
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
66
valores individuais de 
CRMthetas = EstCRMperson(EPIA,par,min.item,max.item)
CRMthetas
$thetas
ID Theta Est. SE
[1,] 1 0.9312837781 0.8440008
[2,] 2 -3.3614833094 0.8440008
[3,] 3 -0.6678324276 0.8440008
[4,] 4 1.3603595062 0.8440008
[5,] 5 -2.2138970848 0.8440008
[6,] 6 0.1266999241 0.8440008
[7,] 7 0.4191604986 0.8440008
[8,] 8 -0.7021624359 0.8440008
[9,] 9 0.6289758194 0.8440008
[10,] 10 4.2980966234 0.8440008
[11,] 11 0.2372013014 0.8440008
[12,] ....
Modelo GGUM
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
67
o Modelo da Teoria de Resposta ao Item, proposto por
Roberts,J.S., Donoghue,J.R., Laughlin,J.E.(2000)
o Finalidade: escala de atitudes
o Métodos de implementação: algoritmo EM
(Expectation/Maximization)
Generalized Graded Unfolding Model (GGUM)
(Modelo de Desdobramento Graduado Generalizado)
Modelo GGUM
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
68
o Indivíduos são posicionados em uma
escala contínua de atitude
o Indivíduos podem escolher uma categoria
por duas razões: por estar posicionada
“abaixo” ou “acima” da sua posição na
escala
Modelo GGUM
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
69
Exemplo de curvas de
probabilidade
para item com 4
categorias objetivas
Modelo GGUM
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
70
Exemplo de curvas de
probabilidades
subjetivas para item
com 4 categorias
Modelo GGUM
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
71
A probabilidade associada a uma categoria
subjetiva é
Modelo GGUM
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
72
A probabilidade de escolha de uma categoria do item
Modelo GGUM
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
73
curvas subjetivas
Modelo GGUM
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
74
Modelo GGUM
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
75
Interpretação dos parâmetros tau
Modelo GGUM
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
76
Um item aplicado a 750 alunos - Universidade Carolina do Sul
Fonte: J. S. Roberts (2000)
-4 -2 0 2 4
0.0
0.2
0.4
0.6
0.8
1.0
P(z|
)
0
1
2
3
4
5
Aborto deve ser ilegal
exceto em casos
extremos de incesto
ou estupro
A. Concordo fortemente
B. Concordo
C. Concordo levemente
D. Discordo fortemente
E. Discordo
F. Discordo fortemente
Modelo GGUM
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
77
A função de informação de um item para o GGUM
A função de informação do teste é
Modelo GGUM
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
78
Curvas de informação - GGUM
Modelo GGUM
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
79
Implementação
Estimação dos parâmetros e escores:
o software GGUM2004 (gratuito)
http://prdlab.gatech.edu/unfolding/freesoftware/
Estimação dos escores:
o R package “ScoreGGUM”
David R. King and James S. Roberts
Modelo GGUM
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
80
Comportamento Diferencial do Item - DIF
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
81
Fonte: Soares T.,Gamerman, D.,Gonçalves, F.B (2007)
O desenho mostra uma realidade
que se relaciona a um espaço
A) urbano
B) industrial
C) rural
D) metropolitano
Exemplo 1 - Item aplicado aos alunos da 4ª série do ensino fundamental (PROEB-
2001)
Comportamento Diferencial do Item - DIF
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
82
Fonte: Soares T.,Gamerman, D.,Gonçalves, F.B (2007)
Exemplo 1 - Item aplicado aos alunos da 4ª série do ensino
fundamental (PROEB-2001)
Comportamento Diferencial do Item - DIF
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
83
Exemplo 2 comparação de dois itens (vestibular UMG 2004)
Um item de prova de História Um item da prova de Língua
Estrangeira
Comportamento Diferencial do Item - DIF
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
o Indivíduos com mesma habilidade e diferenças relacionadas ao
sexo, origem étnica ou grupos culturais;
o habilidade média menor de um grupo em particular
o fontes de dificuldade que são irrelevantes ou alheios ao
construto que está sendo avaliado
o solicitação de informações que examinandos não tiveram igual
exposição
o outros
84
Um comportamento diferencial do item pode ocorrer na
presença de:
Comportamento Diferencial do Item - DIF
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
o DIF uniforme → a magnitude do DIF é a mesma para todos os
níveis de habilidades
o DIF não uniforme → magnitute do DIF varia de acordo com o
nível de habilidade.
85
Podemos caracterizar DIF como
Comportamento Diferencial do Item - DIF
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
86
o entrada de dados: matriz usual, com indivíduos nas linhas e
itens nas colunas, entradas 0 e 1
o a matriz deve conter cabeçalho (primeira linha) com nomes
dos itens
o a matriz deve ter duas colunas adicionais, preenchida com 0
ou 1 identificando o grupo foco e o grupo referência.
O pacote difR
Comportamento Diferencial do Item - DIF
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
o Método das Áreas
o Método Padronizado
o Mantel-Haenszel
o Teste da Razão de Verossimilhança
o Teste qui-quadrado de Lord
o ... (vários outros)
87
Alguns métodos para identificação de DIF
Comportamento Diferencial do Item - DIF
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
88
o Entrada de dados: matriz usual, com indivíduos nas
linhas e itens nas colunas, entradas 0 e 1
o A matriz deve conter cabeçalho (primeira linha) com
nomes dos itens
o A matriz deve ter duas colunas adicionais, preenchida
com 0 ou 1 identificando o grupo foco e o grupo
referência.
difR
Comportamento Diferencial do Item - DIF
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
89
difR
métodos implementados:
Comportamento Diferencial do Item - DIF
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
o Rudner, Getson e Knight (1980)
o Linn e Harnisch (1981)
90
o Método baseados em áreas entre as curvas
Computado a área
entre as curvas
características dos
grupos focal e
referência
Comportamento Diferencial do Item - DIF
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
o Definição de Rudner, Getson e Knight (1980)
o Definição de Linn e Harnisch (1981)
91
Comportamento Diferencial do Item - DIF
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
o “total”: total de sujeitos no nível m de habilidade,
o “reference” = total de sujeitos no grupo de referência com nível m
de habilidade;
o “focal” (default): total de sujeitos no grupo focal com nível m de
habilidade
Valores de referência para o método padronizado: ver difR manual
92
Método Padronizado – maneiras de definir os pesos wm
Comportamento Diferencial do Item - DIF
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
93
Comportamento Diferencial do Item - DIF
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
94
𝐴𝑗 = frequência de resposta 1 do grupo referência no nível j
𝐵𝑗 = frequência de respostas 0 do grupo referência no nível j
𝐶𝑗 = frequência de respostas 1 do grupo foco no nível j
𝐷𝑗 = frequência de respostas 0 do grupo foco no nível j
Método Mantel-Haenszel
Comportamento Diferencial do Item - DIF
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
95
Fonte: difR Reference Manual
Comportamento Diferencial do Item - DIF
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
96
Exemplo: banco de dados “verbal” (pacote difR)
o Respostas de 243 mulheres e 73 homens a um questionário
sobre agressão verbal.
o Os itens descrevem uma situação frustrante. O valor 1
significa que o sujeito responderia à situação frustrante
de forma agressiva; 0 caso contrário.
library(difR) # carrega o pacote difR
data(verbal) # para carregar os dados
Comportamento Diferencial do Item - DIF
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
97
Método Padronizado
difStd(verbal2, group = "Gender", focal.name = 1)
Standardized P-DIF statistic:
Stat.
S1wantCurse -0.0715 *
S1WantScold -0.0857 *
S1WantShout -0.0718 *
S2WantCurse -0.0719 *
S2WantScold -0.1001 **
S2WantShout -0.1759 **
S3WantCurse 0.0025
S3WantScold 0.0586 *
S3WantShout -0.0619 *
S4WantCurse -0.0787 *
…
Comportamento Diferencial do Item - DIF
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
5 10 15 20
-0.4
-0.2
0.0
0.2
Standardization
Item
St-PDIF
statistic
1 2 3 4
5
6
7
8
9
10
11
12
13
14
15
1617
18
19
20
21
2223
24
5
6
12
1617 19
20
98
# visualização
res= difStd(verbal2, group="Gender",focal.name=1)
plot(res)
Comportamento Diferencial do Item - DIF
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
99
Método Mantel-Haenszel
difMH(verbal2, group = "Gender", focal.name = 1)
…
Mantel-Haenszel Chi-square statistic:
Stat. P-value
S1wantCurse 1.7076 0.1913
S1WantScold 2.1486 0.1427
S1WantShout 0.9926 0.3191
S2WantCurse 1.9302 0.1647
S2WantScold 2.9540 0.0857 .
S2WantShout 9.6032 0.0019 **
S3WantCurse 0.0013 0.9711
S3WantScold 0.6752 0.4112
S3WantShout 0.8185 0.3656
Detection threshold: 3.8415 (significance level: 0.05)
Comportamento Diferencial do Item - DIF
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
5 10 15 20
0
2
4
6
8
10
Mantel-Haenszel
Item
MH
Chi-square
statistic
1
2
3
4
5
6
7
8 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
6
12
16
17
19
20
100
# visualização
res= difMH(verbal2, group="Gender",focal.name=1)
plot(res)
Aspectos computacionais
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
variável
latente θ
parâmetros
dos itens
101
estimados simultâneamente
valores associados ao
indivíduo, equipe, escola, etc
Aspectos computacionais
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
102
o intensivos
o metodologia complexa para estimação dos parâmetros e
escores
o questão da convergência dos algoritmos utilizados (crítico)
o escolha adequada do modelo
Métodos computacionais usados na TRI:
Aspectos computacionais
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
Dado valores dos parâmetros dos itens, estimar as habilidades a partir da
matriz de respostas
103
Algoritmo EM
Aspectos computacionais
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
o fixado os valores das habilidades, estimar os parâmetros dos itens
104
Algoritmo EM
Aspectos computacionais
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
o valores iniciais dos parâmetros
o o ciclo termina quando:
▪ é atingido um número máximo de ciclos
▪ diferença entre parâmetros ou habilidades em ciclos
consecutivos é pequena
▪ outros critérios de parada
▪ Normalmente critérios já pré-definidos no software
o Outros algoritmos: MCMC, métodos bayesianos
105
Procedimento computacional – ciclo EM
Aspectos computacionais
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
106
Exemplo de convergência observada para obtenção de
parâmetros de um item no modelo GGUM
Valores
iniciais dos
parâmetros
do item
Número
de ciclos
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
107
Indicações
Outros pacotes úteis no R
“plink” – para equalização
“irtoys” – modelos 1P, 2P e 3P com plots úteis
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
108
Indicações
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
109
Indicações
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
110
Indicações
Modelos 1,2 e 3P
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
Referências
111
• J. S. Roberts, J. R. Donoghue, and J. E. Laughlin (2000), Unfolding
Unidimensional Polytomous Responses, Applied Psychological
Measurement,Vol. 24 No. 1, March 2000, 3–32
• GGUM2004: A Windows-Based Program to Estimate Parameters in the
Generalized Graded Unfolding Model (reference manual)
• Hambleton RK, Swaminathan H, Rogers HJ: Fundamentals of Item Response
Theory. Newbury Park, CA: SAGE 1991
• Magis D., Béland,S.,Tuerlinckx, F., De Boeck, P. (2010) A general framework
and an R package for the detection of dichotomous differential item functioning.
Behavior Research Methods 42 (3), 847-862.
XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017
Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item
112
• Rizopoulos, Dimitris (2006), ltm: An R Package for Latent Variable Modeling
and Item Reponse Theory Analyses Journal of Statistical Software, 17 (5)
• Roberts J. S., Donoghue J. R., Laughlin J. E.(2000). A General Model for
Unfolding Unidimensional Polytomous Responses Using Item Response Theory.
Applied Psychological Measurement, 24,3–32.
• Soares, T.,Gamerman, D.,Gonçalves, F.B (2007) Análise Bayesiana do
Funcionamento Diferencial do Item, Pesquisa Operacional,v.27, p.271-291
• Zopluoglu, C. (2012). EstCRM: An R package for Samejima’s Continuous IRT
Model. Applied Psychological Measurement, 36(2), 149-150.
Referências

Mais conteúdo relacionado

Último

Projeto de Extensão - ENGENHARIA DE SOFTWARE - BACHARELADO.pdf
Projeto de Extensão - ENGENHARIA DE SOFTWARE - BACHARELADO.pdfProjeto de Extensão - ENGENHARIA DE SOFTWARE - BACHARELADO.pdf
Projeto de Extensão - ENGENHARIA DE SOFTWARE - BACHARELADO.pdfHELENO FAVACHO
 
PROJETO DE EXTENSÃO I - TERAPIAS INTEGRATIVAS E COMPLEMENTARES.pdf
PROJETO DE EXTENSÃO I - TERAPIAS INTEGRATIVAS E COMPLEMENTARES.pdfPROJETO DE EXTENSÃO I - TERAPIAS INTEGRATIVAS E COMPLEMENTARES.pdf
PROJETO DE EXTENSÃO I - TERAPIAS INTEGRATIVAS E COMPLEMENTARES.pdfHELENO FAVACHO
 
421243121-Apostila-Ensino-Religioso-Do-1-ao-5-ano.pdf
421243121-Apostila-Ensino-Religioso-Do-1-ao-5-ano.pdf421243121-Apostila-Ensino-Religioso-Do-1-ao-5-ano.pdf
421243121-Apostila-Ensino-Religioso-Do-1-ao-5-ano.pdfLeloIurk1
 
PROVA - ESTUDO CONTEMPORÂNEO E TRANSVERSAL: COMUNICAÇÃO ASSERTIVA E INTERPESS...
PROVA - ESTUDO CONTEMPORÂNEO E TRANSVERSAL: COMUNICAÇÃO ASSERTIVA E INTERPESS...PROVA - ESTUDO CONTEMPORÂNEO E TRANSVERSAL: COMUNICAÇÃO ASSERTIVA E INTERPESS...
PROVA - ESTUDO CONTEMPORÂNEO E TRANSVERSAL: COMUNICAÇÃO ASSERTIVA E INTERPESS...azulassessoria9
 
Discurso Direto, Indireto e Indireto Livre.pptx
Discurso Direto, Indireto e Indireto Livre.pptxDiscurso Direto, Indireto e Indireto Livre.pptx
Discurso Direto, Indireto e Indireto Livre.pptxferreirapriscilla84
 
Urso Castanho, Urso Castanho, o que vês aqui?
Urso Castanho, Urso Castanho, o que vês aqui?Urso Castanho, Urso Castanho, o que vês aqui?
Urso Castanho, Urso Castanho, o que vês aqui?AnabelaGuerreiro7
 
Slides Lição 5, Betel, Ordenança para uma vida de vigilância e oração, 2Tr24....
Slides Lição 5, Betel, Ordenança para uma vida de vigilância e oração, 2Tr24....Slides Lição 5, Betel, Ordenança para uma vida de vigilância e oração, 2Tr24....
Slides Lição 5, Betel, Ordenança para uma vida de vigilância e oração, 2Tr24....LuizHenriquedeAlmeid6
 
Recomposiçao em matematica 1 ano 2024 - ESTUDANTE 1ª série.pdf
Recomposiçao em matematica 1 ano 2024 - ESTUDANTE 1ª série.pdfRecomposiçao em matematica 1 ano 2024 - ESTUDANTE 1ª série.pdf
Recomposiçao em matematica 1 ano 2024 - ESTUDANTE 1ª série.pdfFrancisco Márcio Bezerra Oliveira
 
PROVA - ESTUDO CONTEMPORÂNEO E TRANSVERSAL: LEITURA DE IMAGENS, GRÁFICOS E MA...
PROVA - ESTUDO CONTEMPORÂNEO E TRANSVERSAL: LEITURA DE IMAGENS, GRÁFICOS E MA...PROVA - ESTUDO CONTEMPORÂNEO E TRANSVERSAL: LEITURA DE IMAGENS, GRÁFICOS E MA...
PROVA - ESTUDO CONTEMPORÂNEO E TRANSVERSAL: LEITURA DE IMAGENS, GRÁFICOS E MA...azulassessoria9
 
A QUATRO MÃOS - MARILDA CASTANHA . pdf
A QUATRO MÃOS  -  MARILDA CASTANHA . pdfA QUATRO MÃOS  -  MARILDA CASTANHA . pdf
A QUATRO MÃOS - MARILDA CASTANHA . pdfAna Lemos
 
Nós Propomos! " Pinhais limpos, mundo saudável"
Nós Propomos! " Pinhais limpos, mundo saudável"Nós Propomos! " Pinhais limpos, mundo saudável"
Nós Propomos! " Pinhais limpos, mundo saudável"Ilda Bicacro
 
About Vila Galé- Cadeia Empresarial de Hotéis
About Vila Galé- Cadeia Empresarial de HotéisAbout Vila Galé- Cadeia Empresarial de Hotéis
About Vila Galé- Cadeia Empresarial de Hotéisines09cachapa
 
Análise poema país de abril (Mauel alegre)
Análise poema país de abril (Mauel alegre)Análise poema país de abril (Mauel alegre)
Análise poema país de abril (Mauel alegre)ElliotFerreira
 
apostila projeto de vida 2 ano ensino médio
apostila projeto de vida 2 ano ensino médioapostila projeto de vida 2 ano ensino médio
apostila projeto de vida 2 ano ensino médiorosenilrucks
 
ATIVIDADE - CHARGE.pptxDFGHJKLÇ~ÇLJHUFTDRSEDFGJHKLÇ
ATIVIDADE - CHARGE.pptxDFGHJKLÇ~ÇLJHUFTDRSEDFGJHKLÇATIVIDADE - CHARGE.pptxDFGHJKLÇ~ÇLJHUFTDRSEDFGJHKLÇ
ATIVIDADE - CHARGE.pptxDFGHJKLÇ~ÇLJHUFTDRSEDFGJHKLÇJaineCarolaineLima
 
PRÁTICAS PEDAGÓGICAS GESTÃO DA APRENDIZAGEM
PRÁTICAS PEDAGÓGICAS GESTÃO DA APRENDIZAGEMPRÁTICAS PEDAGÓGICAS GESTÃO DA APRENDIZAGEM
PRÁTICAS PEDAGÓGICAS GESTÃO DA APRENDIZAGEMHELENO FAVACHO
 
Slides Lição 05, Central Gospel, A Grande Tribulação, 1Tr24.pptx
Slides Lição 05, Central Gospel, A Grande Tribulação, 1Tr24.pptxSlides Lição 05, Central Gospel, A Grande Tribulação, 1Tr24.pptx
Slides Lição 05, Central Gospel, A Grande Tribulação, 1Tr24.pptxLuizHenriquedeAlmeid6
 
DeClara n.º 75 Abril 2024 - O Jornal digital do Agrupamento de Escolas Clara ...
DeClara n.º 75 Abril 2024 - O Jornal digital do Agrupamento de Escolas Clara ...DeClara n.º 75 Abril 2024 - O Jornal digital do Agrupamento de Escolas Clara ...
DeClara n.º 75 Abril 2024 - O Jornal digital do Agrupamento de Escolas Clara ...IsabelPereira2010
 
Projeto_de_Extensão_Agronomia_adquira_ja_(91)_98764-0830.pdf
Projeto_de_Extensão_Agronomia_adquira_ja_(91)_98764-0830.pdfProjeto_de_Extensão_Agronomia_adquira_ja_(91)_98764-0830.pdf
Projeto_de_Extensão_Agronomia_adquira_ja_(91)_98764-0830.pdfHELENO FAVACHO
 

Último (20)

Projeto de Extensão - ENGENHARIA DE SOFTWARE - BACHARELADO.pdf
Projeto de Extensão - ENGENHARIA DE SOFTWARE - BACHARELADO.pdfProjeto de Extensão - ENGENHARIA DE SOFTWARE - BACHARELADO.pdf
Projeto de Extensão - ENGENHARIA DE SOFTWARE - BACHARELADO.pdf
 
PROJETO DE EXTENSÃO I - TERAPIAS INTEGRATIVAS E COMPLEMENTARES.pdf
PROJETO DE EXTENSÃO I - TERAPIAS INTEGRATIVAS E COMPLEMENTARES.pdfPROJETO DE EXTENSÃO I - TERAPIAS INTEGRATIVAS E COMPLEMENTARES.pdf
PROJETO DE EXTENSÃO I - TERAPIAS INTEGRATIVAS E COMPLEMENTARES.pdf
 
421243121-Apostila-Ensino-Religioso-Do-1-ao-5-ano.pdf
421243121-Apostila-Ensino-Religioso-Do-1-ao-5-ano.pdf421243121-Apostila-Ensino-Religioso-Do-1-ao-5-ano.pdf
421243121-Apostila-Ensino-Religioso-Do-1-ao-5-ano.pdf
 
PROVA - ESTUDO CONTEMPORÂNEO E TRANSVERSAL: COMUNICAÇÃO ASSERTIVA E INTERPESS...
PROVA - ESTUDO CONTEMPORÂNEO E TRANSVERSAL: COMUNICAÇÃO ASSERTIVA E INTERPESS...PROVA - ESTUDO CONTEMPORÂNEO E TRANSVERSAL: COMUNICAÇÃO ASSERTIVA E INTERPESS...
PROVA - ESTUDO CONTEMPORÂNEO E TRANSVERSAL: COMUNICAÇÃO ASSERTIVA E INTERPESS...
 
Discurso Direto, Indireto e Indireto Livre.pptx
Discurso Direto, Indireto e Indireto Livre.pptxDiscurso Direto, Indireto e Indireto Livre.pptx
Discurso Direto, Indireto e Indireto Livre.pptx
 
Urso Castanho, Urso Castanho, o que vês aqui?
Urso Castanho, Urso Castanho, o que vês aqui?Urso Castanho, Urso Castanho, o que vês aqui?
Urso Castanho, Urso Castanho, o que vês aqui?
 
Slides Lição 5, Betel, Ordenança para uma vida de vigilância e oração, 2Tr24....
Slides Lição 5, Betel, Ordenança para uma vida de vigilância e oração, 2Tr24....Slides Lição 5, Betel, Ordenança para uma vida de vigilância e oração, 2Tr24....
Slides Lição 5, Betel, Ordenança para uma vida de vigilância e oração, 2Tr24....
 
Recomposiçao em matematica 1 ano 2024 - ESTUDANTE 1ª série.pdf
Recomposiçao em matematica 1 ano 2024 - ESTUDANTE 1ª série.pdfRecomposiçao em matematica 1 ano 2024 - ESTUDANTE 1ª série.pdf
Recomposiçao em matematica 1 ano 2024 - ESTUDANTE 1ª série.pdf
 
PROVA - ESTUDO CONTEMPORÂNEO E TRANSVERSAL: LEITURA DE IMAGENS, GRÁFICOS E MA...
PROVA - ESTUDO CONTEMPORÂNEO E TRANSVERSAL: LEITURA DE IMAGENS, GRÁFICOS E MA...PROVA - ESTUDO CONTEMPORÂNEO E TRANSVERSAL: LEITURA DE IMAGENS, GRÁFICOS E MA...
PROVA - ESTUDO CONTEMPORÂNEO E TRANSVERSAL: LEITURA DE IMAGENS, GRÁFICOS E MA...
 
A QUATRO MÃOS - MARILDA CASTANHA . pdf
A QUATRO MÃOS  -  MARILDA CASTANHA . pdfA QUATRO MÃOS  -  MARILDA CASTANHA . pdf
A QUATRO MÃOS - MARILDA CASTANHA . pdf
 
Nós Propomos! " Pinhais limpos, mundo saudável"
Nós Propomos! " Pinhais limpos, mundo saudável"Nós Propomos! " Pinhais limpos, mundo saudável"
Nós Propomos! " Pinhais limpos, mundo saudável"
 
About Vila Galé- Cadeia Empresarial de Hotéis
About Vila Galé- Cadeia Empresarial de HotéisAbout Vila Galé- Cadeia Empresarial de Hotéis
About Vila Galé- Cadeia Empresarial de Hotéis
 
Aula sobre o Imperialismo Europeu no século XIX
Aula sobre o Imperialismo Europeu no século XIXAula sobre o Imperialismo Europeu no século XIX
Aula sobre o Imperialismo Europeu no século XIX
 
Análise poema país de abril (Mauel alegre)
Análise poema país de abril (Mauel alegre)Análise poema país de abril (Mauel alegre)
Análise poema país de abril (Mauel alegre)
 
apostila projeto de vida 2 ano ensino médio
apostila projeto de vida 2 ano ensino médioapostila projeto de vida 2 ano ensino médio
apostila projeto de vida 2 ano ensino médio
 
ATIVIDADE - CHARGE.pptxDFGHJKLÇ~ÇLJHUFTDRSEDFGJHKLÇ
ATIVIDADE - CHARGE.pptxDFGHJKLÇ~ÇLJHUFTDRSEDFGJHKLÇATIVIDADE - CHARGE.pptxDFGHJKLÇ~ÇLJHUFTDRSEDFGJHKLÇ
ATIVIDADE - CHARGE.pptxDFGHJKLÇ~ÇLJHUFTDRSEDFGJHKLÇ
 
PRÁTICAS PEDAGÓGICAS GESTÃO DA APRENDIZAGEM
PRÁTICAS PEDAGÓGICAS GESTÃO DA APRENDIZAGEMPRÁTICAS PEDAGÓGICAS GESTÃO DA APRENDIZAGEM
PRÁTICAS PEDAGÓGICAS GESTÃO DA APRENDIZAGEM
 
Slides Lição 05, Central Gospel, A Grande Tribulação, 1Tr24.pptx
Slides Lição 05, Central Gospel, A Grande Tribulação, 1Tr24.pptxSlides Lição 05, Central Gospel, A Grande Tribulação, 1Tr24.pptx
Slides Lição 05, Central Gospel, A Grande Tribulação, 1Tr24.pptx
 
DeClara n.º 75 Abril 2024 - O Jornal digital do Agrupamento de Escolas Clara ...
DeClara n.º 75 Abril 2024 - O Jornal digital do Agrupamento de Escolas Clara ...DeClara n.º 75 Abril 2024 - O Jornal digital do Agrupamento de Escolas Clara ...
DeClara n.º 75 Abril 2024 - O Jornal digital do Agrupamento de Escolas Clara ...
 
Projeto_de_Extensão_Agronomia_adquira_ja_(91)_98764-0830.pdf
Projeto_de_Extensão_Agronomia_adquira_ja_(91)_98764-0830.pdfProjeto_de_Extensão_Agronomia_adquira_ja_(91)_98764-0830.pdf
Projeto_de_Extensão_Agronomia_adquira_ja_(91)_98764-0830.pdf
 

Destaque

2024 State of Marketing Report – by Hubspot
2024 State of Marketing Report – by Hubspot2024 State of Marketing Report – by Hubspot
2024 State of Marketing Report – by HubspotMarius Sescu
 
Everything You Need To Know About ChatGPT
Everything You Need To Know About ChatGPTEverything You Need To Know About ChatGPT
Everything You Need To Know About ChatGPTExpeed Software
 
Product Design Trends in 2024 | Teenage Engineerings
Product Design Trends in 2024 | Teenage EngineeringsProduct Design Trends in 2024 | Teenage Engineerings
Product Design Trends in 2024 | Teenage EngineeringsPixeldarts
 
How Race, Age and Gender Shape Attitudes Towards Mental Health
How Race, Age and Gender Shape Attitudes Towards Mental HealthHow Race, Age and Gender Shape Attitudes Towards Mental Health
How Race, Age and Gender Shape Attitudes Towards Mental HealthThinkNow
 
AI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdfAI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdfmarketingartwork
 
PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024Neil Kimberley
 
Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)contently
 
How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024Albert Qian
 
Social Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie InsightsSocial Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie InsightsKurio // The Social Media Age(ncy)
 
Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024Search Engine Journal
 
5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summarySpeakerHub
 
ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd Clark Boyd
 
Getting into the tech field. what next
Getting into the tech field. what next Getting into the tech field. what next
Getting into the tech field. what next Tessa Mero
 
Google's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search IntentGoogle's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search IntentLily Ray
 
Time Management & Productivity - Best Practices
Time Management & Productivity -  Best PracticesTime Management & Productivity -  Best Practices
Time Management & Productivity - Best PracticesVit Horky
 
The six step guide to practical project management
The six step guide to practical project managementThe six step guide to practical project management
The six step guide to practical project managementMindGenius
 
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...RachelPearson36
 

Destaque (20)

2024 State of Marketing Report – by Hubspot
2024 State of Marketing Report – by Hubspot2024 State of Marketing Report – by Hubspot
2024 State of Marketing Report – by Hubspot
 
Everything You Need To Know About ChatGPT
Everything You Need To Know About ChatGPTEverything You Need To Know About ChatGPT
Everything You Need To Know About ChatGPT
 
Product Design Trends in 2024 | Teenage Engineerings
Product Design Trends in 2024 | Teenage EngineeringsProduct Design Trends in 2024 | Teenage Engineerings
Product Design Trends in 2024 | Teenage Engineerings
 
How Race, Age and Gender Shape Attitudes Towards Mental Health
How Race, Age and Gender Shape Attitudes Towards Mental HealthHow Race, Age and Gender Shape Attitudes Towards Mental Health
How Race, Age and Gender Shape Attitudes Towards Mental Health
 
AI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdfAI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdf
 
Skeleton Culture Code
Skeleton Culture CodeSkeleton Culture Code
Skeleton Culture Code
 
PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024
 
Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)
 
How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024
 
Social Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie InsightsSocial Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie Insights
 
Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024
 
5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary
 
ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd
 
Getting into the tech field. what next
Getting into the tech field. what next Getting into the tech field. what next
Getting into the tech field. what next
 
Google's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search IntentGoogle's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search Intent
 
How to have difficult conversations
How to have difficult conversations How to have difficult conversations
How to have difficult conversations
 
Introduction to Data Science
Introduction to Data ScienceIntroduction to Data Science
Introduction to Data Science
 
Time Management & Productivity - Best Practices
Time Management & Productivity -  Best PracticesTime Management & Productivity -  Best Practices
Time Management & Productivity - Best Practices
 
The six step guide to practical project management
The six step guide to practical project managementThe six step guide to practical project management
The six step guide to practical project management
 
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
 

Modelos TRI itens não dicotômicos R

  • 1. XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item Teoria de Resposta ao Item: Modelos para Respostas não Dicotômicas com uso de Software Livre 1 Marcos Antonio da Cunha Santos Departamento de Estatística UFMG msantos@est.ufmg.br MINICURSO
  • 2. XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 2 Objetivos: o Descrição introdutória dos principais modelos da TRI e das implementações disponíveis em software livre o Apresentar algumas implementações no R e procedimentos para algumas análises, como unidimensionalidade e comportamento diferencial do item MINICURSO
  • 3. XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 3 PARTE 1 1. Introdução 2. Modelos para respostas dicotômicas 3. Modelos para respostas não dicotômicas: o Modelo de Resposta Gradual o Modelo de Resposta Contínua (Samejima) o Modelos de desdobramento: modelo GGUM PARTE 2 o Comportmento diferencial do item MINICURSO
  • 4. XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item Parte 1 – Alguns modelos da TRI e suas implementações 1. Introdução 2. Modelos para respostas dicotômicas 3. Modelos para respostas não dicotômicas: o Modelo de Resposta Gradual o Modelo de Resposta Contínua (Samejima) o Modelos de desdobramento: modelo GGUM 4 MINICURSO
  • 5. XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item Exemplo: proporção de acertos Item de uma prova com 54 questões (Antigo vestibular UFMG) 5 Introdução
  • 6. XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item proporção de escolhas “C”no grupo 6 Faixa de pontuação total 26-28 pontos Introdução – Curva característica do item
  • 7. XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 7 curva teórica Introdução – Curva característica do item Exemplo: proporção de acertos
  • 8. XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item Item 1 Item 2 Item 3 Item 4 Item 5 Item 6 Indivíduo 1 1 1 1 1 1 0 Indivíduo 2 0 1 1 1 1 0 Indivíduo 3 0 0 1 1 1 0 Indivíduo 4 0 0 0 1 1 0 Indivíduo 5 0 0 0 0 1 1 … ... … … … … … Em teste tipo certo/errado: a cada item corresponde uma curva característica, definida por um conjunto de parâmetros 8 Introdução – Curva característica do item Comportamento atípico Exemplos de curvas associadas aos itens:
  • 9. XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 9 Introdução o Desejável clareza na interpretação dos parâmetros do modelo adotado - desafio na modelagem matemática. o Alguns modelos se tornaram bem sucedidos na descrição dos resultados e aplicação de testes ou questionários (modelos 1, 2 e 3 parâmetros). Nesta breve introdução apresentaremos alguns modelos mais usuais da TRI e sugestões de como implementá-los. Modelos para descrever o comportamento de um item:
  • 10. XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 10 o Nos modelos da TRI, as estimativas dos parâmetros dos itens e das habilidades não são triviais e exigem métodos computacionais. Métodos usuais: algoritmo EM, MCMC Introdução Modelos para descrever o comportamento de um item:
  • 11. Modelos para respostas dicotômicas XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 11 O modelo 1P (modelo de Rasch) Rasch propõs um modelo que atende às seguintes propriedades: o a curva de resposta é da família das funções logísticas o A habilidade do indivíduo j e o nível de dificuldade do item i são medidos em uma mesma escala. É possível portanto: 𝐴𝑗 = 𝐷𝑖
  • 12. Modelos para respostas dicotômicas XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 12 A probabilidade de acerto do item é A seguinte transformação é introduzida na equação para simplificar o tratamento matemático: 𝐴𝑗 = 𝑒𝛼𝑗 𝐷𝑖 = 𝑒β𝑖
  • 13. Modelos para respostas dicotômicas XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 13 Deste modo a relação entre a probabilidade de acerto de um item i (escala de 0 a 1), para o indivíduo j com habilidade θj é 𝑃(𝑈𝑗=1|𝜃𝑗) = 𝑒 𝜃𝑗−𝛽𝑖 1+𝑒 𝜃𝑗−𝛽𝑖 Características do modelo: • atribui a cada indivíduo uma medida de habilidade θ • atribui a cada item um único parâmetro  (dificuldade) • separa conceitualmente: habilidade do indivíduo dificuldade do item Os parâmetros de dificuldade e habilidade são medidos em uma mesma escala padronizada. Na maioria das aplicações práticas, a escala N(0,1)
  • 14. Modelos para respostas dicotômicas XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 14 o modelo 2P: • β, parâmetro de dificuldade do item • α, parâmetro de discriminação o modelo 3P • β, parâmetro de dificuldade do item • α, parâmetro de discriminação • c, parâmetro de probabilidade de acerto ao acaso. Outros modelos usuais para respostas dicotômicas acrecentam mais parâmetros ao modelo de Rasch:
  • 15. Modelos para respostas dicotômicas XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 15 Modelo de três parâmetros (permite obter as expressões para os modelos 1P e 2P): • a: parâmetro de discriminação: é o poder de discriminar os respondentes em relação à habilidade exigida pelo item • b: parâmetro de dificuldade: quanto maior seu valor, mais difícil é a questão • c: parâmetro de acerto ao acaso: probabilidade de um item ser respondido corretamente ao acaso
  • 16. Modelos para respostas dicotômicas XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item -3 -2 -1 0 1 2 3 0.0 0.2 0.4 0.6 0.8 1.0 x y 16 Modelo 3P: (a=1, b=0, c=0) (a=1, b=0.5, c=0.1) (a=1, b=1, c=0.15)
  • 17. Modelos para respostas dicotômicas XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item Modelo 3P: (a=1, b=0, c=0) (a=1, b=0.5, c=0) (a=1, b=1.0, c=0) -3 -2 -1 0 1 2 3 0.0 0.2 0.4 0.6 0.8 1.0 x y 17
  • 18. Modelos para respostas dicotômicas XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item Modelo 3P (a=1, b=0, c=0) e (a=2, b=0, c=0) -3 -2 -1 0 1 2 3 0.0 0.2 0.4 0.6 0.8 1.0 x y 18
  • 19. Modelos para respostas dicotômicas XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 19 Implementação dos modelos 1P, 2P e 3P e outros no R: opacote “MIRT” opacote “ltm” Funções implementadas no “ltm”: rasch( ) modelo 1P ltm( ) modelo 2P tpm( ) modelo 3P grm ( ) modelo de resposta gradual outras
  • 20. Modelos para respostas dicotômicas XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 20 Exemplo pacote ltm - Law School Admission Test (LAST) 1000 individuos, 5 questoes library(ltm) #carrega o pacote ltm head(LSAT) #primeiras linhas do banco Item 1 Item 2 Item 3 Item 4 Item 5 1 0 0 0 0 0 2 0 0 0 0 0 3 0 0 0 0 0 4 0 0 0 0 1 5 0 0 0 0 1 6 0 0 0 0 1
  • 21. Modelos para respostas dicotômicas XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 21 Pacote ltm – modelo Rasch # modelo Rasch sem restrições na discriminação modelo1=rasch(LSAT) # valores ajustados dos parâmetros coef(modelo1, prob=TRUE) Dffclt Dscrmn P(x=1|z=0) Item 1 -3.6152665 0.7551347 0.9387746 Item 5 -2.7801716 0.7551347 0.8908453 Item 4 -1.7300903 0.7551347 0.7869187 Item 2 -1.3224208 0.7551347 0.7307844 Item 3 -0.3176306 0.7551347 0.5596777
  • 22. Modelos para respostas dicotômicas XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 22 # Curva característica – ajuste ao modelo 3P modelo3=tpm(LSAT) plot(modelo3, items=c(4,2,3)) -4 -2 0 2 4 0.0 0.2 0.4 0.6 0.8 1.0 Item Characteristic Curves Ability Probability 4 2 3
  • 23. Modelos para respostas dicotômicas XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item Curva de Informação o Derivando a função log-verossimilhança em relação ao parâmetro 𝜃 temos a função escore: o O EMV é a solução da equação S(𝜃) = 0 o A derivada segunda da função log-verossimilhança no ponto que a função atinge o valor máximo define a Informação de Fisher. 23
  • 24. Modelos para respostas dicotômicas XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 24 o A informação esperada de Fisher é o Sob condições apropriadas de regularidade,
  • 25. Modelos para respostas dicotômicas XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 25 o O termo informação foi introduzido em estatística por Fisher, que a definiu como o inverso da precisão com que se estima o parâmetro o A quantidade de informação é calculada para cada valor de 𝜃, sendo uma função definida de −∞ a +∞ o A função de informação não depende da distribuição dos examinandos ao longo da distribuição da escala de habilidades o Quanto maior o valor da informação → menos incerteza sobre os parâmetros
  • 26. Modelos para respostas dicotômicas XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 26 Como exemplo, no modelo 3P: 𝐼𝑖 𝜃 = 𝐷2𝑎𝑖 2 [1 − 𝑃𝑖 𝜃 ] 𝑃𝑖 𝜃 𝑃𝑖 𝜃 − 𝑐𝑖 1 − 𝑐𝑖 2 Neste modelo, a informação é maior quando: • 𝑏𝑖 é próximo de θ, • maior o parâmetro 𝑎𝑖 • menor o valor de 𝑐𝑖
  • 27. Modelos para respostas dicotômicas XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 27 o A utilidade da função de informação do item na avaliação e desenvolvimento de testes depende do ajuste da CCI o um item pode apresentar um valor alto da função de informação em uma região da escala de habilidades, mas o item pode não ter valor se o interesse é medir o construto em outra posição da escala. o Função de informação do teste: 𝐼 𝜃 = σ𝑖=1 𝑵 𝐼𝑖(𝜃)
  • 28. Modelos para respostas dicotômicas XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 28 Exemplo real de função de informação do teste 𝐼 𝜃 = σ𝑖=1 𝑵 𝐼𝑖(𝜃)
  • 29. Modelos para respostas dicotômicas XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 29 # curvas de informação no ltm plot(modelo3, type="IIC", items=c(4,2,3),legend =TRUE) -4 -2 0 2 4 0.05 0.10 0.15 0.20 Item Information Curves Ability Information Item 4 Item 2 Item 3
  • 30. Modelos para respostas dicotômicas XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 30 # habilidades estimadas por padrão de # respostas factor.scores(modelo3) Call: tpm(data = LSAT) Scoring Method: Empirical Bayes Factor-Scores for observed response patterns: Item 1 Item 2 Item 3 Item 4 Item 5 Obs Exp z1 se.z1 1 0 0 0 0 0 3 2.230 -1.871 0.790 2 0 0 0 0 1 6 5.820 -1.463 0.792 3 0 0 0 1 0 2 2.583 -1.446 0.793 4 0 0 0 1 1 11 8.944 -1.032 0.796 5 0 0 1 0 0 1 0.701 -1.325 0.796 6 0 0 1 0 1 1 2.628 -0.908 0.800 7 0 0 1 1 0 3 1.185 -0.889 0.801 8 0 0 1 1 1 4 5.969 -0.463 0.809
  • 31. XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item Modelo de Resposta Gradual Modelo de Resposta Gradual o proposto por Samejima, 1969 o No Modelo de Resposta Gradual, itens são formados por um conjunto de respostas ordenadas. 31 Exemplo (uma possibilidade) a) Concordo fortemente b) Concordo c) Discordo d) Discordo fortemente ordenação
  • 32. XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item Modelo de Resposta Gradual 32 Respostas: a) Concordo fortemente k=3 b) Concordo k=2 c) Discordo k=1 d) Discordo fortemente k=0 Exemplo: item com 4 categorias de respostas categorias
  • 33. XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item Modelo de Resposta Gradual 33 Exemplo: item com 4 categorias de respostas conjunto escolha 1 conjunto escolha 1 ou superior conjunto escolha 2 ou superior = - P(escolha 1) = P(escolha 1 ou superior) - P(escolha 2 ou superior) Respostas: a) Concordo fortemente k=3 b) Concordo k=2 c) Discordo k=1 d) Discordo fortemente k=0
  • 34. XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item Modelo de Resposta Gradual 34 expressão proposta pelo modelo P(escolha k ou superior) é dada por De acordo com o modelo, probabilidade do j-ésimo respondente escolher a categoria k do item i é
  • 35. XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item Modelo de Resposta Gradual 35 Respostas: a) Concordo fortemente k=3 b) Concordo k=2 c) Discordo k=1 d) Discordo fortemente k=0 categoria de resposta no item curva característica
  • 36. XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item Modelo de Resposta Gradual 36 Os parâmetros indicam a forma e a localização das posições centrais das curvas de resposta das categorias: • O parâmetro ai no MRG não pode ser interpretado como discriminação • O parâmetro bij - limite das categorias - representa a habilidade necessária para um indivíduo responder acima do limiar j com 50% de probabilidade. • Nos modelos de resposta graduadas, os bij de um mesmo item são ordenados • bij é dito parâmetro de locação
  • 37. XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item Modelo de Resposta Gradual 37 Curvas características - item com 3 categorias de respostas 1
  • 38. XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item Modelo de Resposta Gradual 38 4 3 1 2 1 Curvas características - item com 4 categorias de respostas probabilidade de escolha da categoria 4 para um indivíduo com nível 2
  • 39. XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item Modelo de Resposta Gradual 39 Curva Característica do Item e Curva de Informação do Item
  • 40. XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item Modelo de Resposta Gradual 40 Análise da curva característica do item Exemplo de item a ser recodificado, revisado ou retirado (pouca discriminação)
  • 41. XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item Modelo de Resposta Gradual 41 # ajuste com o modelo de Samejima fit=grm(matriz.resp) # curva característica para item 3 plot(fit, item=3, lwd = 2, legend = TRUE) Implementação para o Modelo Resposta Gradual: pacotes “ltm” ou “MIRT” No ltm:
  • 42. XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item Modelo de Resposta Gradual 42 # curva de informação do item 2 plot(fit, type = "IIC", items = 2, lwd = 2) # curva de informação do item 3 e 4 plot(fit, type = "IIC", items = c(3,4), lwd = 2) # curva de informação do teste plot(fit, type = "IIC", items = 0, lwd = 2) # escores factor.scores(fit, resp.patterns = ...) pacote ltm
  • 43. XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item Modelo de Resposta Gradual 43 Curva Característica do Item e curva de informação do item -4 -2 0 2 4 0.0 0.4 0.8 Item Response Category Characteristic Curves Item: 12_2_4 Ability Probability 1 2 3 -4 -2 0 2 4 0.05 0.10 0.15 0.20 Item Information Curves Ability Information 1 -4 -2 0 2 4 0.0 0.4 0.8 Item Response Category Characteristic Curves Item: 12_4 Ability Probability 1 2 3 -4 -2 0 2 4 0.0 0.2 0.4 Item Information Curves Ability Information 1
  • 44. XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item Modelo de Resposta Gradual 44 # matriz policórica (pacote minicurso) mpolicorica=poli(matriz.resp) Mpolicorica Verificação de unidimensionalidade
  • 45. XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item Modelo de Resposta Gradual 45 A=plot.autov(matriz.resp) #pacote minicurso 2 4 6 8 10 0.5 1.0 1.5 2.0 2.5 3.0 3.5 Autovalores associados aos componentes principais Verificação de unidimensionalidade
  • 46. Modelo Multidimensional XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 46 Modelo Multidimensional - R package “MIRT” O modelo muldimensional: • m níveis • m variáveis latentes • itens , associados às variáveis latentes
  • 47. Modelo Multidimensional XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 47 library(mirt) #Desagrupar os dados dados<-expand.table(LSAT7)# Ex. com 1000 respondentes e 5 itens #Ajuste modelos de 1,2 e 3 parâmetros fit.1PL<- mirt(dados, 1, itemtype ="1PL") fit.2PL<- mirt(dados, 1, itemtype ="2PL") fit.3PL<- mirt(dados, 1, itemtype "3PL", guess=.2) #Parâmetros dos modelos coef(fit.1PL) coef(fit.2PL) coef(fit.3PL) #a=discriminação, d=dificuldade, g=acerto ao acaso
  • 48. Modelo Multidimensional XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 48 library(mirt) #Desagrupar os dados dados<-expand.table(LSAT7)# Ex. com 1000 respondentes e 5 itens #Ajuste modelos de 1,2 e 3 parâmetros fit.1PL<- mirt(dados, 1, itemtype ="1PL") fit.2PL<- mirt(dados, 1, itemtype ="2PL") fit.3PL<- mirt(dados, 1, itemtype "3PL", guess=.2) #Parâmetros dos modelos coef(fit.1PL) coef(fit.2PL) coef(fit.3PL) #a=discriminação, d=dificuldade, g=acerto ao acaso número de dimensões
  • 49. Modelo Multidimensional XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 49 residuals(fit.1PL) #Curva de informação total do teste plot(fit.1PL) plot(fit.2PL) plot(fit.3PL) #Curva de informação do item itemplot(fit.3PL,1,type="info") #Comparação de modelos etc
  • 50. Modelo Multidimensional XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 50 Material adicional – Modelo de Resposta Gradual Roteiro com comandos http://www.est.ufmg.br/~msantos/script_minicurso.txt dados de exemplo (banco de treino): http://www.est.ufmg.br/~msantos/fcomplex_exemplo.txt
  • 51. Modelo para resposta contínua XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 51 aj é o parâmetro de discriminação bj é o parâmetro de dificuldade αj parâmetro de escala k = valor máximo da escala para o item Modelo TRI para resposta contínua
  • 52. Modelo para resposta contínua XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 52 Modelo de Resposta Contínua (Samejima, 1973). o O modelo é uma generalização do modelo de resposta gradual o A cada item são atribuídos três parâmetros: a, b e α. o Os parâmetros com interpretação semelhante ao do modelo de resposta gradual o o parâmetro α é um parâmetro geométrico, sem uma interpretação prática.
  • 53. Modelo para resposta contínua XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 53 Modelo de Resposta Contínua (Samejima, 1973). o Este modelo aplicável quando a resposta a um item pode ser situada em uma escala contínua, entre um valor mínimo e um valor máximo. o Diferentes itens podem ter diferentes valores mín/máx o O modelo foi pouco utilizado, após a sua proposição, devido a dificuldades de implementação computacional. Uma implementação foi viabilizada após a contribuição de Shojima (2005). o Implementação: pacote R “EstCRM”
  • 54. Modelo para resposta contínua XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 54 a) Concordo fortemente k=3 b) Concordo k=2 c) Discordo k=1 d) Discordo fortemente k=0 Modelo de resposta contínua como generalização do modelo de resposta gradual K mínimo K máximo Resposta Contínua Resposta Gradual
  • 55. Modelo para resposta contínua XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 55 Funções implementadas no pacote “EstCRM” Objetivo Função Estimação dos parâmetros dos itens EstCRMitem(…) Estimação das habilidades individuais EstCRMperson (…) Gráfico 3D das curvas teóricas de resposta plotCRM(…) Dados simulados simCRM(…) Outras …
  • 56. Modelo para resposta contínua XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 56 Dados de exemplo que acompanha o pacote: planilha “EPIA” o 1033 estudantes marcaram em um segmento de reta (112 mm) uma posição entre dois pontos de referência, segundo seu julgamento para cinco itens o Os itens avaliam uma escala de impulsividade. o O escore é a distância em milímetros do ponto inicial da escala
  • 57. Modelo para resposta contínua XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 57 Quase nunca Quase sempre item 1 Longs for excitement Item 2 Does not stop and think things over before doing anything Item 3 Often shouts back when shouted at Item 4 Likes doing things in which he/she has to act quickly Item 5 Tends to do many things at the same time Item 5: Tende a fazer muitas coisas ao mesmo tempo x Posição escolhida
  • 58. Modelo para resposta contínua XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 58 Visualização do banco de dados “EPIA” library(EstCRM) #carrega o pacote EstCRM fix(EPIA) #abre janela para edição de dados dados do exemplo
  • 59. Modelo para resposta contínua XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 59 Calibração Os vetores “max.item” e “min.item” definem uma mesma escala de 0 a 112 para todos os itens max.item = c(112,112,112,112,112) min.item = c(0,0,0,0,0) Estimando os parâmetros dos itens CRM = EstCRMitem(EPIA, max.item, min.item, max.EMCycle = 500, converge = 0.01) par <- CRM$param
  • 60. Modelo para resposta contínua XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 60 Visualizando os parâmetros CRM Largest Parameter change at the last EM Cycle is 1.386805e-05 Final Paramater Estimates: a b alpha Item 1 0.394 -0.623 0.591 Item 2 0.549 1.299 0.731 Item 3 0.324 0.235 0.645 Item 4 0.672 0.394 0.943 Item 5 0.626 0.343 0.921
  • 61. Modelo para resposta contínua XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item -3 -2 -1 0 1 2 3 0.00 0.02 0.04 0.06 0.08 0.10 theta y 61 Probabilidade de escolha entre 99,5 e 100,5
  • 62. Modelo para resposta contínua XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 62 Obtendo as curvas para o item 2 plotCRM(par,item=2,min.item, max.item) Category Response Curves - Item 2 -3 -2 -1 0 1 2 3 20 40 60 80 100 0.00 0.05 0.10 0.15 Ability Scale Response Scale Prob
  • 63. Modelo para resposta contínua XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 63
  • 64. Modelo para resposta contínua XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 64
  • 65. Modelo para resposta contínua XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 65
  • 66. Modelo para resposta contínua XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 66 valores individuais de  CRMthetas = EstCRMperson(EPIA,par,min.item,max.item) CRMthetas $thetas ID Theta Est. SE [1,] 1 0.9312837781 0.8440008 [2,] 2 -3.3614833094 0.8440008 [3,] 3 -0.6678324276 0.8440008 [4,] 4 1.3603595062 0.8440008 [5,] 5 -2.2138970848 0.8440008 [6,] 6 0.1266999241 0.8440008 [7,] 7 0.4191604986 0.8440008 [8,] 8 -0.7021624359 0.8440008 [9,] 9 0.6289758194 0.8440008 [10,] 10 4.2980966234 0.8440008 [11,] 11 0.2372013014 0.8440008 [12,] ....
  • 67. Modelo GGUM XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 67 o Modelo da Teoria de Resposta ao Item, proposto por Roberts,J.S., Donoghue,J.R., Laughlin,J.E.(2000) o Finalidade: escala de atitudes o Métodos de implementação: algoritmo EM (Expectation/Maximization) Generalized Graded Unfolding Model (GGUM) (Modelo de Desdobramento Graduado Generalizado)
  • 68. Modelo GGUM XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 68 o Indivíduos são posicionados em uma escala contínua de atitude o Indivíduos podem escolher uma categoria por duas razões: por estar posicionada “abaixo” ou “acima” da sua posição na escala
  • 69. Modelo GGUM XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 69 Exemplo de curvas de probabilidade para item com 4 categorias objetivas
  • 70. Modelo GGUM XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 70 Exemplo de curvas de probabilidades subjetivas para item com 4 categorias
  • 71. Modelo GGUM XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 71 A probabilidade associada a uma categoria subjetiva é
  • 72. Modelo GGUM XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 72 A probabilidade de escolha de uma categoria do item
  • 73. Modelo GGUM XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 73 curvas subjetivas
  • 74. Modelo GGUM XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 74
  • 75. Modelo GGUM XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 75 Interpretação dos parâmetros tau
  • 76. Modelo GGUM XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 76 Um item aplicado a 750 alunos - Universidade Carolina do Sul Fonte: J. S. Roberts (2000) -4 -2 0 2 4 0.0 0.2 0.4 0.6 0.8 1.0 P(z| ) 0 1 2 3 4 5 Aborto deve ser ilegal exceto em casos extremos de incesto ou estupro A. Concordo fortemente B. Concordo C. Concordo levemente D. Discordo fortemente E. Discordo F. Discordo fortemente
  • 77. Modelo GGUM XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 77 A função de informação de um item para o GGUM A função de informação do teste é
  • 78. Modelo GGUM XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 78 Curvas de informação - GGUM
  • 79. Modelo GGUM XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 79 Implementação Estimação dos parâmetros e escores: o software GGUM2004 (gratuito) http://prdlab.gatech.edu/unfolding/freesoftware/ Estimação dos escores: o R package “ScoreGGUM” David R. King and James S. Roberts
  • 80. Modelo GGUM XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 80
  • 81. Comportamento Diferencial do Item - DIF XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 81 Fonte: Soares T.,Gamerman, D.,Gonçalves, F.B (2007) O desenho mostra uma realidade que se relaciona a um espaço A) urbano B) industrial C) rural D) metropolitano Exemplo 1 - Item aplicado aos alunos da 4ª série do ensino fundamental (PROEB- 2001)
  • 82. Comportamento Diferencial do Item - DIF XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 82 Fonte: Soares T.,Gamerman, D.,Gonçalves, F.B (2007) Exemplo 1 - Item aplicado aos alunos da 4ª série do ensino fundamental (PROEB-2001)
  • 83. Comportamento Diferencial do Item - DIF XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 83 Exemplo 2 comparação de dois itens (vestibular UMG 2004) Um item de prova de História Um item da prova de Língua Estrangeira
  • 84. Comportamento Diferencial do Item - DIF XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item o Indivíduos com mesma habilidade e diferenças relacionadas ao sexo, origem étnica ou grupos culturais; o habilidade média menor de um grupo em particular o fontes de dificuldade que são irrelevantes ou alheios ao construto que está sendo avaliado o solicitação de informações que examinandos não tiveram igual exposição o outros 84 Um comportamento diferencial do item pode ocorrer na presença de:
  • 85. Comportamento Diferencial do Item - DIF XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item o DIF uniforme → a magnitude do DIF é a mesma para todos os níveis de habilidades o DIF não uniforme → magnitute do DIF varia de acordo com o nível de habilidade. 85 Podemos caracterizar DIF como
  • 86. Comportamento Diferencial do Item - DIF XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 86 o entrada de dados: matriz usual, com indivíduos nas linhas e itens nas colunas, entradas 0 e 1 o a matriz deve conter cabeçalho (primeira linha) com nomes dos itens o a matriz deve ter duas colunas adicionais, preenchida com 0 ou 1 identificando o grupo foco e o grupo referência. O pacote difR
  • 87. Comportamento Diferencial do Item - DIF XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item o Método das Áreas o Método Padronizado o Mantel-Haenszel o Teste da Razão de Verossimilhança o Teste qui-quadrado de Lord o ... (vários outros) 87 Alguns métodos para identificação de DIF
  • 88. Comportamento Diferencial do Item - DIF XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 88 o Entrada de dados: matriz usual, com indivíduos nas linhas e itens nas colunas, entradas 0 e 1 o A matriz deve conter cabeçalho (primeira linha) com nomes dos itens o A matriz deve ter duas colunas adicionais, preenchida com 0 ou 1 identificando o grupo foco e o grupo referência. difR
  • 89. Comportamento Diferencial do Item - DIF XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 89 difR métodos implementados:
  • 90. Comportamento Diferencial do Item - DIF XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item o Rudner, Getson e Knight (1980) o Linn e Harnisch (1981) 90 o Método baseados em áreas entre as curvas Computado a área entre as curvas características dos grupos focal e referência
  • 91. Comportamento Diferencial do Item - DIF XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item o Definição de Rudner, Getson e Knight (1980) o Definição de Linn e Harnisch (1981) 91
  • 92. Comportamento Diferencial do Item - DIF XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item o “total”: total de sujeitos no nível m de habilidade, o “reference” = total de sujeitos no grupo de referência com nível m de habilidade; o “focal” (default): total de sujeitos no grupo focal com nível m de habilidade Valores de referência para o método padronizado: ver difR manual 92 Método Padronizado – maneiras de definir os pesos wm
  • 93. Comportamento Diferencial do Item - DIF XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 93
  • 94. Comportamento Diferencial do Item - DIF XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 94 𝐴𝑗 = frequência de resposta 1 do grupo referência no nível j 𝐵𝑗 = frequência de respostas 0 do grupo referência no nível j 𝐶𝑗 = frequência de respostas 1 do grupo foco no nível j 𝐷𝑗 = frequência de respostas 0 do grupo foco no nível j Método Mantel-Haenszel
  • 95. Comportamento Diferencial do Item - DIF XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 95 Fonte: difR Reference Manual
  • 96. Comportamento Diferencial do Item - DIF XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 96 Exemplo: banco de dados “verbal” (pacote difR) o Respostas de 243 mulheres e 73 homens a um questionário sobre agressão verbal. o Os itens descrevem uma situação frustrante. O valor 1 significa que o sujeito responderia à situação frustrante de forma agressiva; 0 caso contrário. library(difR) # carrega o pacote difR data(verbal) # para carregar os dados
  • 97. Comportamento Diferencial do Item - DIF XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 97 Método Padronizado difStd(verbal2, group = "Gender", focal.name = 1) Standardized P-DIF statistic: Stat. S1wantCurse -0.0715 * S1WantScold -0.0857 * S1WantShout -0.0718 * S2WantCurse -0.0719 * S2WantScold -0.1001 ** S2WantShout -0.1759 ** S3WantCurse 0.0025 S3WantScold 0.0586 * S3WantShout -0.0619 * S4WantCurse -0.0787 * …
  • 98. Comportamento Diferencial do Item - DIF XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 5 10 15 20 -0.4 -0.2 0.0 0.2 Standardization Item St-PDIF statistic 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 1617 18 19 20 21 2223 24 5 6 12 1617 19 20 98 # visualização res= difStd(verbal2, group="Gender",focal.name=1) plot(res)
  • 99. Comportamento Diferencial do Item - DIF XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 99 Método Mantel-Haenszel difMH(verbal2, group = "Gender", focal.name = 1) … Mantel-Haenszel Chi-square statistic: Stat. P-value S1wantCurse 1.7076 0.1913 S1WantScold 2.1486 0.1427 S1WantShout 0.9926 0.3191 S2WantCurse 1.9302 0.1647 S2WantScold 2.9540 0.0857 . S2WantShout 9.6032 0.0019 ** S3WantCurse 0.0013 0.9711 S3WantScold 0.6752 0.4112 S3WantShout 0.8185 0.3656 Detection threshold: 3.8415 (significance level: 0.05)
  • 100. Comportamento Diferencial do Item - DIF XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 5 10 15 20 0 2 4 6 8 10 Mantel-Haenszel Item MH Chi-square statistic 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 6 12 16 17 19 20 100 # visualização res= difMH(verbal2, group="Gender",focal.name=1) plot(res)
  • 101. Aspectos computacionais XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item variável latente θ parâmetros dos itens 101 estimados simultâneamente valores associados ao indivíduo, equipe, escola, etc
  • 102. Aspectos computacionais XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 102 o intensivos o metodologia complexa para estimação dos parâmetros e escores o questão da convergência dos algoritmos utilizados (crítico) o escolha adequada do modelo Métodos computacionais usados na TRI:
  • 103. Aspectos computacionais XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item Dado valores dos parâmetros dos itens, estimar as habilidades a partir da matriz de respostas 103 Algoritmo EM
  • 104. Aspectos computacionais XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item o fixado os valores das habilidades, estimar os parâmetros dos itens 104 Algoritmo EM
  • 105. Aspectos computacionais XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item o valores iniciais dos parâmetros o o ciclo termina quando: ▪ é atingido um número máximo de ciclos ▪ diferença entre parâmetros ou habilidades em ciclos consecutivos é pequena ▪ outros critérios de parada ▪ Normalmente critérios já pré-definidos no software o Outros algoritmos: MCMC, métodos bayesianos 105 Procedimento computacional – ciclo EM
  • 106. Aspectos computacionais XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 106 Exemplo de convergência observada para obtenção de parâmetros de um item no modelo GGUM Valores iniciais dos parâmetros do item Número de ciclos
  • 107. XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 107 Indicações Outros pacotes úteis no R “plink” – para equalização “irtoys” – modelos 1P, 2P e 3P com plots úteis
  • 108. XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 108 Indicações
  • 109. XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 109 Indicações
  • 110. XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 110 Indicações Modelos 1,2 e 3P
  • 111. XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item Referências 111 • J. S. Roberts, J. R. Donoghue, and J. E. Laughlin (2000), Unfolding Unidimensional Polytomous Responses, Applied Psychological Measurement,Vol. 24 No. 1, March 2000, 3–32 • GGUM2004: A Windows-Based Program to Estimate Parameters in the Generalized Graded Unfolding Model (reference manual) • Hambleton RK, Swaminathan H, Rogers HJ: Fundamentals of Item Response Theory. Newbury Park, CA: SAGE 1991 • Magis D., Béland,S.,Tuerlinckx, F., De Boeck, P. (2010) A general framework and an R package for the detection of dichotomous differential item functioning. Behavior Research Methods 42 (3), 847-862.
  • 112. XV Encontro Mineiro de Estatística - 5 e 6 de outubro de 2017 Belo Horizonte - MG - Minicurso Teoria de Resposta ao Item 112 • Rizopoulos, Dimitris (2006), ltm: An R Package for Latent Variable Modeling and Item Reponse Theory Analyses Journal of Statistical Software, 17 (5) • Roberts J. S., Donoghue J. R., Laughlin J. E.(2000). A General Model for Unfolding Unidimensional Polytomous Responses Using Item Response Theory. Applied Psychological Measurement, 24,3–32. • Soares, T.,Gamerman, D.,Gonçalves, F.B (2007) Análise Bayesiana do Funcionamento Diferencial do Item, Pesquisa Operacional,v.27, p.271-291 • Zopluoglu, C. (2012). EstCRM: An R package for Samejima’s Continuous IRT Model. Applied Psychological Measurement, 36(2), 149-150. Referências