項目反応理論による尺度運用

Require研究会第21回研究集会 @ 東京医科歯科大 2015.7.25
「項目反応理論を用いた尺度運用- PROMISの試みとその原理の理解」
項目反応理論を
用いた尺度運用
統計数理研究所
リスク解析戦略研究センター
竹林由武

本日の話題
❖ PROMISにおけるIRTの活用 (3分)
❖ IRTのパラメータの確認 (2分)
❖ DIFによる集団の異質性の検討法 (12分)
❖ IRTに基づいた尺度の等価法(12分)
❖ IRTに基づいた尺度構成と運用 (10分)

http://www.nihpromis.org/science/methodology
尺度開発と妥当性の科学的な基準を提供
1. 概念モデルの定義
2. 項目の構成
3. 項目プールの構成
4. 項目バンクの性質を決定
5. テスト, 尺度フォーマット
6. 妥当性
7. 信頼性
8. 解釈可能性
9. 翻訳，異文化への適応
IRTを活用

基準4. 項目バンクの性質を決定
1. バンクに含まれる項目の次元性は適切な統計手法で評価している
2. バンクに含まれる項目各々が，IRTに必要な前提をみたしてる
3. 適切な項目特性曲線とテスト情報曲線が示されている
4. 主要な集団間での特異項目機能 (DIF)が評価され，
測定の性質に与える影響が同定されている (年齢，性別，社会経済状況など)
Check list

基準5. テストと尺度フォーマット
1. 尺度の適切な(心理測定学的)性質が示されている
2. 測定指標間の精度や効率性が同定されている (等価)
3. 指標のパフォーマンスパラメータが同定されている
4. 回答の負担の特徴 (回答にかかる時間や項目数)
5. 異なるフォーマット間での比較可能性 (短縮版やCAT)
Check list

IRTに基づく尺度構成/運用のメリット
異質な集団間の得点を比較可能
異なる尺度間の得点を比較可能
測定精度を詳細に確認可能
特性値に応じて実施する尺度を制御可能
受験者ごとに最適な問題を瞬時に選び出題できる
豊田 (2012) 項目反応理論 [入門編] 第二版朝倉書店

PROMIS尺度, 集団の異質性を考慮した対応表作
り
必要なIRT関連の知識:
特異項目機能
(Differential Item Function)
翻訳状況の一部
特異項目機能 (アメリカ vs ドイツ)
http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0092367
http://www.pro-newsletter.com/images/PDF_articles/pronl47_keller.pdf

http://www.common-metrics.org/
http://psycnet.apa.org/journals/pas/26/2/513/
PROMIS尺度を軸に，既存の多様な尺度を比較可能にする
必要なIRT関連の知識:
等価 (equating, linking)

PROMIS尺度で回答者に最適な問題を瞬時に選び出題できる
https://www.assessmentcenter.net/ac1/Default.aspx?SID=466F3173-C114-48D3-93EC-849B436D61E3
回答者の回答に合わせて，
自動的に項目を選定し提示,
能力 (特性値)を自動推定
webで手軽に回答，
結果をすぐにフィードバック
必要な知識:
CAT (computer adaptive
testing)

pj (qi ) =
exp[Daj (qi -bj )]
1+exp[Daj (qi -bj )]
回答が2値変数のモデル
❖ 2母数ロジスティックモデル
θ = 特性値
ability parameter
a = 識別度母数
discrimination parameter
b = 困難度母数
difficulty or location parameter
D = 1.7 (定数)
constant
ある特性値の人(θi)がある項目(j)に
「はい」と答える確率
「はい(1)」「いいえ(0)」
「正答 (1)」「誤答 (0)」

回答が2値変数のモデル
a = 識別度母数 b = 困難度母数
項目特性曲線の傾き項目特性曲線の切片
項目への反応確率と特性値の関係
は, ロジスティック回帰モデルで
表現される
特性値困難度 (切片) 識別度 (傾き)
loge P(Xi )
1- P(Xi )
æ
è
ç
ö
ø
÷= b+ aFP(Xi =1) =
eb+aF
1+eb+aF

回答が順序変数のモデル
❖ 段階反応モデル
p*j (qi ) =
exp[Daj (qi -b*j )]
1+exp[Daj (qi -b*j )]
「あてはまる(4)」「少しあてはまる(3)」
「どちらでもない (2)」「あまりあてはまらない (1)」
「全然あてはまらない (0)」
ある特性値で，あるカテゴリに回答する
カテゴリごとの確率
回答カテゴリごとの困難度
θ = 特性値
ability parameter
a = 識別度母数
discrimination parameter
b = 困難度母数
difficulty or location parameter

回答が順序変数のモデル
❖ 段階反応モデル
「あてはまる(4)」「少しあてはまる(3)」
「どちらでもない (2)」「あまりあてはまらない (1)」
「全然あてはまらない (0)」
a = 識別度母数 b = 困難度母数
項目特性曲線の傾き項目特性曲線の切片
豊田 (2012) 項目反応理論 [入門編] 第二版朝倉書店
a=1.2, b1=3, b2=0, b3=-3 a=2.4, b1=3, b2=0, b3=-3 a=1.2, b1=3, b2=0, b3=-3 a=1.2, b1=5, b2=2, b3=-1

mirtパッケージのアプリ機能
library(mirt)
data(Anxiety)#lordifパッケージ内のデータ
res<-mirt(Anxiety[,4:32], 1)
itemplot(res, shiny=T)
スライダーでパラメタを動かすと、
一緒にプロットが動くので、
項目母数の性質が良く分かる

特異項目機能:
differential item function (DIF)
❖ 特性尺度値が等しい受験者であっても，属する下位集団が異なると正答確
率が異なるという現象が特定の項目で生じている場合DIFが存在する。
http://www.jstatsoft.org/v39/i08/paper

DIFの種類
Uniform DIF (交絡的な関係)
全ての特性値において，一方の群の
正答率が低い (or 高い)
non-Uniform DIF (修飾的な関係)
低特性者と高特性者で，
正答率の高い群が異なる。
例) 抑うつの得点(特性値)が高い場合，
高齢者は中年よりも「いつも通り働けない」という
項目に，「はい」と回答する確率が高いが，抑うつが
低い場合は，逆転
例 ) 抑うつの得点 (特性値)が同じでも，
男性は女性よりも「よく泣く」という
項目へのに「はい」と回答しずらい。
高齢者は若年・中年よりも，「体重が減少した」と
いう項目に「はい」と回答しずらい
Psychol Sci Q. 2008 ; 50(4): 538.
Psychol Sci Q. 2008 ; 50(4): 538.
http://www.restore.ac.uk/appliedpsychometrics/Tutorial.materials/Measurement.invariance/DIF
%20workshop%202012%20FINAL.pdf

Uniform DIF (交絡的な関係)
群間で困難度β(切片)が異なる
non-Uniform DIF (修飾的な関係)
群間で識別度α (傾きが異なる)
http://www.restore.ac.uk/appliedpsychometrics/Tutorial.materials/Measurement.invariance/DIF
%20workshop%202012%20FINAL.pdf
DIFの種類

DIF検出に使用されるモデル
IRT に基づく方法:
(順序)ロジスティック回帰 ((ordinal) logistic regression (OLS))
尤度比検定: (likelihood ratio test)
構造方程式モデル (CFA)に基づく方法:
多重指標多重原因モデル (MIMIC model)
多母集団同時分析モデル (multigroup CFA)
ノンパラメトリックなモデルに基づく方法
SIBTEST (non parametric model)
どの手法が優れるかは一概に
言えないので，
複数の方法を感度解析として
併用するのが望ましい
(PROMISでは，OLSを基本に
MIMICやMG-CFAを併用)

 
 
  groupFagroupaFabku
groupaFabku
Fabku
ki
ki
ki
*log
log
log
221
21
1


1) baseline model
3) non-uniform DIF
2) uniform DIF
特性値と群の交互作用項
群の (主)効果
DIFの有無の判断:
1) モデル比較 → 尤度比 (χ2)検定
2) 効果量 → pseudo R2, Δβ
サンプルサイズが大きいと些細な効果でも有意になるた
め，検定と効果量を合わせて解釈する
DIFの検討モデル:

尤度比 (χ2)検定によるDIFの検出:
DIFのタイプ比較するモデル
uniform DIF baseline model vs. uniform DIF
non-uniform DIF uniform DIF vs. non-uniform DIF
total DIF baseline model vs. non-uniform DIF
1) baseline model
3) non-uniform DIF
2) uniform DIF
 
 
  groupFagroupaFabku
groupaFabku
Fabku
ki
ki
ki
*log
log
log
221
21
1



特性値と群の交互作用項
群の (主)効果

効果量 (DIFの程度)の指標:
pseudo R2 (擬似決定係数): 分散説明率R2の代替指標
Zumbo (1999) の基準効果量の解釈
0.13未満無視して良い(negligible)
0.13以上0.26未満中程度 (moderate)
0.26以上大きい (large)
Zumbo BD (1999). A Handbook on the Theory and Methods of Differential Item Functioning (DIF): Logistic Regression Modeling as a Unitary Framework for
Binary and Likert-Type (Ordinal) Item Scores. Directorate of Human Resources Research and Evaluation, Department of National Defense, Ottawa, ON.
Db =
(bbaseline model - buniformn )
buniformn
10%以上が実用的 (practical)に意味のある効
果
(Crane et al. 2004)
Δ β : 属性変数の回帰係数の変化率
Crane PK, van Belle G, Larson EB (2004). “Test Bias in a Cognitive Test: Differential Item Functioning in the CASI.”
Statistics in Medicine, 23, 241–256.

MIMICモデルによるDIFの検出:
因子
１
項目1
項目２
項目３
項目４
因子
１
項目1
項目２
項目３
項目４
属性
変数
IRTモデル
（観測変数が順序・カテゴリ変数の因子分析）
MIMICモデル
（属性変数から項目へのパスがDIFを反映）

MIMICモデルによるDIFの検出:
因子
１
項目1
項目２
項目３
項目４
属性
変数
MIMICモデル
（属性変数から項目へのパスがDIFを反映）
DIFの検討手順
① 属性変数から全項目への
パス係数を０に固定し推定
② 修正指数によって，モデルの改善
が、予想されるパスを検討
(修正指数4以上)
③ パスを追加したモデルによって
適合度が改善するか検討
④ 適合度が改善すればその項目に
DIFを認める

ロジスティック回帰 vs
MIMIC
❖ 大抵MIMICモデルとOLSは同様の結果になる。
❖ 2値モデルでは， OLSよりMIMICモデルの方がやや良い。
❖ 多値モデルかつ標本サイズが小さい時は、MIMICモデルの方が良い
Stark, S., Chernshenko, O. S., & Drasgow, F. (2006). Detecting differential item functioning with confirmatory factor
analysis and item response theory: Toward a unified strategy. Journal of Applied Psychology, 91(6), 1292–1306

記載例2
❖ 方法の節: IRTOLSの場合
Qual Life Res (2015) 24:1491–1501 DOI 10.1007/s11136-014-0870-
DIF was analyzed with the R software package Lordif [31]. The
Lordif utilizes an ordinal logistic regression framework, and the
graded response (GR) model is used for IRT trait estimation
[32]. Two criteria were considered to detect meaningful DIF in the
current study: (1) < 0.13 pseudo R2 statistic [33] and (2) 10 %
changes in beta [31, 34, 35].
もっと詳しく書くなら右も参考になる→
使用したソフトウェア
DIF検出に用いた統計モデル
IRTの特性値の推定に使用した統計モデル
DIFの検出基準
Qual Life Res (2014) 23:239–244

記載例2
Of the 132 tests performed (22 items by 6 confounding factors), 50 exhibited overall DIF (Table
4 ). Following Zumbo’s DIF classification, no items were flagged for moderate or large DIF
magnitudes. Some items were flagged for negligible DIF magnitudes: three items for gender
(items 2, 3, and 4), … (中略)…, 18 items for geographical area (1–13, 15–17, 20, and 22). Given
the negligible DIF magnitudes, all 22 items were preserved in the final item bank.
Qual Life Res (2015) 24:1491–1501 DOI
10.1007/s11136-014-0870-x
❖ 結果の節: IRTOLSの場合
各項目の検定結果と効果量を，
検討したグループ変数ごとに表記
効果量を，基準に基づいて解釈

記載例1
❖ 方法の節: MIMIC model
❖ 結果の節: MIMIC model
Another important assumption of CCFA is no differential item functioning (DIF). This assumption was
tested for each item of the two PROMIS measures using the multiple indicator multiple cause
(MIMIC) model [25 –28], in regard to gender and age, each adjusted for the other. The MIMIC model
enables examining DIF even for a continuous variable (e.g., age) that has small within-group sample
sizes [25 ]. Significant direct effect of a grouping variable (e.g., age, gender) on an item indicates
DIF of the item. A DIF implies that a given item was not interpreted in a conceptually similar manner by
respondents with different individual characteristics (e.g., age and gender).
As the DIF tests for all the items were
conducted simultaneously, there was no need
to make adjustment for multiplicity of
comparison. None of the DIF tests were
statistically significant.

特異項目機能が検出されたら
❖ DIFのある項目を尺度から除く (PROMISの方針)
❖ 等価手続きを利用して，得点を合わせる。

PROMIS尺度を軸に，既存の多様な尺度を比較可能にする
多様なPROを統一指標化
するプロジェクト
うつ，不安，
痛み，身体機能
が出来てる
DOI: 10.1007/s11136-015-0987-6
DOI: 10.1007/s11606-015-3360-0

DOI: 10.1007/s11136-015-0987-6
DOI: 10.1007/s11606-015-3360-0
PROMIS尺度を軸に，
既存の多様な尺度を比較可能にする
PHQ-9の5点 = PROMISの52.5点 (T得点)
異なる尺度の変換表を作成

異なる尺度の項目母数が直接比較可能な状態
被験者の特性値の分布が等しい複
数の集団に，異なる尺度を実施し，
各々パラメタ推定した項目母数は，
直接比較可能 (等価済み)。
母集団
集団１
集団２
Random group equating design :
無作為抽出
X尺度
Y尺度
母集団
集団１
集団２
無作為抽出
X尺度
Y尺度
Y尺度
X尺度
Single group design with counterbalancing:
異なる尺度に同一の集団が回答する。
特性値の分布が等しい集団が、
それぞれの尺度に回答している。
直接比較可能 (等価済み)

直接比較できないときには ….?
Common-item nonequivalent group:
異質な集団で測定された異なる尺度間で，共通する項目または被験者の推定
値から算出する等価係数を用いて，両尺度を直接比較可能にする。
異なる尺度が異なる集団で実施された場合に，
各尺度の項目母数を直接比較可能な状態にする手続き
等価
・共通項目計画
・共通被験者計画

共通項目計画
subj item1 item2 item3 item4 item5
1
2
3
4
subj item3 item4 item5 item6
5
6
7
8
formX
formY
異なる被験者が
複数の質問紙への回答
項目に重複あり
共通項目の母数を利用して，
等価係数を算出
form X form Y
識別度
(a)
困難度
(b)
識別度
(a)
困難度
(b)
item3 1.20 -1.30 2.60 -1.15
item4 .60 -.10 1.20 -0.55
item5 1.70 .90 3.40 -0.05

共通被験者計画
1
2
3
4
５
3
4
5
6formX
formY
同じ被験者が異なる項目に回答
共通被験者の母数を利用して，
等価係数を算出
form X form Y
識別度
(a)
困難度
(b)
識別度
(a)
困難度
(b)
subj3 1.20 -1.30 2.60 -1.15
subj4 .60 -.10 1.20 -0.55
subj5 1.70 .90 3.40 -0.05

等価係数の算出
Y尺度をX尺度に等価
❖ 特性値 θXi = α*θYi +β
❖ 識別度 aXj = aYj/α
❖ 困難度 bXj = α*bYj + β
X尺度の特性値と等価になるよう，
Y尺度の特性値を線形変換
α (傾き)とβ (切片)
※段階反応モデルでは，
※識別度母数のカテゴリが増えるだけ
等価係数 (α, β)
α = aYj /aXj，β = bXj – α*bYj
最も適したαとβを共通項目(被験者)データから推定

等価係数の推定法
推定法特徴
平均/標準偏差法
mean / sigma method
困難度(b)母数から求める
平均/平均法
mean/mean method
識別度 (a)母数から求める
項目特性曲線法
item characteristics curve
method
項目特性曲線から推定する

平均/標準偏差法(mean / sigma method)
bXj - bX
s(bX )
=
bYj - bY
s(bY )
標準化した値は等しくなる
(どちらも平均=0, 標準偏差=1)
bXj =
s(bX )
s(bY )
*bYj +(bX -
s(bX )
s(bY )
*bY )
α β
困難度母数の平均
困難度母数の標準偏差
form X form Y
識別度
(a)
困難度
(b)
識別度
(a)
困難度
(b)
item3 1.20 -1.30 2.60 -1.15
item4 .60 -.10 1.20 -0.55
item5 1.70 .90 3.40 -0.05
平均 1.17 -0.17 2.4 -0.58
標準偏差 0.55 1.10 1.11 0.55
α=1.10/0.55=2
β=-0.17-2*0.55 =-1.7

平均/平均法(mean / mean method)
a =
aY
aX
form X form Y
識別度
(a)
困難度
(b)
識別度
(a)
困難度
(b)
item3 1.20 -1.30 2.60 -1.15
item4 .60 -.10 1.20 -0.55
item5 1.70 .90 3.40 -0.05
平均 1.17 -0.17 2.4 -0.58
標準偏差 0.55 1.10 1.11 0.55
α=2.4/1.17=2.05
β=-0.17-2.05*0.55 =-1.30
b = bX -a *bY
識別度母数の平均からαを算出
mean/sigma法と同様にβを算出

項目特性曲線法
❖ Haebara法
２つの尺度の項目特性曲線間の差が最小になるαとβを推定する
❖ Stocking & Lord法
SLdiff (qi ) pij (qXi;aXj,
j:V
å bXj )- pij (qXi;
aYj
a
,
j:V
å abYj + b)
é
ë
ê
ê
ù
û
ú
ú
2
Hcrit(qi ) =
j:V
å pij (qXi;aXj,bXj )- pij (qJi;
aYj
a
,abYj +b)
é
ë
ê
ù
û
ú
2
尺度Xの項目特性曲線等価した尺度Yの項目特性曲線
尺度Xのテスト特性曲線等価した尺度Yのテスト特性曲線
２つの尺度のテスト特性曲線間の差が最小になるαとβを推定する
基本的に，項目特性曲線に基づく方法が良いが，
複数の方法で感度解析的にやるのが良い

等価係数による項目母数の等価
form X form Y
識別度
(a)
困難度
(b)
識別度
(a)
困難度
(b)
1.50 -1.10
2.20 -0.03
item3 1.20 -1.30 2.60 -1.15
item4 .60 -.10 1.20 -0.55
item5 1.70 .90 3.40 -0.05
3.60 -1.20
1.10 -0.50
form X form Y
識別
度
(a)
困難度
(b)
識別度
(a)
困難度
(b)
item1 0.75 -0.5
item2 1.1 1.64
item3 1.20 -1.30 1.9 -1.225
item4 .60 -.10 0.9 -0.325
item5 1.70 .90 2.55 0.425
item6 1.8 -0.7
item7 0.55 0.7
識別度 aXj = aYj/α
困難度 bXj = α*bYj + β
共通項目の等価係数が推定できたら，
等価式を用いて，共通項目以外を等価
共通項目の母数は，二つの母数を平均
α=2
β=-1.7

記載例1
❖ 結果の節: PROMIS尺度に他の尺度の項目母数を等価
Table 3 displays the legacy instrument item parameters obtained from the fixed-
parameter calibrations. For each instrument pair, the test characteristic curves
(TCCs) of the separate calibrations using linking constants were nearly identical to
the TCCs of the fixed calibrations. In fact, for each comparison between the TCCs,
the expected raw score value differed by less than 1 point across thetas ranging
from 4 to 4. Because of the close similarity of the different IRT solutions, we
report only the results of the fixed-parameter estimates.
識別度困難度

対応表の作成
等価な項目母数が得られたら，尺度得点の対応表を作成
T(q) = pjc (q)
c=0
C-1
å
j=1
å
真の得点 =
個々の項目特性曲線の合計
各尺度のテスト特性曲線
Σ
尺度A
尺度B

θ T(θ) form X T (θ) form Y
-1.1 3 1.1
-1.0 4 1.6
-0.8 5 2.1
-0.7 6 2.6
-0.6 7 3.0
-0.5 8 3.5
-0.4 10 4.2
-0.3 11 4.6
-0.2 13 5.3
-0.1 14 5.6
0.0 16 6.2
0.1 18 6.8
0.2 21 7.7
0.3 24 8.6
0.4 25 8.9
0.5 27 9.6
0.6 29 10.2
0.7 30 10.5
0.8 32 11.1
0.9 34 11.6
1.0 35 11.9
1.1 36 12.3
対応表の作成
cross walk function

記載例
❖ 結果の節: 対応表

Figure 3 displays the linking functions for the CES-D,
PHQ-9, and BDI-II that map their raw summed
scores (the vertical axis) to the PROMIS
Depression metric (the horizontal axis). Traditional
cutoff scores for the legacy measures are indicated
on their respective functions and projected onto the
PROMIS metric. Some of the thresholds for possible
or moderate depression on the CES-D and BDI-II
differ from one another. In fact, the threshold for
moderate depression according to the CES-D (about
0.5 SD above the PROMIS population mean) was
equivalent to the threshold for mild depression by
the BDI-II. However, the thresholds for moderate
depression for the BDI-II and PHQ-9 were very
similar to each other (about 1 SD above the PROMIS
population mean). This is validating the tentative
threshold PROMIS has set on the Depression
measure of 60, or 1 SD above the population mean
(Cella et al., 2008).
記載例2

尺度構成：項目バンク
θ
項目バンク
０ 10050
IRT (パラメータ推定、等価)
尺度A
(50項目)
尺度B
(30項目)尺度C
(20項目)
尺度D
(35項目)
・共通する尺度で評価可能な項目群
・低特性〜高特性まで広い範囲の特性を測定可能な項目群
・項目が多いほど測定精度は高い
・項目バンクから、用途に応じた尺度を適宜構成できる
項目1 項目2 項目3………. ……..項目135

項目バンク（IRTで推定済）
項目1 項目2 項目3 項目4 項目5 項目6 項目7 項目8 項目9 項目10 項目11
θ
項目1: ベッドから出たり、入ったりできますか？
項目4: 平らな道を1ブロック歩けますか？
項目9: ２マイル走れますか?
身体機能の項目バンク
０ 10050

固定型テスト vs 適応型テス
ト
θ
０ 10050
固定型 (従来型)
呈示項目を固定
過去１週間にあてはまる
ものに○をしてください
あ
て
は
ま
ら
な
い
少
し
あ
て
は
あ
ま
る
ど
ち
ら
で
も
な
い
結
構
あ
て
は
ま
る
あ
て
は
ま
る
１緊張した１２３４５
２心配事が止まらなかった１２３４５
３恐怖でびくびくした１２３４５
４パニックになった１２３４５
適応型
呈示項目をアルゴリズムに基づいて自動化

固定型：垂直テスト vs 平行テスト
項目1 項目2 項目3 項目4 項目5 項目6 項目7 項目8 項目9 項目10 項目11
θ
垂直テスト：特性値対応型テスト
低特性者向け（例、一般成人向け）
中特性者向け（例、スクリーニング向け）
高特性者向け（例、患者向け）
０ 10050
平行テスト：別項目で同等テスト
テストA （例、治療前）
項目１、３、５、７、９、１１
テストB （例、治療後）
項目２、４、６、８、１０

適応型テスト
広い範囲で特性を捉えられるが, 精度が低い尺度
精度が高いが、捉えられる特性値の範囲が狭い
10050
望ましい尺度広い範囲で、精度高く特性値を推定可能
↓
適応型テスト
物足りない尺度１
物足りない尺度２

適応型テスト
質問１
0 321-1-2-3
21
21
質問2
質問3
広い範囲で、精度高く特性値を推定可能
回答ごとに特性値を推定し、特性値に応じた項目を呈示。

適応型テストのフロー
暫定的な能力値推定
次の項目の選択/提示
いいえ
第1項目の選択/提示
停止基準を
みたしたか？
項目提示の終了
推定値の確定
はい
反応パタンの更新
Magis, D., & Raîche, G. (2012). Random generation of
response patterns under computerized adaptive
testing with the R package catR. Journal of Statistical
Software, 48(8), 1-31.
initial step
test step
stopping step
final step

① initial step: 第1項目の選
択
Magis, D., & Raîche, G. (2012). Random generation of response patterns under computerized adaptive testing with the R
package catR. Journal of Statistical Software, 48(8), 1-31.
・事前情報なし
- 平均レベル(θ=0)の項目を提示
・事前情報あり
- 回答者の過去の受験結果に基づく能力値の項目
・同様のテストの受験結果
・練習問題の受験結果
- 回答者の属性 (e.g., 年齢・性別など)の平均値の項目
いいえ
停止基準を
みたしたか？
はい

② test step: 能力値推定/項目提
示
Magis, D., & Raîche, G. (2012). Random
generation of response patterns under
computerized adaptive testing with the R
package catR. Journal of Statistical
Software, 48(8), 1-31.
(a)直近の提示項目までの回答パタンで暫定的に能力値を推
定
(b)未提示の項目群から，暫定的な能力値と項目選択基準に
基づいて，次の提示項目を選択/提示
(c)反応パタンの更新
いいえ
停止基準を
みたしたか？
はい

能力値の推定法
・最尤推定法
・ベイズ推定法
最大事後確率推定 (MAP:maximum posterior probability)
期待事後推定 (EAP: expected a posterior)
示
いいえ
停止基準を
みたしたか？
はい

示
最尤推定法 vs ベイズ推定
・テスト項目が多い: 各推定法の結果は一致する。
・テスト項目が少ない: 適切な事前分布を設定できれば，最尤法よりベイズ推定が安定
(事前分布は標準正規分布 N(0,1)) (Seong et al., 1999; 豊田, 2002)
・最尤法だと，全問正答 or 誤答者の特性値を推定できない (無限大になる)
・ EAPは反復計算不要なのでMAPや最尤法よりも計算にかかるコストが低い(豊田, 2002)
→ ベイズ法の使用が一般的 (Magis & Raîche, 2012)
→ practical にはEAP がベター
→ RのIRT関連のパッケージでは，能力値の推定にML, MAP, EAPが選択可能なものが多
いので，ベイズの原理がよくわからなくても、とりあえず推定結果は得られる素敵な時代。

示
ベイズ推定の入門的資料 (IRTには触れてない)
http://ytake2.github.io/bayes.github.io/#/

項目選択基準
示
いいえ
停止基準を
みたしたか？
はい
尤度を利用を利用 (ベイズ推定による) 事後分布を利用
古典的
項目選択基準
最大情報量基準 (maximum information criterion)
= テスト情報量が最大となる項目を選択
現代的
項目選択基準
尤度重み付き最大情報量基準
(maximum likelihood weighted information criterion)
事後重み付き最大情報量基準
(maximum posterior weighted information criterion)
最大期待情報量基準
(maximum expected criterion)
最小期待事後分散基準
(minimum expected posterior variace

・項目の提示数
最大提示項目数に達したら終了
最小提示項目数に達したら終了
・能力値の精度
暫定的な能力推定値の標準誤差が事前に設定した水準に達したら終了
・分類能力値の信頼区間が特定の分類に収まったら終了
③ stopping step: 停止基準
いいえ
停止基準を
みたしたか？
項目提示の終了
はい

特性値の精度による停止
回答が進むにつれて、特性値の測定精度が向上
(この場合，標準誤差が小さくなる）
一定の基準を満たした時点で回答終了
(この場合，標準誤差０．３以下になったら終了)
グレーの領域が標準誤差の範囲

PROMIS-CATの性能評価
フルバン
ク
CAT （精度０．
３）
CAT （精度０．
４）
(平均) 回答項目数 389 12
(範囲7-22)
6
(範囲7-22)
平均回答時間（分） 55.6 2.3
（範囲1.72-2.97）
―
フルバンクとの相関
（ r ）
r=.95 r=.92
フルバンクと比べるとごくわずかな項目で、
測定精度を保ったまま、
フルバンクへの回答と同等の回答が得られる

Take home message
1. 特異項目機能をロジスティック回帰やMIMICモデルで検討し，
集団間で反応の異なる項目がないか確認し，尺度項目を洗練。
2. 等価によって共通尺度を作成することで，(同一概念の)
異なる尺度間 (異なる集団間)の対応表ができ，
各尺度の解釈が促進される
1. IRTで項目バンクを整えて，適応型テストで症状評価することで，
短時間で精度の高い測定が可能になる。
コンピュータで評価が自動化されるので，採点者にも優しい。
IRTに基づく尺度運用は，研究/臨床の双方で有用

Rコード
❖ 特異項目機能の検出
OLS: Lordif package
MIMIC: lavaan package
❖ 等価係数の算出, 対応表の作成
plink package
❖ 適応型テストの運用
mirt pacakge

Rコード: 特異項目機能
❖ 順序ロジスティックモデル: Lordif
packagelibrary(lordif) #パッケージの読み込み
data(“Anxiety”) #データの読み込み
head(Anxiety) #データ構造の確認
Age <- Anxiety$age #性別変数の格納
Resp <- Anxiety[paste("R", 1:29, sep = "")] #項目変数の格納

packageageDIF <- lordif(resp.data=Resp, group=Age, criterion = "Chisqr", alpha =
0.01)
#resp.data=項目変数 #group=属性データ #alpha = 有意水準
#criterion=DIF検出基準尤度比検定なら”Chisqr”, 効果量なら”R2” or “Beta”
print(ageDIF$stats) #尤度検定 (chi), 効果量の出力 (beta, pseudo)※ pseudoは複数種類ありchi12=base model vs uniform chi23=uniform vs non-uniform
pseduo12=base model vs uniformpseduo23=uniform vs non-uniform

package
plot(ageDIF, labels = c("Younger (<65)", "Older (65+)"))
DIF検出項目の項目特性曲線DIF検出項目のテスト特性曲線
DIF項目でTCCに大きな差はない

❖ MIMIC: lavaan package
library(lavaan)
model_mimic<-"f1 =~ R1+R2+R3+R4+R5+R6+R7+R8+R9+R10+
R11+R12+R13+R14+R15+R16+R17+R18+
R19+R20+R21+R22+R23+R24+R25+R26+
R27+R28+R29 # IRTモデル
f1~~1*f1 #因子の分散を1に固定
f1 ~ gender # 性別から因子へのパス
R1 ~ 0*gender ; R2 ~ 0*gender
R11 ~ 0*gender; R12 ~ 0*gender
R29 ~ 0*gender
# 性別から項目へのパスを全て0に固定
"
#推定
fit2<-lavaan(
model_mimic,
data=difdat,
ordered=c("R1","R2","R3","R4","R5","R6","R7","R8","R9","R10",
"R11","R12","R13","R14","R15","R16","R17","R18",
"R19","R20","R21","R22","R23","R24","R25","R26",
"R27","R28","R29"),
estimator = "wlsmv")
#修正指数の出力
modindices(fit2,minimum.value=4)

❖ MIMIC: lavaan package
library(lavaan)
model_mimic2<-"f1 =~
R1+R2+R3+R4+R5+R6+R7+R8+R9+R10+
R11+R12+R13+R14+R15+R16+R17+R18+
R19+R20+R21+R22+R23+R24+R25+R26+
R27+R28+R29 # IRTモデル
f1~~1*f1 #因子の分散を1に固定
f1 ~ gender # 性別から因子へのパス
R5 ~ 0*gender ; R6 ~ gender #性別からR6へのパスを追加
R29 ~ 0*gender # 性別から項目へのパスを全て0に固定
"
#推定
fit3<-lavaan(
model_mimic2,
data=difdat,
ordered=c("R1","R2","R3","R4","R5","R6","R7","R8","R9","R10",
"R11","R12","R13","R14","R15","R16","R17","R18",
"R19","R20","R21","R22","R23","R24","R25","R26",
"R27","R28","R29"),
estimator = "wlsmv")
#モデル適合の比較
library(semTools)
compareFit(fit3,fit2)
パスを追加しても適合に大差なし

Rコード: 等価
❖ plink package
#データの読み込み
formX<-read.csv("Xdat.csv",header=T)
formY<-read.csv("Ydat.csv",header=T)
#各尺度IRTパラメータの推定
library(ltm)
X_irt<-grm(formX[,2:21], IRT.param = TRUE)
Y_irt<-grm(formY[,2:8], IRT.param = TRUE)
#linking
library(devtools)
#plinkはcranにないのでgithubからインストール
install_github("cran/plink")
library(plink)
#ltmによる推定結果を読み込み
X<-read.ltm(X_irt)
Y<-read.ltm(Y_irt)
#共通項目を指定
common<-matrix(0,7,2)
common[,1:2]<-1:7
colnames(common)<-c("form.X","form.Y”)"
#共通項目を指定
plink.pars <- combine.pars(list(form.Y=X, form.X=Y),
common = common)
#Stock-lord法で等価
plink.out <- plink(plink.pars, rescale = "SL",D=1.7,
grp.names=c("form.X","form.Y"))
#等価係数の出力
summary(plink.out)

Rコード: 等価
❖ plink package
#等価後の項目母数を出力
link.pars(plink.out)
#等価後のテスト特性曲線のプロット
plot(plink.out$pars, drift =
"TCC",grp.names=c("form.X","form.Y"))

Rコード: 等価
❖ plink package
#尺度の等価 (対応表)
conversion<-plink::equate(plink.out,method=c("TSE","OSE"))
ose_scores<-data.frame(conversion$ose$scores)
tse_scores<-data.frame(conversion$tse)
tse_scores
#尺度スコア(等価後)のプロット
plot(tse_scores[,2],tse_scores[,3], type="l",xlab="T(θ) for form
X",ylab= "T(θ) for form Y",ylim=c(0,14))

Rコード: 適応型テストの運用
❖ mirt package
library(mirtCAT)
options(stringsAsFactors = FALSE)
# 項目バンクのパラメータ推定
library(lordif)
data("Anxiety") #lordif packageのデータ
mod<-mirt(Anxiety[,4:32],1)
質問文と回答フォーマットのデータフレームを作る

Rコード: 適応型テストの運用#質問項目と回答フォーマットの作成
nitems<-29 #項目バンクの項目数
questions <-character(nitems) #質問項目を入れる箱
questions<-c("過去一週間に, 怖い思いをした (I felt frightened)","過去一週間に，ゾッとした (I felt frightened)",
"過去一週間に，緊張した時に怖かった (It scared me when I felt nervous)",
"過去一週間に，不安を感じた (I felt anxious)",
"過去一週間に，自分の不安のために助けが必要だと感じた (I felt like I needed help for my anxiety)",
"過去一週間に，自分の精神的な健康が気になった (I was concerned about my mental health)",
"過去一週間に，動揺した (I felt upset)","過去一週間に, 動悸があった (I had a racing or pounding heart)",
"過去一週間に, 普段していることが妨げられると不安になった (I was anxious if my normal routine was disturbed)",
"過去一週間に，突然にパニックを感じることがあった (I had sudden feelings of panic)",
"過去一週間に，ちょっとしたことにビクビクした (I was easily startled)",
"過去一週間に，物事に集中することが難しかった (I had trouble paying attention)",
"過去一週間に, 公共の場や(公共での)活動を避けた (I avoided public places or activities)",
"過去一週間に，落ち着かなかった (I felt fidgety)",
"過去一週間に，何か恐ろしいことが起こる感じがした (I felt something awful would happen)",
"過去一週間に, 心配を感じた (I felt worried)",
"過去一週間に，ひどく恐ろしい思いをした (I felt terrified)",
"過去一週間に, 私に対する他者の反応について心配した (I worried about other people's reaction to me)",
"過去一週間に, 自分の不安なこと以外の全てのことに集中することは難しかった。(I found it hard to focus on anything other than my
anxiety)",
"過去一週間に, 心配事に圧倒された (my worries overwhelmed me)",
"過去一週間に, 筋肉の痙攣やこわばりがあった (I had twitching or trembling muscles)",
"過去一週間に, 緊張した/神経質になった (I felt nervous)",
"過去一週間に, 優柔不断だった (I felt indecisive)",
"過去一週間に，さまざまな状況で心配になった (Many situations made me worry)",
"過去一週間に, よく眠れなかった (I had difficulty sleeping)",
"過去一週間に, リラックスするのが難しかった (I had trouble relaxing)",
"過去一週間に, 落ち着かなかった (I felt uneasy)",
"過去一週間に, 緊張した (I felt tense)",
"過去一週間に, 穏やかにいることが難しかった (I had difficulty calming down)”)
choices <- matrix('', nitems, 5) #回答フォーマットを入れる箱
for(i in 1:nitems){ #回答フォーマットを入れる箱に回答フォーマットを格納
choices[i,] <-c("全くない","たまに","しばしば","よく", "いつも")
}
df <- data.frame(Questions=questions, Option=choices, Type='radio')

# htmlのデザイン
shinyGUI<-
list(title=“PROMIS-Anxiety-CAT”, #タイトル
authors=“竹林由武@ISM”, #著者
instructions=c("Instructions:","下のボタン「次へ」をクリックして下さい.",
“次へ”), #教示
firstpage=list(h1(‘過去一週間に，n各質問項目がどれくらいあったかを選んで回答して下さい’), #最初のページ, 説明
など
'質問への回答を始めるために，「次へ」をクリックして下さい'),
demographics=list(selectInput(inputId = '性別', #属性データの選択肢追加
label = '性別を選択してください',
choices = c('', '男性', '女性', 'その他'),
selected = ‘’),
selectInput(inputId ="年齢", #属性データの選択肢追加
label="年齢を選択してください",
choice = c('',as.character(rep(1:100))),
selected='')
),
demographics_inputIDs= c('性別','年齢'),
lastpage=list(h5("以上で質問は終了です.「次へ」をクリックしてください."))
)

#CATのセッティング，実行
result <- mirtCAT(df, mod,
method = ‘EAP’, #能力値の推定方法
criteria=“MI”, #項目選択基準
design = list(min_SEM=0.3), #終了基準 SE=0.3
shinyGUI=shinyGUI))

summary(res)
res<-round(print(result),2)
# 推定値から標準得点算出 (θ*10+50)
res<-cbind(res,summary(result)$final_estimates[1]*10+50)
colnames(res)[4]<-"T-score"
colnames(res)<-c("Answered items","θ","θ.SE","T-score")
res
plot(result)

項目反応理論による尺度運用

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to 項目反応理論による尺度運用

Similar to 項目反応理論による尺度運用 (20)

More from Yoshitake Takebayashi

More from Yoshitake Takebayashi (18)

Recently uploaded

Recently uploaded (9)

項目反応理論による尺度運用