情報処理学会 コンピュータと教育研究会(CE) 142回研究発表会 2017年12月10日(日)、 松山大学 樋又(ひまた)キャンパス http://ce.eplang.jp/index.php?142%B2%F3%B8%A6%B5%E6%C8%AF%C9%BD%B2%F1 v1.1: 発表時スライドv1に、口頭で説明した内容などを補ったものです。 2018-01-14 スライド#54の「ジグソー年表」を「ジグソーできごと」として実装しました。 ジグソーできごと https://cc-study.appspot.com/open-jigsaw-event/ ジグソーできごと分析 https://cc-study.appspot.com/open-jigsaw-analytics/

1. ジグソー・テキストによる
⽂並べ替え操作の測定
Reading And Writing Activity Measurement And
Analysis By Jigsaw Text
◎⼭⼝琢(フリー), ⼤場みち⼦(公⽴はこだて未来⼤学),
⾼橋慈⼦(ハーティネス), ⼩林⿓⽣(スコレックス)
v1 2017-12-10
v1.1 2017-12-28
2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 1

2. このv1.1は、発表時スライドv1に、
⼝頭で説明した内容などを
補ったものです。
2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 2

3. Agenda
• ジグソー・テキスト(Jigsaw Text)アプリ、
測定データ、分析結果の紹介
「ジグソー・テキストの操作ログは、
⼈の考え⽅を捉えているか？」
2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 3

4. • 背景: 主なフィールド
– Learning Analytics学習分析
– 考え⽅の学習・指導
– 読み・書き、プログラミング、歴史、地理、
…
2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 4

5. 今回の研究会で
すでに何度も語られてるので、
背景については割愛します。
2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 5

6. 考え⽅を反映した⾏動パターン
山口琢 6
○→△→□…
●→▲→■…
◇→▼→◎…
観察できない頭の中 観察できる操作パターン
アプリ
+
課題・問題
の⼯夫
2017-12-10 IPSJ SIGCE 142回研究会 @松山大学

7. • ヒッグス機構(ヒッグス粒⼦)だって、
重⼒理論(重⼒波)だって、
観測されてこそ、ですよね
• ICTツールならきめ細かく⼯夫できるはず
2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 7

8. アプリ
記録[データ]分析[理論]
指導・学習[応⽤]
研究の構成
互いに密接に関係する、個別の研究
2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 8
フィードバック

9. 教材アプリ
記録[データ]分析[理論]
指導・学習[応⽤]
各研究のテーマ
• ⽐較・特徴・向き/不向き
• パターンの顕在化
• 授業に馴染むか？
• 相互運⽤性
• 国際化
• 指導法などからの中⽴性
• 指導・学習の効果・検証
…
• 点過程の分析
• 読み書きパターンの可視化⼿法
• 計算時間・コスト
• リアルタイム、ストリーミング
• 予測・機械学習
• さまざまな相関・因果関係
科学: そもそも…
• 考え⽅とは？
• 知的なスキル・能⼒とは？
2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 9

10. 教材アプリ
記録[データ]分析[理論]
指導・学習[応⽤]
個別の研究: 組み合わせて相互活⽤
アプリ、分析
⼿法などを組
み合わせて
相互に活⽤
2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 10
• トピック・ライター
• ジグソー・テキスト
• AnswerBoxCreator [*1]
• BookLooper [*2]
• デジタルペーパー [*3]
• ロンリー [*4]
• マトリックス型
テキスト編集モデル
• InputLog
• keystroke
• pen stroke
• ロジック・ツリー
• ○○法
• △△法
• 操作の時間的・⼿順的な共起
• EOI: Editing Operation Indicator
…

11. …そして、メタ研究
2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 11
様々な結果を横断的に分析
• トピック・ライター
• ジグソー・テキスト
• AnswerBoxCreator
• BookLooper
• デジタルペーパー
• ロンリー
• ロジック・ツリー
• ○○法
• △△法
教材アプリ
記録[データ]分析[理論]
指導・学習[応⽤]

12. ジグソー・テキスト
2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 12
教材アプリ
記録[データ]分析[理論]
指導・学習[応⽤]

13. ジグソー・テキスト
• ランダムに並んだ⽂を、
プレイヤーが適切と考える順序に、
並べ替える
• ⽂章のジグソー・パズル
2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 13

14. https://cc-study.appspot.com/jigsaw_text/
短縮URL https://goo.gl/QFQ336
山口琢 142017-12-10 IPSJ SIGCE 142回研究会 @松山大学

15. 演習での⼿順
1. ブラウザを起動し、ジグソーテキストにアクセスします。
2. 「オレオレ詐欺」を選択します。
← ここで⽂がランダムに並べ替えられ、そのたびに違う順序で表⽰される。
3. ⽂章をドラッグ&ドロップして順番を並べ替えます。
4. 並べ替えが終わったら、「完成！」をクリックします。
document idと、完成した⽂章が⽂id付きで表⽰されます。
5. 表⽰されたテキストを提出します。
2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 15

16. ジグソー・テキストの測定
2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 16
教材アプリ
記録[データ]分析[理論]
指導・学習[応⽤]

17. ジグソー・テキストの測定
• いつ(⽇時)
• なにを(対象、⽂章の単位)、
– どの⽂を
+ どんな状況で(コンテキスト)
– ドラッグやドロップしたとき、その⽂の前の⽂
– ドラッグやドロップしたとき、その⽂の後の⽂
– ⽂全体の並び順
• どうしたか
– パズル開始、⽂をドラッグ、⽂をドロップ、完成
2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 17

18. 学習分析は細粒度化が進んでいる。s1
読解では、電⼦書籍のページめくりを記録して学習者の参画度合いを知…s2
記録・分析した作⽂⾏動には誤字脱字や表現の修正も含まれている。s4
別の作⽂アプリケーションによって⽂章の論理構成のみを問うような課題を…s5
そこで、⽂の並べ替え作⽂を課題とし編集操作を記録するジグソー・…s6
われわれは、これまでに、作⽂について、作⽂⾏動を記録・分析した…s3
s1…s7は⽂(=パズルのピース)のID
2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 18

19. 学習分析は細粒度化が進んでいる。s1
読解では、電⼦書籍のページめくりを記録して学習者の参画度合いを知…s2
記録・分析した作⽂⾏動には誤字脱字や表現の修正も含まれている。s4
別の作⽂アプリケーションによって⽂章の論理構成のみを問うような課題を…s5
そこで、⽂の並べ替え作⽂を課題とし編集操作を記録するジグソー・…s6
われわれは、これまでに、作⽂について、作⽂⾏動を記録・分析した…s3
ドラッグ開始: 前(上) s1、対象 s3、後(下) s4
ドロップ: 前(上) s6、対象 s3、後(下) s5
2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 19

20. ジグソー・テキストの分析
2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 20
教材アプリ
記録[データ]分析[理論]
指導・学習[応⽤]

21. 違う受講⽣に対する2つの演習(A演習とB演
習)を対⽐して、結果を⽰して考察します。
2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 21

22. パズルの⽂章「オレオレ詐欺」
s1 相変わらず、オレオレ詐欺の被害が減らない。
s2 オレオレ詐欺には、⼤きく分けて2つの種類がある。
s3 ひとつは、まさにオレオレ詐欺で、孫や甥などをかたって、
⾦銭を要求する。
s4 ひとつは、官公庁や銀⾏を騙って、還付⾦があるとだまして
現⾦⾃動預払機を操作させ、⾦銭をだまし取る。
s5 この派⽣形として、⼝座が不正に操作されたとだまして、暗
証番号を聞き出した上で、銀⾏カードもだまし取る。
s6 このような被害を防ぐ最良の⽅法は、電話での⾦銭の要求や、
銀⾏⼝座やクレジットカードに係わる電話があった場合は、
まず、詐欺を疑い、家族や親しい⼈に相談することだ。
s7 しかし、問題は、⾝近に相談できる⼈がいない⾼齢者が多く
いることにあるのかもしれない。
2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 22

23. 最初に動かした⽂
s1「相変わらず、…減らない。」が多
い
s2「…2つの種類がある。」が多い
A演習 B演習
% 件数 対象の⽂ 件数 %
########## 50% 4 s1 9 22% ####
##### 25% 2 s2 15 37% #######
## 12% 1 s3 2 5% #
## 12% 1 s4 3 7% #
0% 0 s5 5 12% ##
0% 0 s6 2 5% #
0% 0 s7 4 10% ##
8件 40件
2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 23

24. 以下、件数の少なさに留意しつつ…
2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 24

25. • 最初に動かした⽂が違う
s1 相変わらず、オレオレ詐欺の被害が減らない。
↕
s2 オレオレ詐欺には、⼤きく分けて2つの種類がある。
• トピック・センテンス的な⽂か、
構造を⽰す⽂か、という違いではないか。
2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 25

26. A演習 B演習
件数 並び順 件数
##### 25% 2 s1→s2→s3→s4→s5→s6→s7 30 57% ##############################
####### 37% 3 s1→s2→s3→s4→s5→s7→s6 4 7% ####
s2→s3→s4→s5→s6→s7→s1 1 1% #
s1→s2→s4→s3→s5→s6→s7 1 1% #
s1→s2→s4→s5→s3→s6→s7 5 9% #####
s1→s7→s2→s3→s6→s4→s5 1 1% #
s2→s4→s5→s3→s1→s7→s6 2 3% ##
s1→s2→s3→s4→s6→s7→s5 1 1% #
s1→s2→s3→s7→s4→s5→s6 1 1% #
s1→s2→s4→s5→s3→s6→s7 1 1% #
##### 25% 2 s1→s2→s3→s6→s4→s5→s7 1 1% #
s2→s3→s6→s7→s4→s5→s1 2 3% ##
s1→s2→s3→s5→s4→s6→s7 1 1% #
s2→s3→s4→s5→s1→s6→s7 1 1% #
## 12% 1 s2→s4→s3→s1→s5→s6→s7 0 0%
完成順序
サンプル数が少なすぎるのか… オリジナルと同じが半数以上
2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 26

27. 完成順序については、
「書き⼿の意図」で戻ってきます。
2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 27

28. 操作順序(ドラッグ対象)の共起マトリックス
合計: 286, セルの数: 49,
平均: 5.8, 分散: 7.4, 標準偏差: 2.7,
平均 + 標準偏差 = 8.5 <、ただし対⾓
線を除く。
B演習
• s2の後でs3、s4を動かす。
• s6の後でs1を動かす。
合計: 50, セルの数: 49,
平均: 1, 分散: 0.9, 標準偏差: 0.9,
平均 + 標準偏差 = 1.9 <、ただし対⾓
線を除く。
A演習
サンプル数が少なくて特徴が出てないのかも
2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 28

29. このマトリックスの⾒⽅を以下に説明しま
す。
2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 29

30. ドラッグ対象の時系列
• 「s2を動かして、次ぎにs3を動かした」
回数が、全員の合計で16回あった。
…などと読む。
• 操作対象の
時間的共起を
表現
2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 30

31. • s2、s3、s4、s5を互いに続けて動かすこ
とが多いのでは？
これを「操作が時間的に共起している」
と表現しています。
2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 31

32. • 操作の時間的な共起には理由があって、
例えば、⽂章の構造を反映してる、
と考えています。
2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 32

33. s1 相変わらず、オレオレ詐欺の被害が減らない。
s2 オレオレ詐欺には、⼤きく分けて2つの種類がある。
s3 ひとつは、まさにオレオレ詐欺で、孫や甥などをかたって、⾦銭
を要求する。
s4 ひとつは、官公庁や銀⾏を騙って、還付⾦があるとだまして現⾦
⾃動預払機を操作させ、⾦銭をだまし取る。
s5 この派⽣形として、⼝座が不正に操作されたとだまして、暗証番
号を聞き出した上で、銀⾏カードもだまし取る。
s6 このような被害を防ぐ最良の⽅法は、電話での⾦銭の要求や、銀
⾏⼝座やクレジットカードに係わる電話があった場合は、まず、
詐欺を疑い、家族や親しい⼈に相談することだ。
s7 しかし、問題は、⾝近に相談できる⼈がいない⾼齢者が多くいる
ことにあるのかもしれない。
2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 33

34. 再掲: ドラッグ対象の共起マトリックス
合計: 286, セルの数: 49,
平均: 5.8, 分散: 7.4, 標準偏差: 2.7,
平均 + 標準偏差 = 8.5 <、ただし対⾓
線を除く。
B演習
• s2の後でs3、s4を動かす。
• s6の後でs1を動かす。
合計: 50, セルの数: 49,
平均: 1, 分散: 0.9, 標準偏差: 0.9,
平均 + 標準偏差 = 1.9 <、ただし対⾓
線を除く。
A演習
サンプル数が少なくて特徴が出てないのかも
2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 34

35. ドラッグ対象の時系列分析より
1. 「2つの種類がある」、「ひとつは」、「ひとつは」と
いうキー・フレーズに着⽬して(読解)
2. ⽂章に構造があると考えて(読解)
3. その構造を反映した順序に並べ替えようとしてる(作⽂)
…のではないか
2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 35

36. ドロップ先の分析 - B演習
2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 36

37. 「s1をs2の前にドロップした回数が、トータルで34回」
などと読む。
2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 37

38. 「s4をs5の前に」と「s5をs4の後に」の回数が多い。
2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 38
セルの値のヒストグラム

39. • B演習の完成順序は、
s1→s2→s3→ s4→s5→s6→s7
が多い
↕ 符合している
• B演習のドロップ先のマトリクスは、
「対⾓線+右隣」の左右両隣が多い
2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 39

40. 再掲: パズルの⽂章「オレオレ詐欺」
s1 相変わらず、オレオレ詐欺の被害が減らない。
s2 オレオレ詐欺には、⼤きく分けて2つの種類がある。
s3 ひとつは、まさにオレオレ詐欺で、孫や甥などをかたって、
⾦銭を要求する。
s4 ひとつは、官公庁や銀⾏を騙って、還付⾦があるとだまして
現⾦⾃動預払機を操作させ、⾦銭をだまし取る。
s5 この派⽣形として、⼝座が不正に操作されたとだまして、暗
証番号を聞き出した上で、銀⾏カードもだまし取る。
s6 このような被害を防ぐ最良の⽅法は、電話での⾦銭の要求や、
銀⾏⼝座やクレジットカードに係わる電話があった場合は、
まず、詐欺を疑い、家族や親しい⼈に相談することだ。
s7 しかし、問題は、⾝近に相談できる⼈がいない⾼齢者が多く
いることにあるのかもしれない。
2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 40

41. 書き⼿の意図
• 作った側の意図としては、
– 書き出しのs1、s2は、分かって欲しい
– s3とs4は、交換可能（s3を先に持ってくるためには、オレオレ詐欺に
ついての社会的背景知識が必要）
– 構造的には、s5は、s3の後でもs4の後でも可能（銀⾏⼝座関連の語彙
グループに気付くと、s4の下が⾃然）
– s6とs7も、⽂意が読み取れれば⾃然に繋がる
• というわけで、解答データの変異は、s3、s4、s5の辺りに集中して
いる、というのがぼくの作業仮説。
• 逆に⾔うと、他の部分の変異は、（論理的）読解⼒との正の相関が
ある、という仮説も成り⽴ちそう。
山口琢 412017-12-10 IPSJ SIGCE 142回研究会 @松山大学

42. この派⽣形として、⼝座が不正に操作され
たとだまして、暗証番号を聞き出した上で、
銀⾏カードもだまし取る。
相変わらず、オレオレ詐欺の被害が減らない。
ひとつは、官公庁や銀⾏を騙って、還付⾦
があるとだまして現⾦⾃動預払機を操作さ
せ、⾦銭をだまし取る。
ひとつは、まさにオレオレ
詐欺で、孫や甥などをか
たって、⾦銭を要求する。
オレオレ詐欺には、⼤きく分けて2つの種類がある。
このような被害を防ぐ最良の⽅法は、電話
での⾦銭の要求や、銀⾏⼝座やクレジット
カードに係わる電話があった場合は、まず、
詐欺を疑い、家族や親しい⼈に相談するこ
とだ。
しかし、問題は、⾝近に相談できる⼈がい
ない⾼齢者が多くいることにあるのかもし
れない。
テーマの設定
分類
例⽰
例⽰
例⽰_sub
解決⽅法
課題の展開
s1
s2
s3
s4
s5
s6
s7
2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 42

43. A演習 B演習
件数 並び順 件数
##### 25% 2 s1→s2→s3→s4→s5→s6→s7 30 57% ##############################
####### 37% 3 s1→s2→s3→s4→s5→s7→s6 4 7% ####
s2→s3→s4→s5→s6→s7→s1 1 1% #
s1→s2→s4→s3→s5→s6→s7 1 1% #
s1→s2→s4→s5→s3→s6→s7 5 9% #####
s1→s7→s2→s3→s6→s4→s5 1 1% #
s2→s4→s5→s3→s1→s7→s6 2 3% ##
s1→s2→s3→s4→s6→s7→s5 1 1% #
s1→s2→s3→s7→s4→s5→s6 1 1% #
s1→s2→s4→s5→s3→s6→s7 1 1% #
##### 25% 2 s1→s2→s3→s6→s4→s5→s7 1 1% #
s2→s3→s6→s7→s4→s5→s1 2 3% ##
s1→s2→s3→s5→s4→s6→s7 1 1% #
s2→s3→s4→s5→s1→s6→s7 1 1% #
## 12% 1 s2→s4→s3→s1→s5→s6→s7 0 0%
再掲: 完成順序
サンプル数が少なすぎるのか… オリジナルと同じが半数以上
2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 43

44. • 書き⼿の意図
「というわけで、解答データの変異は、s3、s4、s5の辺
りに集中している、というのがぼくの作業仮説。」
↑
• B演習では当たっていると⾔えそう。でも、変異の⽐率
については、考えさせられることもある。
• これら
並べ替え操作 + 操作可視化・分析結果
を、⽂章に対するレビュー結果と⾒ることもできそう。
2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 44

45. リアルタイム分析
• リアルタイムに傾向が分かる/予測できれ
ば:
– 好ましくない傾向が⾒えたら、早⽬に介⼊
– 簡単過ぎた/難しすぎたなど
• B演習は:
– 各⾃は2〜3分ほどで解いているが、
– 全体では20分程度の時間をかけている…
2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 45

46. B演習、操作順序マトリックスの時間変化
2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 46
開始直後 開始3分 6分 9分
12分 18分15分 21分

47. • …よく分からない。
何か良い傾向を⽰しているのか？
2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 47

48. 結論
2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 48

49. • 結果に⾄る過程に違いがあり、
かつパターンがある。
• 少なくとも「サイコロを振ってる」
のではなさそうだ。
↓
考え⽅を反映してると
⾔ってよいのではないか
2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 49

50. 外から測定できる「考え⽅」とは
今回、外から測定できた「考え⽅」:
• ある⽂を最初に動かす
• キー・フレーズから⽂章の構造を知る
– 「2つある」「ひとつは…」「ひとつは…」
• 複数の⽂をセットで扱う
2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 50

51. • これらの結果は、それだけで良いとか悪
いとかいうものではないだろう。
• 演習では、パズルの後でグループになっ
て、⾃分の完成形を⾒せあって、なぜそ
うだと思うのか説明したり、議論したり
している。この、事後のディスカッショ
ンに効果があるのではないかと、先⽣は
⾔っている。
2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 51

52. 発展・応用
2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 52

53. ジグソー年表
できごとのカテゴリーを知って・意識して並べ替えている
かが、分析で分かるのではないか。
2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 53

54. ジグソー年表
2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 54
朝ドラ「あさが来た」のモデル 朝ドラ「わろてんか」のモデル

55. ジグソー地理
• 地理のメンタルモデル
• 緯度経度によらない地理
2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 55

56. ジグソー・プログラム
• 変数の値の⼊れ替えなど、順序が問題と
なる処理。
2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 56

57. 以上
2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 57