今回は、ストリームデータ処理の観点で検討。 人の知的活動を信号処理するという切り口。最先端は教育分野のEDUPUBであるという認識。 相互運用可能な作文計測システムの設計 - リアルタイムモニタリングに向けて – Designing Interoperable Writing Measurement System for Real-time Monitoring 2014-09-25、第60回情報システム研究会

1. 相互運用可能な作文計測システムの設計
- リアルタイムモニタリングに向けて ‒
Designing Interoperable
Writing Measurement System
for Real-time Monitoring
○山口琢、大場みち子、高橋修
公立はこだて未来大学
Taku Yamaguchi, Michiko Oba, Osamu Takahashi
Future University Hakodate
v1 2014-09-25
http://www.slideshare.net/yamahige
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 1

2. BACKGROUND
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 2

3. Big Data: large-scale and long-term
data accumulation and analysis
for intellectual activity is realized by i15y and s13n
• From lock-in to interoperability (*)
• Benchmarking
– Many researches, practices; methods for teaching,
learning and reviewing
– Measurement
– Synthesize data and results
(*) Tsuneo Yamada, The MOOC phenomenon ‒ The issues of the
forthcoming online course platforms in post-MOOC, JOHO KANRI
Vol. 57 (2014) No. 6 pp.367-375
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 3

4. Sensing intellectual activity
• thinking aloud protocols
• produced text analysis
– Natural language processing
• recording/logging
– video recording, whole desktop
operations logging
– keystroke, mouse, ... logging
– activity modeling and logging
• eye tracking
• neurologicals: MRI
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 4

5. Activity sensing for e-book
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 5

6. Standardization
for e-book activity sensing
知的活動
学習・教育
↓
Webとの融合
IMS/GLC:
Caliper
読書
↓
電子書籍
IDPF:
EPUB
電子教科書
EDUPUB
IDPF: International Digital Publishing Forum
IMS/GLC: IMS Global Learning Consortium
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 6

7. SCENARIO
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 7

8. 自己紹介文の作成を観察
• つまずきをリアルタ
イムにキャッチして
指導に反映する。
• その仕組みをアクセ
シブルにする
▲▲ ▲▲
▲▲▲▲ ▲▲ ▲▲▲▲
▲▲▲ ▲▲▲ ▲▲▲
自分
操作の
種類
エントリー
時間
科目
性格
志望動機
力を注いだ科目
は、xxxです。そこ
で、志望動機yyy
です。
希望職種
aaaな性格なので、
bbb職を希望します．
時間
操作の
種類
▲▲▲ ▲▲
▲▲▲ ▲▲
▲▲▲ ▲▲
時間
操作の
種類
時間
操作の
種類
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 8

9. Concept
MEASUREMENT AND REAL-TIME
MONITORING OF WRITING
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 9

10. writing research methods
text
edi=ng
system
writing
produced text
xxx
xxxx
xxx
xxx
xx
xx
xxxx
mo測re定
se機no能rs
測定機能
matrix
type
opera=on
sensor
writer
instructor
other writer
researcher
monitoring,
analysis
operations and
their targets
matrix
▲▲ ▲
▲ ▲▲▲
▲ ▲▲▲▲▲▲
keystroke
logging
recording
whole
opera=ons
time
• thinking aloud protocols
• produced text analysis
• recording, logging
• eye tracking
• Neurologicals
this research
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 10

11. Measurement of writing activity
text
edi=ng
system
editing
operations
produced text
xxx
xxxx
xxx
xxx
xx
xx
xxxx
edi=ng
opera=on
sensor
log
writer
instructor
other writer
researcher
▲▲ ▲
▲ ▲▲▲
▲ ▲▲▲▲▲▲
monitoring,
analysis
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 11

12. cf. Measurement of written outcome
writing text
edi=ng
system
produced text
xxx
xxxx
xxx
xxx
xx
xx
xxxx
corpus
writer
instructor
other writer
researcher
Natural
Language
Proccessing
▲▲ ▲
▲ ▲▲▲
▲ ▲▲▲▲▲▲
monitoring, analysis
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 12

13. "Signal processing" for writing activity
text
edi=ng
system
editing
operations
produced text
xxx
xxxx
xxx
xxx
xx
xx
xxxx
wri=ng
ac=vity
sensor
ac=vity
repository
writer
instructor
other writer
researcher
e.g. called Sensor API
in IMS/GLC Caliper
e.g. SPARQL
query lang. for DB stored
in RDF format,
SQL-like syntax
▲▲ ▲
▲ ▲▲▲
▲ ▲▲▲▲▲▲
analytics, monitoring
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 13

14. Signal processing for writing activity stream
text
edi=ng
system
editing
operations
produced text
xxx
xxxx
xxx
xxx
xx
xx
xxxx
wri=ng
ac=vity
sensor
ac=vity
stream
writer
instructor
other writer
researcher
e.g. Continuous
SPARQL
▲▲ ▲
▲ ▲▲▲
▲ ▲▲▲▲▲▲
real-time monitor
stored
ac=vity
log
pattern
scenario
e.g. SPARQL
▲▲ ▲
▲ ▲▲▲
▲ ▲▲▲▲▲▲
analytics
mining
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 14

15. Our focus: information model for writing
text
edi=ng
system
editing
operations
produced text
xxx
xxxx
xxx
xxx
xx
xx
xxxx
wri=ng
ac=vity
sensor
ac=vity
stream
writer
Informa=on
model
for
wri=ng
ac=vity
instructor
other writer
researcher
▲▲ ▲
▲ ▲▲▲
▲ ▲▲▲▲▲▲
real-time monitor
stored
ac=vity
log
pattern
scenario
▲▲ ▲
▲ ▲▲▲
▲ ▲▲▲▲▲▲
analysis
mining
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 15

16. Information model for writing
• What are activities of writing?
– of reading:
annotations, page/block use, media use,
lookups
• How are they described?
– activity type/name, time stamp, ...?
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 16

17. information model
• 「書き込んだ」
+
• 「どこに」
▲▲ ▲▲
▲▲▲▲ ▲▲ ▲▲▲▲
▲▲▲ ▲▲▲ ▲▲▲
自分
操作の
種類
エントリー
時間
科目
性格
志望動機
力を注いだ科目
は、xxxです。そこ
で、志望動機yyy
です。
希望職種
aaaな性格なので、
bbb職を希望します．
時間
操作の
種類
▲▲▲ ▲▲
▲▲▲ ▲▲
▲▲▲ ▲▲
時間
操作の
種類
時間
操作の
種類
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 17

18. INTEROPERABILITY
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 18

19. システム構成: SaaS型テキストエディタ
• 編集操作ログを保存、モニタ・分析
• 文章データは自・サードパーティのク
ラウドストレージに保存
クラウドストレージ
文章データ
(XHTML、CSS)
モバイル、PCの
ブラウザ
サーバ処理 自身・他の
サーバ(SaaS)
Webサイト
ワークシート
(XHTML、CSS)
編集操作ログ
(ビッグデータ、
オープン
データ)
テキストエディタ
xxx
xxxxxx
xxxxxx
サーバ 書き手
処理
書き手
指導者
研究者
モニター
分析
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 19

20. システム構成: SaaS型テキストエディタ
• 編集操作ログを保存、モニタ・分析
• 文章データは自・サードパーティのク
ラウドストレージに保存
モバイル、PCの
ブラウザ
サーバ処理 自身・他の
サーバ(SaaS)
編集操作ログ
(ビッグデータ、
オープン
データ)
テキストエディタ
xxx
xxxxxx
xxxxxx
サーバ 書き手
処理
書き手
指導者
研究者
モニター
分析
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 20

21. without interoperability
スマホ、タブレット、PC
文書Y
xxxxxxxx
xxxxxxxx
xxx
スマホ、タブレット、PC
サーバB
編集操作ログ サーバ
サーバ処理
サーバA
文書Yの
ログ
編集操作ログ
書き手B
書き手A
処理
サーバ
処理
サーバ処理
モニター
モニター
文書Xの
ログ
書き手Bのグラフ
書き手Aのグラフ
None
書き手Bのグラフ
None
書き手Aのグラフ
文書X
xxxxxxxx
xxxxxxxx
xxx
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 21

22. "ワープロ戦争"再び?
スマホ、タブレット、PC
ベンダーAのクラウド
編集操作ログ サーバ
文書Yの
ログ
サーバ処理
ベンダーBのクラウド
編集操作ログ
文書Y
xxxxxxxx
xxxxxxxx
xxx
書き手
処理
サーバ
処理
文書X
xxxxxxxx
xxxxxxxx
xxx
サーバ処理
モニター
モニター
文書Xの
ログ
文書Yのグラフ
文書Xのグラフ
(なし)
文書Yのグラフ
(なし)
文書Xのグラフ
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 22

23. "ワープロ戦争"再び?
スマホ、タブレット、PC
ベンダーAのクラウド
編集操作ログ サーバ
文書Xの
ログ
サーバ処理
ベンダーBのクラウド
編集操作ログ
書き手
処理
サーバ
処理
文書X
xxxxxxxx
xxxxxxxx
xxx
文書Xのグラフ モニター
モニター
サーバ処理
文書Xの
ログ
文書Xのグラフ
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 23

24. 標準化による相互運用
スマホ、タブレット、PC
文書Y
xxxxxxxx
xxxxxxxx
xxx
スマホ、タブレット、PC
ベンダーBのクラウド
編集操作ログ サーバ
文書Yの
ログ
サーバ処理
ベンダーAのクラウド
編集操作ログ
書き手B
書き手A
処理
サーバ
処理
サーバ処理
文書Xの
ログ
書き手Bのグラフ
書き手Aのグラフ
モニター
文書X
xxxxxxxx
xxxxxxxx
xxx
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 24

25. 想定すべき前提: 疎結合
• 新規作成・完了を捉えてるとは限らない。
• 途中の欠損があるかもしれない。
– 「ベンダーBクラウド」がダウン、とか
• もちろん、このシステムを利用する個々の
人文学・社会科学の実験は，データの欠
損がないようにアレンジされるだろう。
• ここで論じているのはシステムの要件で
あって，実験の要件ではない。
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 25

26. APPROACH
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 26

27. Technology push strategy
Technology push
Demand pull
- Iterative and incremental -
- waterfall -
model learning/research model learning/research
data
problems
nees/requirement
deploy
analysis
hypothesis
evaluation
Proof
of
concept:
the
first
itera=on
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 27

28. DESIGNING INFORMATION
MODEL FOR WRITING
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 28

29. Designing writing information model
• humani=es
• instruc=on
• learning
• document
review/
management
(2) which provide
with fruitful
analysis
(1) What are
information models
of writing
information model
• activity
• conceptual information structure on which those
activities are based
(3) and can be
supported
by new and existing
applications
x
x
x
x
x
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 29

30. apps/systems and the model
• humani=es
• instruc=on
• learning
• document
review/
management
(1) What are
information models
of writing
(3) and can be
supported
by new and existing
applications
x
x
x
x
x
Various implementation
• New/existing
• Full/partial support
• Native/activity-translation
(2) which provide
with fruitful
analysis
focus here
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 30

31. Matrix type information model for
"writing"
• Worksheet model of Explicit/implicit guidelines/
instructions for "planning".
– "Write y, as section a1, a2, ... or aN;
considering b1, b2, ... and/or bN;
audience are c1, c2, ... and/or cN;
it will be reviewed by criteria d1, d2, ... dN; ..."
– axis a = { a1, a2, ... }, axis b = { b1, b2, ...}, ...
– cell y = f(a, b, c, d, ...)
• Activity
– matrix: editing axes, items of an axis, text in a cell
– editing text which is not associated with a cell
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 31

32. Conceptual two dimensional matrix
セルの内容 = f("エントリー", "自分")
自分
エントリー
科目
性格
卒研
志望動機
力を注いだ科目
は、xxxです。そこ
で、志望動機yyy
です。
希望職種
2)
列追加
=
「自分」軸に「卒研」視点を追加
aaaな性格なので、
bbb職を希望しま
す．
1)
記入
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 32

33. #1: Reference implementation
provide researchers and engineers with a graphical
UI to understand the abstract model
planning
produced
text
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 33

34. This writer
(1) wrote this part of text
(2) as a part of "Results" considering "BYOD" in CFP,
(3) And the writer considers that "BYOD" is an item of "Call for
Paper" axis and "Results" is an item of "IMRAD" axis.
(3) (3)
(2)
planning
in
matrix
view
produced
text
(1)
(2)
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 34

35. Submitting activity log
Request Method: POST
…
Request Payload
…
Content-Disposition: form-data;
name="edit_log"
{"vr":"0.7","level":"detail","console":false,"save
Clear":"true","log":[{"op":"cc_cellText","cnt":
{"element":
{"id":"cc_764","tagName":"P"},"matrix":
{"id":"cc_705","tagName":"TABLE"},"td":
{"id":"cc_725","tagName":"TD"},"axes":
[{"axis":"cc_743","item":"cc_720"},
{"axis":"cc_744","item":"cc_749"}]},"dt":"2014-
09-09T04:42:16.736Z"}]}
"op": "cc_cellText",
"cnt": {
"td": {
"id": "cc_725",
"tagName": "TD"
},
"axes": [
{
"axis": "cc_743",
"item": "cc_720"
},
{
"axis": "cc_744",
"item": "cc_749"
}
]
},
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 35

36. (3) (3)
(2) (1)
(2)
"op": "cc_cellText",
"cnt": {
"td": {
"id": "cc_725", ← (1)
"tagName": "TD"
},
"axes": [
{
"axis": "cc_743", ← (3)
"item": "cc_720" ← (2)
},
{
"axis": "cc_744", ← (3)
"item": "cc_749" ← (2)
}
]
},
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 36

37. #2, #3: Editing pattern 1
matrix operations done, posted
types of editing operations
other
operations
matrix
operations
paragraphs
headings
operations
time line
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 37

38. Editing patter 2
• less matrix
operations,
• ceased at the early
stage
matrix operations
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 38

39. In case of a proceeding
9
Jun.
paper
submission
4
Jul.
acceptance
no=fica=on
16
Jul.
camera
ready
submission
matrix
operations
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 39

40. Till paper submission
9
Jun.
paper
submission
matrix operations;
planning composition
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 40

41. from notification to camera ready
No matrix operations,
so the writer may not
change the construction
of the text
16
Jul.
camera
matrix ready
operations
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 41

42. DISCUSSION
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 42

43. Redundancy
– "axes"は不要では？
tdがどのaxesに属するかは、最
初から継続観察してればわかる
– 「最初から継続」の保証がない
– モニタリング処理のコスト増
Uniqueness of ID throughout
editing
– 削除したオブジェクトのIDを再利
用してはならない
– 通常、IDは、その瞬間にユニーク
ならばよい
"op": "cc_cellText",
"cnt": {
"td": {
"id": "cc_725", ← (1)
"tagName": "TD"
},
"axes": [
{
"axis": "cc_743", ← (3)
"item": "cc_720" ← (2)
},
{
"axis": "cc_744", ← (3)
"item": "cc_749" ← (2)
}
]
},
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 43