OS-026月7日(水)11:45-12:15 測位・ARコンペティションの今 ～PDR Challengeなどの紹介～ 蔵田　武志 (国研) 産業技術総合研究所 人間情報研究部門 研究グループ長 一刈　良介 (国研) 産業技術総合研究所 人間情報研究部門 産総研特別研究員 位置情報サービスを実現するための測位技術や、AR、MRサービスを実現するため の位置合わせ技術の開発が盛んになればなるほど、それらをどんなデータ、どん な物差しで評価すべきかが重要となってきます。 本セッションでは、測位・MARコンペティションの国際動向について概説し、9月 に日本で開催される国際会議IPIN 2017で結果発表が行われるPDR Challenge in Warehouse Pickingについても紹介します。

1. 国立研究開発法人
OS-026月7日(水)11:45-12:15
測位・ARコンペティションの今
～PDR Challengeなどの紹介～
蔵田武志
（産総研、
PDRベンチマーク標準化委員会 委員長、
LBJ実行委員）
一刈良介
（産総研）
赤：スマホPDR (胸ポケット),
緑：モーキャプ(全身, Perception Neuron),
青：HoloLens (頭部), 黄：Tango (腹ポケット）

2. 国立研究開発法人
OS-026月7日(水)11:45-12:15
3

3. 国立研究開発法人
OS-026月7日(水)11:45-12:15
TrakMarkデータセットの例
Film
Studio
Package
NAIST
Campus
Package
Nursing
Home
Package
物理センサ（ジャイロ・超音波複合センサ／ロータリーエンコーダ）を用いて、カメラ位置姿勢を計測
対応点データを手動で作成し、PnP問題を解くことでカメラ位置姿勢を計算
カメラ位置姿勢を作成し、仮想化現実モデルを用いて画像を生成

4. 国立研究開発法人
OS-026月7日(水)11:45-12:15
Computer vision分野における
ベンチマークデータセット
• Tsukuba stereo dataset
• Middlebury multi-view stereo data
5

5. 国立研究開発法人
OS-026月7日(水)11:45-12:15
トラッキングコンペティション2016＠VR学会大会
（MARカメラトラッキングのコンペ）
チーム名 1st 2nd
2nd: CEST 4 3
1st: 慶應A 4 4
慶應B 2 2
熊本 0 0
筑波A 0 0
3rd: 筑波B 3 3 (+1)
筑波C 3 2
筑波D 0 0
立命館 1 1
3rd: 府大高専 3 3 チャレンジ成功数

6. 国立研究開発法人
OS-026月7日(水)11:45-12:15
産業向けシナリオのMARトラッキングコンペを企画中

7. 国立研究開発法人
OS-026月7日(水)11:45-12:15
ISO/IEC CD (Committee Draft) 18520
• Main Body
– Terms and Definitions
– Benchmarking framework
– Benchmark Indicators
– Trial set for benchmarking
8
Benchmark
Indicators ＋
Benchmarking
Framework
Trial Set
(Dataset)＋
• Annex A: Benchmarking organizations and activities
• Annex B: Tracking competitions in ISMAR

8. 国立研究開発法人
OS-026月7日(水)11:45-12:15
Off-site On-site
Reliability
• PEVO
• Reprojection error of image
features
• Position and posture errors
of a camera
• PEVO
• Reprojection error of image
features
• Position and posture errors of a
camera
• Completeness of a trial
Temporality
• Latency
• Frequency
• Time for trial completion
Variety
• Number of datasets used
for benchmarking
• Variety on properties of
datasets used for
benchmarking
• Number of trials conducted for
benchmarking
• Variety on properties of datasets
used for benchmarking
Benchmark Indicators
PEVO: Projection error of virtual objects, which is the most direct and intuitive
indicator for vSRT methods for MAR
vSRT: Vision-based spatial registration and tracking
9
ISMAR 2015 Tracking competition

9. 国立研究開発法人
OS-026月7日(水)11:45-12:15
Off-site On-site
Dataset
Contents • Image sequences
• Ground truth of intrinsic/extrinsic
parameters of one or more cameras
• Optional contents
• 3D model data for the target
objects in image sequences
• 3D model data for virtual
objects in image sequences
• Depth image
• Self-contained sensor data, etc.
• Ground truth of challenge points
• 3D models for the target objects
• 3D models for virtual objects
overlaid in benchmarking
Metadata
• Scenario
• Camera motion type
• Camera configuration
• Image quality
• Scenario
Physical
object
instances
• Easily available or deliverable
physical objects
• Information on how to find the
physical objects
• Physical objects
Trial set for benchmarking
The City of Sights:
An Augmented Reality Stage Set
10

10. 国立研究開発法人
OS-026月7日(水)11:45-12:15
Off-site On-site
Dataset
Contents
• Image sequences
• Ground truth of intrinsic/extrinsic
parameters of one or more cameras
• Optional contents
• 3D model data for the target
objects in image sequences
• 3D model data for virtual objects in
image sequences
• Depth image
• Self-contained sensor data, etc.
• Ground truth of challenge points
• 3D models for the target objects
• 3D models for virtual objects
overlaid in benchmarking
Metadata
• Scenario
• Camera motion type
• Camera configuration
• Image quality
• Scenario
Physical
object
instances
• Easily available or deliverable physical
objects
• Information on how to find the physical
objects
• Physical objects
Trial set for benchmarkingISMAR 2014 Tracking
competition
11
ISMAR 2015 Tracking
competition

11. 国立研究開発法人
OS-026月7日(水)11:45-12:15
PDR: Pedestrian Dead-Reckoning
歩行者用相対測位（推測航法）
• 測位インフラがなくても相対測位を続けることが可能。
– 屋内測位パラドックス/ジレンマの緩和！
• 点の集合ではなく、線（形、曲率）としての意味を持つ軌
跡を取得可能。運動の種類や大きさも計測可能。
• 加速度、ジャイロ、磁気の9軸、もしくは気圧を含めて10
軸センサを利用。
• H/W化で省電力化も加速。
• UWBなどの高精度測位との
相性がよい（ハイブリッド測位）
• マップ・ルート情報による
高精度化も可能
自蔵センサモジュール
・加速度センサ
・ジャイロセンサ
・磁気センサ
・気圧センサ
12

12. 国立研究開発法人
OS-026月7日(水)11:45-12:15
PDRの世界動向
2010年以降、世界各国でPDRのR&Dプレイヤー
が露出しはじめた。
Movea (France)
Sensor Platforms (USA)
CSR (UK)
TRX Systems (USA)
Trusted Positioning (Canada)
13
Qualcommが買収InvenSenseが買収InvenSenseが買収
日本国内：
旭化成、インテック、NTTドコモ/ZDC、
KDDI研究所、国際航業、サイトセンシ
ング、杉原SEI、パナソニック、日立、
富士通、マルティスープ、メガチップス、
リコー、産総研、東工大、神奈川工大、
慶大、名大、新潟大、立命館大など
村田製作所と提携
Audience社が買収

13. 国立研究開発法人
OS-026月7日(水)11:45-12:15
14
屋内測位パラドックス/ジレンマから
の解放！
ＮＴＴドコモ、ゼンリンデータコム、旭化
成、産総研によるコラボレーション事例
ドコモ地図ナビ
• PDRを用いたコンシューマサービス開始 (2015.4から)
• 全国の地下鉄構内や地下街など
• インフラフリー技術採用
によりサービスエリアを
一気に拡大
• 320箇所（2015.4）->
440箇所（2016.3）->
510箇所（2017.5）

14. 国立研究開発法人
OS-026月7日(水)11:45-12:15
Frizz＆カード型PDRモジュール
15
• メガチップス社製省電力PDR指向モー
ションコプロセッサーFrizz：従来比
1/20に電力消費を削減
• CR2016 (公称容量：90mAh) x2個で
11時間強
• １０軸PDR＋BLE測位
• 出退勤、入出管理（セキュリティ）、
作業支援、行動分析、人材育成、評価
をトータルにサポート
産総研・メガチップスの共同研究事例
サイトセンシング社（産総研技術移転ベンチャー）の開発事例
職員証
（カード）
型
消しゴム型

15. 国立研究開発法人
OS-026月7日(水)11:45-12:15
PDR/VDR組み込みモジュール
• PDR製品の老舗
• 単３電池駆動の実用型PDR
モジュール、デュアルセン
サ、ＢＬＥ対応、カード化
等などバラエティに富むラ
インアップ
• 車両自律航法 VDR
（Vehicle/Vibration-
based Dead Reckoning）
製品も出荷開始
16
産総研・杉原SEI・澁谷工業
の共同研究事例

16. 国立研究開発法人
OS-026月7日(水)11:45-12:15
行動計測：PDRplus
• PDRplus
– 歩行動作以外の動作も認識
（機械学習）
– 測位精度と動作認識精度を
共に向上
17
PDRからPDRplusへ２動作での予備評価：
動作認識率89% → 96%に向上
測位誤差4.3% → 2%に減少
PLANS2010など

17. 国立研究開発法人
OS-026月7日(水)11:45-12:15
振動解析ベースの車両自律航法 VDR
（Vibration-based/Vehicle Dead Reckoning）
18

18. 国立研究開発法人
OS-026月7日(水)11:45-12:15
なぜPDRベンチマーク？
• PDRの研究開発や実用化を進めている企業や
大学が国内外で急増
– IPIN 2015/2016では，国内学会では考えられな
い頻度でPDRというキーワードが飛び交っていた．
• PDRは相対測位。GPSやWi-Fi測位のような
絶対測位とは異なる評価方法が必要
• 仕様書や論文に、どのように性能を表記すれ
ばよいかを統一していく必要性
19
Benchmark
Indicators ＋
Benchmarking
Framework
Trial Set
(Dataset)＋

19. 国立研究開発法人
OS-026月7日(水)11:45-12:15
PDRベンチマーク標準化委員会
• 賛同組織（36組織, 2017.3.8現在）
旭化成、アジア航測（南）、インテック、MTI、KDDI研究所、
国際航業、澁谷工業、クウジット、GOV、サイトセンシング、
シャープ、杉原SEI、ゼンリンデータコム、電通国際情報サービス、
日本IBM、日立、フレームワークス（渡辺）、マルティスープ、
ミルディア、村田製作所、メガチップス、リクルート（牛田）、
リコー、レイ・フロンティア、
愛知工業大学（梶）、神奈川工大（田中）、慶大（春山、神武、
中島）、筑波大（善甫、蔵田）、東工大（岡田）、名大（河口）、
奈良先端科学技術大（新井）、新潟大（牧野）、
立命館大（西尾、村尾）、産総研（蔵田、興梠、大隈、大西）、
HASC、Lisra
(敬称略、順不同)
20

20. 国立研究開発法人
OS-026月7日(水)11:45-12:15
HULOP
21

21. 国立研究開発法人
OS-026月7日(水)11:45-12:15

22. 国立研究開発法人
OS-026月7日(水)11:45-12:15
Competitions: IPIN and the others
(cf. EvAAL presentation in IPIN 2105 etc.)
23
year IPIN EvAAL, IPSN, UbiComp/ISWC
2011 Guimaraes, Portugal EvAAL: indoor localization
2012 Sidney, Australia EvAAL: + activity recognition
2013 Montbeliard, France EvAAL: same as 2012
2014
Busan, Korea
EvAAL: 3 floors, smartphone
IPSN: infrastruc. based + free
2015
Banff, Canada
EvAAL-ETRI comp.: 6 floors, on/off-
site
IPSN: infrastruc. based + free
UbiComp/ISWC: 2 floors, smartphone PDR, 90
subjects
2016
Madrid, Spain
Indoor Localization Competition:
smartphone (on/off-site), PDR, Robot
IPSN: infrastruc. based + free, 2D/3D
2017
Sapporo, Japan
Indoor Localization Competition:
smartphone (on/off-site), PDR,
Warehouse

23. 国立研究開発法人
OS-026月7日(水)11:45-12:15
IPIN2017
24

24. 国立研究開発法人
OS-026月7日(水)11:45-12:15
PDR Challenge in Warehouse Picking
＠IPIN2017
• IPIN:IEEE sponsoredの屋内測位関係の国際会議
• 次の開催地は札幌！
• 物流倉庫内のピッキング作業者測位精度を競うコンテス
ト“PDR Challenge in Warehouse Picking”を企画中
(Track 4)
– その他，On-site, Off-siteのコンペティション実施予定
25

25. 国立研究開発法人
OS-026月7日(水)11:45-12:15
26
PDR Challengeの特徴比較
Ubicomp/ISWC 2015 PDR
Challenge
IPIN 2017 PDR Challenge in
Warehouse Picking
シナリオ 屋内歩行者ナビ 物流倉庫内のピッキング作業
歩行・動作
スマートフォンを手に持ち，
ナビ画面を見ながら連続歩行
歩行だけではなく，ピッキング作
業中のさまざまな動作
On-site or
Off-site
On-site（データ収集） Off-site
時間/試行 数分 ３時間前後
備考
一般の参加者が歩行したデー
タを収集．収集されたデータ
はコーパスデータとして、
HASC(http://hub.hasc.jp/)
において公開中
PDRだけでなくBLEビーコンや
ピッキングログ情報など補正情報
を活用した統合測位の精度を競う

26. 国立研究開発法人
OS-026月7日(水)11:45-12:15
コンペ参加へのインセンティブ
• 賞品，賞金
①賞金15万円 or ②杉原SEI社提供
PDRモジュール(20万円相当)と賞金10万円
• IPIN会議内で参加者への口頭発表機会あり（論
文投稿も推奨）
• 物流倉庫の本物の生きた計測データによる測位
技術の実用性を評価可能
• PDRをはじめとする屋内測位技術評価の標準化
への貢献
27

27. 国立研究開発法人
OS-026月7日(水)11:45-12:15
詳細情報ページ
• https://unit.aist.go.jp/hiri/pdr-
warehouse2017/index.html
• 掲載情報
– 目的
– 賞品・賞金
– コンペの特徴
– 対象の倉庫の紹介
– 公開データの紹介
– 評価基準
– スケジュール
28

28. 国立研究開発法人
OS-026月7日(水)11:45-12:15
物流倉庫内でのデータ収集・提供
29
P1 P2
P
3
倉庫管理システム (WMS)の
ピッキングログ
センサデータ
加速度、角速度、磁気、気圧
倉庫内図面・
棚配置情報
(上図はサンプル用)

29. 国立研究開発法人
OS-026月7日(水)11:45-12:15
サンプルデータと実コンペ用データの公開
• 参加の判断やアルゴリズムのテストのために，
サンプルデータと実コンペデータの2つを準備
– サンプルデータ：
• 予備登録者に公開（応募検討，テスト用）
• 倉庫Aのデータ（物流ICTコンテストで公開済み）
– 倉庫Aの計測においては，BLE情報はないがそれ以外は同様
• 倉庫Bの前半30分のデータ
– 実コンペデータ
• IPINレジストレーション者に公開倉庫Bの30分後以降の
データ
• 一部のWMSのログデータを隠し，正解値評価に利用
30

30. 国立研究開発法人
OS-026月7日(水)11:45-12:15
スマホ端末でのPDR用データ収録
 端末：Android Nexus 5
 PDR用センサログを計測
（加速度，角速度，磁気，気圧，BLEビーコ
ン検知ログ） ～100Hz
 角速度オフセットキャリブレーション用静
止データ
 磁器キャリブレーション用回転データ（8
の字動作）

31. 国立研究開発法人
OS-026月7日(水)11:45-12:15
倉庫内Map
58.36
[m]
60.4[m]
110[m]
76.5[m]
実コンペ用倉庫B
評価サンプル用倉庫A

32. 国立研究開発法人
OS-026月7日(水)11:45-12:15
倉庫内の棚と障害物情報の位置情報
棚情報：
・Shelf_ID
・座標X
・座標Y
・Width
・Depth
・Direction
・Picking_form
障害物情報：
・座標X
・座標Y
・length_x
・length_y
・name(障害物名)
x,y,length_x,length_y,name
44.066,63.0505,0.95,0.95,Pillar
44.066,52.5505,0.95,0.95,Pillar
44.066,42.2005,0.95,0.95,Pillar
44.066,31.4005,0.95,0.95,Pillar
44.066,20.9505,0.95,0.95,Pillar
44.066,10.5505,0.95,0.95,Pillar

33. 国立研究開発法人
OS-026月7日(水)11:45-12:15
P1
P2
P3
ハンディ
ターミナル
倉庫管理システム (WMS)
WMS：倉庫内のものを管理，作業員にピッキング指示を行う．
従業員：ピッキングしたことシステムにつたえるために，棚前では
ハンディターミナルを用いてバーコードのスキャンを行う．
⇒ピッキング履歴は作業員の位置履歴にもなる
34
WMS: Warehouse Management System

34. 国立研究開発法人
OS-026月7日(水)11:45-12:15
WMSのピッキングログデータ
・Terminal_ID
・Shelf_ID
・timestamp
・WMSのログデータから右記のピッキング関連情報だけ抜き出し
・棚情報と照らし合わせて，ピッキング時の位置情報算出可能

35. 国立研究開発法人
OS-026月7日(水)11:45-12:15
評価指標
• 距離誤差総和 (Ed)
• 区間毎の最大誤差総和 (Es)
• 速度の人間らしさ評価 (Ev)
• 物体衝突判定 (Eo)
• 周波数評価（Ef）
• 速度のピッキング作業員らしさ評価 (Ep)
• 統合評価：comprehensive evaluation (C.E.)
C.E=(Ed *0.2)+(Es *0.2)+(Ev *0.15)+(Ef *0.1)+(Ep
*0.05)+(Eo *0.3)
36
青字：測位精度関連指標
緑字：自然さ指標
赤字：倉庫計測独自指標

36. 国立研究開発法人
OS-026月7日(水)11:45-12:15
距離誤差総和(Ed)
• 統合測位の性能を全誤差の総量で評価
• 正解値と同時刻の推定軌跡データとの
ユークリッド距離を誤差
• 角度の正解値は分からないが角度のズレも位置
ズレに現れるはず
37

37. 国立研究開発法人
OS-026月7日(水)11:45-12:15
距離誤差総和(Ed)
38
0
誤差𝑒𝑒𝑖𝑖[m]
時間𝑡𝑡 [s]:推定軌跡点 :補正点 :正解点
:正解とのユークリッド距離誤差

38. 国立研究開発法人
OS-026月7日(水)11:45-12:15
区間毎の最大誤差総和(Es)
• 公開されるピッキング情報による補正点からの誤差の溜
まり具合を評価
• 区間毎の最大誤差の総和を評価に用いる
• 区間は参加者が既知のWMS(補正点)間
• PDRの位置推定性能を誤差が最大でどの程度
たまるかを測る指標

39. 国立研究開発法人
OS-026月7日(水)11:45-12:15
区間毎の最大誤差総和(Es)
40
0
誤差𝑒𝑒𝑖𝑖[m]
時間𝑡𝑡 [s]:推定軌跡点 :補正点 :正解点
:区間ごとの最大ユークリッド距離
:正解とのユークリッド距離誤差

40. 国立研究開発法人
OS-026月7日(水)11:45-12:15
速度の人間らしさ評価(Ev)
• 提出された軌跡情報をもとに歩行速度の妥当性評価
• 人間ではありえない歩行速度は減点対象
• 軌跡上の点の位置と時間から速度を計算
• 歩行速度 S[m/s]を越えた時刻（提出結果のフレーム数）
の全体からの割合を評価値
• 人間らしさを測る指標
41

41. 国立研究開発法人
OS-026月7日(水)11:45-12:15
物体衝突判定(Eo)
42
• 軌跡が障害物に衝突していないかどうかを判定
• 推定軌跡の総移動距離中の衝突した距離
• 障害物マップ画像の物体(色づけされた部分)上に通過し
た軌跡点(ピクセル)に
ペナルティ
⇒物流倉庫業務における現実的
な軌跡になっているかの指標

42. 国立研究開発法人
OS-026月7日(水)11:45-12:15
周波数評価(Ef)
• 提出された軌跡の周波数を評価
• N秒に1回程度は位置推定を行っているべき
• 基準周期に推定が行えなかった秒数の割合
• 軌跡の推定粒度を測る指標
43

43. 国立研究開発法人
OS-026月7日(水)11:45-12:15
周波数評価(Ef)
44
start end
:推定軌跡が含まれる時間[s] :推定軌跡が含まれない時間[s]
軌跡1
軌跡2
:推定軌跡
t

44. 国立研究開発法人
OS-026月7日(水)11:45-12:15
速度のピッキング作業員らしさ評価(Ep)
• ピッキングを行う際には作業員は停止
• 最低でもW秒前には停止していると予想
• ピッキング時間の前W秒間の速度を確認し、
W秒間の速度がV[m/s]以下の場合をカウント
• 総ピッキング回数中のピッキングを考慮できた回数の割合を評価
値
• 軌跡の作業員らしさを測る指標
45

45. 国立研究開発法人
OS-026月7日(水)11:45-12:15
参加手順とスケジュール
• 参加手順
１．メールにて参加仮登録
２．サンプルデータ取得
３．技術説明文を提出して，本参加登録
４．IPIN参加登録者に限り，本コンペデータ公開
５．結果提出
６．本会議にて結果公表・表彰
• スケジュール
– サンプルデータ提供：随時
– 本参加登録（技術説明文提出）期限：募集中-7月15日迄
– 結果提出：9月8日まで
46
LBJ
産総研/PDRベンチマーク標準化
委員会ブースで相談受付中