ゼミ内で発表した文献紹介のスライド（2015年度後期）

1. Semantic Mapping for Mobile
Robotics Tasks: A Survey
Ioannis Kostavelis, Antonios Gasteratos
Laboratory of Robotics and Automation,
Production and Management Engineering Dept.,
Democritus University of Thrace,
担当：谷口彰
Robotics and Autonomous Systems 66 (2015): 86-103.
被引用数（2016/1/12時点）：11
1

2. Semantic Mapping for Mobile Robotics Tasks: A Survey
• Semantic Mappingとは
– ざっくり言うと、意味が付与された地図
– ロボットに意味理解を可能にする地図表現を獲得させる
• この領域が“キッチン”、この領域が“廊下”などの領域へのラベル付け
• どこに何の物体があるかといった物体の存在する位置の把握
• キッチンの隣にはダイニングがあるといった場所の隣接関係
など
– 場所概念も、言語が接地された地図と捉えると、Semantic Mappingの
ひとつ
2

3. Semantic Mapping for Mobile Robotics Tasks: A Survey
Semantic Mappingに関するサーベイ論文
• サーベイ論文とは
– ある研究分野の動向について調査し、整理した論文
– ある視点に立って関連するたくさんの論文についてまとめた論文
– 一般的な、提案手法があって、実験して、結果を出して、評価してい
るような論文ではない
• 論文紹介では
– Semantic Mappingに関するたくさんの研究の分類や概要を紹介
3

4. こんな方におすすめ
• 移動ロボット、空間表現、地図表現、意味表現、場所概念
などの研究に興味がある or 関連研究について知りたい
• 上記の研究分野に興味のある人は、先行研究としてチェック
しておくべき内容が多い
– 気になった論文があれば、詳しく読んでみる
Key words:
mobile robots, semantic map, topological map, temporal coherence,
object recognition, place recognition, human-robot interaction,
knowledge representation, planning
4

5. Abstract
• Semantic mapping
– 空間の抽象化とhuman-robot communicationのための手段を提供する
• 近年のsemantic mappingに関する研究の進歩が、このサーベイ論文の動機
• 各研究の提案アルゴリズムは、主な特徴に応じて分類できる
– スケーラビリティ（拡張性）、推定（推論）モデル、時間コヒーレンス（一致、干渉性）
（temporal coherence）、トポロジカルマップの使用など
• Semantic mapsを使用した応用研究は、主に以下に重点を置いてまとめる
– human interaction, knowledge representation and planning
• Semantic mappingの技術を評価するために適した検証用データセットやベン
チマークも紹介する
• 最後に、未解決の問題や疑問を解決しようとする試みについて議論する
5

6. 目次
1. Introduction イントロ、導入
2. Antecedents 前例
3. Trends in Semantic Map Building Semantic Map 構築のトレンド
4. Applications 応用
5. Benchmarking and Validation Datasets ベンチマークと検証データ
セット
6. Open Issues and Questions 未解決な問題、議題
7. Epilogue エピローグ、締め
6

7. Map の表現
a. Metric map (geometrical map)
• Occupancy grid map (占有格子地図)
b. Topological map
• Graph map （グラフで表された地図）
c. Topometric map
• Metric map + Topological map
7

8. 1. Introduction
• 近年、Simultaneously localization and mapping (SLAM)の問題は解決された
– 自己位置推定と地図生成を同時に行うこと
• しかし、移動ロボットは、環境の地図を生成する能力を持つだけでは、
ナビゲーションや人間との協調をすることはできない
• 現存する地図生成のアプローチの大多数
– ロボットの動作する環境のglobally consistent metric map（環境全体を表現するメトリックマップ）の
構築を目的とする
• 地図生成の能力は、経路のプランニングや、目的地までナビゲーションのための基と
なる
• Geometrical map（SLAMで生成される地図）が提供できるものよりも別のスキルが求め
られている
– たとえば、見知らぬ人に場所の案内をするための能力
8

9. 1. Introduction
• ロボットは、ロボットを取り囲む環境の中の、人間が用いる語を理
解するための能力を持つべき
– 「部屋」と「廊下」の間の違いを言うことができる
– 「キッチン」や「リビング」などの異なる機能性を区別する
• マップの構造は、人間の概念を含む意味論（記号論）の特性
（ semasiological attributes ）によって拡張される
– 部屋の種類、物体、空間的な配置
• 未来のロボット
– 人間の暮らす環境で動作するために設計されるべき
9

10. 1. Introduction
• この問題への解決法は、Semantic mappingによって提供される
– ロボットの周囲の環境やものの性質の説明
• Human-robot interaction (HRI) への架け橋として、ナビゲーション
やタスクプランニングの能力を増強することを目的とする
– 例えば、 [2], [3] and [4]の文献.
– 特に[4]では、自然言語を使用したHRIに注目してsemantic mappingに取
り組んでいる
10
[2] A. Pronobis, P. Jensfelt, Large-scale semantic mapping and reasoning with heterogeneous modalities, in: International Conference on Robotics
and Automation, IEEE, 2012, pp. 3515–3522.
[3] I. Kostavelis, A. Gasteratos, Learning spatially semantic representations for cognitive robot navigation, Robotics and Autonomous Systems 61
(12) (2013) 1460–1475.
[4] H. Zender, O. Mart´ınez Mozos, P. Jensfelt, G.-J. Kruijff, W. Burgard, Conceptual spatial representations for indoor mobile robots, Robotics and
Autonomous Systems 56 (6) (2008) 493–502.

11. 1. Introduction
• Semantics（意味論、記号論）
– signs（記号）とその参照先のthings(もの)の間の学習のために関連付
けられる
• semantic mappingは、以下をターゲットとする
– 人間の生活エリアで、ロボットが移動しながら、人間のための意味の
ある概念（ meaningful concepts ）を含む記号の識別と記録を行うこと
• 環境のよりよい表現は、以下の両方を必要とする
– 低いレベルの幾何学的な情報（SLAMによって生成される地図）
– 高いレベルの質的な特徴（意味、概念）
11

12. 1. Introduction
• ロボットの能力について考えをまとめる
– 自身の環境を意味的に認識する
– 学習した空間的な記憶を正確に思い出す
– 人とロボットの間の基本的なコミュニケーション
• ロボットは、空間についての認知的解釈（ cognitive
interpretation ）の能力を保有するべきである
– 周囲環境の幾何学的な知覚（geometrical perception）
– 直面した物体や場所についての意味属性（ semantic attributes ）
12

13. 1. Introduction
• 周囲に存在する意味情報
– ロボットが適切に環境を理解し、表現するために必要
• 全てのこれらの情報を体系づける最も適した方法
– 地図に意味を接地する（すなわちsemantic map）
• 現在のロボットは、ナビゲーションを行うために、メトリック
マップ上で計算された自身の位置情報を用いる
– 報告された多くのSemantic mappingの手法は、意味情報を加えるた
めにメトリックマップを使用している[2],[4]
13

14. 1. Introduction
• Semantic map
– 場所や物体や形やそれらすべての関係性についての人間の概念を
モデル化した高いレベルの特徴を含む
• メトリックマップは、ロボットが周囲の環境において安全なナ
ビゲーションをするために必要な幾何学的な特徴を保有する
• メトリックマップを使わないで、ビジョンを使用して特定の場所
を推定するsemantic mappinの研究もある [8],[9]
14

15. 1. Introduction
• Semantic mapping のアプローチのプロセスはFig.1に書かれている
• 多くの手法では、単一の手がかり（single cues）のみが使用される
– 物体は、場所についての推論をするために使われる
• いくつかの方法では、多数の手がかり（multiple cues）が活用される
– 空間（領域）についての意味的な手がかりを取り出すため
– 例えば、物体、場所、形
• 多くのsemantic mappingの技術において、他に頻繁に使用される特徴
– 時間的なコヒーレンス(temporal coherance)
• 高いレベルの行動（タスクプランニングやHRI）のために使われる
15

16. 1. Introduction
• 典型的なsemantic mapping手法のプロセスの重要な属性（特性）は、トポ
ロジカルマップの存在である。
– グラフに関して、探索された環境の抽象化
• グラフのノードは、幾何学的な手法（geometrical manner）によってまとめ
られる
– 探索した場所についての概念知識を同時に維持するために
• indoor または outdoorの探索した環境の２Dか３Dのメトリックマップ
– semasiological methodsによって実装された属性を高い頻度で補完する
• スケール（規模）に応じて、それぞれの手法は、拡張される
– メトリックマップは、単一のシーンまたは徐々に生成された地図のどちらかである
– 位置（姿勢）は、それぞれローカルかグローバル座標系で参照される
16

17. 17
semantic mappingの分類

18. 2. Antecedents 前例
• ロボットナビゲーションのために使われるモダリティの間で、vision(視覚
情報)は、最も主要である
• Vision-based robot navigationについては[10]でサーベイされている
– 10年以上前の論文（2002）
– 移動ロボットが座標位置から別の位置へ移動するための、十分蓄積された専門
的知識があると結論付けた
– しかし、会場内のどこかから消火器を持ってくるといったナビゲーションを実行す
ることは十分ではなかった
• ナビゲーションのための理論枠組み
– ロボットは偶然見つけた物体の意味を理解する必要がある
18
[10] G. N. DeSouza, A. C. Kak, Vision for mobile robot navigation: A survey, Transactions on Pattern Analysis and
Machine Intelligence, 24 (2) (2002) 237–267.

19. 2. Antecedents
• ナビゲーションのためのいくつかの解決法
– コンピュータビジョンの一般的な問題が関係している
– 例えば、自動でシーンを解釈（記述）する
• Kuipers’ pioneering works [11]，[12]，[13]
– いくつかのsemantic mappingとナビゲーション手法が提案された
• ロボットの効率的なナビゲーションのために、consistent
geometrical map（一貫した幾何学的な地図）が構築されるべき
• 過去10年で、おびだたしい研究がそれぞれの分野で行われた
– 移動ロボットのナビゲーションとマッピング[14]
19
[11] B. Kuipers, Modeling spatial knowledge, Cognitive science 2 (2) (1978) 129–153.
[12] B. Kuipers, Y.-T. Byun, A robot exploration and mapping strategy based on a semantic hierarchy of spatial representations, Robotics and
autonomous systems 8 (1) (1991) 47–63.
[13] B. Kuipers, The spatial semantic hierarchy, Artificial Intelligence 119 (1) (2000) 191–233.
[14] S. Thrun, W. Burgard, D. Fox, et al., Probabilistic robotics, Vol. 1, MIT press Cambridge, 2005.

20. 2. Antecedents
[14]-[21]の文献はすべてSLAMに関する研究
• SLAM
– 未探索のエリアにおいて、ある未知の場所に置かれたロボットが、環境内の位置を判断しながら、
同時に、逐次的に一貫性のある地図を構築するという問題に対する解決策を提供する
• [15]、[16]
– 正確に自身の位置を推定することを目的とした
– 移動ロボットは、環境中の空間配置の一貫性のある表現を構築する
• [14]、[17]、[18]、[19]
– ロボットの周囲の正確な表現の必要性を検証
– 効率的な地図生成手法を開発した
• レビュー論文（サーベイ論文） [20]、[21]
– この問題に効率的に対処する、いくつかの成功した研究の分析と要約
20

21. 2. Antecedents
• このサーベイ論文では、現存するマッピング手法の分類を試みる
– the metric, topological and topometric mapping
• メトリックマップは幾何学的な表現を包含する(Fig. 2 (a))
– グローバル座標系上の厳密な位置関係
– 典型的には２Dか３Dの占有格子地図
• トポロジカルマップはグラフを含む(Fig.2 (b))
– 現実環境で際立った場所に対応するノードを生成[22], [23]
• 最近のアプローチでは、Fig.2 (c)のようにトポロジカルとメトリックマップの組み合わせ
– topometric
– より高速に、正確にロボットの位置推定を手助けする
21
[22] S. Thrun, Learning metric-topological maps for indoor mobile robot navigation, Artificial Intelligence 99 (1) (1998) 21–71.
[23] A. Angeli, S. Doncieux, J.-A. Meyer, D. Filliat, Visual topological slam and global localization, in: International Conference on
Robotics and Automation, IEEE, 2009, pp. 4300–4305.

22. 22

23. 2. Antecedents
• Topometricの手法
– [24]
• 連続と離散の状態空間を両方使用し、ロボットの経路を再構築することを目的
– [25]
• リアルタイムに未知環境のtopometric mapの生成を可能にする
• メトリックな情報と、visual loop-closure（ループとじ込み）の発見を組み合わせる
• ここまでで開発された手法において、ロボットが特定の位置に移動することを可能にす
ることが示された
• しかし、典型的な環境で動作するために適した高いレベルの属性（意味情報）が欠落
している
• 現代のロボティックスの傾向は、人間の環境で動作するようにロボットを設計すること
– 認識能力に恵まれている地図の構築が必要である
23
[24] J.-L. Blanco, J.-A. Fern´andez-Madrigal, J. Gonzalez, A new approach for large-scale localization and mapping: Hybrid metric-topological
slam, in: International Conference on Robotics and Automation, IEEE, 2007, pp. 2061–2067.
[25] S. Bazeille, D. Filliat, Incremental topo-metric slam using vision and robot odometry, in: International Conference on Robotics and
Automation, IEEE, 2011, pp. 4067–4073.

24. 3. Trends in Semantic Map Building
3.1. Scale Based Categorization
• 多くのsematic mapはメトリックマップ上で作られる
– スケール（規模）に基づく分類が可能
• Indoor and outdoorの場合の両方で使用される
• large-scaleのアプローチは、メトリックマップを逐次的に構築する
– 同時に、高いレベルの特徴について注釈をつけた
• 例えば、物体の種類、場所のラベル、形状の解釈
• スケールに基づいた分類はFig.3に描かれている
– outdoorの手法に関して、ほとんどsingle-sceneのものがない
– the large scale indoorsのケースは数多くあることに注目する
24

25. 25
数多い
数少ない

26. 3.1.1. Indoors Single Scene Interpretation
• Nielsen et al. [26]
– ロボットと人間の間で同じ概念を共有するためのインターフェイスとし
てのsemantic mappingを構築
– a single-frame snapshotにより、現実世界の画像を取得
– メトリックマップ（占有格子地図）を拡張
• 興味のある場所や物体の意味や記号によって、人間に環境に対するよ
り詳細な情報を提供できる
– 地図は、３D空間を表すインターフェースを用いて表示される
• 現実と仮想のロボットの環境の要素の結合
• Fig.15
26[26] C. W. Nielsen, B. Ricks, M. A. Goodrich, D. Bruemmer, D. Few, M. Few, Snapshots for semantic maps, in: International Conference on
Systems, Man and Cybernetics, Vol. 3, IEEE, 2004, pp. 2853–2858.

27. 27

28. 3.1.1. Indoors Single Scene Interpretation
• Kostavelis et al. [27]
– an SVM based memorization algorithm
• シーンのtraversabilityについて推論する
– indoorの被災後の環境において適切に動作することを証明した
– semantic inference
• パスプランニング（経路計画）アルゴリズムによって行われた
• Kostavelis et al. [28]
– ステレオビジョンを利用
– シーンのtraversabilityを分類することを目的
– indoor and outdoor環境で注目すべき性能を示した
28
traversability・・・通行可能性、踏破性能
[27] I. Kostavelis, A. Gasteratos, E. Boukas, L. Nalpantidis, Learning the terrain and planning a collision-free trajectory for indoor post-disaster
environments, in: International Symposium on Safety, Security, and Rescue Robotics, IEEE, 2012, pp. 1–6.
[28] I. Kostavelis, L. Nalpantidis, A. Gasteratos, Collision risk assessment for autonomous robots by offline traversability learning, Robotics and
Autonomous Systems 60 (11) (2012) 1367–1376.

29. 3.1.1. Indoors Single Scene Interpretation
• Rusu et al. [29]
– ステレオカメラとSICK laser scannerを利用
– キッチンで物体の識別をすることができる
– 把握した環境についての本質的な情報を獲得するために、個々の知
覚の入力が結合される
– ロボットは実証実験によって学習した
29
[29] R. B. Rusu, B. Gerkey, M. Beetz, Robots in the kitchen: Exploiting ubiquitous sensing and actuation, Robotics and
Autonomous Systems 56 (10) (2008) 844–856.

30. 3.1.1. Indoors Single Scene Interpretation
• Viswanathan et al. [30], [31]
– the visual place recognition の問題の解決策を提案
– the LabelMe dataset [32]を使用
• アノテ―ションされた（注釈つきの）画像のオンラインデータベース
– LabelMeでは、ユーザーは領域と適したラベルを選択することによって画像中の物体を
注釈付けすることができる
• Trevor et al. [33]
– single sceneのpoint cloudを分割する手法を提案
– RGB-D dataを使用
– 平面の分割ステップ：the point cloud data上でシーン中の主要な平面を分割する
– Fig. 4に示すように、テーブルの上に物体を見つけるために、結合された構成要素をラ
ベル付けしたマスク（表面）は、カラー画像に適用される
30
[30] P. Viswanathan, T. Southey, J. J. Little, A. Mackworth, Automated place classification using object detection, in: Canadian Conference on Computer
and Robot Vision, IEEE, 2010, pp. 324–330.
[31] P. Viswanathan, T. Southey, J. Little, A. Mackworth, Place classification using visual object categorization and global information, in: Canadian
Conference on Computer and Robot Vision, IEEE, 2011, pp. 1–7.
[33] A. Trevor, S. Gedikli, R. Rusu, H. Christensen, Efficient organized point cloud segmentation with connected components, in: International Conference
on Robotics and Automation, 3rd Workshop on Semantic Perception, Mapping, and Exploration, IEEE, 2013, p. In Press.

31. 31

32. 3.1.1. Indoors Single Scene Interpretation
• Swadzba et al. [34]
– 個々のシーンを分類するために適した空間的な３D特徴ベクトルを導入した
– 事前にキャプチャされた画像フレーム上で動作する
– ３D空間特徴ベクトル
• Gist 特徴
• Mozos et al. [35]
– the Microsoft Kinect sensorを用いたvisual place categorization
– 深度画像とRGB画像をヒストグラムに変換し利用
– ヒストグラムの性能は、教師あり手法のSVMとランダムフォレストの両方で調べら
れた
• place recognitionのために適切なことがわかった
32
[34] A. Swadzba, S. Wachsmuth, A detailed analysis of a new 3d spatial feature vector for indoor scene classification,
Robotics and Autonomous Systems 62 (5) (2014) 646–662.
[35] O. M. Mozos, H. Mizutani, R. Kurazume, T. Hasegawa, Categorization of indoor places using the kinect sensor, Sensors 12
(5) (2012) 6695– 6711.

33. 3.1.1. Indoors Single Scene Interpretation
3.4.2. Inference by Multiple Cues
• P. Espinace et al. [36]
– ロボットが巡回している間に発見した物体のカテゴリラベルを推測す
るために、visual inputを利用
– generative probabilistic hierarchical model
• 存在する物体に従って、観測されたシーンを特徴づける
– 物体のカテゴリ分類
• 物体に低レベルの視覚特徴を結びつけるために使われた
– 検出精度は、3D range sensorを使うことによって増加した
33[36] P. Espinace, T. Kollar, N. Roy, A. Soto, Indoor scene recognition by a mobile robot through adaptive object detection,
Robotics and Autonomous Systems 61 (9) (2013) 932–947.

34. P. Espinace et al. [36]
34
↑
物体認識の情報に基づいた
場所カテゴリの認識
移動した軌跡と
各場所に付けたラベル→

35. 3.1.2. Indoors Large Scale Interpretation
3.4.1. Inference by Single Cue
Pixel-Wise Point Cloud Annotation
• N¨uchter et al. [37]
– シーンの360度キャプチャにSICK laser scannerを採用
– Point cloudの地図に意味的な情報にラベリング
• ３つのカテゴリを分割するために、隣接したpointの間の勾配を使用
– floor-, object- and ceiling-points
– 逐次的に構築したpoint cloudの一貫性は、semantic labelsを経由して推
定される
• 意味的な情報を使用して３Dレーザースキャンの一致を行った
– 一貫性のある地図を獲得するために、iterative closest point (ICP)のアル
ゴリズムを使用
• ICP:3D point cloud同士の位置合わせ手法
35
[37] A. N¨uchter, O. Wulf, K. Lingemann, J. Hertzberg, B. Wagner, H. Surmann, 3d mapping with semantic knowledge, in:
RoboCup 2005: Robot Soccer World Cup IX, Springer, 2006, pp. 335–346.

36. 3.1.2. Indoors Large Scale Interpretation
3.4.1. Inference by Single Cue
Pixel-Wise Point Cloud Annotation
• Rusu et al. [39], [41]
– キッチン環境の３D point cloud dataの意味的な物体アノテーション
– 台所の表面の大部分が平面であると仮定
• 3次元点群は、平面で分割される
– モデル化された物体は、キッチンサービスに使われる
– 家庭内のアシスタントロボットのための明確な意味をもつ
• 電化製品、食器棚、テーブル、引き出しなど
36
[39] R. B. Rusu, Z. C. Marton, N. Blodow, A. Holzbach, M. Beetz, Modelbased and learned semantic object labeling in 3d point cloud maps of
kitchen environments, in: International Conference on Intelligent Robots and Systems, IEEE, 2009, pp. 3601–3608.
[41] R. B. Rusu, Z. C. Marton, N. Blodow, M. Dolha, M. Beetz, Towards 3d point cloud based object maps for household environments, Robotics
and Autonomous Systems 56 (11) (2008) 927–941.

37. 3.1.2. Indoors Large Scale Interpretation
3.4.1. Inference by Single Cue
Pixel-Wise Point Cloud Annotation
• A. J. Trevor et al. [40]
– ３D point cloudの特徴ベースの地図
• 家具のcomputer aided desing (CAD)のモデルによって拡張された
• 家具の種類や位置を含む
• たとえば、テーブル、棚、カウンター
• 典型的な家具の平面領域は異なる色で示される
– Hokuyo UTM-30LX を使用
– Fig.5
37
[40] A. J. Trevor, J. G. Rogers, C. Nieto-Granda, H. I. Christensen, Tables, counters, and shelves: Semantic mapping of surfaces in 3d, in:
International Conference on Robotics and Automation, 3rd Workshop on Semantic Perception, Mapping, and Exploration, Georgia
Institute of Technology, 2010.

38. 38

39. 3.1.2. Indoors Large Scale Interpretation
• I. Kostavelis et al. [3]
– Place categorizationの問題に取り組むことを目的とする
– 環境の一貫した３Dメトリックマップを生成するために、RGB-D sensorsを採
用
– Point cloudsは、連続的に取得したvisual odometryを使用して統合される
• ICPの位置合わせを基づく改良ステップ
– bag of featuresやサポートベクターマシン（SVM）を用いて、複数の異なる
場所を認識する
– 意味論的に注釈付けられたトポロジカルなグラフを生成する
– 幾何学的な、認知的な制約の両方ともを信頼する
39[3] I. Kostavelis, A. Gasteratos, Learning spatially semantic representations for cognitive robot navigation, Robotics and Autonomous
Systems 61 (12) (2013) 1460–1475.

40. 40

41. 3.1.2. Indoors Large Scale Interpretation
• Civera et al. [45]
– extended Kalman filter (EKF) monocular(単眼) SLAMアルゴリズム
– シーンに意味的な注釈をつけるために物体認識を実行する
– 把握した環境のメトリックマップを生成する
• Mozos et al. [46]
– レーザースキャナーを搭載した2つの異なるロボットを使用
– CARMEN [47]を使用して異なるマップ上のレーザースキャンをシミュ
レートした
41
[45] J. Civera, D. G´alvez-L´opez, L. Riazuelo, J. D. Tard´os, J. Montiel, Towards semantic slam using a monocular camera, in:
International Conference on Intelligent Robots and Systems, IEEE, 2011, pp. 1277– 1284.
[46] O. Martinez Mozos, R. Triebel, P. Jensfelt, A. Rottmann, W. Burgard, Supervised semantic labeling of places using information
extracted from sensor data, Robotics and Autonomous Systems 55 (5) (2007) 391–402.

42. 3.1.2. Indoors Large Scale Interpretation
3.4.2. Inference by Multiple Cues
• Trevor et al. [42]
– 探索した環境のメトリックマップを実現するためにGTSAMを使用
• GTSAM：point cloudの位置合わせ手法のひとつ
– SLAMとsemantic mappingのために、さまざまな特徴の種類を採用
• 平面を含むランドマークとして
– 壁、テーブル、棚、ドアのような物体
– これらのランドマークは、人間によって必要に応じてラベル付される
42
[42] A. J. Trevor, J. G. Rogers, C. Nieto-Granda, H. I. Christensen, Featurebased mapping with grounded landmark and place labels,
in: Workshop on Grounding Human-Robot Dialog for Spatial Tasks, 2011

43. 3.1.2. Indoors Large Scale Interpretation
4.1. Human in the Loop
• Nieto-Granda et al. [56] （[42]の関連研究）
– 空間の自動的な認識と分類のための技術
• Gaussian modelの手法によってラベル付けされた空間的な領域に地図を分割する
– robot operating system (ROS) [57]に組み込まれたSLAMのマッピングモジュールを
採用
43
[56] C. Nieto-Granda, J. G. Rogers, A. J. Trevor, H. I. Christensen, Semantic map partitioning in indoor environments using regional
analysis, in: International Conference on Intelligent Robots and Systems, IEEE, 2010, pp. 1451–1456.

44. 3.1.2. Indoors Large Scale Interpretation
• Fasola and Matari´c [63]
– 人間との自然言語によるコミュニケーションを可能とする手法を提案
– semantic field model
• 空間的な前置詞の意味を表現する
44[63] J. Fasola, M. J. Matari´c, Using semantic fields to model dynamic spatial relations in a robot architecture for natural language
instruction of service robots, in: International Conference on Intelligent Robots and Systems, 2013.

45. 3.1.3. Outdoors Interpretation
• [66]
– 環境のlarge-scaleの３D地図生成
– 街の画像は、conditional random fields (CRF)を使って自動でラベル付けさ
れる
– 推定されたラベルは、３D volume（point cloud）を注釈付けるために統合
される
• [67]
– マルチクラスの教師ありGaussian process (GP)よる分類
– 3D point cloud data上でシーンのsemantic な解釈を目標とする
45
[66] S. Sengupta, E. Greveson, A. Shahrokni, P. H. S. Torr, Urban 3d semantic modelling using stereo vision, in: IEEE International
Conference on Robotics and Automation, IEEE, 2013, pp. 580–585.
[67] R. Paul, R. Triebel, D. Rus, P. Newman, Semantic categorization of outdoor scenes with uncertainty estimates using multi-
class Gaussian process classification, in: International Confer

46. 3.1.3. Outdoors Interpretation
• Steder et al. [68]
– 以前に見た環境の場所を確実に見つける（loop closure）ための３D距
離データに基づくアルゴリズム
– loop closureの発見と、環境の一貫したメトリック地図の構築のために
bag of words (BoW)を使用する
46[68] B. Steder, M. Ruhnke, S. Grzonka, W. Burgard, Place recognition in 3d scans using a combination of bag of words and point
feature based relative pose estimation, in: International Conference on Intelligent Robots and Systems, IEEE, 2011, pp. 1249–1255.

47. 3.1.3. Outdoors Interpretation
3.4.1. Inference by Single Cue
Scene Annotation
• Sengupta et al. [69]
– Outdoors環境の複数の街の画像からsemantic mapを生成する
– large-scale semantic mapを作り出すために多数の連続したフレーム
を統合する
– 街の画像のフレームを直接分割し、物体ごとにラベル付けする
• たとえば、cars, pavements, buildings etc
– 人間の概念に適応した13クラスを含む14.8kmのラベル付けされた
データセットを使用
– as shown in Fig. 7.
47
[69] S. Sengupta, P. Sturgess, P. H. Torr, et al., Automatic dense visual semantic mapping from street-level imagery, in: International
Conference on Intelligent Robots and Systems, IEEE, 2012, pp. 857–862.

48. 48
歩道
歩行者
車
車止めのポール
ポスト
雑草
道
店の看板
道の看板
空
建物
壁・フェンス
木
車の通った経路
ストリートビューの画像
と
クラスラベルごとに色分
けしたsemantic map
Automatic Dense Visual Semantic Mapping from Street-Level Imagery
https://www.youtube.com/watch?v=lD68DP5Svlc

49. 3.1.3. Outdoors Interpretation
• Singh and Kosecka [70]
– 街のシーンから道の交差点を認識するために分
類器を訓練した
– 街の画像の特定の領域をそれぞれのラベルにク
ラスタリング
• outdoor環境の街のシーンの長い距離の画像
– 把握した環境の配置（見取り図）を描く
49[70] G. Singh, J. Kosecka, Acquiring semantics induced topology in urban environments, in: International Conference on
Robotics and Automation, IEEE, 2012, pp. 3509–3514.

50. 3.1.3. Outdoors Interpretation
• [71]
– unmanned aerial vehicle (UAV)を使用
– online gradient boost algorithm
• 地面の観測から意味的な推定を行う
– video-domain adaptation（ビデオ領域の適応）
• オンボードカメラ上で動作する
• 文脈依存の検出器を使用
50
[71] B. L. Saux, M. Sanfourche, Rapid semantic mapping: Learn environment classifiers on the fly, in: International
Conference on Intelligent Robots and Systems, IEEE, 2013, pp. 3725–3730.
https://www.youtube.com/watch?v=OTxaLcouOHE
↑木のある場所を検出し
青い四角で囲っている

51. 3.1.3. Outdoors Interpretation
3.4.1. Inference by Single Cue
Scene Annotation
• Katsura et al. [72]
– 物体認識を使用したビジョンベースのoutdoorナビゲーション手法を
提案した
– このシステムの新規性
• 天気やセンサーの変化にロバスト
– 大きな汎化能力を達成するための手法を提案
• 学習した画像と目的の画像の変化を比較する
– 画像内のエンティティや物体を認識
• たとえば、sky, buildings, ground, etc.
51
[72] H. Katsura, J. Miura, M. Hild, Y. Shirai, A view-based outdoor navigation using object recognition robust to changes of
weather and seasons, in: International Conference on Intelligent Robots and Systems, Vol. 3, IEEE, 2003, pp. 2974–2979.

52. 3.2. Topological Maps
• トポロジカルマップ
– メトリックマップのような幾何学的な情報を保持するだけではなく、トポ
ロジカルマップを用いて、環境中のカテゴリや概念的な情報を構造化
する必要がある
– メトリックマップを概念を手がかりに抽象化することは、Semantic
mappingの基本的な構成要素となりうる
52

53. 53

54. 3.2. Topological Maps
• Vasudevan et al. [54]
– 物体をベースとした空間の階層的で確率的な表現を提案
• SLAMによって生成された地図は、物体ラベルによって拡張される
• SIFT特徴を用いた物体認識
– 物体や場所のトポロジカルな表現（グラフ）を構築
– ステレオカメラを使う
• 物体をキャプチャするために
• メトリックマップ上の座標で獲得するために
54[54] S. Vasudevan, S. G¨achter, V. Nguyen, R. Siegwart, Cognitive maps for mobile robotsan object based approach,
Robotics and Autonomous Systems 55 (5) (2007) 359–371.

55. 3.2. Topological Maps
• Mozos and Burgard [78]
– 探索した場所のsemantic な情報にトポロジカル
マップを組み合わせた手法
– 教師あり学習アルゴリズムAdaboostが使われ
た
– semanticなクラスにメトリックマップを分類する
• 例えば、廊下、部屋
– その後で、確率的な分割ステップ
• フィルタ（ノイズ除去）する
– 分類エラー
– 幾何学とsemanticな知識を組み合わせることによ
るトポロジカルマップ結果
55
[78] O. M. Mozos, W. Burgard, Supervised learning of topological maps using semantic information
extracted from range data, in: International Conference on Intelligent Robots and Systems,, IEEE,
2006, pp. 2772–2777.

56. 3.2. Topological Maps
• [46]
– 隠れマルコフモデル（HMM）を採用
– トポロジカル・グラフのノードについて意味的に推論することができる
• [4]、[49]、[79]
– ロボットの軌道（軌跡）を利用することにより、メトリックマップをナビゲー
ションのためのグラフに変換
• [80]
– スパースなトポロジカル・マップ
• 各ノードには、場所のラベルがつけられる
• HMMは、ロボットが移動中に認識した場所のつながりの情報を保持し、ナビ
ゲーショングラフを構築するために利用された
56

57. 3.3. Temporal Coherence
• Temporal Coherence
– 移動ロボットが移動しながら画像などを取得した場合、時間的な前後関係を推定
や学習の考慮に入れることができる
– ロボットは、フレームごとの時間の近接性を利用できる
– このような方法は、ロボットのナビゲーション中の場所認識の性能を高めることが
できる
• Ranganathan [81]
– Temporal Coherenceを利用したモデル
– Place Labeling through Image Sequence Segmentation (PLISS)を提案
(i) フレームの時間の近接性を活かし、シーンの意味属性を推論する
(ii) 事前知識なしで場所を検出する能力が利用できる
– 場所のモデリングは、GPの分類器を利用することによって実行される
57
[81] A. Ranganathan, Pliss: labeling places using online changepoint detection,
Autonomous Robots 32 (4) (2012) 351–368.

58. 3.3. Temporal Coherence
• 純粋な場所認識の手法[82]
– 時間的な属性を考慮したBOWを採用した
• Cadena et al. [83]
– 視覚的な時間的整合性を検出するシステム
• ロバストなメトリックマッピングを容易にする
• loop closure（ループ閉じこみ）の検出
58
[82] H. Guillaume, M. Dubois, F. Emmanuelle, P. Tarroux, et al., Temporal bag-of-words-a generative model for visual place
recognition using temporal integration, in: VISAPP-International Conference on Computer Vision Theory and Applications, 2011.
[83] C. Cadena, D. G´alvez-L´opez, J. D. Tard´os, J. Neira, Robust place recognition with stereo sequences, IEEE Transactions on
Robotics 28 (4) (2012) 871–885.

59. 3.3. Temporal Coherence
• [46]、[80]
– HMMを使用
– 探索した場所の間の時間的な近接性と、物理的遷移を記録することを目的
• [80]
– 時間的な近接性は、２つのフェーズがある
• (i)現在訪れた場所についてのシステムの推論
– 観測されたフレームの近傍を考慮する
• (ii)拡張されたナビゲーショングラフの物理的な制約
– 特定の認識した場所からのロボットの移動を考慮する
• Fig.9
– 時間の近接性の可視化
– 時間の近接行列
59
[80] I. Kostavelis, K. Charalampous, A. Gasteratos, Online spatiotemporalcoherent semantic maps for advanced robot navigation,
in: International Conference on Intelligent Robots and Systems, 5th Workshop on Planning, Perception and Navigation for
Intelligent Vehicles, IEEE, 2013.
URL http://ppniv13.irccyn.ec-nantes.fr/material/session3/paper8.pdf

60. 60
トポロジカルグラフをロボットの軌跡上に描画 時間の隣接行列
マルコフ遷移を表現？

61. 3.4. Cue Based Perception
• Semantic mapping手法の目的
– 人間のサイン（記号）を用いて周囲の環境を表現すること
• このような方法は、場所や物体の認識やカテゴリゼーション
の分野で行われている豊富な研究をうまく利用することがで
きる
– 例えば、[85] 、 [86]
• 実際のロボットのナビゲーションとマッピングの能力を高めるために適用
することが適切であることが示された
61

62. 62
pixel-wise point cloud annotation

63. 3.4.1. Inference by Single Cue
Scene Annotation
• Scene Annotation
– Place recognitionは単一の属性として使われる
• 意味的にメトリックマップを拡張する
• Pronobis et al. [8]
– Visual informationに基づくPlace recognitionのための特徴的なアプ
ローチを提案した
63

64. 3.4.1. Inference by Single Cue
Scene Annotation
• Wang et al. [64]
– 視覚的に場所を認識するためのシステムの開発に焦点をあてる
– 画像特徴と色情報を統合
• convex hull census transform
• SVMの教師あり学習
– Indoorのシナリオ
• 全方位カメラによってキャプチャされた画像を使用
• 環境のCADモデルを仮定
– 探索した場所を意味的に注釈付するためにロボットの軌跡を使用
64[64] M.-L. Wang, H.-Y. Lin, An extended-hct semantic description for visual place recognition, The International Journal of
Robotics Research 30 (11) (2011) 1403–1420.

65. 3.4.1. Inference by Single Cue
Scene Annotation
• D. Meger et al. [91]
– saliency attentional modelでサポートされている物体認識アルゴリズ
ムを開発
– 組み合わせ
• peripheral-foveal vision approach（周辺視野-中心視覚アプローチ）
• ステレオとメトリックマップからの構造を伴ったボトムアップな視覚的な顕
著性
• 計算されたマップ上の物体認識処理の結果(Fig.11)
65
[91] D. Meger, P.-E. Forss´en, K. Lai, S. Helmer, S. McCann, T. Southey, M. Baumann, J. J. Little, D. G. Lowe, Curious george: An
attentive semantic robot, Robotics and Autonomous Systems 56 (6) (2008) 503–511.

66. 66
探索環境物体の訓練データ
（Robosapien）
地図＋3つの物体と
物体を初めて見たときのロボットの位置

67. 3.4.1. Inference by Single Cue
Scene Annotation
• Ranganathan and Dellaert [9]
– メトリックマップに物体情報を形成するために物体認識を使用
• 表現の基本単位として物体を使用した
– 物体の３D位置を計算するためにステレオの深度データを使用
– Swendsen-Wang algorithm
• Markov chain Monte Carlo cluster method
• 画像特徴と物体の間の対応付けの問題を解決するために採用された
67
[9] A. Ranganathan, F. Dellaert, Semantic modeling of places using objects,
in: Proceedings of the 2007 Robotics: Science and Systems Conference,
Vol. 3, 2007, pp. 27–30.

68. 3.4.1. Inference by Single Cue
Scene Annotation
• Jebari et al. [92]
– シーン上で様々な障害物を認識するためにBoWを採用した
– 物体が認識された後、構築したsemantic mapに関連付ける
• Civera et al. [45]
– SURF特徴に基づく物体認識の戦略が採用された
– 認識された物体
• メトリックマップ上の測定された正確な位置に挿入された
• 次のフレーム情報を利用し、SLAMアルゴリズムによって洗練された
68
[92] I. Jebari, S. Bazeille, E. Battesti, H. Tekaya, M. Klein, A. Tapus, D. Filliat, C. Meyer, R. Benosman, E. Cizeron, et al., Multi-sensor semantic
mapping and exploration of indoor environments, in: Conference on Technologies for Practical Robot Applications, IEEE, 2011, pp. 151– 156.
[45] J. Civera, D. G´alvez-L´opez, L. Riazuelo, J. D. Tard´os, J. Montiel, Towards semantic slam using a monocular camera, in: International
Conference on Intelligent Robots and Systems, IEEE, 2011, pp. 1277– 1284.

69. 3.4.1. Inference by Single Cue
Pixel-Wise Point Cloud Annotation
• S. Sengupta et al.[66]
– 深度地図を利用
– オンラインの手法でグローバルな３D point cloudの中に融合される
• 任意の長い画像シーケンスに適応するために
– 街の画像は、自動でラベル付される
• CRF（conditional random field）を使用
• ステレオ画像を活用
• ラベルは、３D空間を注釈付けするために集められる
• Fig.12
69
[66] S. Sengupta, E. Greveson, A. Shahrokni, P. H. S. Torr, Urban 3d semantic modelling using stereo vision,
in: IEEE International Conference on Robotics and Automation, IEEE, 2013, pp. 580–585.

70. 70
←ラベルごとに色づけされた３D地図
←深度情報を３D空間に再構築したもの
←入力画像の一例

71. 3.4.2. Inference by Multiple Cues
• １つの手がかりのみを用いた多くの研究があるが、複数の手
がかりを活用している研究もある
• これらの手法は
– ロボットの周囲を理解するために、異なるモダリティを組み合わせる
– 観察されたシーンについて推測するために、同じ感覚入力の複数の
知覚の方法論を利用する
• 概念を組み合わせる
– たとえば、場所や物体の種類、および、これら2つの形状
71

72. 3.4.2. Inference by Multiple Cues
• Anand et al. [97]
– 3D point clouds based on RGB-D dataのsemantic labelingと探索
• Kostavelis et al. [84]
– RGB-D dataを使用
– 場所認識のためのvisual vocabularyとhierarchical temporal networks
– 物体認識のためのattentional model（注意のモデル）
– 物体と対応する深度データを検出するために２D画像を使用した
• 形状情報の獲得
72
[97] A. Anand, H. S. Koppula, T. Joachims, A. Saxena, Contextually guided semantic labeling and search for three-dimensional point
clouds, The International Journal of Robotics Research 32 (1) (2013) 19–34.
[84] I. Kostavelis, A. Amanatiadis, A. Gasteratos, How do you help a robot to find a place? a supervised learning paradigm to
semantically infer about places, in: Hybrid Artificial Intelligent Systems, Springer, 2013, pp. 324–333.

73. 3.4.2. Inference by Multiple Cues
• C. Case et al. [55]
– SLAMにより生成した地図を利用
– テキストデータを伴うsemantic mapの構築
– オフィス環境でテキスト検出を行う
• 部屋番号、人の名前、部屋とオフィスと関係した他の記述
– ロボットは廊下の画像をキャプチャし、訓練されたテキスト検出器を
利用する
– 検出された記号は、メトリックマップの中の特定の姿勢に置かれた
• Fig. 13
73
[55] C. Case, B. Suresh, A. Coates, A. Y. Ng, Autonomous sign reading for semantic mapping, in: International Conference on
Robotics and Automation, IEEE, 2011, pp. 3297–3303.

74. 74
壁に書かれた文字を読んで、メトリックマップに注釈付けする

75. 3.4.2. Inference by Multiple Cues
• Pronobis et al. [53]
– 環境上で物体の存在についての情報を入れ込んだsemantic maps
– トポロジー（接続形態）や空間の意味属性についての知識を伴う
• たとえば、部屋のサイズ、形状、全体的な様子
• [2], [48] and [79]
– シーンのさまざまな特徴についての推論
– 多数のセンサを使用
• 場所と物体の認識は、ビジョンを通して実行される
• 部屋の形状は、レーザースキャナーを使用して抽出される
– すべての保有している概念が結合される
75
[53] A. Pronobis, P. Jensfelt, Understanding the real world: Combining objects, appearance, geometry
and topology for semantic mapping.

76. 3.4.2. Inference by Multiple Cues
• A. Rituerto et al. [62]
– indoorの環境のためのsemantic-topological mapsを構築
• 確率的なモデルに基づいて、場所のラベリング結果を利用
– ウェアラブル反射屈折ビジョンシステムによって実現
• 全方位カメラ
76
[62] A. Rituerto, A. Murillo, J. Guerrero, Semantic labeling for indoor topological mapping using a wearable catadioptric
system, Robotics and Autonomous Systems 62 (5) (2014) 685–695.

77. 77

78. 4. Applications
• How do you put into practice semantic maps?
• このセクションは、今までに報告された応用領域のレビュー
を目的とする
• どうやってsemantic mappingが応用されるのか
– 人間とロボットを含むいくつかの統合されたフレームワークを用いる
• semantic mapsに関わる知識表現
– タスクプランニング、パスプランニング、ナビゲーションに効果的に使
用できる
78

79. 4.1. Human in the Loop
• human-robot collaboration method（人間とロボットが協調す
る手法）[100]
– 人間によって示された物体の３D形状を抽出することを目的
• Trevor et al. [101]
– Semantic mapping のフレームワーク
• HRIのために利用される
– 人間の命令を理解可能なサービスロボットを目指す
– 地図にラベル付けすることによって、semantic mapの構造を補完する
79
[100] T. M. Bonanni, A. Pennisi, D. Bloisi, L. Iocchi, D. Nardi, Humanrobot collaboration for semantic labeling of the environment, in: International
Conference on Robotics and Automation, 3rd Workshop on Semantic Perception, Mapping, and Exploration, IEEE, 2013, p. In Press.
[101] A. J. B. Trevor, A. Cosgun, J. Kumar, H. I. Christensen, Interactive Map Labeling for Service Robots, in: Workshop on Active Semantic
Perception in IEEE/RSJ International Conference on Intelligent Robots and Systems, IEEE, 2012.

80. 4.1. Human in the Loop
• European project Viewfinder [104],[105]
– indoors and outdoors mapsのためのいくつかの手法は、解析され、実装
された
– たくさんのモジュールを使う
• ステレオビジョン
• レーザースキャン
• 嗅覚センサー
– プロジェクトの全体的な目標
• ロボットシステムの使用し、火災の影響や地面の安全性を検査すること
• 作業員を支援するために、データを収集できるようにすること
80
[104] J. Penders, Viewfinder:final activity report.
[105] Y. Baudoin, D. Doroftei, G. De Cubber, S. Berrabah, C. Pinzon, F. Warlet, J. Gancet, E. Motard, M. Ilzkovitz, L. Nalpantidis, et al.,
View-finder: robotics assistance to fire-fighting services and crisis management, in: International Workshop on Safety, Security & Rescue
Robotics, IEEE, 2009, pp. 1–6.

81. 4.1. Human in the Loop
• 構築した２D、３Dメトリックマップは、
– 被災者検出アルゴリズムの出力として
– 化学的なセンサーの結果に注釈付けされた
• Semantic mapは、基地局でhuman machine interface (HMI)を
経由して、救助隊に手に入る
– Fig.16
81

82. 82

83. 4.2. Association with Knowledge
Representation Formalisms
• Lim et al. [108]
– オントロジーをベースとして統合された知識フレームワーク
– 低レベルのデータと高レベルの知識を合わせる
– Fig.17 (a)
• knowledge description and a knowledge association sections（知識の記述と知識の関係
性のセクション）
• knowledge description sectionは、metric and semantic mapsに埋め込まれた知識を備
える、
• knowledge associationは、論理的推論、ベイズ推定、ヒューリスティックを利用します、
– ほとんどのクエリ集合を解決するためのロボットを許可する。
– Fig.17 (b)
• オントロジーの概要とオントロジーの実例のレイヤーは、semantic mapに織り交ざる
– 特定の実験の環境のための
83
[108] G. H. Lim, I. H. Suh, H. Suh, Ontology-based unified robot knowledge for service robots in indoor environments,
Transactions on Systems, Man and Cybernetics, Part A: Systems and Humans 41 (3) (2011) 492–509.

84. 84

85. 4.2. Association with Knowledge
Representation Formalisms
• Bouguerra et al. [109]
– description logics（記述論理）
• 意味的なドメイン（領域）の情報を表現するための知識表現の形式
• 意味的知識は、物体と、それらの性質と他の物体とのそれらの関係
• Tenorth et al. [110]
– encyclopedic and common-sense knowledge （百科事典や一般的な知識）
• 公に利用できる知識基盤
• 認識した物体をリンクする
– オントロジーの構造上に組織化された知識
• ロボットに情報を与える
– 物体は何なのか、何のために使用されるのか、どのように使用するのかについて
85
[109] A. Bouguerra, L. Karlsson, A. Saffiotti, Semantic knowledge-based execution monitoring for mobile robots, in:
International Conference on Robotics and Automation, IEEE, 2007, pp. 3693–3698.
[110] M. Tenorth, L. Kunze, D. Jain, M. Beetz, Knowrob-map knowledgelinked semantic object maps, in: International
Conference on Humanoid Robots (Humanoids), IEEE, 2010, pp. 430–435.

86. 4.3. Planning and Navigation
• Semantic maps
– 移動ロボットにおける実用上の問題を解決するために使われる
• プランニングやナビゲーションを含む
• Borkowski et al. [114]
– レーザースキャナーの生データから意味的な特徴を抽出した
• 建物のインテリアのsemantic mapsを構築するため
• 物体の分類をするため
– 意味的なナビゲーションスキーム
• 意味的な情報は、建物のデジタルモデルから生成された
• ロボットナビゲーションを手助けすることができる
86
[114] A. Borkowski, B. Siemiatkowska, J. Szklarski, Towards semantic navigation in mobile robotics, in: Graph
transformations and model-driven engineering, Springer, 2010, pp. 719–748.

87. 4.3. Planning and Navigation
• Galindo et al. [115]
– ロボットのタスクプランニングのために意味知識が使われた
– 階層的な空間の情報と意味知識を統合
– タスクプランニングを達成するために提供する能力
• 意味をなさない情報を伴った現在の状態を結論付ける能力
• 特定の条件を維持するためのゴールを自動的に生成する能力
• プランニングを改善するための手段
87
[115] C. Galindo, J.-A. Fern´andez-Madrigal, J. Gonz´alez, A. Saffiotti, Robot task planning using semantic
maps, Robotics and Autonomous Systems 56 (11) (2008) 955–966.

88. 4.3. Planning and Navigation
• [116]
– 人間とロボットの対話から、高いレベルの概念を学習するためのアプ
ローチを提案
– 対話システムは、確率モデルを取り込む
• 物理的な環境で位置と音声を関係づける
• ロボットが事前に知らない知識を獲得するシステム
• 獲得した知識を蓄える知識ベース
– 全体のシステムは、訓練されていない人々によって評価された
88
[116] T. Kollar, V. Perera, D. Nardi, M. Veloso, Learning environmental
knowledge from task-based human-robot dialog, in: International Conference
on Robotics and Automation, IEEE, 2013, pp. 4304–4309.

89. 5. Benchmarking and Validation Datasets
手法を比較、評価する際の基準と検証用のデータセット
• いくつかのsemantic mappingは、多数の下位のモジュールを包含する
複雑なシステムを構成する
• そのようなシステムは、典型的に、手法の全体的な精度に影響を与える、
大量のパラメータを保有する
• 生み出されたアルゴリズムの開発と評価のために使われる様々なデータ
セットは、とても重要である
• 客観的な測定基準の確立は困難
– 文献によって、環境や、設計、実装などが様々で異なるため、それらを比較するこ
とは困難
– 条件や仮定も異なる
89

90. 5. Benchmarking and Validation Datasets
• VPCデータセット[119]
– 家庭環境のVisual place recognitioに適している
• 無料のオンラインデータ資源[32]
– 大量の人間によってラベル付けされた画像データ
– Indoor シーン
– 場所の記憶や物体認識に適している
• 公に使用可能なデータセット[3]、[120]
– 大学の環境で移動ロボットによって撮影された
– RGB-Dセンサーを搭載
– 多数の照明条件
– SLAMやplace recognition algorithの評価に適している
90

91. 5. Benchmarking and Validation Datasets
• COLD dataset[86]、[122]
– ロボットの自己位置推定とplace recognition algorithの評価に適して
いる
– ３つの異なるヨーロッパの都市に位置した、3つの異なる研究室で取
得された
– カメラの設定はすべて同一
• 通常のカメラと全方位カメラ
– 系列は、異なる天気や照明条件下で取得された
• ２，３日のタイムスパン
– Visual place recognition algorithmsのロバスト性の評価に適している
91

92. 5. Benchmarking and Validation Datasets
• ２つの異なるデータセット[121]
– INDECS
• 三脚の標準的なカメラを使用
• 固定点から環境の画像
– IDOL
• カメラを搭載した２つの移動ロボットプラットフォームを使用して記録された画像系列
• Semantic mapsの実験と評価に適している
• KITTI[123]、[124]、[125]
– 大きなスケールのベンチマーク
– OutdoorsのSemantic mappingの評価に適している
– stereo, optical flow, visual odometry, 3D object detection and 3D trackingからの
データ
92

93. 93
Cognitive
Navigation
dataset
COLD dataset
KITTI dataset
(outdoor)

94. 5. Benchmarking and Validation Datasets
• RobotVision@ImageCLEF [126], [127]
– Semantic mappin手法の評価のための大量のデータ
– 主にmultimodal place classificationの問題に取り組む重要な挑戦
– チャレンジのゴールは部屋を分類すること
• 移動ロボットに搭載されたカメラによって取得された画像系列
94

95. 6. Open Issues and Questions
• 約10年前、社会的に相互作用するロボットのサーベイ[128]
– ロボットが、人間の要求を理解し、期待するような快適なインタラク
ションを可能にするための、重要な時期にくることが推測された
• 移動ロボットにおいて、semantic mappingを導入することに
よって、上記のことを可能にする道を進めることができた
• しかし、次のような、未解決の問題や質問は、依然として存
在しています
95
[128] T. Fong, I. Nourbakhsh, K. Dautenhahn, A survey of socially interactive robots, Robotics and
autonomous systems 42 (3) (2003) 143–166.
What are the minimal criteria for a map to be semantic?
意味的な地図のための最小限の基準は何？

96. 6. Open Issues and Questions
• この論文で以前に紹介された現存する技術の研究によれば、
– 地図が、semantic mapとして特徴づけられるために、保つために必要と
するいくつかのキーとなる特性がある
• メトリックマップの存在は別として、２Dか３Dどちらかで、semantic
mapは、意味を認識する能力を持つべき[3]
• メトリックマップを抽象化したトポロジカルマップ
– グラフとして、探索した環境を体系化する
• グラフのノードは、幾何学的そして意味論的な特徴の両方ともを保
有するだろう[2]
– 把握した環境のラベル
– 見つけた場所の間の物理的なつながりを表すエッジ
96

97. 6. Open Issues and Questions
• 最小限の基準に加えて、場所や形状や物体の認識アルゴリズム
を使用することによって、いくつかのプラスな点が生じるだろう
– ロボットが周囲を理解するために役立つ
• これらは地図の中で適切に統合される
• 時間的なつながり（ temporal connection ）の具体的な表現は、探
索した環境中の場所を正確に識別する能力を拡張することができ
る[78]
• 多くのモダリティの使用と人間の発話は、様々な環境上で動作す
るロボットの十分頑健なsemantic mapの構築を可能とするだろう
［79］
97
[78] O. M. Mozos, W. Burgard, Supervised learning of topological maps using semantic information extracted from range data, in:
International Conference on Intelligent Robots and Systems,, IEEE, 2006, pp. 2772–2777.
[79] A. Pronobis, P. Jensfelt, Hierarchical multi-modal place categorization, in: 5th European Conference on Mobile Robots, 2011.

98. 6. Open Issues and Questions
• Semantic mapは複雑なシステムである
• このシステムの能力を評価するための唯一の評価指標は存在しない
• しかしながら、下位のモジュールは、別々に評価することができる
• 例えば、それぞれのメトリックマップの正確さ
– outdoorの場合
• GPSで測定されたgroundtruth（正解データ）によって評価できる
• visual odometryの軌跡を比較する[129]
– Indoorの場合
• 建物のCADモデルと生成したメトリックマップを直接比較する
• 能力を適切に定量化することができる
98
How do we evaluate semantic mapping methods?
どうやってsemantic mappingの手法を評価するのか?
[129] I. Kostavelis, E. Boukas, L. Nalpantidis, A. Gasteratos, Visual odometry for autonomous robot navigation through efficient
outlier rejection, in: IEEE International Conference on Imaging Systems and Techniques, Proceedings, IEEE, 2013, pp. 45–50.

99. 6. Open Issues and Questions
• 場所や物体の認識アルゴリズムは、ラベル付されたデータ
セット(see Sec. 5)によって評価できる
– Precision and recallまたはROC曲線によって評価される
• 認識の性能を検査するための他の一般的な技術
– Confusion matrices
– 典型的には、手法の平均と標準偏差
99

100. 6. Open Issues and Questions
• Semantic mappingのシステムは、place recognition手法に付け加
えられたものであるだろうことに言及することが重要だ
• Place recognition
– 不作為に（ランダムに）配置された画像の列から、場所を想起する（推定
する）ことにのみ焦点を当てる
• Semantic mapping
– 訪れた場所に関するさまざまな推定が、空間的な制約を受けて行われる
100
What differentiates semantic mapping methods from place recognition ones?
place recognitionの手法とsemantic mapping の手法の何が違うのか

101. 6. Open Issues and Questions
• A. Pronobis et. al [8],[48]
– [8]では、Place recognitionの問題に取り組む
– [48] では、place recognition能力は、移動ロボットに統合された
• indoor環境で、semanticなカテゴリーを認識し、場所を識別する
• semantic mappingでは、ロボットの移動をplace recognitionのモジュールのた
めに役立たせることができる
• システムは、現在の位置から他へ移動しながら、学習された場所のインスタ
ンス（実例）を正確に認識できるべきだ
• Semantic mappingは、探索した環境の動的な変化に対処するためにロバスト
な機械学習の技術要素の使用を要求する
101
[8] A. Pronobis, B. Caputo, P. Jensfelt, H. I. Christensen, A discriminative approach to robust visual place recognition, in:
International Conference on Intelligent Robots and Systems, IEEE, 2006, pp. 3829–3836.
[48] A. Pronobis, O. M. Mozos, B. Caputo, P. Jensfelt, Multi-modal semantic place classification, The International Journal of
Robotics Research 29 (2-3) (2010) 298–320.

102. 6. Open Issues and Questions
• Semantic mapping systemはplace categorization能力も含むべきだ
– 単に違う場所の認識するのみならず、カテゴリゼーションを行えるべき
• この目的を達成するために、ロボットは、分類能力をもつべきだ[3]
– 事前知識なしで場所についてのためのラベルを作り出すこと
• システムは、探索している特定の場所について、獲得した知識を
一般化できるべきだ（汎化能力）
– いくつかの類似した場所の意味的なまとまりについて推論するために
102

103. 6. Open Issues and Questions
• Semantic mapsは、初め、家庭内ロボットによって使われるために考案された
– ロボットコンパニオンや移動支援ロボット、HRIを手助けするための方法
• 他にも、たくさんの応用が考えられる
– 無人搬送車（AGV）などは、工場や倉庫で労働者と協力しながら効率的に働く
– 様々なセンサ（例えば、嗅覚、化学、CO2など）を用いた地図は、探索救助業務に使用
できる
– Outdoor環境では、環境の意味表現は、自動運転車が乗客をスムーズに運搬するた
めに必要である（たとえば、「ステーキハウスを左に曲がる」）
– 農業用ロボットは。 農民からの「果樹園を通過して、ぶどう畑を掘る」という命令に対応
する
103
What are the potential areas of application of semantic maps?
semantic mapの応用の可能性のある領域は何？

104. 6. Open Issues and Questions
• オントロジーやその他の知識表現は、知覚できていないときでさえ、ロボットの周囲の
記述を与えることができる [108]、[115]
• Semantic map
– 地図上にさまざまなインスタンスのリッチな情報表現を可能にする
– 通常、物体、場所、そのほかのクラスを認識する
• したがって、効率的なsemantic mappingは、個々の最新の空間的属性を保持する手
段を提供することができる
• Ground level objects（地表面の物体）は、ロボットと人間の両方が知っておくべき環境
の連続的な変化を受けている
104
How semantic maps aid knowledge representation and vice versa?
どのようにセマンティックマップは知識表現を助けるのか？
[108] G. H. Lim, I. H. Suh, H. Suh, Ontology-based unified robot knowledge for service robots in indoor environments, Transactions on
Systems, Man and Cybernetics, Part A: Systems and Humans 41 (3) (2011) 492–509.
[115] C. Galindo, J.-A. Fern´andez-Madrigal, J. Gonz´alez, A. Saffiotti, Robot task planning using semantic maps, Robotics and
Autonomous Systems 56 (11) (2008) 955–966.

105. 6. Open Issues and Questions
• 今後の研究で努力すべき課題
– 大規模なoutddoor環境でのsemantic mapingの構築
• 街や都市
• しかし、上記の試みは、すべてのモデルを訓練するための大量のデータが必要となる
• この問題に対する1つの解決策
– クラウド技術
• ウェブに接続することで、世界中の異なる場所にいるロボットと人間の間での知識交換を容易にする
• これが現実となるためには、semantic mappingはパズルの1ピースにすぎない。
– クラウドロボティクス、ソーシャルメディア、IoT、ソーシャルロボティクスなどを含む技術を、統合する
必要がある
105
What are the research challenges and the future trends?
研究のチャレンジと未来の傾向は何？

106. 7. Epilogue
• サーベイによって、semantic mappingが絶えず成長している
研究分野であることが明らかとなった
• Semantic mappingは興味深く比較的新しい研究トピック
– 近年、様々な形態で出現している
• このサーベイでは、既存の手法を要約し、分類することを意
図した
– semantic mappingの主な特徴を概説
106

107. 7. Epilogue
• outdoor環境よりも、Indoor環境を対象とした問題解決の既
存手法が多かった
– 一般的に、屋内環境は人間によって明確に決められているという事
実があるため
– Indoorのためのsemantic mappingでは、場所や物体の認識が採用さ
れている
– Outdoorのための多くの研究では、シーン解析が多い
• roads, pedestrians, signs, traversability, etc.
107

108. 7. Epilogue
• 多くの研究では、トポロジカルマップが重要な要素となっている
– 探索した環境は、抽象化する手法によって整理される
• 特に、グラフの形
• この戦略の重要な利点
– 探索のための計算負荷が減少する
• Temporal coherenceは、semantic mappingにおいて非常に重要で
ある
– 探索した場所の間の物理的に制約された遷移を理解するために、ロボッ
トの動作を利用する
108