SlideShare uma empresa Scribd logo
1 de 14
Baixar para ler offline
Sparsity Embedded Convolutional Multi-class Detection
スパースな畳み込みによるマルチクラス物体検出
情報科学科4年 加藤研究室 05-171029 村松 佑亮
背景
● 自動運転技術
○ センサーによるデータ収集
○ 物体検出
○ 自己位置推定
○ 経路決定
https://www.pf.is.s.u-tokyo.ac.jp/ja/research-ja/data-ja/
2
物体検出
3
画像による2次元物体検出
● 画像平面上の位置を取得
点群による3次元物体検出
● 現実空間上の位置を取得
3次元物体検出の課題
4
Nフレーム N+1フレーム
Nフレーム N+1フレーム
クラス別処理
● 複数モデル
● 処理時間が長い
マルチクラス処理
● 単一モデル
● 処理時間が短い
先行研究
[1] Yan Yan, Yuxing Mao, and Bo Li. SECOND: Sparsely EmbeddedCconvolutional Detection. Sensors, 18(10):3337, 2018
[2] Yin Zhou and Oncel Tuzel. Voxelnet: End-to-end learning for point cloud based 3d object detection.
In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 4490–4499, 2018. 5
SECOND[1]
● VoxelNet[2]の精度を落とさず4.6倍高速化
● 他の既存手法と比較し精度は劣るが実行時間が短い
● 車・自転車・歩行者のマルチクラス検出に非対応
本研究の提案
SECONDの改良
● 車・自転車・歩行者のマルチクラスに対応
● 各ネットワークの改良による精度向上
達成目標: 処理時間と精度の両立
6
Anchorの調節によるマルチクラス対応
7
3次元を2次元に簡略化
自動車クラス
のAnchor
自転車クラス
のAnchor
歩行者クラス
のAnchor
● 各クラスに合わせたAnchor(基準領域)の大きさを調節
● 各クラスのAnchor統合することでマルチクラス対応
Voxel Encoder Network(VEN)の改良
クラス検出
位置推定
方向推定
8Yin Zhou and Oncel Tuzel. Voxelnet: End-to-end learning for point cloud based 3d object detection.
In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 4490–4499, 2018.
● 転移畳込みによる計算の効率化
Sparse Middle Network(SMN)の改良
● フィルタリングで起こる特徴量減少の抑制
9
クラス検出
位置推定
方向推定
[2] Benjamin Graham and Laurens van der Maaten. Submanifold sparse convolutional networks. arXiv preprint arXiv:1706.01307, 2017.
[3] Ben Graham. Sparse 3d convolutional neural networks. arXiv preprint arXiv:1505.02890, 2015.
Regison Proposal Network(RPN)の改良
10
クラス検出
位置推定
方向推定
Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Identity mappings in deep residual networks.
In European conference on computer vision, pages 630–645. Springer, 2016.
● ショートカットコネクションにより正確な位置情報の伝播
評価
● KITTI 3D Object Detection Dataset [4] の学習用データを
train/testに分割
● 評価指標: Average Precision
● 対象クラス: 車・自転車・歩行者
● レベル: Easy, Moderate, Hard
11
CPU Intel Xeon Gold 6126 2.60GHz
GPU NVIDIA Tesla V100 16GB
実行環境 VEN Voxel Encoder Network
SMN Sparse Middle Network
RPN Region Proposal Network
ネットワークの略称
[4] Andreas Geiger, Philip Lenz, and Raquel Urtasun. Are we ready for autonomous driving? the kitti vision benchmark suite.
In Conference on Computer Vision and Pattern Recognition (CVPR), 2012
精度の評価結果
12
2.62 ↑
3.12 ↑
1.95 ↑
E = Easy, M = Moderate, H = Hard
先行研究
先行研究+
マルチクラス
提案手法
処理時間の評価結果
13
4.38% ↓
先行研究
先行研究+
マルチクラス
提案手法
まとめ
● 3次元物体検出アルゴリズムSECOND[1]のマルチクラス対応を提案
○ Anchorのハイパーパラメータ調節によるマルチクラス対応
○ VEN, SMN, RPNの各ネットワークの改良
● 成果
○ マルチクラス化SECOND[1]と比較し最大5.67%精度向上
○ SMN + RPNは平均1.95%精度向上
○ 処理時間の増加は4.4%未満
● 課題
○ 自転車・歩行者の精度改善
○ 今回対象外のクラスへの対応
14[1] Yan Yan, Yuxing Mao, and Bo Li. SECOND: Sparsely EmbeddedCconvolutional Detection. Sensors, 18(10):3337, 2018

Mais conteúdo relacionado

Mais procurados

Autoware: ROSを用いた一般道自動運転向けソフトウェアプラットフォーム
Autoware: ROSを用いた一般道自動運転向けソフトウェアプラットフォームAutoware: ROSを用いた一般道自動運転向けソフトウェアプラットフォーム
Autoware: ROSを用いた一般道自動運転向けソフトウェアプラットフォーム
Takuya Azumi
 
0から理解するニューラルネットアーキテクチャサーチ(NAS)
0から理解するニューラルネットアーキテクチャサーチ(NAS)0から理解するニューラルネットアーキテクチャサーチ(NAS)
0から理解するニューラルネットアーキテクチャサーチ(NAS)
MasanoriSuganuma
 
第18回コンピュータビジョン勉強会@関東「ICCV祭り」発表資料(kanejaki)
第18回コンピュータビジョン勉強会@関東「ICCV祭り」発表資料(kanejaki)第18回コンピュータビジョン勉強会@関東「ICCV祭り」発表資料(kanejaki)
第18回コンピュータビジョン勉強会@関東「ICCV祭り」発表資料(kanejaki)
kanejaki
 

Mais procurados (20)

Miyoshi Bachelor Thesis
Miyoshi Bachelor ThesisMiyoshi Bachelor Thesis
Miyoshi Bachelor Thesis
 
Robust Vehicle Localization in Urban Environments Using Probabilistic Maps
Robust Vehicle Localization in Urban Environments Using Probabilistic MapsRobust Vehicle Localization in Urban Environments Using Probabilistic Maps
Robust Vehicle Localization in Urban Environments Using Probabilistic Maps
 
Scan Registration for Autonomous Mining Vehicles Using 3D-NDT
Scan Registration for Autonomous Mining Vehicles Using 3D-NDTScan Registration for Autonomous Mining Vehicles Using 3D-NDT
Scan Registration for Autonomous Mining Vehicles Using 3D-NDT
 
NDTスキャンマッチング 第1回3D勉強会@PFN 2018年5月27日
NDTスキャンマッチング 第1回3D勉強会@PFN 2018年5月27日NDTスキャンマッチング 第1回3D勉強会@PFN 2018年5月27日
NDTスキャンマッチング 第1回3D勉強会@PFN 2018年5月27日
 
2020 08 05_dl_DETR
2020 08 05_dl_DETR2020 08 05_dl_DETR
2020 08 05_dl_DETR
 
cvsaisentan20141004 kanezaki
cvsaisentan20141004 kanezakicvsaisentan20141004 kanezaki
cvsaisentan20141004 kanezaki
 
CNNの構造最適化手法(第3回3D勉強会)
CNNの構造最適化手法(第3回3D勉強会)CNNの構造最適化手法(第3回3D勉強会)
CNNの構造最適化手法(第3回3D勉強会)
 
Autoware: ROSを用いた一般道自動運転向けソフトウェアプラットフォーム
Autoware: ROSを用いた一般道自動運転向けソフトウェアプラットフォームAutoware: ROSを用いた一般道自動運転向けソフトウェアプラットフォーム
Autoware: ROSを用いた一般道自動運転向けソフトウェアプラットフォーム
 
CNNの構造最適化手法について
CNNの構造最適化手法についてCNNの構造最適化手法について
CNNの構造最適化手法について
 
[DL輪読会]A Higher-Dimensional Representation for Topologically Varying Neural R...
[DL輪読会]A Higher-Dimensional Representation for Topologically Varying Neural R...[DL輪読会]A Higher-Dimensional Representation for Topologically Varying Neural R...
[DL輪読会]A Higher-Dimensional Representation for Topologically Varying Neural R...
 
[DL輪読会] Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields
[DL輪読会] Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields [DL輪読会] Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields
[DL輪読会] Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields
 
0から理解するニューラルネットアーキテクチャサーチ(NAS)
0から理解するニューラルネットアーキテクチャサーチ(NAS)0から理解するニューラルネットアーキテクチャサーチ(NAS)
0から理解するニューラルネットアーキテクチャサーチ(NAS)
 
三次元点群処理ライブラリPCLと 統合ロボットシステム研究での 利用例の紹介
三次元点群処理ライブラリPCLと 統合ロボットシステム研究での 利用例の紹介三次元点群処理ライブラリPCLと 統合ロボットシステム研究での 利用例の紹介
三次元点群処理ライブラリPCLと 統合ロボットシステム研究での 利用例の紹介
 
[DL輪読会]Encoder-Decoder with Atrous Separable Convolution for Semantic Image S...
[DL輪読会]Encoder-Decoder with Atrous Separable Convolution for Semantic Image S...[DL輪読会]Encoder-Decoder with Atrous Separable Convolution for Semantic Image S...
[DL輪読会]Encoder-Decoder with Atrous Separable Convolution for Semantic Image S...
 
[DL輪読会]VNect: Real-time 3D Human Pose Estimation with a Single RGB Camera
[DL輪読会]VNect: Real-time 3D Human Pose Estimation with a Single RGB Camera[DL輪読会]VNect: Real-time 3D Human Pose Estimation with a Single RGB Camera
[DL輪読会]VNect: Real-time 3D Human Pose Estimation with a Single RGB Camera
 
[DL輪読会]YOLOv4: Optimal Speed and Accuracy of Object Detection
[DL輪読会]YOLOv4: Optimal Speed and Accuracy of Object Detection[DL輪読会]YOLOv4: Optimal Speed and Accuracy of Object Detection
[DL輪読会]YOLOv4: Optimal Speed and Accuracy of Object Detection
 
論文紹介 "DARTS: Differentiable Architecture Search"
論文紹介 "DARTS: Differentiable Architecture Search"論文紹介 "DARTS: Differentiable Architecture Search"
論文紹介 "DARTS: Differentiable Architecture Search"
 
[DL輪読会]DropBlock: A regularization method for convolutional networks
[DL輪読会]DropBlock: A regularization method for convolutional networks[DL輪読会]DropBlock: A regularization method for convolutional networks
[DL輪読会]DropBlock: A regularization method for convolutional networks
 
第18回コンピュータビジョン勉強会@関東「ICCV祭り」発表資料(kanejaki)
第18回コンピュータビジョン勉強会@関東「ICCV祭り」発表資料(kanejaki)第18回コンピュータビジョン勉強会@関東「ICCV祭り」発表資料(kanejaki)
第18回コンピュータビジョン勉強会@関東「ICCV祭り」発表資料(kanejaki)
 
[DL輪読会]Objects as Points
[DL輪読会]Objects as Points[DL輪読会]Objects as Points
[DL輪読会]Objects as Points
 

Semelhante a Muramatsu Bachelor Thesis

SSII2014 詳細画像識別 (FGVC) @OS2
SSII2014 詳細画像識別 (FGVC) @OS2SSII2014 詳細画像識別 (FGVC) @OS2
SSII2014 詳細画像識別 (FGVC) @OS2
nlab_utokyo
 

Semelhante a Muramatsu Bachelor Thesis (20)

DeepLearningDay2016Summer
DeepLearningDay2016SummerDeepLearningDay2016Summer
DeepLearningDay2016Summer
 
miyamori m
miyamori mmiyamori m
miyamori m
 
Convolutional Neural Networks のトレンド @WBAFLカジュアルトーク#2
Convolutional Neural Networks のトレンド @WBAFLカジュアルトーク#2Convolutional Neural Networks のトレンド @WBAFLカジュアルトーク#2
Convolutional Neural Networks のトレンド @WBAFLカジュアルトーク#2
 
IEEE ITSS Nagoya Chapter
IEEE ITSS Nagoya ChapterIEEE ITSS Nagoya Chapter
IEEE ITSS Nagoya Chapter
 
論文 Solo Advent Calendar
論文 Solo Advent Calendar論文 Solo Advent Calendar
論文 Solo Advent Calendar
 
【チュートリアル】コンピュータビジョンによる動画認識 v2
【チュートリアル】コンピュータビジョンによる動画認識 v2【チュートリアル】コンピュータビジョンによる動画認識 v2
【チュートリアル】コンピュータビジョンによる動画認識 v2
 
これからのコンピュータビジョン技術 - cvpaper.challenge in PRMU Grand Challenge 2016 (PRMU研究会 2...
これからのコンピュータビジョン技術 - cvpaper.challenge in PRMU Grand Challenge 2016 (PRMU研究会 2...これからのコンピュータビジョン技術 - cvpaper.challenge in PRMU Grand Challenge 2016 (PRMU研究会 2...
これからのコンピュータビジョン技術 - cvpaper.challenge in PRMU Grand Challenge 2016 (PRMU研究会 2...
 
画像認識と深層学習
画像認識と深層学習画像認識と深層学習
画像認識と深層学習
 
NVIDIA Seminar ディープラーニングによる画像認識と応用事例
NVIDIA Seminar ディープラーニングによる画像認識と応用事例NVIDIA Seminar ディープラーニングによる画像認識と応用事例
NVIDIA Seminar ディープラーニングによる画像認識と応用事例
 
MIRU_Preview_JSAI2019
MIRU_Preview_JSAI2019MIRU_Preview_JSAI2019
MIRU_Preview_JSAI2019
 
SSD: Single Shot MultiBox Detector (ECCV2016)
SSD: Single Shot MultiBox Detector (ECCV2016)SSD: Single Shot MultiBox Detector (ECCV2016)
SSD: Single Shot MultiBox Detector (ECCV2016)
 
20160601画像電子学会
20160601画像電子学会20160601画像電子学会
20160601画像電子学会
 
20150414seminar
20150414seminar20150414seminar
20150414seminar
 
[DL輪読会]ICLR2020の分布外検知速報
[DL輪読会]ICLR2020の分布外検知速報[DL輪読会]ICLR2020の分布外検知速報
[DL輪読会]ICLR2020の分布外検知速報
 
Deep Learningと画像認識   ~歴史・理論・実践~
Deep Learningと画像認識 ~歴史・理論・実践~Deep Learningと画像認識 ~歴史・理論・実践~
Deep Learningと画像認識   ~歴史・理論・実践~
 
SBRA2018講演資料
SBRA2018講演資料SBRA2018講演資料
SBRA2018講演資料
 
GTC 2016 ディープラーニング最新情報
GTC 2016 ディープラーニング最新情報GTC 2016 ディープラーニング最新情報
GTC 2016 ディープラーニング最新情報
 
三次元表現まとめ(深層学習を中心に)
三次元表現まとめ(深層学習を中心に)三次元表現まとめ(深層学習を中心に)
三次元表現まとめ(深層学習を中心に)
 
SSII2014 詳細画像識別 (FGVC) @OS2
SSII2014 詳細画像識別 (FGVC) @OS2SSII2014 詳細画像識別 (FGVC) @OS2
SSII2014 詳細画像識別 (FGVC) @OS2
 
Anomaly detection 系の論文を一言でまとめた
Anomaly detection 系の論文を一言でまとめたAnomaly detection 系の論文を一言でまとめた
Anomaly detection 系の論文を一言でまとめた
 

Mais de pflab

Mais de pflab (18)

Tsuji Master Thesis
Tsuji Master ThesisTsuji Master Thesis
Tsuji Master Thesis
 
Taniguchi master thesis
Taniguchi master thesisTaniguchi master thesis
Taniguchi master thesis
 
Hirafuji Master Thesis
Hirafuji Master ThesisHirafuji Master Thesis
Hirafuji Master Thesis
 
Yamada bachelor thesis
Yamada bachelor thesisYamada bachelor thesis
Yamada bachelor thesis
 
Awamoto master thesis
Awamoto master thesisAwamoto master thesis
Awamoto master thesis
 
Gotanda Bachelor Thesis
Gotanda Bachelor ThesisGotanda Bachelor Thesis
Gotanda Bachelor Thesis
 
Takahashi Bachelor thesis
Takahashi Bachelor thesisTakahashi Bachelor thesis
Takahashi Bachelor thesis
 
Tatsuya Sueki Master thesis
Tatsuya Sueki Master thesisTatsuya Sueki Master thesis
Tatsuya Sueki Master thesis
 
Tomoya Sato Master Thesis
Tomoya Sato Master ThesisTomoya Sato Master Thesis
Tomoya Sato Master Thesis
 
Ikarashi Bachelor Thesis
Ikarashi Bachelor ThesisIkarashi Bachelor Thesis
Ikarashi Bachelor Thesis
 
Akihiro Sakurai Bachelor Thesis
Akihiro Sakurai Bachelor Thesis Akihiro Sakurai Bachelor Thesis
Akihiro Sakurai Bachelor Thesis
 
Junnosuke Mizutani Bachelor Thesis
Junnosuke Mizutani Bachelor Thesis Junnosuke Mizutani Bachelor Thesis
Junnosuke Mizutani Bachelor Thesis
 
Cho Bachelor Thesis
Cho Bachelor Thesis Cho Bachelor Thesis
Cho Bachelor Thesis
 
Hidehito Yabuuchi Bachelor Thesis
Hidehito Yabuuchi Bachelor ThesisHidehito Yabuuchi Bachelor Thesis
Hidehito Yabuuchi Bachelor Thesis
 
Yu Sasaki Bachelor Thesis
Yu Sasaki Bachelor ThesisYu Sasaki Bachelor Thesis
Yu Sasaki Bachelor Thesis
 
Shinichi Awamoto Bachelor Thesis
Shinichi Awamoto Bachelor ThesisShinichi Awamoto Bachelor Thesis
Shinichi Awamoto Bachelor Thesis
 
輪講_Awamoto_20170601
輪講_Awamoto_20170601輪講_Awamoto_20170601
輪講_Awamoto_20170601
 
輪講_Sakiyama_20170601
輪講_Sakiyama_20170601輪講_Sakiyama_20170601
輪講_Sakiyama_20170601
 

Muramatsu Bachelor Thesis