ロードヒーティング制御における深層学習を用いた路面画像認識に関する研究

Copyright © 2020 調和系工学研究室 - 北海道大学大学院情報科学研究院情報理工学部門複合情報工学分野 – All rights reserved.
ロードヒーティング制御における深層学
習を用いた路面画像認識に関する研究
2022/02/07
北海道大学大学院情報科学研究院
情報理工学部門複合情報工学分野調和系工学研究室
学部4年大倉博貴

2
研究背景
• 積雪地帯では路面の融雪にロードヒーティングを活
用
– ロードヒーティング
• 道路，歩道，駐車場などの地面の雪を融かしたり凍結を防ぐため
に，地面の中に放熱体を設置し，地面の温度を上げて雪を融かす
施設
– 燃料を多量に消費
• 札幌市雪対策関連予算の約10％をロードヒーティング関連費用が
占める[1]
• 人間が目視で路面の積雪状況から制御を行うことが
理想[2]
– 常時監視はコストがかかるので自動制御を行う
• 降雪センサや路面温度センサなど
• 突風による雪の巻き上がりなどを降雪と判定してしまう
• 路面の画像認識で人間の目視に近い制御を試みる
[1]柴田雄史，ロードヒーティングによる冬季路面管理におけるコスト縮減の取り組み，第30回ゆきみらい研究発表会（2018）
[2]ゆりもっと，https://www.yurimott.jp/feature/

3
先行研究と課題
• 路面の局所画像から求めた積雪割合で制御[3]
– 1m四方の範囲の撮影画像から積雪割合を求めて制御
• 熱源の稼働時間を45％削減可能
– 路面広域の積雪状況を利用していない
• 雪の融かし残しや無駄なボイラー稼働が存在する可能性
• 路面の広域画像をセグメンテーションし，積雪割合を算出[4]
– 広域画像に対してセマンティックセグメンテーションを実施
• 路面広域で積雪割合を求める
– ロードヒーティング設置路面で未検証
• 本研究の提案
– 局所画像・広域画像による推定を使ったボイラー制御の稼働時間
の比較
[3]横山想一郎, 山下倫央, 川村秀憲, 武田清賢, 横川誠 : ディープラーニングによる路面画像認識を用いたロードヒー
ティングの制御システム, 第32回人工知能学会全国大会 (JSAI), 4F2-OS-11d-01, 鹿児島 (2018)
[4]今原智広，横山想一郎，山下倫央，川村秀憲：ロードヒーティング制御に向けたセマンティックセグメンテーション
による路面画像の積雪状況認識，第201回知能システム研究発表会，2，オンライン（2021）
セグメ
ンテー
ション

4
研究目的
• 広域画像による制御が，雪の融かし残しと無駄なボ
イラー稼働時間を削減可能であることの検証
– 広域画像に対する積雪割合の算出
– 局所画像による積雪判定と広域画像による積雪判定の比較
局所画像広域画像

5
広域画像の利用
• 広域画像
– 路面の広い範囲を撮影した画像
より広い範囲の積雪状況を認識することで，路面の積雪
の偏りの影響が少なく効果的な制御となる
• 撮影地点
– 長期的に，ロードヒーティング設置路面を広域で
撮影可能な地点

6
積雪状況認識問題
• ラベリング方法
– 積雪・非積雪・障害物の3分類
• 路面の積雪量を判定するための分類
• 積雪ラベルと非積雪ラベルはアスファルト面にのみ付与される
積雪
非積雪
障害物
積雪割合 =
積雪ラベルのピクセル数
（積雪ラベル＋非積雪ラベル）のピクセル数
積雪割合：0.2218
非アスファルト面は
障害物ラベル

7
積雪状況認識手法
• 本研究ではセマンティックセグメンテーションタス
クとして積雪状況認識を考える
– セマンティックセグメンテーションとは
• 画像内のすべてのピクセルに意味的なラベルやカテゴリを分類
する手法
– セマンティックセグメンテーションを用いる理由
• 回帰で求めるよりも省データで対応可能
• 障害となる領域も含めて認識すると回帰に比べてラベリングの
手間が減少
入力
エンコーダデコーダ
低次元の
潜在変数
出力

8
利用するデータセット(1/2)
• 2つのデータセットを利用
– 作成したデータセット(以後，大谷地)
• 撮影場所：札幌市厚別区大谷地の建物前路面
– 2つのカメラで異なる視点から撮影
• 撮影期間：2021年12月28日～2022年1月14日
• 画像枚数：819枚
(右側から撮影：412枚左側から撮影：407枚)
積雪
非積雪
障害物

9
利用するデータセット(2/2)
• 2つのデータセットを利用
– 俯瞰画像をセグメンテーションする研究[3]で使用され
たデータセット(以後，情報棟)
• 撮影場所：北海道大学大学院情報科学研究院棟駐車場
• 撮影期間：2020年11月20日～ 2021年1月25日
• 画像枚数：850枚
積雪
非積雪
障害物

10
大谷地データセット
• 積雪割合枚数分布
– 積雪割合が0～0.1の画像が多く，それ以外が少ない
• ロードヒーティング導入箇所の撮影
• 雪が融けている時間が長い
正解ラベルの積雪割合
画像枚数

11
情報棟データセット
• 積雪割合枚数分布
– 積雪割合枚数分布が均等ではない
• ロードヒーティング非導入箇所の撮影
• 雪が融けきる前に次の雪が積もる
画像枚数

12
モデル選定の準備
• 比較するモデル
– セマンティックセグメンテーションタスクで優秀なモデル
• DeepLabV3+[5](ベースラインのモデル)
• Unet++[6]
• MAnet[7]
• Linknet[8]
• FPN[9]
• PSPNet[10]
• PAN[11]
• 学習設定
• 評価指標
– mIoU
– Dice Loss
バックボーンネットワーク
(重みづけ)
xception(Imagenet)
エポック数 40
ミニバッチサイズ 2
最適化手法 Adam
学習率初期値 : 0.0001
25エポック以降 : 0.00001
[4]Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation, Liang{-}Chieh Chen and Yukun Zhu and George Papandreou and Florian Schroff and Hartwig Adam, CoPR, (2018)
[5]UNet++: A Nested U-Net Architecture for Medical Image Segmentation, Zongwei Zhou, Md Mahfuzur Rahman Siddiquee, Nima Tajbakhsh, Jianming Liang, CoPR, (2018)
[6]Multi-Attention-Network for Semantic Segmentation of Fine Resolution Remote Sensing Images, Rui Li, Shunyi Zheng, Chenxi Duan, Ce Zhang, Jianlin Su, P.M. Atkinson, IVP, (2020)
[7]LinkNet: Exploiting Encoder Representations for Efficient Semantic Segmentation, Abhishek Chaurasia, Eugenio Culurciello, CoPR, (2017)
[8]Feature pyramid networks for object detection, Tsung-Yi Lin,Piotr Dolla ́r,Ross Girshick,Kaiming He, Bharath Hariharan, and Serge Belongie, CoPR, (2017)
[9]Pyramid Scene Parsing Network, Hengshuang Zhao, Jianping Shi, Xiaojuan Qi, Xiaogang Wang, Jiaya Jia, CoPR, (2017)
[10] Pyramid Attention Network for Semantic Segmentation, Hanchao Li, Pengfei Xiong, Jie An, Lingxue Wang, CoPR, (2018)

13
モデル選定方法
• 5分割交差検証で比較し評価が高いモデルを選定
• 使用するデータセット
– 情報棟データセット
• 撮影日付ごとに扱う
– 類似したデータや時系列順に並ぶデータのまとまりを作る
– データセット割合
• 学習 : 検証 : テスト = 8 : 1 : 1
1/9の画像 1/10の画像
学習検証テスト

14
モデル選定結果
• Unet++が高評価
– ベースラインより評価が高い
– Unet++を選定モデルとして実験に使用
アーキテクチャ名 mIoU Dice Loss
Unet++ 0.8822 0.0665
DeepLabV3+(ベースライン) 0.8809 0.0675
Linknet 0.8803 0.0674
MAnet 0.8788 0.0680
FPN 0.8773 0.0692
PAN 0.8400 0.0983
PSPNet 0.8284 0.1024

15
積雪判定に関する評価
• 実験内容
– 大谷地データセットを使用
– 選定モデルを用いて5分割交差検証で積雪割合を出力
• 積雪割合の混同行列
– 推定結果と正解ラベルの値の
範囲が一致する画像枚数が多い
– 範囲が大きく外れる画像が数
枚見られる
推定結果の積雪割合
積雪割合 =
・画像を比較して確認

16
誤判定した画像と推定結果
• 暗くて薄く雪が積もっている画像
– 画像枚数が少なく学習ができていない可能性が高い
– 人間の目視でも判定が困難
• 積雪判定に利用可能な精度である
• 未知の地点に対して利用可能か検証
積雪
非積雪
障害物
撮影画像正解ラベル推定結果
2022年1月1日積雪割合：1.0 積雪割合：0.293
2022年1月7日積雪割合：0.634 積雪割合：0.235

17
複数地点での汎化性能検証
• 使用するデータセット
– 情報棟データセット
– 大谷地データセット
• 右側からの撮影画像
• 左側からの撮影画像
• 実験内容
– 異なるデータセットを互いに訓練とテストに使用
• 情報棟データセットと大谷地データセット
• 大谷地の右側からの撮影画像と左側からの撮影画像
– 大谷地データセットを用いた5分割交差検証結果と比較して
汎化性能を調査
右側から撮影
左側から撮影
情報棟

18
実験結果
• 結果
– 未知の地点(情報棟，大谷地)に対する精度は低い
– 同地点の別視点(左右からの撮影画像)に対する精度は上記と
比べて高い
– 既知地点(大谷地を用いて5分割交差検証結果)に対する精度
は高い
• 考察
– 現場での利用には，地点ごとの再学習が必要
訓練テスト mIoU Dice Loss
情報棟大谷地(全て) 0.3430 0.4927
大谷地(全て) 情報棟 0.3287 0.5138
大谷地(右側) 大谷地(左側) 0.7759 0.1284
大谷地(左側) 大谷地(右側) 0.6340 0.2267
大谷地を用いて5分割交差検証 0.9656 0.0181

19
局所画像による制御の検証
• 実験内容
– 局所画像によるボイラー制御[3]を実施し，カメラ2台で広域画像を
撮影
– 広域画像から推定した積雪割合と実施した制御[3]のログを比較し
雪の融かし残しやボイラーの稼働時間で評価
• 実験設定
– 期間：2022年1月21日～1月24日
– 場所：札幌市厚別区大谷地の建物前路面
• 大谷地データセットと同地点
局所画像による
制御コントローラ
広域画像撮影用
カメラ
ロードヒーティング設置路面

20
検証結果
• ボイラー制御信号
– 降雪センサによる制御と局所画像によるボイラー制御を比
較
• 画像認識を使わない従来手法に比べて局所画像によるボ
イラー制御はボイラーの稼働時間を削減
ボイラー制御信号
時刻
降雪センサによる制御
局所画像による制御
ON
OFF

21
検証結果
• 積雪割合
– 局所画像によるボイラー制御で出力した積雪割合と広域画像に対
する推定積雪割合をグラフで比較
• 大谷地データセットの学習済み選定モデルで推定
• 同時刻2つの広域画像の平均積雪割合を算出
積雪割合 =
局所画像制御の出力積雪割合
広域画像の推定積雪割合
積雪割合
時刻
1.0
0.8
0.6
0.4
0.2
0
この結果を用いて，ボイラー制御の評価を行う

22
広域画像によるボイラー制御評価
• 閾値を用いてボイラー制御を比較
– 広域画像によるボイラー制御は局所画像
によるボイラー制御と同じと想定
• 結果
– 広域画像による制御がボイラーを稼働するとき，常に局所画像による制御
もボイラーを稼働するため，路面広域に雪の融かし残しは観測されない
– 局所画像による制御の出力と広域画像の推定に大きく差がある時刻の存在
• 5回連続で積雪割合が0.5より下
• ボイラ停止の遅延タイマ開始(2時
間経過後にボイラを停止)
• 5回連続で積雪割合が0.5以上
• ボイラ稼働を開始
• ボイラ停止の遅延タイマを解除
局所画像によるボイラー制御
制御の閾値(0.5)
1.0
0.8
0.6
0.4
0.2
0
積雪割合
時刻

23
ボイラー稼働状態の検証
• ボイラー稼働に関わる時刻
– 局所画像による制御の出力と広域画像の推定との差が大きい時刻
• 無駄な稼働が起きている可能性
– 局所画像による制御の出力と広域画像の推定が高い時刻
• ボイラーの稼働が必要
• ボイラー稼働状態を確認
– ボイラー稼働に関わる時刻から4枚ずつサンプル
• サンプルした20枚はすべて正しいボイラー稼働状態であった
ボイラー稼働に関わる時刻
時刻
積雪割合
1.0
0.8
0.6
0.4
0.2
0

24
ボイラー稼働に関わる時刻の検証(1/2)
• 局所画像と広域画像の比較
– 1/21 9:00 撮影
局所画像左側から撮影した画像右側から撮影した画像
時刻
積雪割合
1.0
0.8
0.6
0.4
0.2
0
ボイラーを稼働すべき時刻で稼働できている

25
ボイラー稼働に関わる時刻の検証(2/2)
• 局所画像と広域画像の比較
– 1/21 18:00 撮影
局所画像左側から撮影した画像右側から撮影した画像
時刻
積雪割合
1.0
0.8
0.6
0.4
0.2
0
路面広域では積雪が観測されないため，ボイラーを稼働するべきでない

26
検証結果
• 局所画像による制御は雪の融かし残しが観測されな
かった
• 局所画像による制御は無駄なボイラー稼働があった
– 路面広域の積雪割合が0に近い時刻
• 広域画像によるボイラー制御
– 無駄なボイラー稼働時間を削減できる余地がある
削減の余地がある時刻
時刻
積雪割合
1.0
0.8
0.6
0.4
0.2
0

27
まとめ
• 局所画像による制御の新たな知見を得た
– 雪の融かし残しはないが無駄な稼働時間の存在
• 広域画像による制御を適用することで，無駄
な稼働時間の削減可能性を確認した
• 実環境で広域画像による制御と局所画像・降
雪センサによる制御を実施し比較する実験を
行う必要がある

28
研究業績
発表予定国内学会口頭発表（1件）
• ○大倉博貴, 横山想一郎, 山下倫央, 川村秀憲, ロードヒー
ティング制御の効率検証に向けた深層学習を用いた路面画像認
識,社会システムと情報技術研究ウィーク(WSSIT2022), 2022.

ロードヒーティング制御における深層学習を用いた路面画像認識に関する研究

Recomendados

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados (20)

Semelhante a ロードヒーティング制御における深層学習を用いた路面画像認識に関する研究

Semelhante a ロードヒーティング制御における深層学習を用いた路面画像認識に関する研究 (20)

Mais de harmonylab

Mais de harmonylab (20)

Último

Último (7)

ロードヒーティング制御における深層学習を用いた路面画像認識に関する研究