https://pages.soracom.jp/SORACOMUGExplorer-2018_LP1.html 【画像出典】 ITmedia様 ギア部品の検品をAIで自動化、武蔵精密工業が自社内で試験運用へ http://image.itmedia.co.jp/l/im/mn/articles/1804/09/l_sp_180409musashi_01.jpg

1. IoTxAIを活⽤した⼩売業向け店舗解析
サービスの仕組みとノウハウ
SORACOM UG Explorer 2018 : IoTバックエンドセッション
ABEJA Inc. Development Division
⼤⽥黒 紘之

2. Why am I here ??
IoTxAI活⽤サービスを盛り上げるために、今⽇は下記２つに
重点をおいてお話します 😎
・サービス展開を進める上でぶつかった課題（実例付き!!)
・弊社での取組み（バックエンド実装）
皆様の取り組みに是⾮⽣かしていただければと思います！

3. 大田黒 紘之 @xecus
ABEJA, Inc.
Development Division
Engineer
2015年新卒入社
• Device Development
• Infrastructure
• Video Analysis Application
• DeepLearning

4. https://qiita.com/xecus/items/b7350111024b5fc2d9ae https://tech-blog.abeja.asia/entry/making-flu-warning-iot-device

5. SORACOM-UG JAWS IoT⽀部

6. AGENDA
1. 会社・サービス紹介
2. ABEJA Insight for Retail Backend
1. バックエンドの役割
2. 設計時に重要な事 with 実例
3. クラウド側/店舗側システム実装
4. エッジ解析の取り組み
3. まとめ

7. ゆたかな世界を、実装する ― Implement a Fruitful World ―
社名 株式会社ABEJA (ABEJA Inc.)
本社 東京都港区⽩⾦1-17-3 NBFプラチナタワー
代表者 代表取締役社⻑CEO 岡⽥ 陽介
設⽴ 2012年9⽉10⽇
Vision イノベーションで世界を変える
出資企業
NVIDIA 三菱UFJキャピタル株式会社
株式会社産業⾰新機構 みずほキャピタル株式会社
伊藤忠商事株式会社 株式会社インスパイア
東芝テック株式会社 ダイキン⼯業株式会社
株式会社セールスフォース・ドットコム
株式会社トプコン 株式会社NTTドコモベンチャーズ
武蔵精密⼯業株式会社
代表取締役社⻑ CEO 兼 CTO
岡⽥ 陽介
取締役 CRO（最⾼研究責任者）
緒⽅ 貴紀
取締役 COO 兼 CFO
外⽊ 直樹
取締役 ファウンダー
富松 圭介

8. 2012

9. ABEJA Platform
取得 蓄積 学習 デプロイ 推論・再学習

11. ABEJA Platform 導入事例

12. ①不良ポイントマーキング
②不良内容選択
不良ポイントのアノテーション

14. IaaS Cloud
PaaS
Processor
On-premise Data Center
API

16. ⾃動検品 異常検知 危険予測 商品仕分け

17. 異常診断 故障予測 需要予測

19. ABEJA Insight for Retail

20. Copyright © 2018 ABEJA, Inc. All rights reserved.

21. Copyright © 2018 ABEJA, Inc. All rights reserved.

22. (New) リピーター推定機能
顔画像から特徴量（個⼈識別符号）
を抽出し、特徴量がマッチした⼈物
をリピート客と判断
(⾃社で研究開発したアルゴリズムを
利⽤）
※経済産業省から3⽉30⽇にリリー
スされた「カメラ画像利活⽤ガイド
ブックver2.0」に準拠

23. Insight for Retail
導入規模の変化
0
500
1000
1500
2000
2015年 2016年 2017年
100台
(10社50店舗)
800台
(30社200店舗)
1900台
(100社480店舗)
導入デバイス数

24. 導入企業様

25. サービス規模
Video Traffic
10TB / Day
Containers
7,000+

26. サービス提供の仕組み
⾃社開発カメラ
(+LiDAR)
汎⽤ネットワーク
カメラ
POS・IoTデバイス
サービス基盤（国内）

27. 接続可能なデバイスの一例
ABEJAカメラ(⾃社開発) ⼀般的なネットワークカメラ
LiDARセンサー
（⼀部ベンダーのみ対応)
LIDARセンサーイメージ 出典：https://jp.techcrunch.com/2017/02/13/20170212wtf-is-lidar/

28. Backend構成をお話する前に…

29. バックエンドの役割
①店舗内の様々なデバイスからのデータを処理し、分析可能な状態にする
(データデリバリー観点)
②IoT x AIサービスの導入・運用に必要な機能を社内サポートチームに提供する
(運用観点)
↑実はかなり重要

30. 設計重要ポイント（データデリバリー観点）
店舗内の様々なデバイスからのデータを処理し、分析可能な状態にする
安定的かつ安全なデータ
転送の仕組み作り
多様化するデバイス・アル
ゴリズム・モデルに柔軟に
対応する仕組み作り
※当たり前の話ではあるが、後回しにしていろいろ苦労した。。
３年前の過去の⾃分に伝えたい事 😭

31. ⾟かった過去…
• 店舗ネットワーク環境に振り回された過去
• 店舗契約のISP障害・規制に巻き込まれる…
• 店舗ネットワーク機器との⼲渉
• 店舗ネットワーク構成の複雑さ ・情シスによる通信ブロック
• サービス拡⼤時の新カメラ・アルゴリズムの対応コスト
• 導⼊業種が増加して設置環境が多様化⇢デバイスも多様化する
• 研究開発がどんどん進むと新しいアルゴリズム・モデルバージョンが誕⽣
• エンジニアのシステム対応⼯数が増える。嬉しい悲鳴…

32. 設計重要ポイント（運⽤観点）
IoT x AIサービスの導⼊・運⽤に必要な機能を社内サポートチームに提供する
デバイス管理・
設定管理機能の提供
AI関連設定の
管理機能の提供
デバイス・AIの
品質⾒える化
+
異常検知
※特に、デバイス品質の⾒える化を後回しにしないこと！
これも過去の⾃分に伝えたい事 😭

33. ⾟かった過去…
• (IoT) 現場でデバイスが故障する（何故か検証環境では動く）
• 環境依存の群発故障が発⽣した場合、原因不明な事が多い。
• 設置環境多様化に伴い、想定環境から乖離した環境が出てくる
• デバイスの「品質」を⾒る仕組みが当時なかった (後回しにしてた…)
• (AI)オクルージョン・逆光により映像解析の品質は落ちる
• レイアウト変更によりカメラの視野が遮られ、精度が低下
• (IoTxAI) 増え続けるデバイスとAIの管理⼤変…
• 増え続けるデバイスとAIによる解析。保持すべき設定の多さが⼤変…

34. デバイス故障要因の実例
•電源トラブル
•計画停電 / 絶縁試験 / ブレーカー / 断線(⼈為的) / 電圧不⾜
•ネットワークトラブル
•ISP帯域制限 / ISP障害 / IP重複 / 特定NW機器の組み合わせ
•NTPブロック
•無線LANチャンネル⼲渉 / 断線(⼈為的) ←今、１番多いケース
•ネットワーク帯域不⾜
•物理的破損

35. 本当にあった事件(余談)
•iPadの充電のためにシステムの電源が抜かれる
•何故か特定カメラの電源がよく落ちる
•信じてたコンセントが湯沸かし器の系統だった
•⾃社開発カメラ 施⼯時に5V電源を10m延⻑⇢3V台まで電圧降下
•当然、何度新品に交換しても動作不良が発⽣
•スノーボード接触による物理的破損
•カメラが天を仰いでいた
•NTPブロックによってずれるタイムスタンプ
•1970年の世界から動画が来た

36. 解析品質に悪影響を与える要素
オクルージョン発⽣の例 逆光の例
※七⼣などのイベントが地味に要注意。
笹の葉オクルージョンが発⽣する
※時間によって⽇光が差し込む店舗に
要注意！

37. IoTデバイス関連パラメータ例
ネットワーク関連
パラメータ
デバイス関連
パラメーター
IPアドレス
デバイスホスト名
ネットワーク認証情報
SIMカード関連
データ出⼒設定
・圧縮⽅法
・FPS
・ビットレート
設置位置・画⾓・⾼さ
MACアドレス DDNS
デバイス認証情報
ファームウェアバージョン
NW機器 F/Wバージョン

38. AI関連パラメータ例
その他
解析設定関連
顔・⼈物検出⽤パラメータ
データ提供開始⽇時 データ提供終了⽇時
ダッシュボード表⽰名 解析する時間幅
誤検知防⽌⽤パラメータ
リピート判断閾値
DWH認証情報
モデルバージョン
ネットワークモデル

39. 安定的かつ安全なデータ
転送の仕組み作り
多様化するデバイス・アル
ゴリズム・モデルに柔軟に
対応する仕組み作り
デバイス管理・
設定管理機能の提供
AI関連設定の
管理機能の提供
デバイス・AIの
品質⾒える化
+
異常検知
設計重要ポイント（まとめ）

40. Backend System

41. ⾃社開発カメラ
(+LiDAR)
汎⽤ネットワーク
カメラ
POS・IoTデバイス
映像録画
システム
ダッシュボード
システム
メール配信
システムデータ変換システム
可視化＆配信系
各種運⽤ツール群（監視系、管理ツール等)
映像解析システム
Powered By
Support Members
ABEJA Insight For Retail サービス基盤全体像

42. カメラA
映像録画システムの実装
ABEJA
Platform
録画
コンテナ
(カメラA⽤)
動画変換
コンテナ
(カメラA⽤)
暗号化接続
終端コンテナ
データフロー監視
Metrics
コンテナリポジトリ
Image

43. 映像
FaceDetector
(顔検出)
Feature Extractor
(特徴量抽出器)
映像解析システムの実装
FaceIdentifier
(顔識別器)
ダッシュ
ボード
特徴量データベース
Demographic Estimator
(年齢・性別推定器)
年齢性別・リピーター判定部顔画像・特徴量抽出部
※解析後の動画は即時破棄
※ガイドブックに準拠したデータ管理
データフロー監視
Metrics

44. 店舗側とサービス基盤の結合部 （※クラウド型)
店舗内 機材専⽤LAN
カメラカメラカメラ
PoE
Switch
その他IoT
デバイス
ABEJA
Router
ABEJA
ISP
Backend
国内外 数百拠点以上
映像解析
システム
サービス基盤サイド
暗号化
通信
映像録画
システム
（⼀部省略）

45. バックエンドの特徴
• サービス基盤サイド
• 録画・解析はデバイス・アルゴリズムに応じて柔軟にカスタム可能
• サービス拡張を楽に進めるために、交換可能なコンポーネントで構成する
• 導⼊・運⽤を円滑に進めるために、社内サポートメンバー⽤システムがある
• デバイス・AIの品質異常検知
• デバイス管理、AI管理…

46. バックエンドの特徴
• 店舗サイド
• 機材⽤に独⽴したLAN環境を⽤意
• 店舗機材と⼲渉トラブルを減らす
• 責任分界をちゃんとする
• 独⾃プロバイダーバックエンドを利⽤し、暗号化伝送路を構築
• 我々がISPとなる事で、コントローラブルなインフラを作る
• ISP側の制限の影響を受けない構成にする

47. 固定回線 + クラウド型解析の問題点
• 映像転送には⼀定以上の帯域が必要。回線確保に課題がある。
• 設置拠点によっては上り1MBpsも出ない場所がある (低速なADSLプラン等)
• 固定回線がなく、⼯事の難しいケースがある (例：屋外のイベント会場）
LTEによる
映像伝送
エッジ
解析
(Powered by
SORACOM)

48. 店舗側とサービス基盤の結合部 （※LTEによる映像伝送の例)
店舗サイド
カメラカメラカメラ
PoE
Switch
その他IoT
デバイス
すごい
SIMカード
国内外 数百拠点以上
暗号化
通信
M2M
Router
映像解析
システム
サービス基盤サイド
映像録画
システム
（⼀部省略）
ABEJA
Router

49. 店舗側とサービス基盤の結合部 （※エッジ解析)
店舗サイド
カメラカメラカメラ
PoE
Switch
その他IoT
デバイス
Edge
Machine
国内外 数百拠点以上
サービス基盤サイド
閉域網
可視化＆配信系
（⼀部省略）
ABEJA
Router
ダッシュボード
システム
エッジ型解析
管理システム

50. M2M Router (IO-DATA UD-LT1)
USB DONGLE (Huawei MS2131i-8)
※Globalで使⽤検討中。社内検証DONE。
USB DONGLE (AKA-020)

51. Edge Agent
Deploy
Handler
Metrics
Sender
Authorizer
Container Pool
エッジ型解析
管理システム
エッジ解析 システム構成例
録画・変換
コンテナ
解析
コンテナ
結果転送
コンテナ
※mBaasを活⽤
Base System
解析⽤マシン
店舗
クラウド
遠隔デプロイ
監視
解析データ
アップロード

52. エッジ解析システム 開発裏話
• やったこと
• クラウドで動いている録画・解析部をイメージ化してマシンに移植
• SORACOM SIMカード＋USBドングルを筐体に挿して設定
※１〜２⽇で解析データをクラウドにアップする所まで出来た
• 開発した結果
• 固定回線のない店舗・イベント会場への導⼊が加速
• (副次効果) 海外導⼊の話が加速中！
• SORACOM グローバルSIMを活⽤したバージョンの導⼊を検討

53. Conclusion
• バックエンド側重要ポイント
• 安定的かつ安全なデータ転送の仕組み作り
• 独⾃プロバイダーバックエンドの構築 暗号化伝送路の活⽤
• 適材適所で「クラウド型解析」と「エッジ型解析」を使い分け
• 多様化するデバイス・アルゴリズム・モデルに柔軟に対応する仕組み作り
• 録画・解析共にコンポーネント単位で交換可能できるアーキテクチャを採⽤
※エッジ側の回線確保にはSORACOM Airを利⽤ 😎

54. Conclusion
• バックエンド側重要ポイント
• デバイス・AIの品質⾒える化 + 異常検知
• デバイス管理機能の提供
• AI関連設定管理機能の提供
※本⽇、本当はお話ししたかったのですが
時間の都合上カットしましたmm 😭 😭 😭

55. We’re Hiring!
https://www.wantedly.com/companies/abeja

56. Thank you !!