2021年9月7日 「ザイリンクス ビジョンAIで実現するスマートワールドソリューション」講演資料

1. www.ibextech.jp
スマート ワールドの価値を確かなものにする
低レイテンシの「映像×AI」技術
アイベックステクノロジー株式会社
取締役 事業戦略室長兼CRO技術部長
馬場 隆行

2. www.ibextech.jp
内容
1. 会社概要と自社開発「超低遅延コーデック」の紹介
2. Smart World 「低レイテンシ」ユースケース
3. 「映像 x AI」 FPGAが強みを発揮する実装例
4. まとめ

3. www.ibextech.jp
会社概要と超低遅延コーデックの紹介

4. www.ibextech.jp
会社概要
 社名 アイベックステクノロジー株式会社
（旧社名 株式会社ＬＳＩシステムズ）
 所在地 神奈川県川崎市麻生区南黒川10-1
（小田急多摩線 黒川駅 徒歩 3分）
（京王相模原線 若葉台駅 徒歩10分）
 設立 1985年1月5日（神奈川県厚木市）
 代表者 兵藤 智明
 社員数 60名（技術者44名）
 主要取引銀行 三井住友銀行 厚木支店
 親会社 株式会社日本デジタル研究所（JDL）
 決算期 3月（無借金の健全経営）
2020年4月よりACRiに加盟

5. www.ibextech.jp
コーデック
IPをFPGA
に搭載した
製品も販売

6. www.ibextech.jp
● コーデック遅延、僅か10msecを実現
● MPEG-4 AVC/H.264、High4:2:2(8bit)
Main Profile Level4.1
● 半二重コーデック（エンコーダ、デコーダ切り替え）
● ダウンコンバータ、アップコンバータ内蔵
● IP伝送とDVB-ASI伝送に対応
● 1/3U （A5相当）のコンパクトな筐体
● SNMPに対応
● エンベデットオーディオ8ch対応
● GenLock機能搭載（デコーダ）
超低遅延H.264コーデック HLD-300C (2K)
HLD-300C

7. www.ibextech.jp
RKB毎日放送様：HLD-300C使用例/ゴルフ中継
HLD-300C
超低遅延コーデック 放送用途事例

8. www.ibextech.jp
災害復旧現場のような危険な現場で有線ネットワークの構築が難しい無人化施工現場で
は、無線通信システムを利用した映像伝送で重機の操縦を行っています。
500m
伝送遅延が大きいと重機
の操縦が難しくなります
人が立ち入ること
が出来ないエリア
高画質なので、遠近感や高低差
が伝わります
超低遅延コーデック技術が
災害現場にも貢献！
超低遅延コーデック 建設機械用途事例

9. www.ibextech.jp
超低遅延コーデックの仕組み
10msecの遅延

10. www.ibextech.jp
Smart World 「低レイテンシ」ユースケース

11. www.ibextech.jp
ユースケース② 腐敗品選別機能付き選果機
ユースケース① 建設機器の安全装置
AIがエッジ端末のみで完結するユースケース
AIが人物検知 → 自動停止
安全装置のため低レイテンシが必須
リモート制御建機 遠隔制御室
選果機
AIが腐敗の可能性のある個体を選別
選果機と同じスループットとレイテンシで
選別判断が必要

12. www.ibextech.jp
ユースケース④ インフラ老朽化検出機能
ユースケース③ 小売店/ホテル VIP検出機能(海外事例)
エッジ端末とデータセンターの両方でAIが使用されるユースケース
タイミングを逃さないため低レイテンシが重要 作業効率を落とさないために低レイテンシ重要
エッジAIが「ひび割れ」を検出
エッジが映像とメタデータをDCTに送信
DCTのビッグデータで詳細解析
DCTのビッグデータで人物特定
店員・フロントに連絡
映像とメタデータも提供
エッジAIが「顔」を検出
防犯用途(例：空港)も同様

13. www.ibextech.jp
ユースケース⑥ 害獣自動追尾機能
ユースケース⑤ エッジAIが危険を察知し信号を制御
データフローがエッジ端末⇒データセンタ⇒エッジ端末のユースケース
システム全体の低レイテンシ化が必要 害獣の動きを追尾できる低レイテンシが必要
エッジカメラが超低遅延エンコード
DCTがエッジにメタデータ(識別結果、座標等)を返送
DCTの返送データを基に自動追尾・警告
DCTが特定の信号(エッジ)に指示を出す
DCTに危険情報
を送信
エッジAIが「危険」と判断
エッジがDCTに映像を伝送
DCTが「動く物体」を検知＆識別
超
低
遅
延
圧
縮
映
像
座
標
・
識
別
情
報

14. www.ibextech.jp
1.エッジで完結する ユースケース
2.エッジ⇒データセンター⇒オペレータ等 のユースケース
3.エッジ⇒データセンター⇒エッジ のユースケース
「映像 & AIデータ」のデータフローが
映像 x AI アプリケーションの全てが低レイテンシが必要なわけではない
しかし低レイテンシが可能になれば
実現できるユースケースや新たなユースケースを開発できる
紹介事例は全て「低レイテンシ」が必要または重要

15. www.ibextech.jp
FPGAは安定した低レイテンシーの実現に有利
ループ処理
並列処理
CPU, GPUの場合
FPGAの場合
• 異なる演算の同時並列処理を効率的に実行
• オンチップ大容量メモリにより安定した低レイテンシーを実現
• ネットワーク機能のワンチップ化によりレイテンシーをさらに短縮
• CPUの場合、処理をシーケンシャルに実行
• GPUの場合、異なる演算の並列処理は非効率 (SIMTの特性)、処理能力を向上するためバッチ
処理をおこなうとレイテンシーは増加する
• CPU, GPUとも割込みやキャッシュの状態によりレイテンシーはかなりばらつく。外部メモリ
をアクセスするとレイテンシーとそのばらつきは一層大きくなる
参考； ACRiブログ「広がり続ける FPGA の応用と人工知能への活用 (2)」 FPGA はなぜ低遅延、高スループット、低消費電力を実現できるのか

16. www.ibextech.jp
低遅延コーデック処理の例にすると
FPGA : クロック単位で設計するので、設計時に処理時間の揺らぎがコントロールできる
CPU : 割り込み, キャッシュミス, 分岐予測ミス等の不確定な処理時間の揺らぎのためのマージンが必要
GPU : 内蔵のコーデック処理向けアクセラレータはアーキテクチャ次第
(ピクチャ単位の処理ならば、低遅延コーデックには不向き)
GPGPUは活用できる部分とできない部分がある。(大量の均質データ処理は得意だがそれ以外は苦手)
「最近のCPUはマルチコアが当たり前で並列処理できるのでは？」
“処理時間の揺らぎ”が少ない方がレイテンシを短くすることができる
(参考データ)
(出典)
Ultra Low Latency and High Performance Deep Learning Processor with FPGA - Alibaba Cloud Community
「遅延（Latency）と性能面（QPS）の両方を同時に担保
することはGPUだと難しい。一般的なGPUだと性能を
出すためにはレイテンシが増える」

17. www.ibextech.jp
① 粗いAI 高精度AI
② 動作検知 物体識別
③ エンコード情報継承 パラメータ・メタデータ活用
エッジ端末とデータセンターの役割分担例
混雑程度のみ判定 混雑具合に適したCNN採用
動きがあるかのみ検出 物体を検出及び識別
エンコード時のパラメータを伝送 「時刻情報」などの活用
・Update頻度が高いAI/CNN
・稼働率の変動が大きい処理
・ビッグデータを必要とするAI
・最も低レイテンシが必要な処理
・伝送が必要な情報の仕分け処理
・情報のタグ付が効果的な場合
エッジ側に DCT側に
前
処
理

18. www.ibextech.jp
第1回ACRi討論会 ザイリンクス株式会社 林田様の講演資料より

19. www.ibextech.jp
FPGA単一デバイスに密接結合することで最短遅延を実現
Video Codec Video Scaler
(拡大・縮小)
Noise Filter Interface
CNN
エッジ端末-データセンターのように物理
デバイスを跨ぐ場合、Smart NICが吸収
Xilinx Smart NIC
Xilinx Kria

20. www.ibextech.jp
のビジネス領域
映像
前処理
映像
後処理
AI
Codecを中心に豊富なIP資産
長年の受託実績と知見の蓄積
AIはお客様の研究資産を実装
または業界トップのパートナーソリューションをご提案
システム全体の性能を最大限引き出しかつ遅延を最小に抑えるため
デバイス(FPGA,CPU,GPU)の最適化、エッジとセンターの最適化、通信手段に関する知見の共有
AIと映像前後処理を「密接接合」する設計サービスを提供するエンジニアリング会社です
密接結合 密接結合

21. www.ibextech.jp
まとめ
「低レイテンシ」ソリューションによって実現できるSmart Worldのユースケースがある。
FPGAは「低レイテンシ」を実現するのに適したデバイスである。
特に処理時間の”揺らぎ”を完全に制御でき、レイテンシのワーストケースを保証できる。
 映像を使用したAI処理の前後には、映像前処理/後処理があるのが一般的である。
単一チップに「密接結合」することで、性能を最高に且つ遅延を最短にすることができる。
FPGAが他のデバイスに比べ強みを発揮できる実装方法である。
FPGAは多様なインターフェースを持ち、それすらプログラマブルである。
 アプリケーション全体の高速化および最適化は複数のレイヤーを考慮する必要がある。
- デバイスレベルの最適化 (FPGA/CPU/GPU)
- エッジ端末とデータセンターの役割最適化
- 最適な通信手段の選択等