MLSE 機械学習システム セーフティ・セキュリティWGでは、AI開発者のための機械学習システムのセキュリティに関するガイドラインのプレ公開版(v0.8)を公開いたしました。 本講演では、このガイドラインの内容をご紹介します。

1. [MLSE-MLS3]
機械学習応用システム
セキュリティガイドライン
背景と公開について
市原 大暉 （株式会社NTT データ）、及川 孝徳 （富士通株式会社）、
大久保 隆夫 （情報セキュリティ大学院大学）、笠原 史禎 （富士通株式
会社）、金子 朋子 （国立情報学研究所）、久連石 圭 （株式会社 東
芝）、田口 研治 （国立情報学研究所）、林 昌純 （法政大学）、森川
郁也 （富士通株式会社）、矢嶋 純 （富士通株式会社）、吉岡 信和
（早稲田大学）
（敬称略・五十音順）
1

2. 機械学習応用システムのセキュリティの
重要性
2021/07/03
2
https://www.technologyreview.jp/nl/hackers-trick-a-tesla-into-veering-into-the-wrong-
lane/ , 2019.4

3. 機械学習のセキュリティの研究は盛ん
3
Eykholt, K., Evtimov, I., Fernandes, E., Li, B., Rahmati, A., Xiao, C., Song, D.
Robust Physical-World Attacks on Deep Learning Models, 
CVPR 2018
Yuan, X., He, P., Zhu, Q., & Li, X. (2019). Adversarial Examples: Attacks and Defenses for Deep
Learning. IEEE Transactions on Neural Networks and Learning Systems, 30(9), 2805–2824.

4. 機械学習応用システムのセキュリティの
重要性
• 機械学習への攻撃方法に関する研究が盛ん
• 敵対的標本がGoodfellowらにより2014年に発表
• 本質的な原因はまだ分かっていない
• データセットの問題？
• テスラの自動運転を誤動作させる攻撃が実証
• どのような考慮すべきリスクかを判断する手順や基準が明確に
なっていない
• リスク分析には、エンジニア、機械学習の専門家、セキュリティの専門家
など多数のステークホルダが必要
開発現場でのリスク分析が困難
2021/07/03
4
ガイドライン

5. MLSE セーフティ・セキュリティWG
機械学習システムセキュリティガイドライン
策定委員会
【目的】 AIエンジニアが利用できる機械学習システムのセキュリティガイドラインを整備
【委員:11名】 産業界: 6名、学術界: 5名
• 市原 大暉 （株式会社NTT データ）、及川 孝徳 （富士通株式会社）、大久保 隆夫 （情報セキュリティ
大学院大学）、笠原 史禎 （富士通株式会社）、金子 朋子 （国立情報学研究所）、久連石 圭 （株式
会社 東芝）、田口 研治 （国立情報学研究所）、林 昌純 （法政大学）、森川 郁也 （富士通株式会
社）、矢嶋 純 （富士通株式会社）、吉岡 信和 （早稲田大学、委員長）
【活動】 月に1回、これまで8回の委員会で議論
【スケジュール・マイルストーン】
• 2021年7月28日キックオフ勉強会(第1回)
• 2021年11月29日第３回 AI/IoTシステム安全性シンポジウムにて講演(第2回)
• 2022年4月4日ガイドラインβ版をgithubにて公開: https://github.com/mlse-jssst/security-
guideline
• 2022年5月30日までご意見・フィードバックを受け付けています！
• 2022年4月15日第3回勉強会
• 2022年6月正式版公開予定
• MLSE夏合宿2022(6/30-7/2)のセーフティ・セキュリティWGで事例ワークショップの予定
5

6. 機械学習システムセキュリティガイドライン
3部構成：本編、リスク分析編、付録
6

7. 機械学習のパイプライン
7
訓練パイプライン
訓練データ
バリデーションデータ
テストデータ
https://ja.wikipedia.org/wiki/ニューラルネットワーク
訓練済みモデル
推論対象データ
訓練
推論
推論結果
推論パイプライン

8. 機械学習の3種類の脅威
8
訓練パイプライン
訓練データ
バリデーションデータ
テストデータ
https://ja.wikipedia.org/wiki/ニューラルネットワーク
訓練済みモデル
推論対象データ
訓練
推論
推論結果
推論パイプライン
①推論結果の誤動作
②モデルの窃取
③訓練データの窃取

9. 機械学習セキュリティの分析
脅威とそれを引き起こす攻撃
9

10. 機械学習セキュリティの工程
二段階のリスク分析
10

11. 機械学習システムセキュリティガイドライン
3部構成：本編、リスク分析編、付録
11
及川さん
（富士通）
矢嶋さん
（富士通）
笠原さん
（富士通）

12. 機械学習システムセキュリティガイドライン
本編
• ガイドライン概要：目的・背景
• 機械学習システム特有の攻撃
• 機械学習システムのセキュリティ
• 被害度分析
• システム仕様レベルでの脅威分析・対策
• 実際の機械学習システムに対する脅威分析・対
策
• 検知・対処
• 参考文献
リスク分析編
• 機械学習システムセキュリティの概要
• 機械学習システムを守るには
• 機械学習システム開発プロセスにおけるリスク分析
• AI 開発者向けリスク分析
• AI リスク問診の実現例
• AI リスク問診の施行例
付録：攻撃検知技術の概要
• 攻撃戦略毎の検知手法について
• 検知に使用するデータについて
12
ご意見・フィードバックを募集しています（ 締め切り：5月30日）
github、google form、MLSEのslack #wg_mls3 チャネル まで！
https://github.com/mlse-jssst/security-
guideline