機械学習適用ソフトウェアの検証技術, 情報処理学会 ソフトウェア工学研究会 産学連携促進WG, ソフトウェア開発における産学協創フォーラム, ポスター展示, 2019年7月1日

1. 機械学習適用ソフトウェアの検証技術
株式会社日立製作所 研究開発グループ
要求や仕様から演繹的に開発されるソフトウェアと異なり、データをもとに帰納的に構築される機械学習には、従来の検証技術の利用が困難です。
日立グループは、機械学習適用ソフトウェア向け検証技術を確立し、信頼性の高い社会システムによる安心・安全な社会つくりに貢献していきます。
日立グループは、AIプロダクト品質保証コンソーシアム(QA4AIコンソーシアム)の活動を通して、
AI技術の活用・進化のさらなる促進と、AIプロダクトと社会との安心できる共生の実現をめざします Copyright © Hitachi, Ltd., 2019
アンサンブルツリー機械学習モデルの網羅検証技術 リファレンスモデル照合テスト技術
【課題】 モデルの振る舞いをあらゆる入力値について
検査するのは困難
【アプローチ】 アンサンブルツリーモデルを論理式に変換し
形式検証技術を活用
【XGBoostモデルの計算アルゴリズムを表す式】 【性質を表す式】
∧ ￢(f2 >= 10000
-> leaf >= 100)
論理式の真偽をSMTソルバで検査
⇒全入力値について，性質を満たすかを網羅検証
(f2 > 2.45000005) => leaf == 0.137614682 ∧
!(f2 > 2.45000005) => leaf == 0.0717703402
論理式化 論理式化
人口 ≧ 10,000
⇒ 需要 ≧ 100
XGBoostのモデル ≒ if-thenルールの集合 モデルが満たすべき性質
【需要予測システムの例】
人口1万人以上の都市では
需要が100件/日を
下回ることはない
【課題】 大量のテスト入力値に対して
人手で正解値を付与する工数大
【アプローチ】 リファレンスモデルと呼ぶ疑似オラクル
に基づいて出力値を評価
【DNN】
【リファレンスモデルの例】
■道路交通標識認識の例
【入力値】
標識画像
出
力
入
力
【出力値】
識別結果
入
力
従来の画像
処理技術で
標識の形状を
抽出
評価 OK/NG
if (形状=='丸形'){
assert(
識別結果=='止まれ'
or
識別結果=='進入禁止')}
入
力
進入禁止
止まれ
照合⇒評価OK/NG【正解出力値】
不要
疑似
オラクル
進入禁止
止まれ
出
力
…
…