2016年4月頃に作成したスライド

1. 1
画像認識 め 深層学習
深層学習 (人工知能学会) 第５章

2. 2
担当範囲
1. 階層 ュー ワー 深層学習(田代)
2. 深層 ン ン(扱わ い)
3. 事前学習 周辺(高橋)
4. 大規模深層学習 実現技術(山内)
5. 画像認識 た 深層学習

3. 3
こ 発表 目標
1. 画像認識 深層学習 背景 知
2. 畳 込 ュー ワー (CNN) 理解
3. CNN 用い 画像認識 や 方 理解
4. CNN た きを知
5. 教師 し学習 画像認識 手段を知

4. 4
CNN 強い
従来法 圧倒 結果 生

5. 5
一般物体認識 難しさ
一般物体認識 = general object recognition
研究自体 90年代 遡
当時 難 解決 相当 時間 思わ
 難 い？
 無視 べ 画像 変動 鈍感 特徴 抜 出 不変性
 類似 区別 識別力
相対 概念 見え

6. 6
従来 一般物体認識 方法
分類 いう問題 特徴抽出 分類 段階 分離 捉え
後半 分類 ー ベ ン ベ 付 ンプ 用い
教師あ 学習 処理さ
特徴 手動設計 取 出 難 さ
特徴抽出
(手動設計)
分類
(教師あ )
特徴

7. 7
局所特徴 大域特徴
局所特徴(local feature)
画像 局所的 小領域 考え、 濃淡 特徴量
取 出 言う
大域特徴(global feature)
画像上 選 多数 小領域 対 別々 局所特徴 抽出 、
符号化 びプー ン 上 、
入力画像 枚全体 表 特徴量

8. 8
局所特徴(SIFT 抽出)
SIFT(Scale Invariant Feature Transform) 最 古 、
一番良 使わ い 手法 、2 プ 構成さ
1. 画像内 ほ 区別 や い顕著 特徴 持 点 選び出 、
同時 周囲 局所的 濃淡構造 大 さ 従 見 べ 領域
大 さ 向 決定 *
2. 領域内部 濃淡構造 表 特徴量 取 出
*物体認識 局所領域 位置・大 さ・向 格子状 機械的 取 多い

9. 9
他 局所特徴 抽出方法
SIFT 変わ 数多 局所特徴 提案さ 、
性能向上 度合い そ ほ 大き で い
 提案 中 わ い 段階 経
特徴 抽出 必要 あ あ
局所領域 対 、複数 フ 並列 適用 、 結果 何
非線形関数 適用 、 後プー ン 行う いう構造

10. 10
符号化
抽出 局所特徴 対 符号化(Encode) 、 付 行う
ビ ュ ワー
自然画像 多様性 極 大 い 、 局所部分 多様性 ほ
、有限(数百〜数千) 典型例 類型化さ 仮定
 典型例 ビ ュ ワー 名付
多数 画像 多数 点 取 出 特徴量 集合 対 、
ン 実行 、得 数百〜数千程度 中心 得 代
表ベ ビ ュ ワー

11. 11
Bag of Features
予 用意 い ビ ュ ワー 用い 画像 枚全体 表現 得
方法 い あ 、最 基本 bag-of-features 用い
各点 局所特徴 同 特徴空間 代表点 あ ビ ュ
ワー う 最近傍 置 換え 量子化
犬 さ
猫 さ
うさ さ
ビ ュ ワー 局所特徴
うさ い

12. 12
プー ン
符号化さ 画像 特徴 帯域特徴 得
局所特徴
大域特徴局所特徴
局所特徴
うさ さ
さ
うさ さ
局所特徴 抽出 符号化 プー ン

13. 13
従来法 成功し 理由
以上 方法 一般物体認識 対 、 以前 予想 覆
成功 収
 理由 プー ン い 、局所特徴 位置情報 潔
捨 あ さ
同一 見 目 変動 対 不変性 実現
 、識別力 局所特徴 依存 為、明 限界 あ

14. 14
従来法 CNN 比較
従来法 CNN 共通点
従来法 局所特徴 抽出→プー ン いう手順
CNN 畳 込 層→プー ン 層 いう手順 極 似 い
従来法 CNN 相違点
従来法 局所特徴 抽出 際 フ 設計 決 、
CNN フ ( ) 学習 決定さ
 、CNN 第 層 学習 フ 経験的 設計さ 従来法 フ
大 違わ い

15. 15
CNN 学習す フィ タ
上 図 MNIST 学習さ CNN 段階目 フ
自然画像 入力 場合 学習さ フ ガボー フィ タ
類似 無色 フ 色や色 変化 関 フ 分さ
事 多い

16. 16
ガ ー フィ タ
ガボー フィ タ 向 概念 持 、
フ あ
画像中 向 線 含 い
抽出 フ あ
具体的 次元 ン波 次元
ウ 関数 積 生成さ
ー フ 例
ー フ 適用例

17. 17
従来法(SIFT) 採用さ い 計算
SIFT ８方向 勾配方向 計算 行 い
 CNN 学習 フ 用い 畳 込 行う
同様 働 考え
CNN 色 関 フ 同時 得 、従来法
SIFT 別 色 特徴 抽出 使用 い
 従 、 段階目 計算 従来法 CNN 大 差 い 思え

18. 18
従来法 大 壁
局所特徴 抽出 う 入力 近い層 工学的 設計
 、CNN 学習 発見 中〜上位層 特徴 同
う 設計
 従来法 CNN 性能 分 理由 あ 言え

19. 19
ネットワー 構造 認識性能
CNN 高い性能 示 理由 従来法 違い 求
 CNN 多層性
 CNN 構造
(画像 取 出 特徴 学習 獲得 柔軟性 持 )
う 本質的 う ？

20. 20
CNN 構造 理由 あ す 考え
Jarrett 畳 込 層 フ ン 値 セ 、
全結合層 学習 多項ロ 回帰 場合 十分
認識率 達成 事 示
全結合層 学習 場合 : 53.3%
フ 学習 場合 : 54.8%
※ し、こ 学習サンプ 数 少 い場合 み あ 、
学習サンプ 十分 あ 場合 、フィ タ 学習 効果を発揮す

21. 21
CNN 部表現
CNN 内部 一体何 表現 い

22. 22
CNN 謎 迫
CNN 成功 鍵 多層構造
、 畳 込 層 プー ン 層 繰 返 構造 有用
、説得力 あ 説明 見 い い
第 層 SIFT 似 い 、働 理解 、
以降 全体 ういう働 い わ い
CNN 入力 ー 何 、 う 表現 い う ？

23. 23
可視化
学習後 CNN 角層 何 い 可視化 試
単純 各層 フ 画像 見 多い
、何 読 取 難 い

24. 24
逆畳込みネットワー
Zeiler 逆畳込 ワー いう独自 考え CNN
中間層 各 ー 何 見 い 可視化
入力画像 成分 注目 ー 出力値 決定
取 出 表示
 結果 ワー 層構造 対応 階層性 示さ

25. 25
階層性
階層 深 連 活性化 ーン 複雑化
斜め 線
縦 線
縦 線
横 線
耳
胴体
目
胴体
うさ 耳
うさ 胴体
うさ 目
こ 胴体
楕
五角形
長方形

26. 26
脳神経系 関係
 高次視覚野 脳皮質 多点電極 刺 、 状態 自
然画像 見 電極 神経細胞 活性 ーン 記録
学習済 CNN 同 画像 入力 、上位層 ー 活性
ーン 記録
CNN 取 出 活性 ーン 用い 神経細胞
振 舞い 回帰 高い精度 予測 可能

27. 27
転移学習
CNN 含 多層NN 魅力 学習 通 入力 ー
良い特徴 取 出 う
 多層NN 学習 魅力的 性質 う あ
あ 程度異 認識 間 学習さ 特徴 共通性 あ

28. 28
多層NN 階層性
逆CNN 項 述べ う 多層NN 学習 特徴 層構造
対応 階層性 持
下位層 特徴 普遍性 持 異 間 共有
上位層 特徴 依存性 高い
従 、下位層 NN 転移学習 利用 可能性

29. 29
下位層 普遍性 利点
一般物体認識 学習 CNN 用意
 CNN 学習自体 一般物体認識 目的 、
学習 ー 規模 大
新 い認識 学習 う 学習 CNN 取 出 特徴
ー ベ ン等 分類
 従 大規模 学習 ー 必要 い
方法 達成 認識精度 数多 認識 い 従来法
凌 高い わ い

30. 30
教師 し学習 画像認識
自己符号化器 多層 ワー

31. 31
単層自己符号化器 局所特徴 学習
画像 局所領域(パ チ) 対象 行う
局所領域 特徴 学習
ー ソウ 3
特徴抽出

32. 32
自己符号化器 さ い
得 入力 ー 次元削減(Dimensional Reduction)
目標 教師 学習
次元削減 要 、入力 特徴 適切 抜 出
主 目的 い
順方向 逆 方向 伝搬さ 元 信号 近 う
重 学習 行う

33. 33
単層自己符号化器 局所特徴 学習
具体的 方法
 ー ー ン
 フ 独立成分分析
 再構成型TICA(Topographic Independent Component Analysis)
 パー 自己符号化器
 ー RBA(Restricted Boltzmann Machine)
名前 紹介 、具体的内容 割愛…

34. 34
パー 自己符号化器
 ワー 構成
入力層
ー 数 : 𝑆 × 𝑆個
S
S
入力画像
切 出
出力層
ー 数 : 𝑁 < 𝑆 × 𝑆 個
𝑾 𝒏𝒆𝒕 𝑎 𝒏𝒆𝒕
= 𝑎 𝑾 + 𝒃
ロ ティ 関数
𝒃

35. 35
ロ ティッ 関数
=
𝐾
+ 𝑟 𝑥0−𝑥
 関数 種
𝐾 = , = , 𝑟 =
 左図 ー 適当 設定
ロ 関数

36. 36
パー 自己符号化器
自己符号化器 以下 う 表
𝒊 − 𝟐
𝒊
最小化
= 𝑎 𝑾 + 𝒃
= 𝑎 𝑾 + 𝒃
自己符号化器 ー 正則化 加え
 ー 性 : 0 い値 事 少 う
出力層 ー 入力毎 活性化 う 制約

37. 37
パー 自己符号化器
𝑁 𝒊 − 𝒊
𝟐
+ 𝛽 𝐷 𝜌 || 𝜌
# of units
=𝒊
𝐷 𝜌 || 𝜌 ー 正規化項 𝜌 log
𝜌
𝜌 𝑗
+ − 𝜌 log
−𝜌
−𝜌 𝑗
𝜌 全学習 ンプ 渡 ー 平均活性度
𝑁
𝜌 平均活性度 目標値
# of units ー 数

38. 38
パー 自己符号化器 使用例
CIFAR-10* 対象 局所特徴 抜 出
 特徴 教師あ 学習 組 合わ 目的 実行
*一般物体認識 ー セ (http://www.cs.tronto.edu/~kriz/cifar.html)

39. 39
多層ネットワー 特徴学習
先ほ ー 自己符号化器 例 単層 ワー
単層 ワー 何層 積 上 積層自己符号化器 使 同様
教師 特徴学習 行う 考え
 視覚野 V2領域 ューロン 取 出 言わ い ー ーや
ン ョン上 画像特徴 層 深層信念 ワー 学習
獲得 いう報告
 RBM 、 個積 上 深層 ン ン(DBM) 使
特徴学習 行 結果MNIST 当時最高水準 認識性能

40. 40
深層 学習…？
先ほ 例 う 学習 高々 ， 層程度 ワー
あ 、層数 増や 性能差 対 認
い場合や 層 方 性能 高い場合
多層性 効果 示 い い

41. 41
畳み込み層 プー ン 層を持 べ
教師 学習 興味深い結果 CNN同様 畳 込
層 プー ン 層 持 ワー 使 得
1. 畳み込み深層信念ネ トワー
2. 再構成型トポ ラフィッ 独立成分分析

42. 42
畳み込み深層信念ネットワー
畳 込 深層信念 ワー = Convolutional deep belief network
CNN同様 畳 込 層 プー ン 層 交互積 重 構造 持
ワー 持 ボ マンマ ン
 畳 込 層 ー 間結合 疎 ー 間 重 共有 形 特殊 RBM
 ー 正則化 適用さ
 各 ー 振 舞い 確率的 記述 確率的最大プー ン 新 導入
自然画像 対象 教師 学習 行
階層的 特徴 学習さ

43. 43
ト フィッ 独立成分分析
入力層、中間層、出力層 層
構造 NN 用い 特徴学習
出力層 ー ー
活性化 う 𝑊 最適化
 𝑊 以下 制約 加え
𝑊𝑊 𝑇
= 𝐼
入力層
𝑾
中間層 出力層
プー ン 層

44. 44
ト フィッ 独立成分分析
特徴学習 方法
TICA 以下 う 表
min
𝑊
𝜀 +
 𝜀 + 局所 ン 正規化 時 出 関数 、
小さ 値 無視 大 値 正規化 事
𝜀 小さ 正 定数

45. 45
再構成型ト フィッ 独立成分分析
標準的 TICA 𝑊𝑊 𝑇
= 𝐼 制約 中間層 ー 数
入力層 小さい 前提 あ
 TICA 冗長 特徴 表現 い
再構成型TICA(reconstruction TICA) 自己符号化器同様
再構成誤差 最小化 TICA 組 込 方法
TICA 重 対 直交性 制約 再構成誤差 最小化
置 換え 形→冗長 基底 学習 可能

46. 46
教師 し学習 畳込み プー ン 必要性
前述 、教師 学習 畳 込 層やプー ン 層
構造 埋 込 良い結果 得
うい 構造 持 い場合 大 画像 扱う場合 ワー
規模 大 いう欠点 あ
、 畳 込 層 構造 必要 理由
無い う 思わ