Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Similar to Convolutionl Neural Network 入門
Similar to Convolutionl Neural Network 入門 (20)
More from maruyama097
More from maruyama097 (20)
Recently uploaded
Recently uploaded (10)
Convolutionl Neural Network 入門
- 2. “ConvNet architectures make the explicit assumption that the inputs are images” -- Andrej Karpathy
- 3. “ConvNets were largely forsaken by the main stream computer-vision and machine-learning communities until the ImageNet competition in 2012” -- Yann LeCun
- 5. はじめに Convolutional Neural Network (CNN, ConvNet) は、現在のDeep Learningの中核技術であり、また、画 像認識を中心に、もっとも成果をあげているAI技術の一 つである。 小論は、出来るだけ多くの技術者に、CNNとはどのような ものであるのかを理解してもらうことを目的とした、CNNの 基本的な働きを解説した入門講座である。 前提知識としては、前々回のマルレクの「ニューラル・ネッ トワーク入門講座」 https://goo.gl/Q0mKfy の一部を想定 している。小論とあわせてチェックしてもらえばと思う。（両 者のカバーする範囲については、次の図をみて欲しい。）
- 6. 以前の講演が扱った範囲
- 7. この講演が扱う範囲
- 8. はじめに CNNにフォーカスした講義ではあるが、CNNの近年の成 功とともに登場したいくつかの重要な手法（Drop Outや 訓練データの増量）、Convolution計算の高速化アルゴ リズム等については、この「入門」講座では、全く触れられ ていない。CNNの具体的な「応用」での実装技術につい ては、別な機会に紹介できればと考えている。 資料の最後に、CNNについての基本的な文献の日本語 抄訳をのせておいた。20年前の文献も含まれているのだ が、講演資料とともに、是非、読んでもらえればと思う。
- 9. Agenda CNN以前のニューラル・ネットワーク CNN以前のニューラル・ネットワークの問題 CNNのアーキテクチャー Convolutionの計算を経験する Convolutionの働きを見る CNNの応用 参考資料
- 12. X X1,X2,..X6は、0または1で W1X1+W2X2+W3X3+ W4X4+W5X5+W6X6 + b > 0 の時発火 重み：Wi シナプスごとの賛成票の強さAをプラスの値に 反対票の強さBをマイナスの値にすると、 式が簡単になる。そうしたWiを「重み」という。 バイアス:b ついでに、閾値 Cの符号を逆にすれば、 式はもっと簡単になる。それを「バイアス」という。 X1 X2 X3 X4 X5 X6 W2=3 W3=-1 W4=3 W5=2 W6=-2 W1=-2 先の次式を想起せよ A – B – C > 0 符号を変えると A + B’+ C’ > 0 の形になる。 復習
- 13. X X1,X2,..X6は、0または1で W1X1+W2X2+W3X3+ W4X4+W5X5+W6X6 + b > 0 の時発火 X1 X2 X5 X4 X3 X6 W2=3 W3=-1 W4=3 W5=2 W6=-2 W1=-2 ニューロンから見れば 信号が、どういう経路で きているかには、関心が ない 一個のニューロンの場合 入力とニューロンの接続の 情報は、固定で、ニューロン 上のシナプスが記憶している。 入力ベクトルの並びの意味
- 14. X1 X2 X3 X4 X5 X6 W1X1+W2X2+W3X3+W4X4+W5X5+W6X6+b > 0 ? 重み W=[W1,W2,W3,W4,W5,W6] バイアス b 入力 X=[X1,X2,X3,X4,X5,X6] の場合の発火の条件 X1 X2 X3 X4 X5 X6 そのことは、式で表現 した場合は、どう反映 されるだろうか？ 今、入力のX3とX5の 位置を交換してみよう。 XT = 一個のニューロンの場合
- 15. X1 X2 X5 X4 X3 X6 W1X1+W2X2+W5X5+W4X4+W3X3+W6X6+b > 0 ? 入力 X=[X1,X2,X5,X4,X3,X6] の場合の発火の条件 重み W=[W1,W2,W5,W4,W3,W6] バイアス b 入力とニューロンの接続の情報は、固定 で、ニューロン上のシナプスが記憶している。 だから、入力のベクトルを入れ替えると、重み のベクトルも入れ替わる。それは、ベクトル表 現の問題で、もともと、入力と重みの「並び順」 に意味があるわけではない。入力と重みが、 シナプスで、一対一に対応していることが重要。 一個のニューロンの場合
- 16. X1 X2 X3 X4 X5 X6 ニューロン1 W1・XT + b1 > 0 ニューロン2 W2・XT + b2 > 0 ニューロン3 W3・XT + b3 > 0 ニューロン4 W4・XT + b4 > 0 ニューロン5 W5・XT + b5 > 0 ニューロン6 W6・XT + b6 > 0 入力 X=[X1,X2,X3,X4,X5,X6] 値：W11X1+W12X2+W13X3+ W14X4+W15X5+W16X6+b1 値：W21X1+W22X2+W23X3+ W24X4+W25X5+W26X6+b2 値：W31X1+W32X2+W33X3+ W34X4+W35X5+W36X6+b3 値：W41X1+W42X2+W43X3+ W44X4+W45X5+W46X6+b4 値：W51X1+W52X2+W53X3+ W54X4+W55X5+W56X6+b5 値：W61X1+W62X2+W63X3+ W64X4+W65X5+W66X6+b6 層としてのニューロンの場合
- 17. X1 X2 X5 X4 X3 X6 ニューロン1 W1・XT + b1 > 0 ニューロン2 W2・XT + b2 > 0 ニューロン3 W3・XT + b3 > 0 ニューロン4 W4・XT + b4 > 0 ニューロン5 W5・XT + b5 > 0 ニューロン6 W6・XT + b6 > 0 入力 X=[X1,X2,X5,X4,X3,X6] 値：W11X1+W12X2+W13X3+ W14X4+W15X5+W16X6+b1 値：W21X1+W22X2+W23X3+ W24X4+W25X5+W26X6+b2 値：W31X1+W32X2+W33X3+ W34X4+W35X5+W36X6+b3 値：W41X1+W42X2+W43X3+ W44X4+W45X5+W46X6+b4 値：W51X1+W52X2+W53X3+ W54X4+W55X5+W56X6+b5 値：W61X1+W62X2+W63X3+ W64X4+W65X5+W66X6+b6 層としてのニューロンの場合 層としても、入力ベクトルの入れ替えは、重みの入れ替えを必要とし、影響を与えない。
- 18. Full Connectの性質を考える ここでは、もう少し詳しく、Full Connectなネットワー クの性質を考えてみよう。 Full Connectのような ノード間の密な結合は、ネットワークを記述するパラ メータの、増大をもたらすことになる。
- 20. X1 X2 X3 X4 H1 H2 H3 M1 M2 M3 M4 Y1 Y2 Full Connectなネットワークでは、隣り 合う層は「完全二部グラフ」で表現される K4,3 K3,4 K4,2
- 22. 完全二部グラフ 完全二部グラフには、もう一つ、重要な特徴がある。それ は、各集合内の頂点同士の間には辺が無いということで ある。 Full Connectなニューラル・ネットワークの、隣り合う層 のあいだのグラフは、完全二部グラフである。 V1 V2
- 24. 完全グラフ
- 26. Full Connectのネットワークの 入力層は、順序を持つ「配列」か？ Full Connectなネットワークでの入力層は、順序を 持つ「配列」なのだろうか？ ここでは、そうではないこ とを述べる。それは、そうしたネットワークでは、入力 層は、構造を持たないので「画像」データのもつ構造 的な情報を、直接には、正確に反映していないことを 意味する。
- 27. X1 X2 X3 X4 X5 X6 X7 X8 X9 X1 X2 X3 X4 X5 X6 X7 X8 X9 層の中のノードのイメージ Full Connectなネットワークの 層の中のノードの集まりを、我々は、 次のように、ノードが順序を持つ一 次元のベクトルと考えることが多い。 X=[X1,X2,X3,X4,X5,X6,X7,X8,X9] といった、入力のベクトル表記や、 層全体の重み行列Wijを考えて、層 全体の出力をφ(X・W+b)で計算す るなど、そうした形式化は有用である。 ただ、それは、対象の一面である。 Full Connectなネットワークは、 もっと強い性質を持っている。 順 序
- 42. 積X W 和 b φ 積 W 和 b φ 隠れ層の ニューロン数:15 重み WH：784x15次元 バイアス bH：15次元 出力層の ニューロン数:10 重み WO：15x10次元 バイアス bO：10次元 入力層 隠れ層 出力層 こっちのグラフの方が、ずっとわかりやすい！ 隠れ層の 入力：784 784次元 TensorFlowのグラフ Sigmoid SoftMax
- 43. 積X W 和 b φ 積 W 和 b φ 隠れ層の ニューロン数:15 重み WH：784x15次元 バイアス bH：15次元 出力層の ニューロン数:10 重み WO：15x10次元 バイアス bO：10次元 入力層 隠れ層 出力層 こっちのグラフの方が、ずっとわかりやすい！ 本当に、それでいいのか？ 隠れ層の 入力：784 784次元 TensorFlowのグラフ Sigmoid SoftMax
- 45. CNN以前のネットワークの第一の問題 パラメーターの数の爆発 入力層にn個のデータがあるとしよう。この時、最初の隠 れ層の一つ一つのニューロンは、それぞれ、入力層のす べてのデータを受け取るので、n個のシナプスを持つ。そ れは、最初の隠れ層のニューロンが、n個の重みパラメー ターを持つことを意味する。 この隠れ層のニューロンの数を m個だとすると、最初の 隠れ層の持つパラメーターの総数は、 n x m + n とな る。（最後の + n は、バイアスの個数である） 実際の画像データで、この n x m が、どのくらいになる のか、コンピュータ上でよく使われる画像フォーマットで見 てみよう。
- 46. よく使われる画像フォーマットの画素数 機械学習 総画素数 MNIST 28x28 [GreyScale] 784x1 手書き数字 10 クラス CIFAR-10 32x32 1024x3 CIFAR-10/100 ImageNet (ILSVRC-2010) 256x256 65,536x3 画像データ 1,000クラス AlphaGO 19x19 361x1 PC/TV VGA 640x480 307,200x3 DOS/V XGA 1024x768 786,432x3 Windows3.0~XP Full-WXGA 1366x768 1,049,088x3 低価格HDTVの主流 Full-HD 1920x1088 2,073,600x3 一般的なディスプレイ 4K 3840x2160 8,294,400x3 Xperia Z5 Premium 8K FUHD 7680x4320 33,177,600x3
- 47. CNN以前のネットワークの第一の問題 パラメーターの数の爆発 MNISTの入力データ数は28x28=784、 CIFAR-10の入力データ数は32x32x3=3,072 CIFAR-10はカラー画像なので、x3になる、 ImageNetの入力データ数は、256x256x3=196,608 Full Connectなネットワークでは隠れ層の一個のニュー ロンについて、これだけのパラメーターが必要になる。 もうひとつ注意してほしいのは、これらの機械学習でよく 用いられる画像データは、コンピュータの世界で一般的な 画像データと比較すると、必ずしも大きなものではないと いうことである。それは、25年前のDOS/Vの画像データ より小さい。 ちなみに、AlphaGOの入力データは、19x19x1である。
- 49. ImageNet 1000 Categories x AlexNet ⚪︎ ❌
- 50. ImageNet (ILSVRC-2010) 14,197,122 images, 21,841 synsets indexed
- 51. Full Connectなネットワークでは、入力層の全てのノード が、次の層の全てのノードと接続しているので、入力層上 でのデータの並びは、大きな意味を持たない。 ただ、画像データでは、一つ一つのピクセルの位置情報と その並びは、意味を持つ。同時に、画像認識という視点か ら考えれば、ピクセルの微細な位置のずれや画像の乱れ は、画像の認識にとっては、大きな意味を持たない。こうし た、相反する要求を、同時に満たすことが、求められるこ とになる。 また、RGBで表された三枚の画像のデータには、対応す る箇所で、強い相関がある。同様に、画像上の特徴的な パターンは、データ内部の局所的な強い相関として捉える ことができる。 CNN以前のネットワークの第二の問題 画像データの特徴を捉えているか？
- 54. 特徴的なパターン
- 56. Full Connectなネットワークの問題 パラメーターの数の爆発 ー＞ 完全二部グラフの見直し データの局所的な情報の抽出 ー＞ 入力データに、明確 な構造と位置情報を与える。完全二部グラフの見直し 微細なシフトやゆがみの捨象 ー＞ 解像度を下げる 640x480 320x240 160x120 80x60 後述する Pooling層は、そうした役割を持つ。
- 57. Full Connectなネットワークの問題 パラメーターの数の爆発 ー＞ 完全二部グラフの見直し データの局所的な情報の抽出 ー＞ 入力データに、明確 な構造と位置情報を与える。完全二部グラフの見直し 微細なシフトやゆがみの捨象 ー＞ 解像度を下げる Full Connectな、ニューラル・ネットを、あらためて、 チューンする
- 58. ニューラル・ネットをチューンする 入力データを、Full Connect = 完全二部グラフのように、 「集合」ではなく、「幅」と「高さ」 (と「深さ（RGB）」) を持っ た、ピクセルの順序を持った「配列」として表現する。そうし た位置情報によって、「近い」ピクセル間の、「局所的な相 関関係」を表現できる。 次層のニューロンは、 Full Connect = 完全二部グラフ のように、入力層のすべてのノードのデータを受けいれる のではなく、隣接したノードからなる、限られた領域のノー ドのデータのみを受け入れるようにする。（「局所的な受容 野」） それは、パラメーターの数を大きく減らす。
- 59. X1 X2 X3 X4 X5 X6 ニューロン1 W1・XT + b1 > 0 ニューロン2 W2・XT + b2 > 0 ニューロン3 W3・XT + b3 > 0 ニューロン4 W4・XT + b4 > 0 ニューロン5 W5・XT + b5 > 0 ニューロン6 W6・XT + b6 > 0 入力 X=[X1,X2,X3,X4,X5,X6] 値：W11X1+W12X2+W13X3+ W14X4+W15X5+W16X6+b1 値：W21X1+W22X2+W23X3+ W24X4+W25X5+W26X6+b2 値：W31X1+W32X2+W33X3+ W34X4+W35X5+W36X6+b3 値：W41X1+W42X2+W43X3+ W44X4+W45X5+W46X6+b4 値：W51X1+W52X2+W53X3+ W54X4+W55X5+W56X6+b5 値：W61X1+W62X2+W63X3+ W64X4+W65X5+W66X6+b6 入力 X=[X1,X2,X3,X4,X5,X6] Full Connect な場合 パラメーターの数は、6x6+6=42
- 60. X1 X2 X3 X4 X5 X6 ニューロン1 WA・X1-３ T + b > 0 ニューロン2 WA・X2-４ T + b > 0 ニューロン3 WA・X3-５ T + b > 0 ニューロン4 WA・X4-６ T + b > 0 入力 X=[X1,X2,X3,X4,X5,X6] ニューロン1は、入力層の X1,X2,X3の三つからしか データを受け取らない。 その他のニューロンも、同 様に、三つのデータしか受 け取らない。 これらのニューロンは、入力 データの小部分を変換する 局所的な受容野、局所的な フィルターとして機能する。 局所的な受容野と フィルター
- 61. X1 X2 X3 X4 X5 X6 ニューロン1 WA・X1-３ T + b > 0 ニューロン2 WA・X2-４ T + b > 0 ニューロン3 WA・X3-５ T + b > 0 ニューロン4 WA・X4-６ T + b > 0 入力 X=[X1,X2,X3,X4,X5,X6] ニューロン2は、入力層の X2,X3,X4の三つからしか データを受け取らない。 その他のニューロンも、同 様に、三つのデータしか受 け取らない。 これらのニューロンは、入力 データの小部分を変換する 局所的な受容野、局所的な フィルターとして機能する。 局所的な受容野と フィルター
- 62. X1 X2 X3 X4 X5 X6 ニューロン1 WA・X1-３ T + b > 0 ニューロン2 WA・X2-４ T + b > 0 ニューロン3 WA・X3-５ T + b > 0 ニューロン4 WA・X4-６ T + b > 0 入力 X=[X1,X2,X3,X4,X5,X6] ニューロン3は、入力層の X3,X4,X5の三つからしか データを受け取らない。 その他のニューロンも、同 様に、三つのデータしか受 け取らない。 これらのニューロンは、入力 データの小部分を変換する 局所的な受容野、局所的な フィルターとして機能する。 局所的な受容野と フィルター
- 63. X1 X2 X3 X4 X5 X6 ニューロン1 WA・X1-３ T + b > 0 ニューロン2 WA・X2-４ T + b > 0 ニューロン3 WA・X3-５ T + b > 0 ニューロン4 WA・X4-６ T + b > 0 入力 X=[X1,X2,X3,X4,X5,X6] ニューロン4は、入力層の X4,X5,X6の三つからしか データを受け取らない。 その他のニューロンも、同 様に、三つのデータしか受 け取らない。 これらのニューロンは、入力 データの小部分を変換する 局所的な受容野、局所的な フィルターとして機能する。 局所的な受容野と フィルター
- 64. X1 X2 X3 X4 X5 X6 ニューロン1 WA・X1-３ T + b > 0 ニューロン2 WA・X2-４ T + b > 0 ニューロン3 WA・X3-５ T + b > 0 ニューロン4 WA・X4-６ T + b > 0 入力 X=[X1,X2,X3,X4,X5,X6] ニューロン1は、入力層の X1,X2,X3の三つからしか データを受け取らない。 その他のニューロンも、同 様に、三つのデータしか受 け取らない。 これらのニューロンは、入力 データの小部分を変換する 局所的な受容野、局所的な フィルターとして機能する。 局所的な受容野と フィルター
- 65. X1 X2 X3 X4 X5 X6 ニューロン1 WA・X1-３ T + b > 0 ニューロン2 WA・X2-４ T + b > 0 ニューロン3 WA・X3-５ T + b > 0 ニューロン4 WA・X4-６ T + b > 0 入力 X=[X1,X2,X3,X4,X5,X6] より重要なことは、ここでは、 すべてのニューロンが、同じ パラメーター（重みWAとバイ アス b）を共有していること である。 これらのニューロンは、同じ 働きをする同じものであると みなしていい。それは、同一 の局所的な特徴を検出して いると考えることができる。 WAは、三つの入力を受け取 るので、次の形をしている。 WA=[WA1,WA2,WA3] パラメーターの共有 パラメーターの数は、3+1=4 異なるニューロンが、同じ重みWA 同じバイアスbを共有している
- 66. X1 X2 X3 X4 X5 X6 ニューロン1 WB・X1-３ T + b’ > 0 ニューロン2 WB・X2-４ T + b’ > 0 ニューロン3 WB・X3-５ T + b’ > 0 ニューロン4 WB・X4-６ T + b’ > 0 入力 X=[X1,X2,X3,X4,X5,X6] 同じ入力Xに対して、異なる パラメーター WB,b’ を持つ 一群のニューロンを考える ことができる。ここでも、すべ てのニューロンが、同じパラ メーターを共有している。 これらのニューロンは、先の ニューロン群とは異なる局所 的な特徴を検出していると考 えることができる。 WA,WBと同様に、WC,WD, ...と、特徴検出のニューロン 群を追加しても、パラメータの 数は、大きくは増えない。 パラメーターの共有と 異なるフィルターの追加 同じパラメーターを持つ、 同じ働きのニューロンの並び パラメーターの数は、4のn倍 異なる特徴を抽出する 別の受容野＝フィルター
- 67. X1 X2 X3 X4 X5 X6 Y1 Y2 Y3 Y4 Y5 Y6 X1 X2 X3 X4 X5 X6 Y Y Y Y Full Connect CNN 接続の 局所化 パラメータ の共有 パラメーターの数は、6x6+6=42 パラメーターの数は、3+1=4
- 68. Christpher Olahの”Conv Nets: A Modular Perspective” http://goo.gl/EuPGgP から その最も基本的なところでは、コンボリューションナル・ニューラル・ネット ワークは、同じニューロンの沢山の同一のコピーを利用するニューラル・ ネットワークの一種だと考えることができる。 このアプローチは、学習され るべき実際のパラメーターの数をかなり小さなものに抑えながら、パラメー ターの値がニューロンがいかに振る舞うかを記述するのだが、ネットワー クが多くのニューロンを持ち、計算的には大きなモデルを表現することを 可能にする。 同一のニューロンの複数のコピーを持つという、このトリックは、大まかに 言えば、数学やコンピューター・サイエンスでの関数の抽象に似たもので ある。プログラミングをするとき、我々は関数を一度だけ書いて、それを多 くの場所で利用する。同じコードを違った場所で何百回も書かないことは、 プログラムを速くし、バグを少なくすることにもなる。同様に、コンボリュー ションナル・ニューラル・ネットワークでは、ニューロンが一度学習すれば、 それを多くの場所で利用することができる。そうして、モデルの学習は容易 になり、エラーも減らせることになる。
- 70. David H. Hubel Torsten Wiesel 1960年代 大脳視覚野の研究
- 72. Receptive Field of Single Neuron 一つのニューロンの「受容野」
- 73. 一次視覚野 (V1) ヒト成人の一次視覚野の平均ニューロン数はそれぞれの大脳半球につき、約1億4000 万個ほどであると見積もられる。V1 は視覚における空間情報の明確なマップを持つ。 視野と V1 における位置の対応は非常に正確で、盲点でさえも V1 でマップされている。 この対応関係は進化的に基本的で、V1 をもつ殆どの動物において見られる。 https://goo.gl/nvV9Id 視野と大脳視覚野(V1)における、 空間情報の正確なマッピング
- 74. Hinton, LeCun, Bengioの “Deep Learning”からの抜粋 「ConvNetのコンボリューション層とプーリング層は、視覚神 経科学におけるシンプル細胞とコンプレックス細胞に、直接に インスパイアーされたものだ。全体のアークテクチャーは、視 覚野の腹側経路のLGN–V1–V2–V4–IT という階層を思い 浮かばせるものだ。ConvNetモデルとサルが同じ絵を見せら れた時、ConvNetの高位ユニットの活性化は、サルの下側 頭皮質の160のニューロンのランダムな集合の変異の半分 を説明するものだ。」 http://goo.gl/HRnXBy
- 76. 三次元のボリュームから 三次元のボリュームへの変換 基本的には、Full Connect ニューラル・ネットワークのよ うに、無次元の集合から無次元の集合への変換としてで はなく、三次元のボリュームから三次元のボリュームへの 変換として、ニューラル・ネットワークを再構築する。 もちろん、最初の入力層に置かれるのは、幅 x 高さ x 深 さ（RGB）の三次元の座標位置を持つ、生のカラー画像で ある。 CNNは、入力をカラー画像と想定して、認識専用ニューラ ルネットとしてチューンされたニューラル・ネットワークであ る。
- 78. AlexNet 三次元のボリュームから三次元のボリュームへ ここでは、もう、全部、立体の直方体になっている。 小さな直方体の上に、四角錐がおかれている。 この小さな直方体は、何を意味しているのだろう？
- 92. この操作は、対象とする領域から、一番 大きな値を持つものをピックアップするだ けである。データは、x-y方向に関しては、 縮小される。（「深さ」は、変化しない。） この操作は、パラメーターを持たない。
- 100. データの形式
- 117. コンボリューションの計算
- 118. コンボリューションの計算 対応する一層の入力データとフィルターを重ねる 重なった対応する要素同士を掛け、それらを足す 各層で同じ計算をする 各層の計算結果とフィルターのバイアスを加える これで計算が終わるわけではない。これで、コンボリュー ションの一点が計算されただけ。 フィルターを、入力データの全面を覆うように移動させる。 フィルターの位置（同じことだが、読み出された入力データ の位置）が、結果としてのコンボリューションの要素の位 置に対応する。
- 121. 対応する一層の入力データとフィルターを重ねる 重なった対応する要素同士を掛け、それらを足す 各層で同じ計算をする 0x-1+0x-1+0x0+0x0+0x0+0x0+0x0+0x-1+1x-1
- 122. 対応する一層の入力データとフィルターを重ねる 重なった対応する要素同士を掛け、それらを足す 各層で同じ計算をする 0x0+0x-1+0x0+0x-1+0x1+0x-1+0x-1+1x0+0x1
- 123. 0x-1+0x1+0x1+0x0+0x1+0x1+0x-1+0x0+2x-1 +0x-1+0x-1+0x0+0x0+0x0+0x0+0x0+0x-1+1x-1 +0x0+0x-1+0x0+0x-1+0x1+0x-1+0x-1+1x0+0x1 +1 (baias) =-2+ -1+0+1 = -2 各層の計算結果とフィルターのバイアスを加える
- 124. 0x-1+0x1+0x1+0x0+0x1+0x1+0x-1+0x0+2x-1 +0x-1+0x-1+0x0+0x0+0x0+0x0+0x0+0x-1+1x-1 +0x0+0x-1+0x0+0x-1+0x1+0x-1+0x-1+1x0+0x1 +1 (baias) =-2+ -1+0+1 = -2 これで計算が終わるわけではない。これで、 Activation Mapの一点が計算されただけ。
- 125. 0x-1+0x1+0x1+0x0+0x1+0x1+0x-1+0x0+2x-1 +0x-1+0x-1+0x0+0x0+0x0+0x0+0x0+0x-1+1x-1 +0x0+0x-1+0x0+0x-1+0x1+0x-1+0x-1+1x0+0x1 +1 (baias) =-2+ -1+0+1 = -2 フィルターの位置（同じことだが、読み出された 入力データの位置）が、結果としての Activation Mapの要素の位置に対応する。
- 126. 0x-1+0x1+0x1+0x0+1x1+2x1+2x-1+1x0+0x-1 +0x1+0x-1+0x0+1x0+2x0+2x0+1x0+0x-1+2x-1 +0x0+0x-1+0x0+0x-1+2x1+1x-1+0x1+2x0+2x1 +1 (baias) =1+ -2+3+1 = 3 フィルターを移動し、同じ計算をする
- 127. 0x-1+0x1+0x1+2x0+2x1+0x1+0x-1+2x0+0x-1 +0x1+0x-1+0x0+2x0+0x0+0x0+2x0+0x-1+0x-1 +0x0+0x-1+0x0+1x-1+0x1+0x-1+2x1+1x0+0x1 +1 (baias) =2+ 0+1+1 = 4 フィルターを移動し、同じ計算をする
- 128. 以下、省略して、パラパラマンガ
- 129. 0x-1+0x1+0x1+0x0+0x1+0x1+0x-1+0x0+2x-1 +0x-1+0x-1+0x0+0x0+0x0+0x0+0x0+0x-1+1x-1 +0x0+0x-1+0x0+0x-1+0x1+0x-1+0x-1+1x0+0x1 +1 (baias) =-2+ -1+0+1 = -2 一つ目のフィルター 一つ目の フィルター に対応
- 130. 0x-1+0x1+0x1+0x0+1x1+2x1+2x-1+1x0+0x-1 +0x1+0x-1+0x0+1x0+2x0+2x0+1x0+0x-1+2x-1 +0x0+0x-1+0x0+0x-1+2x1+1x-1+0x1+2x0+2x1 +1 (baias) =1+ -2+3+1 = 3 一つ目のフィルター 一つ目の フィルター に対応
- 131. 0x-1+0x1+0x1+2x0+2x1+0x1+0x-1+2x0+0x-1 +0x1+0x-1+0x0+2x0+0x0+0x0+2x0+0x-1+0x-1 +0x0+0x-1+0x0+1x-1+0x1+0x-1+2x1+1x0+0x1 +1 (baias) =2+ 0+1+1 = 4 一つ目のフィルター 一つ目の フィルター に対応
- 147. 重要な、でも単純な、関係 入力データの厚み（depth）と、フィルターの厚み（depth）、 は一致している（一致しなくてはならない） 出力としてのコンボリューションのボリュームの厚み （depth）は、フィルターによって生成されたActivation (Feature) Mapの枚数に等しいので、フィルターの数に 一致する。 コンボリューション層のその他の次元(Width, Height) は、入力データの大きさとフィルターの大きさで決まる。そ れについては、別項で。
- 149. LeNet 三次元のボリュームから三次元のボリュームへ 平面が、複数枚、重ねて置かれているが .... 四角錐は、何を表しているのか？ 32x32x1 28x28x6 14x14x6 14x14x6 10x10x16 5x5x16 FC
- 150. AlexNet 三次元のボリュームから三次元のボリュームへ ここでは、もう、全部、立体の直方体になっている。 小さな直方体の上に、四角錐がおかれている。 この小さな直方体は、何を意味しているのだろう？ 224x224x3 55x55x96 27x27x256 13x13x384 13x13x384 13x13x256 FC
- 151. 三次元のボリュームから三次元のボリュームへ これも、全部、立体の直方体になっている。 小さな直方体は、省略されている。 四角錐の位置が、先のとは異なっている。 224x224x3 55x55x96 27x27x256 13x13x384 13x13x384 13x13x256 FC
- 153. 「3D Volume 描像」 と Convolution 再び この小さな直方体は、このフィルターが一回の演算で作用 するデータの三次元構造も表している。重なり合って、一 つのものとして描かれているが、ここには、二つの小さな 直方体があるのだ。一方はデータで、もう一方は、フィル ターである。 対応する要素同士が掛けられ、それが全部足し合わされ る。それは、一つの数字になる。小さな直方体から伸びる 四角錐の頂点は、この一つの数字を表している。 大きな直方体の中を、小さな直方体がスライドしてスキャ ンする。四角錐の頂点は、一つの平面を形成する。スキャ ンが終われば、別のフィルターについて、同じ操作が繰り 返され、それで、別の平面が形成される。こうして、平面は 積み重ねられ、それが次のボリュームの厚みになる。
- 155. 画像処理ソフトとConvolution 実は、Convolutionは、意外と身近なところで利用されて いる。PhotoshopやGIMPといった画像処理ソフトで、フィ ルターを利用して、様々なエフェクトをかける操作が、 Convolutionの計算として実装されている。 GIMPで実際に利用されている、5x5（あるいは、3x3）の 行列が、フィルターとして、どのような効果をもたらすかを、 以下に、いくつかの例で示す。これらは、Convolution Filterの働きを示す一つの例である。 Deep Learning登場以前の画像認識技術でも、輪郭や エッジの検出に、こうした手法は、広く使われていた。 GPUの利用も、CNN以前に、画像処理の世界ではじまっ たものだ。「画像の世界」というくくりで見れば、CNNも「連 続的な進化」という一面があることがわかる。
- 156. GIMPのフィルター
- 157. GIMPのフィルター
- 158. GIMPのフィルター
- 159. GIMPのフィルター
- 160. GIMPのフィルター
- 161. 学習されるフィルターと Activation(Feature) Map 画像処理ソフトのフィルターとCNNのフィルターの大きな 違いは、画像処理ソフトのフィルターは固定されたものだ が、CNNのフィルターは、長い「訓練」の過程を通じて、変 化し、学習されるものだということ。 また、画像処理ソフトでは、フィルターの適用の結果自体 が、最終的な目的になるのだが、CNNでは、フィルターの 適用結果としてのActivation(Feature) Mapは、中間 生成物で、繰り返し、フィルター適用の対象となる。 次ページの図は、CNNでのActivation(Feature) Map の様子を示したもの。この図の水平方向に広がるMapを 垂直に積み重ねたものが、三次元の立方体になる。 同時にこの絵は、「三次元ボリューム」描像も相対的なも のであることを知らせている。本質的には「並列・分散」...
- 162. コンボリューショナル・ネットワークの内部。サモエド犬の画像（下左。下右のRGB(red, green, blue)が入力）に対する、典型的なコンボリューショナル・ネットワーク・アーキ テクチャーの各層（水平方向）の出力（フィルターではない）。それぞれの長方形の画像 は、それぞれの画像の位置で検出され、学習されたフィーチャーの一つに対する出力 に対応するフィーチャー・マップ。情報は、下から上に流れる。下位のレベルのフィー チャーは、方向を持つエッジの検出器のように振る舞う。出力のそれぞれの画像のクラ スについて、スコアが計算される。 ReLUは、rectified linear unitの略。 Activation(Feature) Mapを見る Hinton,LeCun,Bebgioの”Deep Learning”から
- 164. 訓練されたフィルターを見る 次の図は、AlexNetの最初のConvolutionで利用され たフィルターの学習された結果を図示したものである。 明らかに、学習結果としてのフィルターは、上段と下段で 様相が異なっているのが見て取れる。上段のフィルターは、 基本的には白黒の縦・横・斜めのパターンで、下段のフィ ルターは、色付きの何らかのパターンを示している。 HubelとWieselの大脳視覚野での、特定のパターンにの み反応する局所的な受容野での「単純型細胞」の発見を 知っていれば、このAlexNetの第一段のフィルターによる Convolutionが、同じような役割を担っていると「想像」す ることは可能である。また、それは正しいのかもしれない。 ただ、AlexNetのフィルターで、画像としてみることのでき るのは、この第一段フィルターが最初で最期である。
- 166. 訓練されたフィルターを見る なぜなら、この第一段のフィルターは、入力データと同じく、 RGB（と解釈できる）の三層からなるので、カラー画像とし て、「見る」ことができるのだが、他の上の階層のフィル ターは、そのような構造を持っていない。 例えば、AlexNetの第二段のフィルターは、5x5x256の 構造を持っている。5x5はともかく、256層からなるフィル ターを、画像として「見る」ことはできない。 AlexNetの「三次元ボリュームから三次元ボリュームへ」 という図式の中で、大きな直方体の内部に描かれた小さ な直方体は、フィルターの三次元の構造を表している。こ れを、一目でわかるように「可視化」するのは難しい。
- 168. CNNで学習されたフィルター
- 169. ConvolutionとCNNの可視化
- 170. ConvolutionとCNNの可視化 ただ、CNNの各階層のフィルターが、それぞれ異なった働 きをしているだろうという「予想」は、正しいのだ。そのこと を鮮やかに示す研究がある。「CNNの可視化」と呼ばれる 研究である。 これまで、Convolutionの結果である Activation Map や、Convolutionを引き起こすフィルターを、直接、見よう としてきて、たいした情報は得られなかった。 CNNの可視化では、あるフィルターの一つに注目して、そ のフィルターを、元の画像が、どのように通過していくのか を考える。あるフィルターがもっとも反応した画像を、反応 に順位をつけて、複数枚選び出す。それが、そのフィル ターの働きを代表すると考えるのだ。今回の講演では、そ の詳細を述べることはできない。
- 171. CNNの可視化 Visualizing and Understanding Convolutional Networks, Zeiler and Fergus 2013 Deep Inside Convolutional Networks, Simonyan et al., 2014 Striving for Simplicity: The all convolutional net, Springenberg et al., 2015
- 172. ConvolutionとCNNの可視化 次の図は、こうして得られた、CNNの下位のフィルターと、 上位のフィルターが、どのような画像にもっとも反応したの かを、それぞれのフィルターについて、上位9つの画像を 選んだものだ。 下位の四つのフィルターについては、そのいずれもが、あ る特定の単純なパターンに反応していることがわかる。た とえば、「丸いもの」「波の跡」「グラデーション」「画面を垂 直に切る直線」等々。 上位の四つのフィルターが抽出した特徴は、驚くべきもの だ。それぞれのフィルターに対応する9つの画像は、これ らのフィルターが、それぞれ、「眼」「花」「車輪」「文字」が ある画像に反応していることを示している！
- 176. CNNの応用 以下の画像データは、Stanford大の Fei- Fei Li & Andrej Karpathy & Justin Johnsonの2016年冬の講義 “CS231n: Convolutional Neural Networks for Visual Recognition” から借用した。 http://cs231n.stanford.edu/syllabus. html
- 179. オブジェクトと位置の検出
- 183. 顔認識、ビデオ動画の認識、数字の認識
- 184. 関節の動きの認識、TVゲームの学習
- 186. ウサギの網膜の 電子顕微鏡写真
- 193. 次回マルレク 予告 言語理解とDeep Learning 日時： 7月下旬 場所： 未定 登壇者 丸山不二夫 AI研究の「本丸」の一つは、人間の言語能力を、機械に移植 することです。次回のマルレクでは、Chomskyの新しい言語 理論 Minimalist Programや、Recurrent Neural Network の紹介を通じて、この問題へのアプローチの現状 を探ります。
- 194. 参考資料 (日本語抄訳) 1. “Convolutional Networks for Images, Speech and Time-Series” LeCun, Bengio http://goo.gl/0qOsYK 1995年 2. “Deep Learning” Hinton, LeCun, Bengio http://goo.gl/HRnXBy 2015年 3. “Convolutional Neural Networks for Visual Recognition” Andrej Karpathy et al. 2016年 http://goo.gl/Dwhm5V
- 195. "Convolutional Networks for Images, Speech and Time- Series" LeCun and Bengio 1995年 http://yann.lecun.com/exdb/publis/p df/lecun-bengio-95a.pdf
- 196. INTRODUCTION 複雑で高次元の非線形のマッピングを、大規模なサンプルの 集まりから学習する多層のバックプロパゲーション・ネットワー クの能力は、それらを、画像認識と音声認識の、明らかな候 補者としている (論文 “PATTERN RECOGNITION AND NEURAL NETWORKS” を参照のこと)。伝統的なパターン 認識のモデルでは、人間によってデザインされた特徴抽出器 が入力から重要な情報を集め、重要ではない変異を取り除い ていた。
- 202. コンボリューションナル・ネットワーク コンボリューションナル・ネットワークは、以下の三つのアーキ テクチャー的なアイデアを結合して、ある程度までのシフトや 歪みに対する不変性を保障しようとする。それは、局所的な 受容野・重みの共有（あるいは、重みの複製）・空間的時間的 サブサンプリングを時々行うこと、の三つである。文字を認識 する典型的なコンボリューションナル・ネットワークを、図１に 示した。(LeCun et al., 1990) 入力の平面は、大雑把にサイズが正規化され中央に置かれ た文字のイメージを受け取る。ある層のすべてのユニットは、 その前の層の小さな近傍に位置付けられたユニットの集合か ら入力を受け取る。
- 203. ユニットを入力上で局所的な受容野に結合しようというアイデ アは、60年代初期のパーセプトロンにさかのぼる。それは、 HubelとWieselが、局所的な感受性を持ち、方向に選択的 に反応するニューロンを、ネコの視覚システムで発見したのと、 ほとんど同じ時期である。 局所的な結合は、視覚的な学習の ニューラル・モデルで、何度となく再利用されてきた (Mozer, 1991; Le Cun, 1986を参照のこと。そして、この本の NEOCOGNITRON)。局所的な受容野で、ニューロンは、方 向を持ったエッジや端点やカドといった基本的な視覚的な諸 特徴を抽出できる（スピーチのスペクトグラムでも似たような 諸特徴がある）。
- 211. すべての重みは、バックプロパゲーションで学習されるので、 コンボリューショナル・ネットワークは、自身の特徴抽出器を 統合したものと見ることができる。重みの共有というテクニック は、自由なパラメーターの数を減らし、マシンの「容量」を小さ なものにし、総合化の能力を改善するといった、興味深い副 作用を持っている (重みの共有と、学習と総合化については、 LeCun, 1989を参照されたい)。 図１のネットワークは、約 100,000 の結合を持つのだが、重みの共有によって、自由 なパラメーターは、2,600しかない。
- 212. こうしたネットワークは、手書き文字認識の分野での他の方法 (Bottou et al., 1994 また、HAND WRITTEN DIGIT RECOGNITIONを参照されたい)と好意的に比較され、商業 的なアプリケーションでも利用されている。 単一の時間次元で重みを共有する固定サイズのコンボリュー ショナルなネットワークは、タイム・ディレー・ニューラル・ネット ワーク（TDNN）として知られている。TDNNは、音素の認識 （サブサンプリングなし）(Lang and Hinton, 1988; Waibel et al., 1989)、話された語の認識（サブサンプリン グあり） (Bottou et al., 1990)、また、オンラインの手書き 文字の認識 (Guyon et al., 1991)に、利用されてきた。
- 214. Geoffrey E. Hinton Geoffrey E. Hinton Yann LeCun, Yoshua Bengio Deep Learning ConvNet
- 217. コンボリューショナル・ネットワークの内部。サモエド犬の画像（下左。下右の RGB(red, green, blue)が入力）に対する、典型的なコンボリューショナル・ ネットワーク・アーキテクチャーの各層（水平方向）の出力（フィルターではな い）。それぞれの長方形の画像は、それぞれの画像の位置で検出され、学習 されたフィーチャーの一つに対する出力に対応するフィーチャー・マップ。情報 は、下から上に流れる。下位のレベルのフィーチャーは、方向を持つエッジの 検出器のように振る舞う。出力のそれぞれの画像のクラスについて、スコアが 計算される。 ReLUは、rectified linear unitの略。
- 224. スピーチの認識とドキュメントの読み込みのためのtime- delay ニューラル・ネットワークに始まって、1990年代の始 め頃には数多くのコンボリューショナル・ネットワークのアプリ ケーションが存在していた。ドキュメント読み込みのシステム は、訓練されたConvNetと言語の制約条件を実装した確率 的モデルを結合して使用していた。1990年代の終わり頃に は、このシステムは、アメリカの小切手の10%以上を読み込 んでいた。のちには、一定数のConvNetベースの光学的文 字認識と手書き文字認識のシステムが、マイクロソフトによっ て展開された。1990年代の初めには、 ConvNets は、自然 な画像の中の、顔や手といったオブジェクトの検知、顔認識で も、まだ実験的なものであった。
- 226. 重要なことは、画像はピクセル・レベルでラベル付けができる ということである。このことは、自律動作をするロボットや自動 走行カーを含むテクノロジーに、応用を見出していくだろう。 Mobileye と NVIDIAのような会社は、こうしたConvNet ベースの方法を、将来の自動車のビジョン・システムに利用し ている。 その他の応用で、重要さを増しているのは、自然言 語の理解とスピーチの認識である。
- 229. 現在のConvNetアーキテクチャーは、10から20のReLUの 層、数億の重みパラメーターを持ち、ユニット間の結合の数は 数十億になる。ただ、こうした大規模なネットワークを訓練す るのに、ほんの2年前は、数週間かかっていたのだが、ハード ウェアとソフトウェア、そして並列化のアルゴリズムの進化で、 訓練時間は、数時間に低下してきている。 ConvNetベースのビジョン・システムのパフォーマンスは、 Google, Facebook, Microsoft, IBM, Yahoo, Twitter, Adobeを含む大部分の主要なテクノロジー企業、 さらには、 急速にその数を増やしているスタートアップ企業に、研究・開 発プロジェクトを開始させ、ConvNetベースのイメージ理解の 製品とサービスの展開を引き起こしている。
- 230. ConvNets は、チップあるいはFPGA(field- programmable gate arrays)といったハードウェアでの効 率的実装が、簡単にできる。少なくない企業、 NVIDIA, Mobileye, Intel, Qualcomm, Samsung といった企業 が、スマートフォン、カメラ、ロボット、自動運転カーに、リアル タイムのビジョン・アプリケーションを可能にするConvNet チップを開発している。
- 231. Convolutional Neural Networks for Visual Recognition http://cs231n.github.io/convolutional- networks/ http://cs231n.stanford.edu/
- 232. Convolutional Neural Networks (CNNs / ConvNets) Convolutional Neural Networksは、前章で見た通常の ニューラル・ネットワークと、とてもよく似ている。それは、学習 可能な重みとバイアスを持つニューロンから構成されている。 それぞれのニューロンは、入力を受け取り、内積を計算して、 ある場合には、それに非線形の関数が続く。ネットワーク全体 は、ここでも、一方の端の、生の画像のピクセルから、他方の 端のクラスのスコアまで、一つの微分可能なスコア関数を表 現している。さらにCNNにも、最後の層（Full Connectな）に は、（SVM/Softmaxのような）損失関数もある。通常の ニューラル・ネットワークのために開発してきた、手法やノウハ ウは、全て、CNNにも適用できる。
- 235. 通常のニューラル・ネットワークは、 フル画像には、うまくスケールしない。 CIFAR-10では、画像は、 32x32x3 (32 幅, 32 高さ, 3 色チャンネル) しかない。だから、通常のニューラル・ネット ワークの最初の隠れ層のひとつのフル・コネクテッドなニュー ロンは、 32*32*3 = 3072 の重みを持つだろう。この量は、 なんとか管理できるようにも見える。しかし、明らかに、フル・ コネクテッド構造は、もっと大きな画像にはスケールしない。 例えば、もっとちゃんとした画像のサイズ、 200x200x3 なら、 ニューロンは、200*200*3 = 120,000 の重みを持つこと になる。さらに、こうしたいくつかのニューロンを欲しいと思う のは、ほぼ確実なので、パラメーターの数は、急速に積み上 がってゆく。明らかに、フル・コネクトは、無駄が多く、パラメー ターの巨大な数は、すぐに、オーバーフィッティングに導く。
- 239. 上: 通常の三層のニューラル・ネットワーク。 下: 一つの層を図示したのだが、 ConvNetでは、ニューロン を三次元(幅、高さ、深さ)に並べる。 ConvNetの全ての層は、 入力の三次元のかたまりを、出力の三次元のかたまりに変換 する。この例では、赤で示された入力層が画像を保持してい る。だから、その幅・高さは、画像の次元である。そして、深さ は（ Red, Green, Blue のチャンネル）、3になる。 ConvNetは、複数の層からなる。全ての層は、単純なAPIを 持つ。それは、入力の三次元のかたまりを、微分可能な関数 で、出力の三次元のかたまりに変える。それは、パラメーター を持つ場合もあれば、持たない場合もある。
- 241. Example Architecture: Overview 以下で詳細を見るが、CIFAR-10の画像分類ための ConvNetは、次のようなアーキテクチャーを持つことができる。 [INPUT - CONV - RELU - POOL - FC] INPUT [32x32x3]層 は、画像の生のピクセルの値を持つ だろう。この例で言えば、幅 32、高さ 32、三つのカラー・チャ ンネルを持つ画像である。 CONV 層は、入力の局所的な領域に接続されているニュー ロンの出力を計算する。それぞれのニューロンは、入力のか たまりに接続されている領域と、自身の重みとのドット積を計 算する。これらは、[32x32x12] のかたまりになるだろう。 RELU 層は、 max(0,x)で閾値ゼロのような、活性化関数を 要素ごとに適用するだろう。これは、かたまりのサイズを変え ない。 ([32x32x12])
- 242. POOL 層は、空間的次元（幅、高さ）にそって、ダウン・サンプ リングの操作を実行する。結果は、 [16x16x12]のようにな る。 FC (すなわち、フル・コネクテッド)層は、クラスの得点を計算 する。結果としてかたまりのサイズは、 [1x1x10]になる。こ こで、それぞれの10個の数字が、CIFAR-10の10個のカテ ゴリーのようなクラスの得点に対応している。通常のニューラ ル・ネットワークのように、また、名前が示すように、この層の 全てのニューロンは、先行する層の全ての数字と接続されて いる。
- 243. このように、ConvNetは、もとの画像を、層から層へと、も とのピクセルの値から最後のクラスの得点へと変換する。 ある層はパラメーターを含み、また、ある層はパラメーター を含んでいないことに注意してほしい。特に、 CONV/FC 層は、入力のかたまりの活性化だけではなく、パラメー ター（ニューラル・ネットワーク重みとバイアス）の関数であ る変換を実行している。その一方で、 RELU/POOL層は、 固定された関数を実装している。 CONV/FC層のパラ メーターは、グラディエント・ディセントの手法でConvNet が計算するクラスの得点が、それぞれの画像に対して訓 練用データに付けられたラベルと矛盾しないように、訓練 される。
- 244. まとめ ConvNetのアーキテクチャーは、画像のかたまりを出力 のかたまり（クラスの得点を保持している）に変換する層 のリストである。 いくつかの異なったタイプの層がある (例えば、 CONV/FC/RELU/POOL が最も有名である） それぞれの層は、三次元のかたまりを受け取り、微分可 能な関数を通じて、それを三次元のかたまりに変換する。 それぞれの層は、パラメーターを持つこともあれば、持た ないこともある。 (例えば、 CONV/FC 層はパラメーター を持ち、RELU/POOL 層はパラメーターを持たない。) それぞれの層は、追加のハイパー・パラメーターを持つこ ともあれば、持たないこともある。 (例えば、 CONV/FC/POOL層は持ち、RELU層は持たない。)