Skip Connection まとめ（Neural Network）
•
7 gostaram•17,113 visualizações
ResNetに代表されるSkip Connectionについて理論と有効性をまとめました。
![ResNetのアイデア
元論⽂： [1512.03385] Deep Residual Learning for Image Recognition
⼊⼒値と出⼒値の差分(残差)を学習する
Deepになると⼊⼒xと出⼒x*Wは極めて近い値
ならばxをそのまま残して差分を計算した⽅が効率的
残差ブロックの提案
畳み込み層＋Skip Connection(恒等写像)を組み合わせた
Skip Connectionによって誤差逆伝搬をしやすい
変換不要ならば畳み込み層のWeightを０にすればよい
既にいい感じになっているｘに余計なことをしなくてすむ
Skip Connectionが無い場合、⾮線形写像なのでｘが理想値から遠ざかることがある
残差ブロックのアーキテクチャ
Plainアーキテクチャ
3x3のconv層が2つ
Bottleneckアーキテクチャ
1x1のconv層でdimを⼩さくして、、、
3x3のconv層にかけて、、、
1x1のconv層で元々のdimに戻す](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
Recomendados
Recomendados
Mais conteúdo relacionado
Mais procurados
Mais procurados (20)
Semelhante a Skip Connection まとめ（Neural Network）
Semelhante a Skip Connection まとめ（Neural Network） (9)
Mais de Yamato OKAMOTO
Mais de Yamato OKAMOTO (20)
Skip Connection まとめ（Neural Network）
- 1. Deep Learning における Skip Connection の研 究まとめ 背景と課題 〜Deepすぎると学習が進まない〜 CNNでは層を深くすることが重要 層を重ねることで⾼度で複雑な特徴を抽出できる 2012年に画像認識の⾸位となったAlexNetは14層 2014年に画像認識の⾸位となったVGGNetは19層 同じく2014年に⾸位となったGoogleNetは22層 2015年に画像認識の⾸位となったResNetは152層 このとき、層を深くすると思い通りに学習が進まない課題があった 勾配消失 勾配発散 引⽤：Deep Residual Learning MSRA @ ILSVRC & COCO 2015 competitions
- 2. ResNetのアイデア 元論⽂： [1512.03385] Deep Residual Learning for Image Recognition ⼊⼒値と出⼒値の差分(残差)を学習する Deepになると⼊⼒xと出⼒x*Wは極めて近い値 ならばxをそのまま残して差分を計算した⽅が効率的 残差ブロックの提案 畳み込み層＋Skip Connection(恒等写像)を組み合わせた Skip Connectionによって誤差逆伝搬をしやすい 変換不要ならば畳み込み層のWeightを０にすればよい 既にいい感じになっているｘに余計なことをしなくてすむ Skip Connectionが無い場合、⾮線形写像なのでｘが理想値から遠ざかることがある 残差ブロックのアーキテクチャ Plainアーキテクチャ 3x3のconv層が2つ Bottleneckアーキテクチャ 1x1のconv層でdimを⼩さくして、、、 3x3のconv層にかけて、、、 1x1のconv層で元々のdimに戻す
- 3. 『DenseNet』CVPR2017 BEST PAPER 元論⽂： [1608.06993] Densely Connected Convolutional Networks アイデア：層の間で情報伝達を最⼤化する 上の図は１つのDenseBlockを表す ℓ番⽬の層への⼊⼒は、0〜ℓ-1番⽬の層の全出⼒となる
- 5. Skip Connectionとよく似たContracting Path構造（U-Net） [q505.04597] U-Net: Convolutional Networks for Biomedical Image Segmentation Image-ClassificationではなくImage-Segmentationのタスクで⽣まれた⼿法 Semantic Segmentationにおいて位置は保存したい重要情報 CNNではPoolingや畳み込みをするほど位置情報が曖昧になることが課題 局所的特徴と全体的位置情報の両⽅を把握したい 形がU字なのでU-Net 左側がEncoder 右側がDecoder Up-Sampling後にEncoder部の同次元数の特徴を連結する あまり畳み込みされていないEncoder部では位置情報が保たれているという仮定 concatenation with the correspondingly cropped feature map 従来どおり特徴を抽出しつつ、位置情報を保存する
- 6. Skip Connectionの有効性を解明 [1712.09913] Visualizing the Loss Landscape of Neural Nets LOSS関数を可視化することで近年のNeural Networkのアーキテクチャの有効性を検証した論⽂ Skip Connectionを利⽤した場合（右図）は、non-convexからconvexに近づいているように⾒える Skip Connectionを含む新しいネットワーク構造 〜Deep Layer Aggregation (CVPR2018)〜 [1707.06484] Deep Layer Aggregation 疲れたのでまた今度・・・ 資料作成：ロードローラー ブログ: r2d.info、 Twitter: RoadRoller_DESU