Deep Learning Into Advance - 1. Image, ConvNet
Denunciar
•25 gostaram•2,383 visualizações
![ex) MNIST 이미지
image = tf.placeholder('int32', [28, 28])
x = tf.reshape(image, [-1]) # 크기 784짜리로 flatten
W = tf.Variable(tf.random_normal([784, 32]))
b = tf.Variable(tf.zeros([32]))
y = tf.nn.xw_plus_b(x, W, b) # xW + b](https://image.slidesharecdn.com/deepdark-161223083850/75/deep-learning-into-advance-1-image-convnet-15-2048.jpg?cb=1668641966)
![ex) MNIST 이미지
image = tf.placeholder('int32', [28, 28])
x = tf.reshape(image, [-1]) # 크기 784짜리로 flatten
W = tf.Variable(tf.random_normal([784, 32]))
b = tf.Variable(tf.zeros([32]))
y = tf.nn.xw_plus_b(x, W, b) # xW + b](https://image.slidesharecdn.com/deepdark-161223083850/75/deep-learning-into-advance-1-image-convnet-16-2048.jpg?cb=1668641966)
![R E F E R E N C E
Stanford University CS231n : Convolutional Neural Networks for Visual Recognition
Yu, Koltun,. Multi-Scale Context Aggregation by Dilated Convolutions.
arXiv preprint:1511.07122v3 [cs.cV]
Kernel (Image Processing) - Wikipedia
T H A N K Y O U](https://image.slidesharecdn.com/deepdark-161223083850/75/deep-learning-into-advance-1-image-convnet-36-2048.jpg?cb=1668641966)
Deep Learning Into Advance - 1. Image, ConvNet
•25 gostaram•2,383 visualizações
Baixar para ler offline
Denunciar
[본 자료는 AB180 사내 스터디의 일환으로 제작되었습니다.] 딥러닝에 대한 기초적인 이해 및 적용 예시를 알아보고, 인사이트를 공유하기 위해 만들었습니다. 첫번째로 딥러닝이 이미지 프로세싱에 적용된 방식 및, Convolutional Neural Network (ConvNet)의 기초에 대해 다루었습니다. * 본 스터디 자료는 Stanford 강좌인 CS231n (http://cs231n.stanford.edu)의 내용을 참고했습니다.
Recomendados
Mais conteúdo relacionado
Mais procurados
Mais procurados(20)
Destaque
AlphaGo: An AI Go player based on deep neural networks and monte carlo tree s...Michael Jongho Moon
1K visualizações•44 slides
Destaque(20)
Similar a Deep Learning Into Advance - 1. Image, ConvNet
Similar a Deep Learning Into Advance - 1. Image, ConvNet(20)
Deep Learning Into Advance - 1. Image, ConvNet
- 2. Image Natural Language Behavior Lorem Ipsum Dolar Sit Amet. => Consectetur Adipiscing Elit. Praesent A
- 4. Image Classification 한 이미지에 대해 라벨링 (분류) 한다. 딥러닝 붐의 시작이 된 분야 CNN (Convolutional Neural Network)의 화려한 데뷔 현재 ILSVRC 2015 데이터셋 기준 Top-5 Accuracy 96.92% (사람은 94%!)
- 5. Image Localization 해당 분류된 사물이 이미지 내 어디에 있는가? Classification과 Regression을 동시에 사용해서 위치를 판정함
- 6. Image Object Detection 이미지 안의 여러개의 사물에 대해 각각 Classification & Localization State-Of-Art (2015. 06.) : 이미지를 그리드로 잘라서 확률분포 계산 후 Bounding Box 매 김
- 7. Image Segmentation Bounding Box에서 더 나아가서 실제 이미지가 차지하고 있는 픽셀이 어디인지를 알아본다. 이미지를 다운샘플링한 뒤 픽셀별로 Classficiation을 수행해서 해당 픽셀별 확률분포를 Upsampling 하는 일련의 과정을 학습함.
- 8. Image Generation 이미지를 무언가로부터 생성한다. ex) 텍스트로부터 생성, 빈 부분의 이미지를 생성, 밑그림으로부터 이미지를 생성, 작은 해상도로부터 고해상도 이미지 생성 Latent Space로부터 이미지 생성
- 9. Image Visualization 이미지 자체가 아니라 주로 추출해낸 Feature, Activation Map, 학습시킨 Filter의 표현 방법 및 재구성 방법을 연구하는 분야 Visualization을 응용해 만든 획기적인 결과물도 많이 존재 ex) Deep Dream, Artistic Style Transfer...
- 10. Image Classification : How? Convolutional Neural Network (ConvNet, CNN)
- 11. ConvNet : Motivations Receptive Field (수용 영역) : 한 외부 자극은 특정 영역의 세포에만 영향을 준다. 이런 세포들이 계층적으로 쌓여서 신경을 형성한다. NEUROSCIENCE
- 13. ConvNet : Motivations IMAGE PROCESSING Convolution은 이미지 처리에서, 전체 이미지에 대해 특정 필터 (커널)을 적용하는 연산으로 사용된다. 이미지를 훑으며 작은 필터 행렬를 곱하고 더함으로서 결과 이미지를 만들어낸다.
- 14. Why ConvNet? 기존에 우리가 사용하던 네트워크는 Fully Connected / Dense Network 이전 레이어의 출력값을 전부 통과시킴. (Wx + b) 그렇기에 레이어 안의 파라미터들은 전부 연결되어있음. (Gradient-ically)
- 15. ex) MNIST 이미지 image = tf.placeholder('int32', [28, 28]) x = tf.reshape(image, [-1]) # 크기 784짜리로 flatten W = tf.Variable(tf.random_normal([784, 32])) b = tf.Variable(tf.zeros([32])) y = tf.nn.xw_plus_b(x, W, b) # xW + b
- 16. ex) MNIST 이미지 image = tf.placeholder('int32', [28, 28]) x = tf.reshape(image, [-1]) # 크기 784짜리로 flatten W = tf.Variable(tf.random_normal([784, 32])) b = tf.Variable(tf.zeros([32])) y = tf.nn.xw_plus_b(x, W, b) # xW + b
- 17. Why ConvNet? 기존에 우리가 사용하던 네트워크는 Fully Connected / Dense Network 이전 레이어의 출력값을 전부 통과시킴. (Wx + b) 그렇기에 레이어 안의 파라미터들은 전부 연결되어있음. (Gradient-ically)
- 18. Why ConvNet? 기존에 우리가 사용하던 네트워크는 Fully Connected / Dense Network 이전 레이어의 출력값을 전부 통과시킴. (Wx + b) 그렇기에 레이어 안의 파라미터들은 전부 연결되어있음. (Gradient-ically) 허나 이미지엔 적합하지 않다.파라미터 수와 Computational Cost가 증가
- 19. Convolutional Neural Network Wx+b 대신, 조그만 필터를 전체 이미지에 대해 훑는다. 이후 결과를 Activation Function에 통과시킨다. 이렇게하면 출력으로 Activation Map이 나온다. 그리고 ConvNet은 이 필터 (커널)를 학습해나간다.
- 23. ConvNet Structure Convolution Layer : 설명했던 Convolution 연산 수행 Activation Layer :Activation Function에 통과시킴 Pooling Layer :다운샘플링을 수행. 크기를 줄임. Fully-Connected : 마지막 레이어에 붙음. Inferrence 수행 Softmax : 각각의 라벨에 대한 확률분포 도출
- 24. Convolution Layer "A ConvNet is made up of Layers. Every Layer has a simple API: It transforms an input 3D volume to an output 3D volume with some differentiable function that may or may not have parameters." Source: CS231n
- 25. Convolution Layer Source: CS231n
- 26. Convolution Layer Source: CS231n
- 27. Convolution Layer Source: CS231n
- 28. Convolution Layer Source: CS231n
- 29. Convolution Layer Width - 필터 가로 길이 Height - 필터 세로 길이 Depth - 필터 깊이 (≠ 레이어 깊이) Stride - 몇칸씩 건너뛸 것인가 Padding - 입력에 패딩을 만듦 HYPERPARAMETERS
- 30. Pooling Layer Computational Cost를 감소시키고 노이즈 제거 효과를 주기 위해 Feature Map의 크기를 줄인다. Max Pooling과 Average Pooling이 있음. Source: CS231n
- 31. Pooling Layer MAX POOLING Sliding Window 안에 있는 가장 큰 값을 선택한다. Source: CS231n
- 32. Fully Connected Layer 앞선 Convolution 레이어는 특징을 추출하는 과정이라면 FC 레이어에선 실질적인 Classification을 수행한다. BUT... 적절한 Convolution이나 Global Average Pooling으로 FC를 대체해나가는게 트렌드.
- 33. ConvNet Advanced 1 x 1 Convolution Input과 Output간의 크기 변화 없이 Linear Projection 수행 Depth만 변경시키고자 할 때 사용. Dilated Convolution 연속적인 필터가 아니라, 사이사이에 공간이 있는 필터를 사용한다. Receptive Field를 지수적으로 키울 수 있다. SPECIAL CASES
- 34. ConvNet Advanced 큰 필터는 사용하지 않는다. 높은 Computational Cost & Overfitting 유발 작은 크기의 필터를 깊게 쌓는게 트렌드 예시 :VGGNet (2014), Residual Net (2015) Pooling을 사용하지 않는다. Max Pooling은 더더욱 찾아보기 힘듦. Stride를 주는 방식으로 Output 크기를 감소시키는 방법을 씀. FC 레이어 없애기. 원래 최종 Feature를 판정하고, Softmax를 먹이기 위하여 특징 벡터의 Dimension을 바꾸기 위해 FC 레이어를 사용하지만, 적절한 Convolution 레이어나 Global Average Pooling으로 FC를 대체해 Cost를 줄임. TRENDS
- 35. Case Study N E X T
- 36. R E F E R E N C E Stanford University CS231n : Convolutional Neural Networks for Visual Recognition Yu, Koltun,. Multi-Scale Context Aggregation by Dilated Convolutions. arXiv preprint:1511.07122v3 [cs.cV] Kernel (Image Processing) - Wikipedia T H A N K Y O U