Chapter 7 Regularization for deep learning - 2

1. 7.6 semi-supervised learning
목적 및 동기
강아지를 인식하는 모델을 만들고자 한다. 그런데 가지고 있는 데이터에 조금 문제가 있다.
label이 된 데이터 label이 안 된 데이터
Label된 데이터로만 모델을 만들자니 데이터가 너무 적고,
Label 안된 데이터에 labeling을 하자니 시간과 비용이 엄청나게 든다
어쩌지?

2. 7.6 semi-supervised learning
Labeled data
Labeled+unlabeled data
지도학습
준지도학습

3. 7.6 semi-supervised learning
Labeled 데이터로만 분포를 추정하고
Decision boundary를 형성
불안정함
Labeled+unlabeled 데이터로 분포를 추정하고
Decision boundary를 형성
안정적인 분포

4. 7.7 multi-task learning
이것은 고양이인가요? ( O / X)

5. 7.7 multi-task learning
이것은 고양이인가요? ( O / X)

6. 7.7 multi-task learning
이것은 강아지인가요? ( O / X)

7. 7.7 multi-task learning
이것은 강아지인가요? ( O / X)

8. 7.7 multi-task learning
이것은 금색인가요? ( O / X)

9. 7.7 multi-task learning
이것은 금색인가요? ( O / X)

10. 7.7 multi-task learning
feature 고양이임?
ㄴㄴ
강아지임?
ㅇㅇ
금색임?
ㅇㅇ
금색 강아지구나!

11. 7.7 multi-task learning
고양이가 아니다.
강아지가 맞다.
금색이 맞다.
사실 우리는 거의 동시에(simultaneously) 위 세가지 문제를 해결합니다

12. 7.7 multi-task learning
feature
고양이임? ㄴㄴ -> 0
강아지임? ㅇㅇ -> 1
금색임? ㅇㅇ -> 1
금색 강아지구나!

13. 7.7 multi-task learning
보행자 0, 1
자동차 0, 1
멈춤 0, 1
신호등 0, 1
4개의 task를 동시에
수행하는 multi-task learning
이 이미지가 𝑥(𝑖)
라는 input data라면
보행자 0
자동차 1
멈춤 1
신호등 0
𝑦(𝑖)
0
1
1
0
4 by 1 vectorInput
layer
output
layer
Hidden layer
𝑥(𝑖)

14. 7.7 multi-task learning
Cost 계산
𝑦(𝑖)
1
0
1
0
만약 이라면𝑦(𝑖)
0
1
1
0
𝐶𝑜𝑠𝑡 =
𝐶𝑜𝑠𝑡 1,0 + 𝐶𝑜𝑠𝑡 0,1 + 𝐶𝑜𝑠𝑡 1,1 + 𝐶𝑜𝑠𝑡 0,0
4
이때 Cost function은
대부분 log loss
𝑦1
(𝑖)
𝑦2
(𝑖)
𝑦3
(𝑖)
𝑦4
(𝑖)
각 성분은 𝑦𝑗
(𝑖)
로 표현
1
𝑛
𝑖
𝑛
𝑗
𝑚
𝐶𝑜𝑠𝑡( 𝑦𝑗
(𝑖)
, 𝑦𝑗
(𝑖)
)
n = example 수
m = task 수일반화 하면
보행자 0
자동차 1
멈춤 1
신호등 0
𝑦(𝑖)
0
1
1
0
Input
layer
output
layer
Hidden layer
𝑥(𝑖)

15. 7.7 multi-task learning
다른 이미지 데이터
𝑦(𝑖)
보행자 NA
자동차 0
멈춤 1
신호등 NA
이미지 데이터에 labeling이 안되어 있는 경우
Cost 계산
𝑦(𝑖)
1
1
1
0
𝑦(𝑖)
𝑁𝐴
0
1
𝑁𝐴
𝐶𝑜𝑠𝑡 𝑠𝑢𝑚 =
𝐶𝑜𝑠𝑡 1, 𝑁𝐴 + 𝐶𝑜𝑠𝑡 1,0 + 𝐶𝑜𝑠𝑡 1,1 + 𝐶𝑜𝑠𝑡 0, 𝑁𝐴
4
𝑦1
(𝑖)
𝑦2
(𝑖)
𝑦3
(𝑖)
𝑦4
(𝑖)
1
𝑛
𝑖
𝑛
𝑗
𝑚
𝐶𝑜𝑠𝑡( 𝑦𝑗
(𝑖)
, 𝑦𝑗
(𝑖)
)
n = example 수
m = task 수𝑦𝑗
(𝑖)
가 NA인것 제외하고
요 두 개는 제외하고 계산

16. 7.7 multi-task learning
아키텍처를 좀 더 뜯어보면
1. 모든 task가 공유하는 일반적인 파라미터를 학습하는 부분
2. Task에 고유한 파라미터를 학습하는 부분

17. 7.7 multi-task learning
Multi-task learning이 regularization 방법인 이유
경욱 연준
경욱의 특징 :
아무리 심한 말을 해도 다 받아줌
다빈 연준
다빈의 특징 :
심한 말을 하면 극대노함
각 task 마다 noise 패턴이 다름. 여러 noise 패턴을 동시에 학습을 하려다 보니 general한 모델 탄생
연준의 성격 :
심한 말을 많이 하는 성격이 됨.
다빈과는 친구가 될 수 없음 ㅠㅠ
연준경욱 다빈
두 명의 특징을 다 받아들여 일반적인 성격을 가지게 됨

18. 7.7 multi-task learning
언제 multi-task learning을 쓸 수 있나요?
1. 각각의 task가 서로의 task에 도움이 되는 비슷한 특성을 가질 때.
2. 각 task에 대해 큰 신경망을 훈련할 수 있어야 함. 큰 신경망의 경우
task를 각각 하는 것 보다 성능이 좋은 경우가 거의 대다수
**Rich Caruana라는 연구자가 밝혀낸 내용.
그리고 multi-task learning은 다른 분야에서는 많이 쓰이지 않지만
computer vision 분야에서는 많이 쓰인다.

19. 7.8 Early stopping
Epoch ↑ training set에 Overfitting Generalization error ↑
그래서 적당한 시점에 끊어야 함

20. 7.8 Early stopping 갓경욱님께 감사를…
Input Hidden Layer1 Hidden Layer2 Output Layer
x1
x2
w1
w2
w3
w4
w5
w6
w7
w8
w9
w10
b1 b3
b5
b2 b4
빠른 진행을 위해 수치에 대한 계산은 배제하겠습니다.
Training
Set
𝑥(1)
𝑥(2)
𝑥(3)
𝑥(𝑛)
…
𝑦(1)

21. 7.8 Early stopping
Input Hidden Layer1 Hidden Layer2 Output Layer
x1
x2
w1
w2
w3
w4
w5
w6
w7
w8
w9
w10
b1 b3
b5
b2 b4
Training
Set
𝑥(1)
𝑥(2)
𝑥(3)
𝑥(𝑛)
…
𝑦(1)
FeedForward propagation

22. 7.8 Early stopping
Input Hidden Layer1 Hidden Layer2 Output Layer
x1
x2
w1
w2
w3
w4
w5
w6
w7
w8
w9
w10
b1 b3
b5
b2 b4
Training
Set
𝑥(1)
𝑥(2)
𝑥(3)
𝑥(𝑛)
…
𝑦(1)

23. 7.8 Early stopping
Input Hidden Layer1 Hidden Layer2 Output Layer
x1
x2
w1
w2
w3
w4
w5
w6
w7
w8
w9
w10
b1 b3
b5
b2 b4
Training
Set
𝑥(1)
𝑥(2)
𝑥(3)
𝑥(𝑛)
…
𝑦(1)

24. 7.8 Early stopping
Input Hidden Layer1 Hidden Layer2 Output Layer
x1
x2
w1
w2
w3
w4
w5
w6
w7
w8
w9
w10
b1 b3
b5
b2 b4
Training
Set
𝑥(1)
𝑥(2)
𝑥(3)
𝑥(𝑛)
…
𝑦(1)

25. 7.8 Early stopping
Input Hidden Layer1 Hidden Layer2 Output Layer
x1
x2
w1
w2
w3
w4
w5
w6
w7
w8
w9
w10
b1 b3
b5
b2 b4
Training
Set
𝑥(1)
𝑥(2)
𝑥(3)
𝑥(𝑛)
…
𝑦(1)

26. 7.8 Early stopping
Input Hidden Layer1 Hidden Layer2 Output Layer
x1
x2
w1
w2
w3
w4
w5
w6
w7
w8
w9
w10
b1 b3
b5
b2 b4
Training
Set
𝑥(1)
𝑥(2)
𝑥(3)
𝑥(𝑛)
…
𝑦(1)
𝑦(1)

27. 7.8 Early stopping
Input Hidden Layer1 Hidden Layer2 Output Layer
x1
x2
w1
w2
w3
w4
w5
w6
w7
w8
w9
w10
b1 b3
b5
b2 b4
Training
Set
𝑥(1)
𝑥(2)
𝑥(3)
𝑥(𝑛)
…
𝒙(𝟐)
~𝒙(𝒏)
까지 반복
𝑦(2)

28. 7.8 Early stopping
Training
Set
𝑥(1)
𝑥(2)
𝑥(3)
𝑥(𝑛)
…
𝒊 𝑦(𝑖) 𝑦(𝑖)
1 0.7 0.99
2 0.6 1.55
3 0.2 1.4
4 0.4 0.3
… … …
n 𝑦(𝑛) 𝑦(𝑛)
𝐶𝑜𝑠𝑡 𝑠𝑢𝑚 =
𝐶𝑜𝑠𝑡 0.7,0.99 + 𝐶𝑜𝑠𝑡 0.6,1.55 + ⋯ + 𝐶𝑜𝑠𝑡 𝑦(𝑛), 𝑦(𝑛)
𝑛
=
1
𝑛
𝑖
𝑛
𝐶𝑜𝑠𝑡( 𝑦(𝑖)
, 𝑦(𝑖)
)
Feed forward outputinput
Cost 함수 계산

29. 7.8 Early stopping
𝐶𝑜𝑠𝑡 𝑠𝑢𝑚 =
𝐶𝑜𝑠𝑡 0.7,0.99 + 𝐶𝑜𝑠𝑡 0.6,1.55 + ⋯ + 𝐶𝑜𝑠𝑡 𝑦(𝑛)
, 𝑦(𝑛)
𝑛
=
1
𝑛
𝑖
𝑛
𝐶𝑜𝑠𝑡( 𝑦(𝑖)
, 𝑦(𝑖)
)
Cost sum 을 최소로 하는
𝑤, 𝑏 를 구해 updating
1 iteration = 1 epoch

30. 7.8 Early stopping
Training
Set
Validation
Set
Test
Set
Training
Set
데이터셋 정의
Model
Validation
Set
Epoch(𝒊)
0
Parameter(w,b=𝜽)
𝜽 𝟎
Validation error(𝝊)
𝝊 𝟎
랜덤 초기값 ∞로 set
𝜽∗
= 𝜽 𝟎, 𝒊∗
=0
현재까지 𝝊 𝟎가 가장 낮은 값 𝝊 = 𝝊 𝟎
𝝊에 해당하는 파라미터 𝜽 𝟎, 𝒊
𝜽∗
, 𝒊∗
는 최적의 파라미터와 최적의 epoch

31. 7.8 Early stopping
Training
Set
Validation
Set
Test
Set
Training
Set
데이터셋 정의
Model
Validation
Set
Epoch(𝒊)
0
Parameter(w,b=𝜽)
𝜽 𝟎
Validation error(𝝊)
𝝊 𝟎
𝜽∗
= 𝜽 𝟏, 𝒊∗
= 𝟏
현재까지 𝝊 𝟏가 가장 낮은 값 𝝊 = 𝝊 𝟏
𝝊에 해당하는 파라미터 𝜽 𝟏, 𝒊
1 𝜽 𝟏 𝝊 𝟏
If 𝝊 𝟏 < 𝝊

32. 7.8 Early stopping
Training
Set
Validation
Set
Test
Set
Training
Set
데이터셋 정의
Model
Validation
Set
Epoch(𝒊)
0
Parameter(w,b=𝜽)
𝜽 𝟎
Validation error(𝝊)
𝝊 𝟎
𝜽∗ = 𝜽 𝟐, 𝒊∗ = 𝟐
현재까지 𝝊 𝟐가 가장 낮은 값 𝝊 = 𝝊 𝟐
𝝊에 해당하는 파라미터 𝜽 𝟐, 𝒊
1 𝜽 𝟏 𝝊 𝟏
If 𝝊 𝟐 < 𝝊
2 𝜽 𝟐 𝝊 𝟐

33. 7.8 Early stopping
Training
Set
Validation
Set
Test
Set
Training
Set
데이터셋 정의
Model
Validation
Set
Epoch(𝒊)
0
Parameter(w,b=𝜽)
𝜽 𝟎
Validation error(𝝊)
𝝊 𝟎
1 𝜽 𝟏 𝝊 𝟏
If 𝝊 𝟏𝟎𝟎 > 𝝊
2 𝜽 𝟐 𝝊 𝟐
100 𝜽 𝟏𝟎𝟎 𝝊 𝟏𝟎𝟎
… … …
현재 𝝊=𝝊 𝟗𝟗
𝜽∗ = 𝜽 𝟗𝟗
𝒊∗
= 𝟗𝟗 바로 stop???
너무 정이 없으니 몇 번 봐주기로 합시다!
몇 번 = p이라고 표현(patience)

34. 7.8 Early stopping
Training
Set
Validation
Set
Test
Set
Training
Set
데이터셋 정의
Model
Validation
Set
Epoch(𝒊)
0
Parameter(w,b=𝜽)
𝜽 𝟎
Validation error(𝝊)
𝝊 𝟎
𝜽∗
= 𝜽 𝟗𝟗, 𝒊∗
= 𝟗𝟗
현재까지 𝝊 𝟗𝟗가 가장 낮은 값 𝝊 = 𝝊 𝟗𝟗
𝝊에 해당하는 파라미터 𝜽 𝟗𝟗, 𝒊
1 𝜽 𝟏 𝝊 𝟏
If 𝝊 𝟏𝟎𝟎 > 𝝊
2 𝜽 𝟐 𝝊 𝟐
100 𝜽 𝟏𝟎𝟎 𝝊 𝟏𝟎𝟎
… … …
p=2 이므로 다음 epoch으로 넘어감
p=2

35. 7.8 Early stopping
Training
Set
Validation
Set
Test
Set
Training
Set
데이터셋 정의
Model
Validation
Set
Epoch(𝒊)
0
Parameter(w,b=𝜽)
𝜽 𝟎
Validation error(𝝊)
𝝊 𝟎
𝜽∗
= 𝜽 𝟗𝟗, 𝒊∗
= 𝟗𝟗
현재까지 𝝊 𝟗𝟗가 가장 낮은 값 𝝊 = 𝝊 𝟗𝟗
𝝊에 해당하는 파라미터 𝜽 𝟗𝟗, 𝒊
1 𝜽 𝟏 𝝊 𝟏
If 𝝊 𝟏𝟎𝟏 > 𝝊
2 𝜽 𝟐 𝝊 𝟐
100 𝜽 𝟏𝟎𝟎 𝝊 𝟏𝟎𝟎
… … …
다음 epoch으로 넘어감
p=2-1
101 𝜽 𝟏𝟎𝟏 𝝊 𝟏𝟎𝟏

36. 7.8 Early stopping
Training
Set
Validation
Set
Test
Set
Training
Set
데이터셋 정의
Model
Validation
Set
Epoch(𝒊)
0
Parameter(w,b=𝜽)
𝜽 𝟎
Validation error(𝝊)
𝝊 𝟎
𝜽∗ = 𝜽 𝟗𝟗, 𝒊∗ = 𝟗𝟗
현재까지 𝝊 𝟗𝟗가 가장 낮은 값 𝝊 = 𝝊 𝟗𝟗
𝝊에 해당하는 파라미터 𝜽 𝟗𝟗, 𝒊
1 𝜽 𝟏 𝝊 𝟏
If 𝝊 𝟏𝟎𝟐 > 𝝊
2 𝜽 𝟐 𝝊 𝟐
100 𝜽 𝟏𝟎𝟎 𝝊 𝟏𝟎𝟎
… … …
이제 진짜 STOP!
p=2-2
101 𝜽 𝟏𝟎𝟏 𝝊 𝟏𝟎𝟏
102 𝜽 𝟏𝟎𝟐 𝝊 𝟏𝟎𝟐

37. 7.8 Early stopping
Model
Epoch(iteration)
99
Parameter(w,b=𝜽)
𝜽 𝟗𝟗
optimal
Training
Set
Validation
Set
Test
Set
Training
Set
Test
Set
방법1
𝜽 𝟗𝟗 를 그대로 이용
훈련 1 MSE > 훈련 2 MSE 이면
epoch 종료
훈련 1 훈련 2
방법2
Epoch = 99 를 이용해서
훈련 no.2 진행
단점 : 종료가 안 될 수도…

38. 7.8 Early stopping
Early stopping과 L2 regularization의 관련성

39. 7.8 Early stopping
왜 regularization이 overfitting을 줄일 까요?
𝑎 = 𝑔 𝑤𝑥 + 𝑏 = 𝑔 𝑧 = 𝑦
𝑔 𝑥 ∶ 𝑎𝑐𝑡𝑖𝑣𝑎𝑡𝑖𝑜𝑛 함수
sigmoid tanh
𝑔 𝑧 에서 𝑧가 0에 가까워 질수록 선형에 근사
모델이 더 간단해짐
𝐽 𝑤 = 𝐽 𝑤 +
𝛼
2
𝑤 𝑇
𝑤
𝛼 ↑ 면 𝑤 𝑇 𝑤 ↓ 니까 𝑤 ↓

40. 7.8 Early stopping
“난 Early stopping 잘 안 씀”
“L2 짱＂

41. 7.9 Parameter Tying and Parameter sharing
CNN(Convolutional Neural Network)의 기반이 되는 개념
기본 가정
𝑤(𝐴) 𝑤(𝐵)
모델A 모델B
같은 task를 수행하는 두 모델(둘 다 고양이를 식별하는 모델) 일 때
같은 task를 수행하기 때문에 input과 output의 분포가 비슷하고
𝑤(𝐴)
와 𝑤(𝐵)
도 가까울 것 or 동일할 것이다.

42. 7.9 Parameter Tying and Parameter sharing
저렇게 이미지를 여러 단위로 나누어도 나눠진 이미지 마다 다른 파라미터가 매겨지는 것이 아니라
같은 파라미터를 공유하는 것.

43. 7.10 Sparse representation(희소표현)
L1 regularization 에서는 L2와 달리 w가 0으로 수렴하는 특징이 있었다.
input output
InputOutput W 행렬
0 많음 = 희소함
이것을 매개변수(parameter) 희소성이라고 함
…. ….

44. 7.10 Sparse representation(희소표현)
Activation function g(z) 에 L1 regularization을 적용하면
input output
…. ….
inputW 행렬output
Activation function을 거친 input을 희소하게 만든다.
요것이 표현(representation) 희소성
무슨 의미냐 하면

45. 7.10 Sparse representation(희소표현)
𝑧(𝐿−1) = 𝑤(𝐿−1) 𝑥 + 𝑏(𝐿−1)
𝑔 𝑥 ∶ 𝑎𝑐𝑡𝑖𝑣𝑎𝑡𝑖𝑜𝑛 함수
L-2
L-1
L
𝑎(𝐿−1)
= 𝑔(𝑧 𝐿−1
)
𝑧(𝐿) = 𝑤(𝐿) 𝑎(𝐿−1) + 𝑏(𝐿)
𝑎(𝐿)
= 𝑔(𝑧 𝐿
)
𝑎(𝐿−1) = 𝑔 𝑤(𝐿−1) 𝑎(𝐿−2) + 𝑏(𝐿−1)
sigmoid tanh
얘가 희소해짐

46. 7.10 Sparse representation(희소표현)
L1 regularization 적용하는 것 말고 또 있음
0이 되는 부분 존재