Lassoなどで使う劣微分を簡単な形で説明しています．

1. 劣微分
Shinta Urakami

2. 今回の目標
•劣微分というものについて，最低限のイ
メージとそのメリット（使用場所：Lasso）
について発表する．
• 数理的な最適化の話(共役関数とか)は今後勉強しながら
やっていく．

3. • まず，劣微分とは，，，
劣微分とは（ざっくりversion）

4. • まず，劣微分とは，，，
劣微分とは（ざっくりversion）
集合である

5. • まず，劣微分とは，，，
劣微分とは（ざっくりversion）
集合である
この確認はすごく大事である

6. なぜ，この確認が必要なのか（ざっくり）
• 微分と劣微分の関係性を見ていこう

7. なぜ，この確認が必要なのか（ざっくり）
• 微分と劣微分の関係性を見ていこう
劣微分は，微分の一般化

8. 微分とは（一変数のとき）
ある関数 に対して，
導関数
この導関数を求めることを
「微分する」という．

9. 微分とは（一変数のとき）
ある関数 に対して，
導関数
劣微分いつ使うの？

10. 微分とは（一変数のとき）
ある関数 に対して，
導関数
微分と連続性の関係性
より必要になる．

11. 微分と連続性の関係
• この世の関数なんでもかんでも，微分できるわけじゃない．
＜微分可能性の定義＞
微分可能性→関数のグラフがなめらか
数式でいうと，，
が， で微分可能のとき
が存在する
微分可能 連続
連続 微分可能
→
→

12. 微分可能じゃない関数
連続であるが，微分可能
ではない（ノットなめらか）
例)
のとき，
右極限のときは1
左極限のときは-1
極限が一致せず，
微分不可能となる．

13. でも微分したい，，，，
基本的に絶対値は微分不可能
L1ノルム？？？絶対値 Lassoやん
＜Lassoの目的関数＞

14. でも微分したい，，，，
基本的に絶対値は微分不可能
L1ノルム？？？絶対値 Lassoやん
＜Lassoの目的関数＞
L1ノルム（微分不可能）を
含む関数を微分したい．．．

15. でも微分したい，，，，
基本的に絶対値は微分不可能
L1ノルム？？？絶対値 Lassoやん
＜Lassoの目的関数＞劣微分

16. 劣微分とは（定義ベースで）
と凸関数 に関して，条件
を満たす， を点 における の劣勾配という．
劣勾配全体の集合を劣微分 と呼ぶ．

17. 劣微分とは（定義ベースで）
と凸関数 に関して，条件
？

18. 劣微分とは（定義ベースで）
と凸関数 に関して，条件
？
一変数における図的理解を行う

19. 一変数関数における劣微分
• 一変数における凸関数 の のときの劣微分
傾き
関数 が. を通る傾き の直線より上側にあるような を
劣勾配という．
この列勾配の集合を劣微分という
なぜならこの条件を満たすものは複数あるから

20. 要は，多変量に拡張しただけ
一変数
多変量

21. 要は，多変量に拡張しただけ
一変数
多変量
n次元からスカラーに写像している

22. 要は，多変量に拡張しただけ
一変数
多変量
計算結果はスカラーになる

23. 劣微分とは
条件
要素
イメージ的にも，定義的にも劣微分が集合であることがわかる．

24. で考えてみよう
傾き
条件を満たす は，複数ある．
Ex.). = -0.2 も， = 0.7も劣勾配

25. で考えてみよう
傾き
条件を満たす は，複数ある．
Ex.). = -0.2 も， = 0.7も劣勾配
劣微分については
イメージできた．

26. で考えてみよう
傾き
条件を満たす は，複数ある．
Ex.). = -0.2 も， = 0.7も劣勾配
Lassoと劣微分の関係を
知りたい

27. Lasso
データ行列:
L1ノルム: L2ノルム:
正則化パラメータ:
回帰係数:
目的変数:
目的関数

28. Lasso
データ行列:
L1ノルム: L2ノルム:
正則化パラメータ:
回帰係数:
目的変数:
目的関数
どうやって求めるのか．

29. 結論
で求める
軟閾値作要素

30. 結論
で求める
軟閾値作要素
？？？？？？

31. 結論
で求める
軟閾値作要素
なぜこの形になるか，
劣微分を使って説明

32. Lasso
L1ノルム＝絶対値の和
微分不可能
劣微分使用
各列が直交で，長さが全て
を仮定．

33. 微分していくぅ！(cv.金子)
で微分
に関しての微分
と同じ考え方
= 0のとき，微分不可能

34. もう一度再確認
のとき
劣微分

35. 同様に
劣微分

36. まとめよう
劣微分の要素を とする．
について解く

37. まとめよう
の条件に当てはめると

38. 正則化項の強さの話
ハイパーパラメータ
ここを強くすると，スパース
度合いも大きくなる
さきほどの式から明らか！

39. 正則化項の強さの話
固定されてない値は であり，この
値が大きくなると，範囲も大きくなる

40. 軟閾値作要素
さっきの条件分岐を関数にしただけ

41. 軟閾値作用素
関数に置き換えているだけ

42. 終わりに
• 劣微分，軟閾値作要素のイメージはつかめた．
• 今後はlasso含めての最適化を勉強していく．