O slideshow foi denunciado.
Utilizamos seu perfil e dados de atividades no LinkedIn para personalizar e exibir anúncios mais relevantes. Altere suas preferências de anúncios quando desejar.
濱田 直希
リサーチエンジニア
エンジニアリング本部
KLab株式会社
多目的強凸最適化の
パレート集合のトポロジー
※スライド中の オレンジの文字 は参考文
献へのリンクです.スライドの記述は厳密
でない部分があるため,厳密な内容を知り
たい...
2
2010/4 ~ 2013/3 東京工業大学 博士(工学)
2013/4 ~ 2020/6 (株) 富士通研究所 研究員
2020/7 ~ 現在 KLab (株) リサーチエンジニア
2017/4 ~ 現在 理化学研究所 客員研究員
濱田 ...
3
ラブライブ!
スクールアイドル
フェスティバル
BLEACH
Brave Souls
キャプテン翼
~たたかえドリームチーム~
うたの☆プリンスさまっ♪
Shining Live
社名
KLab株式会社(クラブかぶしきかいしゃ)
KLab ...
4
内容
●背景と目的
○ 多目的最適化とその解集合
○ 多目的最適化におけるトポロジー研究の歴史
●単体的な問題
○ 実問題の解集合の傾向
○ 数学的定式化
●強凸問題との関係
○ 強凸問題が単体的である条件
○ スパースモデリングへの応用
...
5
内容
●背景と目的
○ 多目的最適化とその解集合
○ 多目的最適化におけるトポロジー研究の歴史
●
○
○
●
○
○
6
多目的最適化とは
複数の目的関数を同時に最適化する問題
例:minimize
𝑓1 𝑥1, 𝑥2 = 𝑥1 + 1 2
+ 𝑥2 + 1 2
𝑓2 𝑥1, 𝑥2 = 𝑥1 − 1 2 + 𝑥2 − 1 2
subject to − 2 ≤ ...
7
多目的最適化は様々な分野で応用されている
● 工業製品の設計
○ 国産旅客機MRJのエンジン取り付け位置の設計
○ 風力発電用の風車の設計
● 人工知能の設計
○ 機械学習モデルのチューニング
○ ゲームAIの思考ルーチン
● 産業・社会シ...
8
ランダムサンプリングと選択を繰り返して解に近づく
具体的な進化計算手法については下記などを参照:
[Zhou+ 2011] Multiobjective evolutionary algorithms: A survey of the st...
9
ランダムサンプリングと選択を繰り返して解に近づく
具体的な進化計算手法については下記などを参照:
[Zhou+ 2011] Multiobjective evolutionary algorithms: A survey of the st...
10
ランダムサンプリングと選択を繰り返して解に近づく
具体的な進化計算手法については下記などを参照:
[Zhou+ 2011] Multiobjective evolutionary algorithms: A survey of the s...
11
ランダムサンプリングと選択を繰り返して解に近づく
具体的な進化計算手法については下記などを参照:
[Zhou+ 2011] Multiobjective evolutionary algorithms: A survey of the s...
12
ランダムサンプリングと選択を繰り返して解に近づく
具体的な進化計算手法については下記などを参照:
[Zhou+ 2011] Multiobjective evolutionary algorithms: A survey of the s...
13
ランダムサンプリングと選択を繰り返して解に近づく
具体的な進化計算手法については下記などを参照:
[Zhou+ 2011] Multiobjective evolutionary algorithms: A survey of the s...
14
多目的最適化すれば最高の製品が作れる!?
パレート集合やパレートフロントは目的数–1次元になる*
4目的以上の最適化問題を解いても理解できない
4目的以上は2~3目的と比べて急に難しくなるため,多数目的最適化とよばれています
図示できない...
15
なぜ多数目的は難しい?
● パレートフロントには次元削減が通用しない
○ 多様体仮説が成り立たない
● パレートフロントを近似するサンプルが少量しかとれない
○ 最適化計算が重いため,数十点~数百点が限界
5000兆目的
パレートフロント...
16
この絶望的な状況を打開するには?
● 高次元図形を少量のサンプルで近似する!?
○ 何も仮定がなければできるはずがない
○ 多様体仮説に代わる,最適化問題で成り立つ新たな仮説が必要
● パレートフロントはどんな構造をもっているのか?
○ ...
17
普遍的な解構造の理論を探す旅
 ノーフリーランチ砂漠
 NFL定理「どんな探索アルゴリズムも,すべての関数に対す
る平均的な探索性能はランダムサーチと等しい」*
 対象問題をむやみに一般化せず,問題に特化した最適
化アルゴリズムを作...
18
大域的最適化の理論を求めて…
じつは結構
昔からあるらしい
(Steve Smale
1980年)
大域的最適化の
ための解析学は
ないのだろうか…
19
Smaleの文献を辿るとそこには…
多目的最適化
発祥の地
目的関数の凸性を仮定することなくパレート集合の性質を解析する [Smale 1975]
20
“ほとんど全て”の問題に共通する性質がある!
[Smale 1973]
パレート臨界点集合はm-1次元の滑層分割集合となる.
*上記論文には証明は書かれていない.の
ちに上記とは若干異なる仮定のもとで,いく
つかの条件下で類似の命題が示さ...
21
多目的最適化におけるトポロジー研究の歴史
● 1950年代:経済学におけるトポロジー研究
○ アクティビティ分析を多目的線形計画問題で定式化,解の可縮性を議論
● 1970年代:大域解析による最適化理論の始まり
○ 微分トポロジーにより,...
22
1950年代:経済学におけるトポロジー研究
T.C. Koopmans
資源の最適配分を初めて多
目的線形計画問題として定
式化して解き,ノーベル経済
学賞を受賞.
その研究の中で解集合の
可縮性を議論した.
[Koopmans 1951...
23
1970年代:大域解析による最適化理論の始まり
S. Smale
© G. Bergman 2008, GFDL 1.2
高次元Poincare予想を
解決しフィールズ賞受賞.
そこで駆使したモース理
論を拡張し,経済学にお
ける多目的最...
24
1970-80年代:Operations Researchへの波及
D.T. Luc
Koopmans流のアプロー
チを発展させ,凸最適化
におけるパレート集合/フ
ロントの閉性,連結性,
可縮性を議論.多目的最
適化の解集合のトポロジ
...
25
1990年代:冬の時代
● Koopmans流のアプローチは…
○ 凸最適化までの範囲では,ほぼ直観通りの結果しか得られなかった
○ 凸で培われた解析技術は,より広いクラスには拡張が難しかった
○ そのため,やることがなくなったと思われた...
26
2000年代:計算機の発達,応用での実証例
[大山 2004] 図1
[廣安+ 2003] 図10
27
2010年代:ORへの大域解析の適用
凸計画問題のパレート解集合はm-1次元単体と微分同相
そのk-1次元面はk目的部分問題のパレート解集合
ちなみにこれは誤り
正確な条件はこちら
A. Lovison
modeFRONTIER開発元
の...
28
ここまでのまとめ
●産業界の動向
○ 2000年頃より多目的最適化の応用がさかん
○ しかし4目的以上では解の構造が理解困難だった
●学術界の動向
○ 多目的最適化のトポロジーは半世紀前から研究されていた
○ しかし理論中心で産業応用には...
29
内容
●
○
○
●単体的な問題
○ 実問題の解集合の傾向
○ 数学的定式化
●
○
○
30
そのころ進化計算業界では…
●パレート解を網羅的に探索できるようになってきた
●パレート解のデータが公開されるようになってきた
●産業問題に理論が当てはまるか検証可能になってきた
●というわけで調べてみた
○ 国際会議GECCO2015~...
31
観察1:2目的パレートフロントは曲線が頻出
[大山 2004] 図1
[Contreras+ 2016] Fig.5
[Reynoso-Meza+ 2015] Fig.4
[Gilan+ 2016] Fig.4[Mastroddi+ 20...
32
観察1:3目的では曲がった三角形が頻出
[廣安+ 2003] 図10
[Reynoso-Meza+ 2015] Fig.4
[Mastroddi+ 2013] Fig.4
33
観察1:𝑚目的では曲がった𝑚 − 1次元単体が頻出
1次元単体=線分
2次元単体=三角形
3次元単体=四面体
…
左図は4次元パレートフロン
トを2次元に射影しているの
で正確には分からないが,
おそらく4次元単体に見える.
23/32件...
34
観察2:パレートフロントの「カド」が大事
論文著者いわく
「パレートフロントのカド
は性能上のボトルネックを
示唆している.カドに位置
する解をよく調べることで,
性能改善のヒントが得られ
る可能性が高い.」
[Chiba+ 2013] ...
35
観察された性質をちゃんと定義してみた
条件1 条件2
𝑓 = 𝑓1, … , 𝑓𝑚 : ℝ 𝑛 → ℝ 𝑚, 𝑀 = 1, … , 𝑚 とする.それぞれの𝐼 = 𝑖1, … , 𝑖 𝑘 ⊆
𝑀について𝑓𝐼 = 𝑓𝑖1
, … , 𝑓𝑖 𝑘...
36
定義のポイント
●単体の面の構造にも言及
○ Smaleは「単体と同相」としか言っていない
○ Lovisonの言及では面の貼合せ構造に曖昧さが残る
●パレート集合/フロントの両方に言及
○ SmaleやLovisonはパレート集合のみ
...
37
内容
●
○
○
●
○
○
●強凸問題との関係
○ 強凸問題が単体的である条件
○ スパースモデリングへの応用
38
強凸問題
𝑋 ⊆ ℝ 𝑛を凸集合とする.関数𝑓: 𝑋 → ℝが以下を満たすとき凸関数という:
𝑓 𝑡𝑥 + 1 − 𝑡 𝑦 ≤ 𝑡𝑓 𝑥 + 1 − 𝑡 𝑓 𝑦 ∀𝑥, 𝑦 ∈ 𝑋, 𝑡 ∈ 0,1 .
関数𝑓: 𝑋 → ℝが以下を満たす...
39
強凸問題は(弱)単体的
𝑓: ℝ 𝑛
→ ℝ 𝑚
を 𝐶 𝑟
-強凸写像 2 ≤ 𝑟 ≤ ∞ とする.このとき,𝑓 を最小化す
る問題は𝐶 𝑟−1
-弱単体的である.さらに,任意のパレート解 𝑥 について
corank 𝑑𝑓𝑥 = 1 な...
40
強凸問題はジェネリックな線形摂動で単体的に
𝐿 ℝ 𝑛, ℝ 𝑚 をℝ 𝑛からℝ 𝑚への線形写像全体の空間とし,ユークリッド空間
ℝ 𝑛 𝑚と同一視する.𝑓: ℝ 𝑛 → ℝ 𝑚 を 𝐶 𝑟-強凸写像 2 ≤ 𝑟 ≤ ∞, 𝑛 ≥ 𝑚 と...
41
ジェネリックな線形摂動の例
摂動項
摂動なし(ε=0)だと弱単体的 摂動を加える(ε≠0)と単体的になる
minimize
where
[Hamada+ 2020] Topology of Pareto sets of strongly ...
42
単体的な問題の解集合はベジエ単体で近似できる
3次ベジエ三角形
[Kobayashi+ 2019] Bezier simplex fitting: Describing Pareto fronts of simplicial proble...
43
ベジエ単体のフィッティング
44
応用例:スパースモデリング (Elastic Net)
𝑓1 𝑓2 𝑓3
回帰式:
ハイパラをグリッドサーチして得られたモデル群 ハイパラとモデルの関係をベジエ単体で近似
45
46
実験結果
問題例 手法
精度
(真のフロントから推定面への距離)
再現度
(推定面から真のフロントへの距離)
平均値 標準偏差 平均値 標準偏差
MED.3D 応答曲面法 1.34E+00 1.04E-01 6.57E-02 3.55E-...
47
48
まとめ
●多目的最適化の解集合全体を求めるにはトポロジーが大事
Smaleの大域解析などとも関係がある
●単体的な問題は重要
解集合のトポロジーが整っているため簡単に近似できる
●ほとんどの強凸問題は単体的
すべての𝐶 𝑟
-強凸問題は,...
[濱田 2020] 多目的最適化の解集合のトポロジーの検定法, JSIAM2020.
付録
ブラックボックス問題が単体的であることをデータから推測する方法
50
内容
●
○
○
○
●先行研究
○ 単体的でないことの検定法
●
○
51
強凸でない問題が単体的かどうか判定するには?
条件1 条件2
● 実応用では問題クラスが不明なことも ➡ データから判定したい
○ 条件2はなんとかなる
■ 与えられた写像 𝑓 を調べるだけ
○ 条件1は難しい(今回はこちらにフォーカス)...
52
● 条件1a: 𝑋∗ 𝑓𝐼 ≃ Δ 𝐼 −1 ∀𝐼
● 条件1b: int 𝑋∗ 𝑓𝐼 ∩ int 𝑋∗ 𝑓𝐽 = ∅ ∀𝐼, 𝐽 s. t. 𝐼 ≠ 𝐽
条件1を簡単化しよう(条件1 ⇔ 条件1a & 1b)
[Hamada 2017]...
53
条件1aの否定はパーシステンス図で検定できる
𝑾∞: Bottleneck distance 𝑯: Hausdorff distance
≤
for 𝑛 → ∞
2𝑐 𝑏
2𝑐 𝑏
𝕄 は未知なので、𝑆 𝑛 のブートストラップ
により 𝑐...
54
実験:確かに1aの否定を検出できた
Four 0-cycles
No 1-cycles
[Hamada+ 2018] Data-driven analysis of Pareto set topology. In GECCO 2018, ...
55
内容
●
○
○
○
●
○
●本研究の成果
○ 単体的であることの検定法
56
条件1aの肯定をパーシステンス図で検定したい
位相空間
𝑋と𝑌は同相
ホモロジー群
𝐻∗ 𝑋 と𝐻∗ 𝑌 は同型
なんとかして逆がいえないか…
普通は無理
57
ある仮定をおけば,ホモロジーから同相がいえる
58
証明のエッセンス(証明はJSIAM2020予稿に)
𝑀
𝐵 𝑊 ≔ 𝑀 − int 𝐵
𝜕− 𝑊 ≔ 𝜕𝐵
𝜕+ 𝑊 ≔ 𝜕𝑀
59
余談
●仮定「𝑀 と 𝜕𝑀 がともに単連結」は本当に緩いの?
数学的には緩くないが,実用的には物理現象から推測可能
● 𝑛 = 2 の ℎ-同境定理はポアンカレ予想と同値
予想が解けたおかげで,すべての次元で証明できた
●滑らかなカテゴリ...
Próximos SlideShares
Carregando em…5
×
Próximos SlideShares
What to Upload to SlideShare
Avançar
Transfira para ler offline e ver em ecrã inteiro.

1

Compartilhar

Baixar para ler offline

多目的強凸最適化のパレート集合のトポロジー

Baixar para ler offline

2020年9月16日 第13回日本オペレーションズ・リサーチ学会 研究部会 最適化とその応用 (Workshop on Optimization and its Applications, OPTA)での発表のスライドです。

Audiolivros relacionados

Gratuito durante 30 dias do Scribd

Ver tudo

多目的強凸最適化のパレート集合のトポロジー

  1. 1. 濱田 直希 リサーチエンジニア エンジニアリング本部 KLab株式会社 多目的強凸最適化の パレート集合のトポロジー ※スライド中の オレンジの文字 は参考文 献へのリンクです.スライドの記述は厳密 でない部分があるため,厳密な内容を知り たい場合は参考文献をご参照ください.
  2. 2. 2 2010/4 ~ 2013/3 東京工業大学 博士(工学) 2013/4 ~ 2020/6 (株) 富士通研究所 研究員 2020/7 ~ 現在 KLab (株) リサーチエンジニア 2017/4 ~ 現在 理化学研究所 客員研究員 濱田 直希 リサーチエンジニア 客員研究員 エンジニアリング本部 理研AIP-富士通連携センター KLab株式会社 理化学研究所 経歴 最適化,機械学習,位相幾何 Webプログラミング,ゲームプログラミング 専門
  3. 3. 3 ラブライブ! スクールアイドル フェスティバル BLEACH Brave Souls キャプテン翼 ~たたかえドリームチーム~ うたの☆プリンスさまっ♪ Shining Live 社名 KLab株式会社(クラブかぶしきかいしゃ) KLab Inc. 設立 2000年8月1日 資本金 48億1324万円(2020年1月末現在) 株式公開市場 東京証券取引所・市場第一部(3656) 代表者 代表取締役社長CEO 森田 英克 代表取締役副会長 五十嵐洋介 所在地 本社(東京都港区、六本木ヒルズ森タワー) 大阪事業所、福岡事業所、岡山事業所、仙台事業所 主要関連会社 株式会社KVP 株式会社スパイスマート 海外拠点 可来软件开发(上海)有限公司 (KLab China Inc.) グループ従業員数 正社員 578名(2019年12月末現在) 代表タイトル
  4. 4. 4 内容 ●背景と目的 ○ 多目的最適化とその解集合 ○ 多目的最適化におけるトポロジー研究の歴史 ●単体的な問題 ○ 実問題の解集合の傾向 ○ 数学的定式化 ●強凸問題との関係 ○ 強凸問題が単体的である条件 ○ スパースモデリングへの応用 多目的最適化のトポロジー研究は,長い歴史を持つにもかかわらず最適化や トポロジーの専門家にもあまり認知されていません.本日は,この分野が学 術的にも産業的にも興味深いことをお伝えできたら嬉しいです.
  5. 5. 5 内容 ●背景と目的 ○ 多目的最適化とその解集合 ○ 多目的最適化におけるトポロジー研究の歴史 ● ○ ○ ● ○ ○
  6. 6. 6 多目的最適化とは 複数の目的関数を同時に最適化する問題 例:minimize 𝑓1 𝑥1, 𝑥2 = 𝑥1 + 1 2 + 𝑥2 + 1 2 𝑓2 𝑥1, 𝑥2 = 𝑥1 − 1 2 + 𝑥2 − 1 2 subject to − 2 ≤ 𝑥𝑖 ≤ 2 𝑖 = 1,2 目標:1点の最適解ではなく,パレート解の集合を探す [定義] 制約充足点 𝑥 がパレート解であるとは, 以下を満たす制約充足点 𝑦 が存在しないことをいう: ● 𝑓𝑖 𝑦 ≤ 𝑓𝑖 𝑥 for all 𝑖, ● 𝑓𝑗 𝑦 < 𝑓𝑗 𝑥 for some 𝑗. パレート集合 パレートフロント 優 劣
  7. 7. 7 多目的最適化は様々な分野で応用されている ● 工業製品の設計 ○ 国産旅客機MRJのエンジン取り付け位置の設計 ○ 風力発電用の風車の設計 ● 人工知能の設計 ○ 機械学習モデルのチューニング ○ ゲームAIの思考ルーチン ● 産業・社会システムの運用 ○ 製品の生産計画 ○ 水道の配水計画 ● 商用ソルバ ○ modeFRONTIER ○ Optimus ○ iSight ○ ほか多数 [MONOist 2014] [進化計算コンペティション 2019]
  8. 8. 8 ランダムサンプリングと選択を繰り返して解に近づく 具体的な進化計算手法については下記などを参照: [Zhou+ 2011] Multiobjective evolutionary algorithms: A survey of the state of the art , Swarm and Evolutionary Computation 1(1), pp. 32-49. ソルバ(進化計算)の大まかな動作イメージ パレート集合 パレートフロント
  9. 9. 9 ランダムサンプリングと選択を繰り返して解に近づく 具体的な進化計算手法については下記などを参照: [Zhou+ 2011] Multiobjective evolutionary algorithms: A survey of the state of the art , Swarm and Evolutionary Computation 1(1), pp. 32-49. ソルバ(進化計算)の大まかな動作イメージ パレート集合 パレートフロント
  10. 10. 10 ランダムサンプリングと選択を繰り返して解に近づく 具体的な進化計算手法については下記などを参照: [Zhou+ 2011] Multiobjective evolutionary algorithms: A survey of the state of the art , Swarm and Evolutionary Computation 1(1), pp. 32-49. ソルバ(進化計算)の大まかな動作イメージ パレート集合 パレートフロント
  11. 11. 11 ランダムサンプリングと選択を繰り返して解に近づく 具体的な進化計算手法については下記などを参照: [Zhou+ 2011] Multiobjective evolutionary algorithms: A survey of the state of the art , Swarm and Evolutionary Computation 1(1), pp. 32-49. ソルバ(進化計算)の大まかな動作イメージ パレート集合 パレートフロント
  12. 12. 12 ランダムサンプリングと選択を繰り返して解に近づく 具体的な進化計算手法については下記などを参照: [Zhou+ 2011] Multiobjective evolutionary algorithms: A survey of the state of the art , Swarm and Evolutionary Computation 1(1), pp. 32-49. ソルバ(進化計算)の大まかな動作イメージ パレート集合 パレートフロント
  13. 13. 13 ランダムサンプリングと選択を繰り返して解に近づく 具体的な進化計算手法については下記などを参照: [Zhou+ 2011] Multiobjective evolutionary algorithms: A survey of the state of the art , Swarm and Evolutionary Computation 1(1), pp. 32-49. ソルバ(進化計算)の大まかな動作イメージ パレート集合 パレートフロント
  14. 14. 14 多目的最適化すれば最高の製品が作れる!? パレート集合やパレートフロントは目的数–1次元になる* 4目的以上の最適化問題を解いても理解できない 4目的以上は2~3目的と比べて急に難しくなるため,多数目的最適化とよばれています 図示できない 4目的最適化 パレートフロントは立体 3目的最適化 パレートフロントは曲面 2目的最適化 パレートフロントは曲線 *これはジェネリックに(=ほとんどすべての問題で)成立する.正確なステートメントは以下を参照:無制約最適化[Wan 1977],制約付き最適化[Wan 1978].
  15. 15. 15 なぜ多数目的は難しい? ● パレートフロントには次元削減が通用しない ○ 多様体仮説が成り立たない ● パレートフロントを近似するサンプルが少量しかとれない ○ 最適化計算が重いため,数十点~数百点が限界 5000兆目的 パレートフロント 射影可能 多目的最適化のデータの場合画像などのデータの場合
  16. 16. 16 この絶望的な状況を打開するには? ● 高次元図形を少量のサンプルで近似する!? ○ 何も仮定がなければできるはずがない ○ 多様体仮説に代わる,最適化問題で成り立つ新たな仮説が必要 ● パレートフロントはどんな構造をもっているのか? ○ 多くの問題に共通する性質は何か? ○ 産業界ではあまり研究されておらず,説明する共通言語もなかった ○ 使えそうな理論を探してみた
  17. 17. 17 普遍的な解構造の理論を探す旅  ノーフリーランチ砂漠  NFL定理「どんな探索アルゴリズムも,すべての関数に対す る平均的な探索性能はランダムサーチと等しい」*  対象問題をむやみに一般化せず,問題に特化した最適 化アルゴリズムを作るのが成功の秘訣と信じられている *組合せ最適化 [Wolpert+ 1997],連続最適化 [Lockett+ 2017],多目的組合せ最適化 [Corne+ 2003].今回の主題である多目的連続最適化に関しては類似の定理はまだ証明されていないた め,ここの議論には少し飛躍がある.  コンベックス山脈  最適化アルゴリズムの理論を構築するには,ほとんどのケー スで「目的関数が凸 (Convex)」という仮定が使われる  この仮定を外したとたんに,理論構築が一気に難しくなる
  18. 18. 18 大域的最適化の理論を求めて… じつは結構 昔からあるらしい (Steve Smale 1980年) 大域的最適化の ための解析学は ないのだろうか…
  19. 19. 19 Smaleの文献を辿るとそこには… 多目的最適化 発祥の地 目的関数の凸性を仮定することなくパレート集合の性質を解析する [Smale 1975]
  20. 20. 20 “ほとんど全て”の問題に共通する性質がある! [Smale 1973] パレート臨界点集合はm-1次元の滑層分割集合となる. *上記論文には証明は書かれていない.の ちに上記とは若干異なる仮定のもとで,いく つかの条件下で類似の命題が示された.無 制約最適化のケースは[Wan 1977],制 約付き最適化は[Wan 1978],パレート 順序の代わりに一般の凸錐が誘導する順 序を用いた一般化は[Vershik+ 1982]を 参照. 微分可能なすべての多目的最適化問題 滑層分割不可能 (痩せた集合=例外的) 滑層分割可能 (稠密集合=ほとんどすべて) 例外的な問題は不安定 摂動すれば典型的な問題に変わる
  21. 21. 21 多目的最適化におけるトポロジー研究の歴史 ● 1950年代:経済学におけるトポロジー研究 ○ アクティビティ分析を多目的線形計画問題で定式化,解の可縮性を議論 ● 1970年代:大域解析による最適化理論の始まり ○ 微分トポロジーにより,純粋交換経済の大域的構造を議論 ● 1970-80年代:Operations Research (OR)への波及 ○ 経済学における成果を一般の凸計画問題などに拡張 ● 1990年代:冬の時代 ○ 経済学とORにおいてトポロジーの研究が下火に ● 2000年代:計算機の発達,応用での実証例 ○ 多目的最適化の産業応用が進み,上記の理論を裏付ける報告が多数 ● 2010年代:雪解け ○ ORで大域解析の応用,進化計算で位相的データ解析の応用が登場
  22. 22. 22 1950年代:経済学におけるトポロジー研究 T.C. Koopmans 資源の最適配分を初めて多 目的線形計画問題として定 式化して解き,ノーベル経済 学賞を受賞. その研究の中で解集合の 可縮性を議論した. [Koopmans 1951, p.76]より(証明はスケッチのみ): [Koopmans 1951] Analysis of production as an efficient combination of activities. In Activity Analysis of Production and Allocation, pp. 33-97. .
  23. 23. 23 1970年代:大域解析による最適化理論の始まり S. Smale © G. Bergman 2008, GFDL 1.2 高次元Poincare予想を 解決しフィールズ賞受賞. そこで駆使したモース理 論を拡張し,経済学にお ける多目的最適化問題の 解集合の構造を議論した. 純粋交換経済:𝑚 人の消費者と 𝑙 種類の商品がある市場. 消費者 𝑖 は自身の効用関数 𝑢𝑖 を最大化するよう商品を交換. パレート集合は市場の均衡状態を表す. 上記の問題のパレート集合は𝑚 − 1次元単体と同相 上記の命題は[Hamada+ 2019]より.この命題の初出は[Smale 1973]だが,発表者の知るかぎり今まで証明はされていない.
  24. 24. 24 1970-80年代:Operations Researchへの波及 D.T. Luc Koopmans流のアプロー チを発展させ,凸最適化 におけるパレート集合/フ ロントの閉性,連結性, 可縮性を議論.多目的最 適化の解集合のトポロジ ーに関する数少ない教科 書を執筆. 線形,凸,準凸計画問題の パレート解集合/フロントの閉性,連結性,可縮性 [Luc 1989]
  25. 25. 25 1990年代:冬の時代 ● Koopmans流のアプローチは… ○ 凸最適化までの範囲では,ほぼ直観通りの結果しか得られなかった ○ 凸で培われた解析技術は,より広いクラスには拡張が難しかった ○ そのため,やることがなくなったと思われた ● Smale流のアプローチは… ○ 非凸最適化への有望なアプローチだったが,あまり流行らなかった ○ 当時の計算機では,パレート解の網羅的探索は考えられなかった ○ そのため,解の大域的性質がわかったところで実用性がなかった
  26. 26. 26 2000年代:計算機の発達,応用での実証例 [大山 2004] 図1 [廣安+ 2003] 図10
  27. 27. 27 2010年代:ORへの大域解析の適用 凸計画問題のパレート解集合はm-1次元単体と微分同相 そのk-1次元面はk目的部分問題のパレート解集合 ちなみにこれは誤り 正確な条件はこちら A. Lovison modeFRONTIER開発元 のESTECO Research Lab. に勤めていた. 今はパドヴァ大学に移籍 し,Smale理論を応用し た最適化を研究. [Lovison+ 2014]
  28. 28. 28 ここまでのまとめ ●産業界の動向 ○ 2000年頃より多目的最適化の応用がさかん ○ しかし4目的以上では解の構造が理解困難だった ●学術界の動向 ○ 多目的最適化のトポロジーは半世紀前から研究されていた ○ しかし理論中心で産業応用には至っていなかった
  29. 29. 29 内容 ● ○ ○ ●単体的な問題 ○ 実問題の解集合の傾向 ○ 数学的定式化 ● ○ ○
  30. 30. 30 そのころ進化計算業界では… ●パレート解を網羅的に探索できるようになってきた ●パレート解のデータが公開されるようになってきた ●産業問題に理論が当てはまるか検証可能になってきた ●というわけで調べてみた ○ 国際会議GECCO2015~2019の採択論文で報告された,近 似パレートフロントが掲載された実問題を全数調査. [濱田 2020]「実践と数理に根ざした多目的最適化ベンチマークの開発」成果報告書.
  31. 31. 31 観察1:2目的パレートフロントは曲線が頻出 [大山 2004] 図1 [Contreras+ 2016] Fig.5 [Reynoso-Meza+ 2015] Fig.4 [Gilan+ 2016] Fig.4[Mastroddi+ 2013] Fig.4
  32. 32. 32 観察1:3目的では曲がった三角形が頻出 [廣安+ 2003] 図10 [Reynoso-Meza+ 2015] Fig.4 [Mastroddi+ 2013] Fig.4
  33. 33. 33 観察1:𝑚目的では曲がった𝑚 − 1次元単体が頻出 1次元単体=線分 2次元単体=三角形 3次元単体=四面体 … 左図は4次元パレートフロン トを2次元に射影しているの で正確には分からないが, おそらく4次元単体に見える. 23/32件(約72%)のパレー トフロントが単体と同相! [Reynoso-Meza+ 2015] Fig.6
  34. 34. 34 観察2:パレートフロントの「カド」が大事 論文著者いわく 「パレートフロントのカド は性能上のボトルネックを 示唆している.カドに位置 する解をよく調べることで, 性能改善のヒントが得られ る可能性が高い.」 [Chiba+ 2013] Fig.3
  35. 35. 35 観察された性質をちゃんと定義してみた 条件1 条件2 𝑓 = 𝑓1, … , 𝑓𝑚 : ℝ 𝑛 → ℝ 𝑚, 𝑀 = 1, … , 𝑚 とする.それぞれの𝐼 = 𝑖1, … , 𝑖 𝑘 ⊆ 𝑀について𝑓𝐼 = 𝑓𝑖1 , … , 𝑓𝑖 𝑘 とする.ある𝐶 𝑟-写像 0 ≤ 𝑟 ≤ ∞ Φ: Δ 𝑚−1 → 𝑋∗ 𝑓 が存在してΦ Δ 𝐼 𝑚−1: Δ𝐼 𝑚−1 → 𝑋∗ 𝑓𝐼 と𝑓 𝑋∗ 𝑓 𝐼 : 𝑋∗ 𝑓𝐼 → 𝑓𝑋∗ 𝑓𝐼 がともに全射な 𝐶 𝑟-写像ならば,𝑓 を最小化する問題は𝐶 𝑟-弱単体的であるという.さらに Φ Δ 𝐼 𝑚−1: Δ𝐼 𝑚−1 → 𝑋∗ 𝑓𝐼 と𝑓 𝑋∗ 𝑓 𝐼 : 𝑋∗ 𝑓𝐼 → 𝑓𝑋∗ 𝑓𝐼 がともに𝐶 𝑟-微分同相写像な らば,問題は𝐶 𝑟 -単体的であるという. 定義:(弱)単体的な問題 [Hamada+ 2020] Topology of Pareto sets of strongly convex problems. SIOPT, 30(3), 2659-2686.
  36. 36. 36 定義のポイント ●単体の面の構造にも言及 ○ Smaleは「単体と同相」としか言っていない ○ Lovisonの言及では面の貼合せ構造に曖昧さが残る ●パレート集合/フロントの両方に言及 ○ SmaleやLovisonはパレート集合のみ ●特定の問題クラスとは切り離した定式化 ○ Smaleは純粋交換経済の問題 ○ Lovisonは凸最適化問題 ●より複雑な解集合を表すための「基本部品」となることも期待 ○ ジェネリックな問題のパレート集合/フロントは滑層分割集合[Wan 1977], [Wan 1978], [Vershik+ 1982] ○ 任意のコンパクト滑層分割集合は三角形分割可能[Johnson 1983] ○ 単体的な問題のパレート集合/フロントを貼り合せて表現できるかも
  37. 37. 37 内容 ● ○ ○ ● ○ ○ ●強凸問題との関係 ○ 強凸問題が単体的である条件 ○ スパースモデリングへの応用
  38. 38. 38 強凸問題 𝑋 ⊆ ℝ 𝑛を凸集合とする.関数𝑓: 𝑋 → ℝが以下を満たすとき凸関数という: 𝑓 𝑡𝑥 + 1 − 𝑡 𝑦 ≤ 𝑡𝑓 𝑥 + 1 − 𝑡 𝑓 𝑦 ∀𝑥, 𝑦 ∈ 𝑋, 𝑡 ∈ 0,1 . 関数𝑓: 𝑋 → ℝが以下を満たすとき強凸関数という:ある𝛼 > 0が存在して 𝑓 𝑡𝑥 + 1 − 𝑡 𝑦 ≤ 𝑡𝑓 𝑥 + 1 − 𝑡 𝑓 𝑦 − 1 2 𝛼𝑡 1 − 𝑡 𝑥 − 𝑦 2 ∀𝑥, 𝑦 ∈ 𝑋, 𝑡 ∈ 0,1 . 定義:(強)凸関数 𝑋 ⊆ ℝ 𝑛を凸集合とする.写像𝑓 = 𝑓1, … , 𝑓𝑚 : 𝑋 → ℝ 𝑚を最適化する問題は,すべ ての関数𝑓𝑖: 𝑋 → ℝが(強)関数であるとき,(強)凸最適化問題という. 定義:(強)凸最適化問題
  39. 39. 39 強凸問題は(弱)単体的 𝑓: ℝ 𝑛 → ℝ 𝑚 を 𝐶 𝑟 -強凸写像 2 ≤ 𝑟 ≤ ∞ とする.このとき,𝑓 を最小化す る問題は𝐶 𝑟−1 -弱単体的である.さらに,任意のパレート解 𝑥 について corank 𝑑𝑓𝑥 = 1 ならば, 𝑓 を最小化する問題は𝐶 𝑟−1-単体的である. 定理:強凸問題が単体的である条件 [Hamada+ 2020] Topology of Pareto sets of strongly convex problems. SIOPT, 30(3), 2659-2686. 定理の直感的な意味: corank 𝑑𝑓𝑥 = 2 の点で パレート集合がピンチ されるため,単体とは 同相でなくなる. このような点が存在 しなければ,パレート 集合は単体と同相.
  40. 40. 40 強凸問題はジェネリックな線形摂動で単体的に 𝐿 ℝ 𝑛, ℝ 𝑚 をℝ 𝑛からℝ 𝑚への線形写像全体の空間とし,ユークリッド空間 ℝ 𝑛 𝑚と同一視する.𝑓: ℝ 𝑛 → ℝ 𝑚 を 𝐶 𝑟-強凸写像 2 ≤ 𝑟 ≤ ∞, 𝑛 ≥ 𝑚 とす る.もし𝑛 − 2𝑚 + 4 > 0 ならば,ルベーグ測度0集合Σ ⊂ 𝐿 ℝ 𝑛 , ℝ 𝑚 が存在し, 任意の𝜋 ∈ 𝐿 ℝ 𝑛 , ℝ 𝑚 − Σについて写像𝑓 + 𝜋は任意のパレート解𝑥 ∈ 𝑋∗ 𝑓 + 𝜋 においてcorank 𝑑 𝑓 + 𝜋 𝑥 = 1 である.つまり, 𝑓 + 𝜋を最小化す る問題は𝐶 𝑟−1 -単体的である. 定理:強凸問題が摂動で単体的になる条件 [Hamada+ 2020] Topology of Pareto sets of strongly convex problems. SIOPT, 30(3), 2659-2686.
  41. 41. 41 ジェネリックな線形摂動の例 摂動項 摂動なし(ε=0)だと弱単体的 摂動を加える(ε≠0)と単体的になる minimize where [Hamada+ 2020] Topology of Pareto sets of strongly convex problems. SIOPT, 30(3), 2659-2686.
  42. 42. 42 単体的な問題の解集合はベジエ単体で近似できる 3次ベジエ三角形 [Kobayashi+ 2019] Bezier simplex fitting: Describing Pareto fronts of simplicial problems with small samples in multi-objective optimization. In AAAI-19.
  43. 43. 43 ベジエ単体のフィッティング
  44. 44. 44 応用例:スパースモデリング (Elastic Net) 𝑓1 𝑓2 𝑓3 回帰式: ハイパラをグリッドサーチして得られたモデル群 ハイパラとモデルの関係をベジエ単体で近似
  45. 45. 45
  46. 46. 46 実験結果 問題例 手法 精度 (真のフロントから推定面への距離) 再現度 (推定面から真のフロントへの距離) 平均値 標準偏差 平均値 標準偏差 MED.3D 応答曲面法 1.34E+00 1.04E-01 6.57E-02 3.55E-03 一斉推定 1.51E+00 3.92E+00 1.01E-01 7.70E-02 帰納的骨格推定 4.84E-01 1.18E+00 6.09E-02 2.17E-02 Viennet2 応答曲面法 3.00E+00 1.76E+00 6.12E-02 9.15E-03 一斉推定 8.69E+06 2.36E+07 2.17E-01 4.48E-02 帰納的骨格推定 2.34E+00 3.68E+00 6.39E-02 6.45E-03 MED.5D 応答曲面法 5.04E+00 6.77E-01 1.01E-01 5.12E-03 一斉推定 7.68E+00 1.68E+01 1.82E-01 4.91E-02 帰納的骨格推定 3.70E-01 4.08E-01 8.32E-02 1.62E-02 S3TD 応答曲面法 7.53E-01 2.17E-01 1.00E-01 5.65E-03 一斉推定 2.44E-01 1.33E-01 2.64E-01 1.45E-01 帰納的骨格推定 1.97E-01 2.45E-02 1.38E-01 1.20E-02
  47. 47. 47
  48. 48. 48 まとめ ●多目的最適化の解集合全体を求めるにはトポロジーが大事 Smaleの大域解析などとも関係がある ●単体的な問題は重要 解集合のトポロジーが整っているため簡単に近似できる ●ほとんどの強凸問題は単体的 すべての𝐶 𝑟 -強凸問題は,𝐶 𝑟−1 -弱単体的かつジェネリックな線 形摂動で𝐶 𝑟−1-単体的にできる
  49. 49. [濱田 2020] 多目的最適化の解集合のトポロジーの検定法, JSIAM2020. 付録 ブラックボックス問題が単体的であることをデータから推測する方法
  50. 50. 50 内容 ● ○ ○ ○ ●先行研究 ○ 単体的でないことの検定法 ● ○
  51. 51. 51 強凸でない問題が単体的かどうか判定するには? 条件1 条件2 ● 実応用では問題クラスが不明なことも ➡ データから判定したい ○ 条件2はなんとかなる ■ 与えられた写像 𝑓 を調べるだけ ○ 条件1は難しい(今回はこちらにフォーカス) ■ 同相写像全体の中から制約を満たすものを見つける
  52. 52. 52 ● 条件1a: 𝑋∗ 𝑓𝐼 ≃ Δ 𝐼 −1 ∀𝐼 ● 条件1b: int 𝑋∗ 𝑓𝐼 ∩ int 𝑋∗ 𝑓𝐽 = ∅ ∀𝐼, 𝐽 s. t. 𝐼 ≠ 𝐽 条件1を簡単化しよう(条件1 ⇔ 条件1a & 1b) [Hamada 2017] Simple problems: The simplicial gluing structure of Pareto sets and Pareto fronts. In GECCO 2017, pp. 315-316.
  53. 53. 53 条件1aの否定はパーシステンス図で検定できる 𝑾∞: Bottleneck distance 𝑯: Hausdorff distance ≤ for 𝑛 → ∞ 2𝑐 𝑏 2𝑐 𝑏 𝕄 は未知なので、𝑆 𝑛 のブートストラップ により 𝑐 𝑏 を推定する [Fasy+ 2014] Confidence sets for persistence diagrams. Ann. Statist. Vol. 42, No. 6, pp. 2301-2339.
  54. 54. 54 実験:確かに1aの否定を検出できた Four 0-cycles No 1-cycles [Hamada+ 2018] Data-driven analysis of Pareto set topology. In GECCO 2018, pp. 657-664.
  55. 55. 55 内容 ● ○ ○ ○ ● ○ ●本研究の成果 ○ 単体的であることの検定法
  56. 56. 56 条件1aの肯定をパーシステンス図で検定したい 位相空間 𝑋と𝑌は同相 ホモロジー群 𝐻∗ 𝑋 と𝐻∗ 𝑌 は同型 なんとかして逆がいえないか… 普通は無理
  57. 57. 57 ある仮定をおけば,ホモロジーから同相がいえる
  58. 58. 58 証明のエッセンス(証明はJSIAM2020予稿に) 𝑀 𝐵 𝑊 ≔ 𝑀 − int 𝐵 𝜕− 𝑊 ≔ 𝜕𝐵 𝜕+ 𝑊 ≔ 𝜕𝑀
  59. 59. 59 余談 ●仮定「𝑀 と 𝜕𝑀 がともに単連結」は本当に緩いの? 数学的には緩くないが,実用的には物理現象から推測可能 ● 𝑛 = 2 の ℎ-同境定理はポアンカレ予想と同値 予想が解けたおかげで,すべての次元で証明できた ●滑らかなカテゴリーでの 𝑛 = 3 の ℎ-同境定理は未解決 滑らかなカテゴリーでの4次元ポアンカレ予想と同値 ポアンカレ予想は応用数学
  • nakayoshix

    Dec. 24, 2020

2020年9月16日 第13回日本オペレーションズ・リサーチ学会 研究部会 最適化とその応用 (Workshop on Optimization and its Applications, OPTA)での発表のスライドです。

Vistos

Vistos totais

632

No Slideshare

0

De incorporações

0

Número de incorporações

0

Ações

Baixados

5

Compartilhados

0

Comentários

0

Curtir

1

×