移行 https://speakerdeck.com/tomit3/di-9hui-kaim-jin-ze-ren-gong-zhi-neng-mian-qiang-hui-jin-hua-de-ji-suan-tozui-shi-hua
我々の身近には最適化された・するモノ・コトが多々存在する。これらモノ・コトはどのように最適化されたのだろうか。具体例をもとに最適化問題について説明し、進化的計算による最適化アルゴリズムについて説明する。
There are many optimized things/items in our real world. How were these things optimized? Explain the optimization problem based on a specific example and explain the optimization algorithm by Evolutionary computation.
2. abstract
• There are many optimized things/items in our real
world. How were these things optimized? Explain the
optimization problem based on a specific example
and explain optimization algorithm by Evolutionary
computation.
• 我々の身近には最適化された・するモノ・コトが多々
存在する。これらモノ・コトはどのように最適化され
たのだろうか。具体例をもとに最適化問題について
説明し、進化的計算による最適化アルゴリズムにつ
いて説明する。
64. 進化的計算
• 変数が多い(=高次元になると)と収束しなくなる。
• ESの一種である「CMA-ES(共分散行列適応進化戦
略)」は自然勾配法[1]と関連[2]
– 自然勾配法(Natural Gradiend Descent)は、勾配法の一種。
勾配とフィッシャー情報行列の逆行列を用いて更新すること
で勾配法より早く収束。ヘッセ行列の近似に相当[3]
• フィッシャー情報行列の計算が重いため、近似値で行う手法も提案
されている。
– 進化的計算ではないが、IGO(情報幾何最適化)というフ
レームワークも提唱[4]
[1]Amari, Shun-Ichi. "Natural gradient works efficiently in learning." Neural computation 10.2 (1998): 251-276.
[2]Akimoto, Youhei, et al. "Bidirectional relation between CMA evolution strategies and natural evolution strategies." International Conference on Parallel Problem
Solving from Nature. Springer, Berlin, Heidelberg, 2010.
[3]James Martens. New insights and perspectives on the natural gradient method. https://arxiv.org/abs/1412.1193 v9
[4]Arnold, L., A. Auger, N. Hansen, Y. Ollivier (2011). Information-Geometric Optimization Algorithms: A Unifying Picture via Invariance Principles, technical report on
HAL: hal-00601503
論文のななめ読み。。。
69. 参考文献
1. 穴井宏和. 数理最適化の実践ガイド. 講談社, 2013.
2. 金谷 健一, "これなら分かる最適化数学―基礎原理から計算手法まで", 共立出版株式会社, 2007年初版第7刷
3. オペレーションズリサーチ学会, “ORを探せ!”ポスターより(http://www.orsj.or.jp/members/poster.html)
4. 電気学会. "遺伝アルゴリズムとニューラルネット." コロナ社, 1999.
5. Ono, Isao, Shigenobu Kobayashi, and Koji Yoshida. "Optimal lens design by real-coded genetic algorithms using UNDX." Computer methods in applied mechanics and
engineering 186.2-4 (2000): 483-497.
6. 大林茂. "進化計算と工学設計." 進化計算学会論文誌 1.1 (2011): 8-9.
7. Wolpert, David H., and William G. Macready. "No free lunch theorems for optimization." IEEE transactions on evolutionary computation 1.1 (1997): 67-82.
8. 編集人 亀井哲治郎, 発行人 大石進, “数学セミナー”, 日本評論社, 1985年8月号
9. サポートベクターマシン:
https://ja.wikipedia.org/wiki/%E3%82%B5%E3%83%9D%E3%83%BC%E3%83%88%E3%83%99%E3%82%AF%E3%82%BF%E3%83%BC%E3%83%9E%E3%82%B7%E3%83%B3
10. 逐次最小問題最適化法:
https://ja.wikipedia.org/wiki/%E9%80%90%E6%AC%A1%E6%9C%80%E5%B0%8F%E5%95%8F%E9%A1%8C%E6%9C%80%E9%81%A9%E5%8C%96%E6%B3%95
11. K. Hoki and T. Kaneko, "Large-Scale Optimization for Evaluation Functions with Minimax Search", Journal of Artificial Intelligence Research (JAIR), 2014, Volume 49, pages
527-568
12. 組合せ最適化でチーム分けする(平均偏差最小化):https://qiita.com/matsulib/items/898873b73d584c7dcb8b
13. 小林 一郎. “人工知能の基礎.” サイエンス社, 2008.
14. 荒屋 真二. ”人工知能概論 第2版 ―コンピュータ知能からWeb知能まで.”共立出版, 2004
15. 進化的計算:https://ja.wikipedia.org/wiki/%E9%80%B2%E5%8C%96%E7%9A%84%E8%A8%88%E7%AE%97
16. Valdez, Fevrier, Patricia Melin, and Oscar Castillo. "A survey on nature-inspired optimization algorithms with fuzzy logic for dynamic parameter adaptation." Expert
systems with applications 41.14 (2014): 6459-6466.
17. Fister Jr, Iztok, et al. "A brief review of nature-inspired algorithms for optimization." arXiv preprint arXiv:1307.4186 (2013).
18. Bhuvaneswari, M., et al. "Nature Inspired Algorithms: A Review." International Journal of Emerging Technology in Computer Science and Electronics 12.1 (2014): 21-28.
19. 自然選択説:https://ja.wikipedia.org/wiki/%E8%87%AA%E7%84%B6%E9%81%B8%E6%8A%9E%E8%AA%AC
20. 樋口 隆英, 筒井 茂義, 山村 雅幸, "実数値GAにおけるシンプレクス交叉", 人工知能学会論文誌Vol. 16 (2001) No. 1 pp.147-155
21. Amari, Shun-Ichi. "Natural gradient works efficiently in learning." Neural computation 10.2 (1998): 251-276.
22. Akimoto, Youhei, et al. "Bidirectional relation between CMA evolution strategies and natural evolution strategies." International Conference on Parallel Problem Solving
from Nature. Springer, Berlin, Heidelberg, 2010.
23. James Martens. New insights and perspectives on the natural gradient method. https://arxiv.org/abs/1412.1193 v9
24. Arnold, L., A. Auger, N. Hansen, Y. Ollivier (2011). Information-Geometric Optimization Algorithms: A Unifying Picture via Invariance Principles, technical report on HAL:
hal-00601503
25. 小林重信. "実数値 GA のフロンティア." 人工知能学会論文誌 24.1 (2009): 147-162.
26. Hooke, R. and Jeeves, T.A., ""Direct search" solution of numerical and statistical problems", Journal of the Association for Computing Machinery (ACM) 8 (2), pp212–229.
27. J.A.Nelder and R.Mead, "A simplex method for function minimization" ,The Computer Journal vol.7, 308–313 (1965)