Optimization Night 4 における発表資料 https://optimization.connpass.com/event/194695/ 【講演内容】 動的計画法は，最適化問題を解くためのアプローチの一つです． 解きたい問題を一連の部分問題へと分割し，各部分問題に対する最適解を順に決定していくことにより，もとの問題の最適解を求める手法です． 本講演では，さまざまな分野の問題に対する動的計画法の適用の仕方を概観します． とくに，「動的計画法を適用するときの部分問題への分割の仕方」に着目することにより，さまざまな分野の問題が，共通の構造をもつ問題のグループへとパターン化できることを見ていきます．

1. 動的計画法を活用した
問題解決の概観
NTT データ数理システム
大槻 兼資
(ペンネーム: けんちょん)
2020/12/2
@数理最適化: Optimization Night #4
1

2. • 2014年：東京大学大学院情報理工学系研究科
数理情報学専攻修士課程修了
自己紹介 (本業編)
• 2015年～：NTT データ数理システム
• 専門は数理工学全般
• 数理最適化
• シフトスケジューリングなど
• アルゴリズム
• 探索, ネットワークなど
• 機械学習
• チャットボットなど
http://www.dis.uniroma1.it/challenge9/download.shtml 2

3. 3
自己紹介 (趣味編)
(12月2日) (7 の形) (1234567890 で「コ」)
• 虫食算作り
• コミケなどにも出店
• オーム社雑誌「ロボコンマガジン」の懸賞担当

4. 4
アルゴリズム書籍を出版
『問題解決力を鍛える！アルゴリズムとデータ構造』
梅谷先生の著作も

5. 数理最適化
• 野菜ジュースの原料調達問題
• 居酒屋ランチ営業バイト募集問題
• スケジューリング問題
• 発電計画問題
• 積み付け問題
• etc.
梅谷先生「しっかり学ぶ数理最適化」の最初の例
https://www.msiism.jp/article/tanabe-combinatorial-optimization1.html
5
与えられた制約条件の下で目的関数
の値を最適にする解を求める
意思決定
問題解決

6. 最適化問題へのアプローチ
6
• 数理計画ソルバーの活用
• 線形計画問題、整数計画問題への定式化
• 山登り法、メタヒューリスティクス
• NP 困難問題への汎用的なアプローチ
• さまざまなアルゴリズム
• 貪欲法、動的計画法、最短路アルゴリズム、
ネットワークフローなど

7. 数理最適化の精神
7
• さまざまな問題が、モデリングを通して統一的に扱える
• 共通の論理 (理論) に基づいて、共通の計算 (アルゴリズム)
• インフラ、サービス、金融、物流、製造、公共、ヘルスケア
• 動的計画法を題材として (本講演の目的)
モデリング + 理論 + アルゴリズム
https://www.logos.ic.i.u-tokyo.ac.jp/~chik/InfoTech12/07%20Murota.pdf

8. なぜ動的計画法なのか
8
• 問題解決思考のエッセンスが詰まっている
• ルネ・デカルト「困難は分割せよ」
• 数多くの問題を、分野横断的に解決
• スケジューリング問題
• 発電計画問題
• 音声認識パターンマッチング
• 文章の分かち書き
• 隠れマルコフモデル
問題を一連の部分問題に分割し、
各部分問題の解をメモ化しながら順に求めていく手法

9. 本日の講演内容
• 自己紹介、イントロ
9
• 動的計画法とは
• 動的計画法のさまざまなパターン

10. 本日の講演内容
10
• 動的計画法とは

11. (コスト: )
動的計画法の例題
11
高さが であるような N 個の足場がある
足場
h0, h1, . . . , hN−1
0 から足場 N − 1 へと移動したい (次の移動が可能)
・足場 i から足場 i + 1 へと移動
i + 2・足場 i から足場 へと移動
最小コストを求めよ
|hi − hi+1|
|hi − hi+2|(コスト: )
AtCoder Educational DP Contest A - Frog

12. (コスト: )
グラフの問題と考える
12
高さが であるような N 個の足場がある
足場
h0, h1, . . . , hN−1
0 から足場 N − 1 へと移動したい (次の移動が可能)
・足場 i から足場 i + 1 へと移動
i + 2・足場 i から足場 へと移動
最小コストを求めよ
|hi − hi+1|
|hi − hi+2|(コスト: )
AtCoder Educational DP Contest A - Frog
例:
N = 7
h = (2, 9, 4, 5, 1, 6, 10)
0 1 2 3 4 5 6
7
2
5 1 4 5 4
4
3
1 9

13. (コスト: )
グラフの問題と考える
13
高さが であるような N 個の足場がある
足場
h0, h1, . . . , hN−1
0 から足場 N − 1 へと移動したい (次の移動が可能)
・足場 i から足場 i + 1 へと移動
i + 2・足場 i から足場 へと移動
最小コストを求めよ
|hi − hi+1|
|hi − hi+2|(コスト: )
AtCoder Educational DP Contest A - Frog
例:
N = 7
h = (2, 9, 4, 5, 1, 6, 10)
0 1 2 3 4 5 6
7
2
5 1 4 5 4
4
3
1 9

14. メモ化用の DP テーブル
14
0
7
2
5 1 4 5 4
4
3
1 9
1 2 3 4 5 6
DP 値

15. 頂点 0 への最小コスト (初期条件)
15
0
7
2
5 1 4 5 4
4
3
1 9
1 2 3 4 5 6
DP 値
0

16. 頂点 1 への最小コスト
16
0
7
2
5 1 4 5 4
4
3
1 9
1 2 3 4 5 6
DP 値
0
7
7

17. 頂点 2 への最小コスト
17
0
7
2
5 1 4 5 4
4
3
1 9
1 2 3 4 5 6
DP 値
0 7
2
5
2
12 vs. 2

18. 頂点 3 への最小コスト
18
0
7
2
5 1 4 5 4
4
3
1 9
1 2 3 4 5 6
DP 値
0 7
4
1
2
3 vs. 11
3

19. 頂点 4 への最小コスト
19
0
7
2
5 1 4 5 4
4
3
1 9
1 2 3 4 5 6
DP 値
0 7
3
4
2
7 vs. 5
3 5

20. 頂点 5 への最小コスト
20
0
7
2
5 1 4 5 4
4
3
1 9
1 2 3 4 5 6
DP 値
0 7
1
5
2
10 vs. 4
3 5 4

21. 頂点 6 への最小コスト
21
0
7
2
5 1 4 5 4
4
3
1 9
1 2 3 4 5 6
DP 値
0 7
9
4
2
8 vs. 14
3 5 4 8

22. 実装上は
22
• メモ化用の DP テーブルを配列でもつ
dp[v] ← 頂点 0 から頂点 v へ至る最短コスト
i-2 i-1 i

23. 動的計画法による解法まとめ
• 問題を一連の部分問題に分割
• 頂点 0 へ至る最小コストを求める問題
• 頂点 1 へ至る最小コストを求める問題
• 頂点 2 へ至る最小コストを求める問題
• …
• 頂点 N-1 へ至る最小コストを求める問題
23
• メモ化しながら、各部分問題の解を順に求めた

24. 本日の講演内容
24
• 動的計画法のさまざまなパターン

25. 動的計画法は汎用的
• 動的計画法で解決できる問題は数多くある
• ナップサック問題
• スケジューリング問題
• 発電計画問題
• 編集距離
• 音声認識パターンマッチング問題
• 文章の分かち書き
• 隠れマルコフモデル
25
• 問題に応じて各個撃破な発想で解くしかないのか？

26. 動的計画法の遷移パターンに着目
• 動的計画法は高校数学でいうところの「漸化式」
26
• 漸化式の遷移パターンに着目すると、典型的な
パターンをいくつか抽出できる！
• それらに習熟すれば、さまざまな問題が解ける
• 「モデリング」 + 「理論」 + 「アルゴリズム」
i-2 i-1 idp[i] = min(dp[i-1] + f(i-1, i),
dp[i-2] + f(i-2, i)

27. 拙著の動的計画法の章
• 5 章 - 設計技法 (3)：動的計画法
27
• 5.1 動的計画法とは
• 5.2 動的計画法の例題
• 5.3 動的計画法に関連する諸概念
• 5.4 動的計画法の例 (1)：ナップサック問題
• 5.5 動的計画法の例 (2)：編集距離
• 5.6 動的計画法の例 (3)：区間分割の仕方を最適化
• 5.7 まとめ

28. パターン(1)：ナップサック問題
28
w
0 1 2 3 4 5 6 7 8 9 10
dp[0]
dp[1]
dp[2]
dp[3]
dp[4]
0 0 0 0 0 0 0 0 0 0 0
0 0 0 6 6 6 6 6 6 6 6
0 3 3 6 9 9 9 9 9 9 9
0 3 3 6 9 9 10
0 3 3 6 85
10 10 10 10
88 88 91 94 94 95
• こんなイメージの遷移

29. パターン(2)：編集距離
29
• こんなイメージの遷移
0
1
2
3
4
5
6
7
8
1
1
2
3
4
5
6
7
8
2
1
2
3
4
5
6
7
8
3
2
2
2
3
4
5
6
7
4
3
2
3
3
4
5
6
7
5
4
3
3
4
4
5
6
7
6
5
4
4
3
4
5
5
6
7
6
5
5
4
4
4
5
6
8
7
6
6
5
5
5
5
6
l
o
g
9
8
7
7
6
6
6
6
6
i
s
t
i
c
a l g o r i t h m
長さ 1
長さ 0

30. パターン(3)：区間分割
30
• こんなイメージの遷移
i 個j 個
dp[i] = min(dp[i], dp[j] + f(j, i))

31. 3 つの代表的な遷移パターン
31
• ナップサック問題
• 編集距離
• 区間分割

32. ナップサック問題
32
N 個の品物があって、いくつか選びたい
各品物には「重さ」と「価値」の属性がある
選んだ品物の重さの合計が W を超えないようにしつつ
価値の総和を最大化せよ
https://www.msi.co.jp/nuopt/introduction/index.html

33. ナップサック問題
33
N 個の品物があって、いくつか選びたい
各品物には「重さ」と「価値」の属性がある
選んだ品物の重さの合計が W を超えないようにしつつ
価値の総和を最大化せよ
dp[i] ← N 個の品物のうち、最初の i 個のみ考える
その中から重さの合計が W を超えないようにしつつ
選んだ品物の価値の最大値 (？)
最初の i 個についての問題 (部分問題)
これだとうまくいかない

34. ナップサック問題
34
N 個の品物があって、いくつか選びたい
各品物には「重さ」と「価値」の属性がある
選んだ品物の重さの合計が W を超えないようにしつつ
価値の総和を最大化せよ
dp[i][w] ← N 個の品物のうち、最初の i 個のみ考える
その中から重さの合計が w を超えないようにしつつ
選んだときの価値の総和の最大値
最初の i 個についての問題 (部分問題)

35. ナップサック問題
35
• i 個についての解 (dp[i]) から、i+1 個についての解
(dp[i+1]) を導く
dp[i+1][w] = max(dp[i][w],
dp[i][w-wei[i]] + val[i])
新たな品物を選ばない場合
新たな品物を選ぶ場合
i 個
i+1 個
この品物を選ぶかどうかで場合分け
重さ 価値

36. ナップサック DP の遷移
36
w
0 1 2 3 4 5 6 7 8 9 10
dp[0]
dp[1]
dp[2]
dp[3]
dp[4]
0 0 0 0 0 0 0 0 0 0 0
0 0 0 6 6 6 6 6 6 6 6
0 3 3 6 9 9 9 9 9 9 9
0 3 3 6 9 9 10
0 3 3 6 85
10 10 10 10
88 88 91 94 94 95
• (重さ, 価値) = (3, 6), (1, 3), (2, 1), (5, 85) の場合

37. ナップサック DP の遷移のポイント
37
dp[2]
dp[3]
dp[4]
0 3 3 6 9 9 9 9 9 9 9
0 3 3 6 9 9 10
0 3 3 6 85
10 10 10 10
88 88 91 94 94 95
• N 個の要素をシーケンシャルに処理していくもの
• そのために必要な添字を適宜追加していく
dp[i][w]
部分問題のサイズ 遷移に必要な追加の添字

38. 例(1): 隠れマルコフモデル
38
• 系列データを「潜在変数」のマルコフ連鎖で表すもの
追加の添字 i+1 番目の状態が i 番目のみに依る
• 前回の状態によって、次回の各状態の起こりやすさが
変化する
• 潜在変数の最も確からしい経路を求める Viterbi
のアルゴリズムは、ナップサック DP とほとんど
同じもの

39. 例(2): パネルの長さを揃える
39
さまざまな長さのパネルがたくさん並んでいる
それをいくつかのグループに分ける
各グループのパネルの長さの総和をなるべく揃えたい
実際にはパネルの幅も考慮

40. 40
• どのグループの長さも「許される上限」以下とする
• 最短のグループの長さを、最大化する
dp[i][j] ← 最初の i 枚のパネルについて考える
現在形成中のグループの長さが j であるとした場合の
現在までに形成されたグループの長さの最小値
この長さが j
…
例(2): パネルの長さを揃える

41. 3 つの代表的な遷移パターン
41
• 編集距離

42. 編集距離
42
2 つの文字列 S, T がある
S に以下の 3 通りの操作を繰り返すことで T に変換したい
・変更： S の文字を 1 つ選んで変更
・削除： S の文字を 1 つ選んで削除
・挿入： S の好きな箇所に好きな文字を 1 文字挿入
最小回数を求めよ
例:
S = logistic
T = algorithm
→ 6 回

43. 二系列の DP
43
例:
S = logistic
T = algorithm
→ 6 回
dp[i][j] ← S の最初の i 文字と、T の最初の j 文字との
間についての操作回数の最小値
• i も j も系列を表す添字
• j は「追加の添字」ではない、それ自体が系列の添字

44. 編集距離を求める DP の遷移
44
dp[i][j] ← S の最初の i 文字と、T の最初の j 文字との
間についての操作回数の最小値

45. 応用が広く、分野横断的！
45
• diff コマンド
• 音声認識、画像認識、空間認識
• DP マッチング
• 二系列データの類似度を考える問題全般に適用
• スペルチェッカー
• バイオインフォマティクス
• 系列アラインメント (2 つの DNA の類似度を測るなど)
• 手書き文字認識

46. 3 つの代表的な遷移パターン
46
• 区間分割

47. 区間分割
47
0 1 2 3 4 5 6 7 8 9
• 系列データをいくつかの区間に分ける
• 区間分割の仕方を最適化したい

48. 区間分割を扱う DP
48i 個j 個
dp[i] ← 最初の i 個をいくつかの区間に区切る方法の
「良さ」の最大値 (i 個目のところで一旦区切るとする)
dp[i] = min(dp[i], dp[j] + f(j, i))

49. 区間分割を扱う DP
49i 個j 個
dp[i] = min(dp[i], dp[j] + f(j, i))
計算量は大きくなりがち
さまざまな高速化手法あり

50. 例(3): 分かち書き
50
http://chasen.naist.jp/chaki/t/2009-09-30/doc/mecab-cabocha-nlp-seminar-2009.pdf
僕は君を愛している
僕 は 君 を 愛し て いる
単語ごとに区切る

51. 例(4): 発電計画問題
51
• 発電の on と off のタイミングを最適化する
on off on off
• 需要供給バランスの考慮などもあって、各区間のコス
ト関数 f(i, j) はとても複雑なものになる
• 「～時間以上連続稼働」といった制約も考慮

52. 例(5): タイムスケジューリング
52
• お客さまを順に回る配送 (配送順序は固定)
• 「何時から何時の間に届けてほしい」
• 「～分間に 1 回は休憩が必要」という制約もある
→ どこで休憩をとるかを最適化
休憩場所ごとに区切る

53. まとめ
53
• ナップサック問題
• 編集距離
• 区間分割
• 経験上、動的計画法によって解決できる問題のほとんど
が共通の遷移パターンで扱える！
• 共通の「問題の構造」に着目することで明快に解ける
• 「共通の理論」と、「問題に特有の事情」とに分離
することで、見通しのよい問題解決ができる
モデリング + 理論 + アルゴリズム