SlideShare uma empresa Scribd logo
1 de 19
Baixar para ler offline
1 
ビジュアルノベル自動生成に関する基礎研究 -連想色によるBGM付与の検討- 
BGM Recommendation 
forMaking Visual Novel with Associative Color 
2014/2/14 
北海道大学大学院情報科学研究科複合情報学専攻 
複雑系工学講座調和系工学研究室 
修士2年兼平愛弓 
修士論文発表
ビジュアルノベル自動生成に関する基礎研究-連想色によるBGM付与の検討- 2 
背景|電子書籍のビジュアルノベル化 
電子書籍 
• デジタル処理がしやすい 
• 入手しやすい 
• 量が豊富 
ビジュアルノベル 
文章+絵+音 
電子書籍の物語に絵や音を付与した 
ビジュアルノベルの自動生成 
目的 
+絵や音 
♬ ☃ 
より楽しい娯楽へ! 
15万冊以上の電子 
書籍を手動でビジュ 
アルノベル化するの 
は大変…
3 
ビジュアルノベル自動生成に関する基礎研究-連想色によるBGM付与の検討- 
背景|ビジュアルノベル自動生成の課題と先行研究 
自動選択 
自動生成 
絵 
画像 
阿辺川[1] 
松本[2] 
動画 
阿辺川[1] 
梶山[3] 
音 
効果音 
松本[2] 
BGM 
本研究 
石塚[4][5][6] 
中村[7] 
3 
[1]:阿辺川武and 間下亜紀子, “文章中のコンテクストに適合した関連動画の検索” 情報処理学会研究報告., 2013. 
[2]:松本圭祐, 伊藤雄一, 村上礼繁, 北村喜文, and 岸野文郎, “テキストの内容理解促進を補助するための動的なマルチメディアコンテンツ生成に 
関する検討(セッション6)” 情報処理学会研究報告., 2006. 
[3]:梶山大介and 榎津秀次, “11-4 物語テキストへの動画挿絵自動添付” 映像情報メディア学会冬季大会講演予稿集, 2011. 
[4]:石塚賢吉and 鬼沢武久, “物語のシーンの印象に基づいたテーマ音楽の変奏曲の生成,” ファジィシステムシンポジウム講演論文集, 2006. 
[5]:石塚賢吉, 加藤茂, and 鬼沢武久, “複数の絵から生成される物語のシーンの印象に基づいた音楽の変奏,” 日本知能情報ファジィ学会誌, 2007. 
[6]:石塚賢吉and 鬼沢武久, “物語のシーンの印象に基づいた声楽曲生成システムの試作,” ファジィシステムシンポジウム講演論文集, 2010. 
[7]:中村順一, “自然言語処理と音楽情報処理の融合に向けて,” 情報処理学会研究報告,1997. 
物語へのBGM自動選択 
絵 
•背景画像 
音 
•BGM 
•効果音 
その他 
•背景色 
•フォントetc. 
電子書籍 
ビジュアルノベル
ビジュアルノベル自動生成に関する基礎研究-連想色によるBGM付与の検討- 4 
提案手法|連想色によるBGM付与 
集合知である画像検索を用いて決定した 
連想色によるシーンへのBGM付与 
提案手法 
多くの人が納得するBGM 
理想のBGM 
集合知を使って実現 
問題点 
人によりバラつきが多く、解が発散し、 
1つに決めることが困難 
色 
人によるバラつきが少ないのではな 
いか? 
ブーケ幸せ結婚とは 
束縛 
白白結婚とは 
白
5 
ビジュアルノベル自動生成に関する基礎研究-連想色によるBGM付与の検討- 
アプローチ|電子書籍の各シーンへのBGM付与概要 BGM集合 
タグタグ 
・・・ 
BGM 
タグ 
タグ 
・・・ 
BGM 
・・・ 
電子書籍 
シーン 
シーン 
シーン 
シーン 
・・・ ビジュアル ノベル 
・・・ シーン 
BGM 
シーン 
BGM 
シーン 
BGM 
シーン 
BGM 
シーン 
タグ 
タグ 
・・・ 
BGM 
タグタグ 
・・・ 
BGM 
タグ 
タグ 
・・・ 
BGM 
シーン 
BGM 
X 
Y 
Y 
Y 
シーン 
連想色 
BGMの 
連想色 
BGMの 
連想色 BGM 連想色 
Z
6 
ビジュアルノベル自動生成に関する基礎研究-連想色によるBGM付与の検討- 
アプローチ|X :シーンの連想色決定法 
シーン 
特徴単語集合 
画像集合 
特徴単語 
連想色集合 
シーン連想色 
王子さま、ダンス・パーティ、お金持ち、ゆうめいな人、きれい、ひときわ、おおよろこび、ドレス、ペチコート、かざろう、なやみ、めんどう、 アイロンがけ、フリル、おめかし、フランス、ふちかざり、赤い、ビロード、お気に入り、ゴールド、花つき、ケープ、ダイヤモンド、むねかざ り、あたまかざり、ド・ラ・ポシェ、おじょうさん、ブラシ、つけぼくろ、きかざったり、食べません、うれしかった、すらりと、かがみ 
シーン3の特徴単語35個TF-IDF法を参考に手動 
画像検索byBing Search API最大50個 
ケープ・・・ 
画像から特徴単語の連想色を決定 
シンデレラシーン3「ダンス・パーティに心躍るふたりの姉」 
平均RGBベクトル 
あるとき、王子さまがダンス・パーティをひらくことになりました。お金もちの人や、ゆうめいな人など、いろんな人がまねかれました。シ ンデレラのいえの、ふたりの姉も、服がきれいでひときわ目立っていたので、もちろん声がかかりました。ふたりはおおよろこびで、さっ そくドレスはどれにしようとか、ペチコートはどんなのにしようとか、あたまに何をかざろうとか、あれこれなやみはじめました。けれども、 シンデレラにしてみれば、めんどうなことがひとつふえただけでした。というのも、姉たちのはだぎをアイロンがけしなくちゃ・・・・・・ 
きれい 
・・・ 
フランス 
・・・ 
なやみ 
・・・ 
王子さま 
ダンス・ 
パーティー 
お金持ち 
ゆうめい 
な人 
きれいひときわ 
おお 
よろこび 
ドレス 
ペチコート 
かざろう 
なやみ 
めんどう 
アイロン 
がけ 
フリル 
おめかし 
フランス 
ふちかざり 
赤い 
シーンの連想色を決定 
平均RGBベクトル 
シーン3
7 
ビジュアルノベル自動生成に関する基礎研究-連想色によるBGM付与の検討- 
アプローチ|Y:BGMの連想色決定法 
BGM 
タグ集合 
画像集合 
タグ 
連想色集合 
BGM連想色 
寂しい, 冷たい, 暗い, 悲しい, 絶望, 虚無 
BGMのタグ付与済み 
画像検索byBing Search API最大50個 
悲しい 
・・・ 
画像からタグの連想色を決定 
BGM153from DOVA-SYNDROME 
平均RGBベクトル 
絶望 
・・・ 
寂しい 
冷たい 
暗い 
悲しい 
絶望 
虚無 
BGMの連想色を決定 
平均RGBベクトル 
BGM153 
冷たい 
・・・ 
暗い 
・・・
8 
ビジュアルノベル自動生成に関する基礎研究-連想色によるBGM付与の検討- 
アプローチ|Z:シーンに適するBGMの決定法 
BGM連想色集合 
BGM1 
BGM2 
BGM3 
BGM4 
BGM5 
BGM6 
BGM7 
BGM8 
BGM9 
BGM10 
BGM11 
BGM12 
BGM13 
BGM14 
BGM15 
BGM16 
BGM17 
BGM18 
BGM19 
BGM20 
BGM21 
BGM22 
BGM23 
BGM24 
BGM25 
BGM26 
BGM27 
BGM28 
BGM29 
BGM30 
BGM31 
BGM32 
BGM33 
BGM34 
BGM35 
BGM36 
BGM37 
BGM38 
BGM39 
BGM40 
BGM41 
BGM42 
BGM43 
シーン1 
シーン2 
シーン3 
シーン4 
シーン5 
シーン6 
シーン7 
シーン8 
シーン9 
シーン10 
シーン連想色集合 
BGM連想色 
BGM連想色 
シーン連想色 
距離 
シーン 
BGM 
BGM連想色 
距離の決め方 
ユークリッド距離 
シーンに適するBGMの決め方 
距離の最も近いBGM
9 
ビジュアルノベル自動生成に関する基礎研究-連想色によるBGM付与の検討- 
結果|出力結果 
BGM連想色集合 
BGM1 
BGM2 
BGM3 
BGM4 
BGM5 
BGM6 
BGM7 
BGM8 
BGM9 
BGM10 
BGM11 
BGM12 
BGM13 
BGM14 
BGM15 
BGM16 
BGM17 
BGM18 
BGM19 
BGM20 
BGM21 
BGM22 
BGM23 
BGM24 
BGM25 
BGM26 
BGM27 
BGM28 
BGM29 
BGM30 
BGM31 
BGM32 
BGM33 
BGM34 
BGM35 
BGM36 
BGM37 
BGM38 
BGM39 
BGM40 
BGM41 
BGM42 
BGM43 
シーン1 
シーン2 
シーン3 
シーン4 
シーン5 
シーン6 
シーン7 
シーン8 
シーン9 
シーン10 
シーン連想色集合 
シーン1 
シーン2 
シーン4 
シーン6 
BGM2 
BGM3 
BGM4 
BGM5 
BGM9 
BGM10 
BGM11 
BGM13 
BGM14 
BGM16 
BGM17 
BGM2 
BGM6 
BGM7 
BGM19 
BGM24 
BGM26 
BGM27 
BGM28 
BGM29 
BGM30 
BGM31 
BGM1 
BGM28 
BGM32 
BGM43 
BGM4 
BGM18 
BGM22 
・・・ 
・・・ 
・・・ 
正解データ
10 
ビジュアルノベル自動生成に関する基礎研究-連想色によるBGM付与の検討- 
結果|出力結果 
平均RGBベクトル 
チャンスレベル 
正答率 
50% 
21.4% 
シーン番号 
正解BGM数 
正解BGM番号 
出力BGM番号 
1 
13 
2, 3, 4, 5, 9, 10, 11, 13, 14, 16, 17, 19, 22 
11, 35, 2, 13, 17 
3 
13 
2, 3, 4, 7, 9, 11, 12, 13, 14, 16, 17, 20, 22 
11, 2, 13, 35, 17 
5 
12 
2, 3, 4, 7, 9, 11, 12, 13, 14, 17, 19, 22 
11, 2, 13, 17, 35 
7 
16 
2, 3, 4, 5, 6, 7, 9, 10, 11, 12, 13, 14, 16, 17, 19, 22 
12, 22, 18, 4, 21 
2 
16 
1, 6, 7, 19, 24, 26, 27, 28, 29, 30, 31, 32, 35, 41, 42, 43 
11, 35, 2, 13, 17 
9 
7 
3, 10, 11, 12, 16, 18, 23, 
11, 2, 13, 17, 35 
4 
5 
1, 28, 30, 32, 43 
11, 2, 13, 35, 17 
6 
3 
4, 16, 22 
11, 2, 13, 17, 35 
8 
3 
4, 16, 22 
11, 35, 2, 13, 17 
10 
4 
12, 16, 22, 23 
11, 2, 13, 17, 35 
※赤い番号が正解BGM番号
11 
ビジュアルノベル自動生成に関する基礎研究-連想色によるBGM付与の検討- 
結果|出力BGMとBGM付与が成功したシーン 
BGM番号 
タグ 
2 
楽しい 
温かい 
穏やか 
可愛い 
コメディー 
ファンタジー 
11 
明るい 
楽しい 
穏やか 
可愛い 
コメディー 
13 
明るい 
楽しい 
温かい 
穏やか 
可愛い 
コメディー 
17 
明るい 
楽しい 
可愛い 
コメディー 
懐かしい 
35 
慎ましい 
冷たい 
悲しい 
シリアス 
出力BGMのタグ 
適するBGMを付与出来たシーンの特徴単語 
1 
3 
5 
7 
むかし 
王子さま 
赤い 
ようせい 
ガラスのくつ 
ダンス・パーティ 
ひとりの男のひと 
ダンス・パーティ 
ビロード 
ステッキ 
かわいらしい 
おれい 
えらそう 
お金持ち 
お気に入り 
大きくて 
すてきな 
おそい 
お高くとまっている 
ゆうめいな人 
ゴールド 
りっぱな 
おめかし 
おかえり 
気まぐれ 
きれい 
花つき 
ばしゃ 
よろこび 
あくび 
そっくり 
ひときわ 
ケープ 
金色 
わきあがってくる 
きれいな 
おもいやり 
おおよろこび 
ダイヤモンド 
きらきら 
ダンス・パーティ 
おひめさま 
お母さんゆずり 
ドレス 
むねかざり 
かがやく 
みたことないくらい 
やさしい 
ペチコート 
あたまかざり 
きれいな 
びじん 
せかいでいちばん 
かざろう 
ド・ラ・ポシェ 
金 
れいぎただしくて 
うつくしい 
なやみ 
おじょうさん 
銀 
おひめさま 
めんどう 
ブラシ 
かざりたてた 
王子さま 
アイロンがけ 
つけぼくろ 
ぎょしゃ 
どきどき 
フリル 
食べません 
みるみるうちに 
ほほえみ 
おめかし 
うれしかった 
ほうせき 
うらやましい 
フランス 
すらりと 
ちりばめた 
ねむい 
ふちかざり 
かがみ 
ドレス
12 
ビジュアルノベル自動生成に関する基礎研究-連想色によるBGM付与の検討- 
まとめ| 成果と結論 
成果 
シーンにBGMを自動付与するために、連想色を用いた新たな手法を提案 
結論 
•正答率50% 
•華やかで明るいシーンに対して適するBGMが付与出来た 
シーン番号 
出力BGM番号 
1 
11, 35, 2, 13, 17 
3 
11, 2, 13, 35, 17 
5 
11, 2, 13, 17, 35 
7 
12, 22, 18, 4, 21
13 
ビジュアルノベル自動生成に関する基礎研究-連想色によるBGM付与の検討-
14 
ビジュアルノベル自動生成に関する基礎研究-連想色によるBGM付与の検討- 
結果|タグの連想色と特徴単語の連想色 
BGM番号 
タグ 
2 
楽しい 
温かい 
穏やか 
可愛い 
コメディー 
ファンタジー 
11 
明るい 
楽しい 
穏やか 
可愛い 
コメディー 
13 
明るい 
楽しい 
温かい 
穏やか 
可愛い 
コメディー 
17 
明るい 
楽しい 
可愛い 
コメディー 
懐かしい 
35 
慎ましい 
冷たい 
悲しい 
シリアス 
出力BGMのタグ 
1 
3 
5 
7 
むかし 
王子さま 
赤い 
ようせい 
ガラスのくつ 
ダンス・パーティ 
ひとりの男のひと 
ダンス・パーティ 
ビロード 
ステッキ 
かわいらしい 
おれい 
えらそう 
お金持ち 
お気に入り 
大きくて 
すてきな 
おそい 
お高くとまっている 
ゆうめいな人 
ゴールド 
りっぱな 
おめかし 
おかえり 
気まぐれ 
きれい 
花つき 
ばしゃ 
よろこび 
あくび 
そっくり 
ひときわ 
ケープ 
金色 
わきあがってくる 
きれいな 
おもいやり 
おおよろこび 
ダイヤモンド 
きらきら 
ダンス・パーティ 
おひめさま 
お母さんゆずり 
ドレス 
むねかざり 
かがやく 
みたことないくらい 
やさしい 
ペチコート 
あたまかざり 
きれいな 
びじん 
せかいでいちばん 
かざろう 
ド・ラ・ポシェ 
金 
れいぎただしくて 
うつくしい 
なやみ 
おじょうさん 
銀 
おひめさま 
めんどう 
ブラシ 
かざりたてた 
王子さま 
アイロンがけ 
つけぼくろ 
ぎょしゃ 
どきどき 
フリル 
食べません 
みるみるうちに 
ほほえみ 
おめかし 
うれしかった 
ほうせき 
うらやましい 
フランス 
すらりと 
ちりばめた 
ねむい 
ふちかざり 
かがみ 
ドレス 
適するBGMを付与出来たシーンの特徴単語
15 
ビジュアルノベル自動生成に関する基礎研究-連想色によるBGM付与の検討- 
結果|正解データと不正解データの距離 
1 
2 
3 
4 
5 
6 
7 
8 
9 
10 
ID 
距離 
ID 
距離 
ID 
距離 
ID 
距離 
ID 
距離 
ID 
距離 
ID 
距離 
ID 
距離 
ID 
距離 
ID 
距離 
11 
0.164702 
11 
0.076354 
11 
0.291461 
11 
0.145934 
11 
0.12998 
11 
0.125319 
12 
0.036177 
11 
0.138403 
11 
0.199046 
11 
0.067239 
35 
0.190806 
35 
0.095714 
2 
0.312538 
2 
0.166855 
2 
0.145934 
2 
0.13492 
22 
0.047545 
35 
0.16068 
2 
0.217607 
2 
0.085191 
2 
0.192976 
2 
0.117479 
13 
0.314814 
13 
0.170383 
13 
0.14836 
13 
0.135799 
18 
0.058739 
2 
0.171774 
13 
0.219783 
13 
0.090606 
13 
0.198447 
13 
0.128136 
35 
0.320247 
35 
0.178899 
17 
0.164702 
17 
0.153484 
4 
0.06266 
13 
0.179231 
35 
0.231643 
17 
0.103479 
17 
0.210944 
17 
0.132248 
17 
0.331205 
17 
0.18543 
35 
0.166855 
35 
0.165423 
21 
0.065446 
17 
0.188611 
17 
0.23622 
35 
0.10798 
3 
0.233434 
3 
0.149955 
3 
0.355797 
3 
0.209529 
3 
0.189555 
3 
0.179231 
5 
0.077129 
3 
0.209529 
3 
0.261101 
3 
0.127204 
43 
0.264046 
43 
0.170033 
43 
0.392978 
10 
0.249211 
10 
0.229579 
10 
0.22274 
8 
0.079409 
43 
0.231643 
10 
0.302675 
10 
0.169332 
10 
0.272691 
22 
0.183171 
10 
0.395242 
22 
0.25253 
22 
0.234197 
22 
0.225395 
3 
0.080155 
22 
0.246329 
22 
0.305024 
22 
0.170732 
22 
0.273127 
10 
0.191428 
22 
0.398838 
43 
0.25743 
43 
0.247774 
43 
0.247293 
43 
0.088614 
10 
0.25253 
43 
0.308708 
43 
0.190806 
12 
0.29652 
12 
0.204063 
12 
0.423155 
12 
0.277663 
12 
0.260188 
12 
0.25135 
14 
0.089283 
12 
0.267627 
12 
0.329765 
12 
0.19664 
18 
0.299315 
18 
0.204063 
18 
0.428741 
37 
0.283809 
37 
0.266736 
37 
0.263143 
35 
0.096334 
18 
0.268514 
37 
0.33884 
37 
0.205805 
37 
0.302675 
37 
0.216236 
37 
0.429157 
18 
0.28652 
9 
0.269178 
9 
0.263821 
17 
0.101153 
37 
0.280435 
18 
0.339366 
9 
0.207819 
9 
0.307936 
9 
0.221938 
9 
0.433433 
9 
0.28735 
18 
0.272691 
18 
0.268293 
9 
0.102903 
9 
0.285689 
9 
0.341812 
18 
0.210662 
21 
0.318384 
21 
0.22274 
21 
0.447347 
5 
0.302478 
5 
0.28652 
5 
0.281493 
10 
0.102903 
21 
0.286313 
5 
0.356632 
5 
0.22354 
5 
0.318757 
5 
0.225923 
5 
0.447612 
21 
0.305998 
14 
0.288795 
14 
0.281705 
25 
0.102903 
5 
0.291257 
21 
0.357964 
14 
0.225923 
14 
0.327048 
14 
0.237476 
14 
0.453554 
14 
0.306968 
21 
0.292276 
21 
0.286935 
37 
0.105754 
14 
0.301888 
14 
0.360778 
21 
0.230355 
4 
0.333888 
4 
0.239968 
4 
0.461356 
4 
0.31651 
4 
0.299712 
4 
0.291257 
6 
0.109621 
4 
0.303852 
4 
0.368608 
4 
0.23622 
8 
0.336727 
8 
0.241451 
8 
0.465975 
8 
0.323205 
8 
0.308708 
8 
0.303264 
2 
0.11595 
8 
0.305803 
8 
0.375958 
8 
0.246088 
23 
0.345791 
23 
0.257199 
23 
0.47307 
23 
0.327593 
23 
0.310629 
23 
0.306387 
11 
0.117479 
23 
0.322099 
23 
0.382546 
23 
0.248972 
6 
0.363243 
6 
0.26984 
25 
0.487195 
25 
0.341115 
25 
0.321544 
25 
0.310245 
23 
0.121951 
6 
0.335133 
25 
0.392372 
25 
0.258813 
25 
0.363243 
25 
0.27378 
6 
0.492296 
6 
0.347336 
6 
0.331384 
6 
0.325954 
13 
0.124844 
25 
0.336196 
6 
0.401366 
6 
0.268293 
16 
0.434804 
16 
0.340766 
16 
0.56478 
16 
0.423295 
16 
0.409727 
20 
0.40373 
20 
0.169683 
16 
0.405201 
16 
0.477202 
16 
0.34785 
20 
0.442533 
20 
0.347165 
20 
0.570753 
20 
0.42763 
20 
0.411899 
16 
0.40652 
7 
0.178899 
20 
0.410597 
20 
0.479316 
20 
0.348704 
7 
0.450395 
7 
0.354792 
7 
0.578517 
7 
0.436579 
7 
0.421465 
7 
0.413485 
15 
0.18543 
7 
0.417636 
7 
0.487805 
7 
0.358628 
19 
0.454209 
19 
0.360613 
19 
0.584145 
19 
0.441861 
19 
0.427769 
15 
0.419767 
16 
0.186709 
1 
0.424839 
1 
0.495668 
19 
0.365691 
1 
0.457602 
1 
0.36193 
1 
0.585975 
1 
0.444278 
15 
0.429019 
1 
0.421888 
1 
0.187662 
19 
0.425398 
19 
0.496148 
15 
0.365854 
39 
0.4589 
39 
0.363243 
39 
0.5878 
15 
0.445214 
1 
0.429435 
19 
0.424418 
39 
0.192049 
39 
0.426516 
15 
0.496268 
1 
0.366666 
15 
0.46084 
15 
0.365691 
15 
0.588306 
39 
0.446148 
39 
0.431645 
39 
0.424979 
19 
0.205226 
15 
0.428603 
39 
0.498063 
39 
0.36893 
28 
0.48006 
28 
0.384408 
28 
0.608975 
28 
0.46814 
28 
0.454078 
28 
0.447745 
28 
0.215132 
28 
0.447347 
28 
0.519919 
28 
0.391613 
32 
0.488414 
32 
0.392978 
32 
0.617319 
32 
0.474201 
32 
0.45877 
32 
0.45145 
32 
0.218425 
32 
0.456821 
32 
0.526513 
32 
0.395543 
26 
0.541112 
26 
0.445481 
26 
0.67 
26 
0.527867 
26 
0.512892 
26 
0.505649 
26 
0.271817 
26 
0.508816 
26 
0.579852 
26 
0.449866 
29 
0.560551 
29 
0.466103 
29 
0.687355 
29 
0.542977 
29 
0.525495 
29 
0.514975 
29 
0.283809 
29 
0.529218 
29 
0.594041 
29 
0.462129 
40 
0.565833 
40 
0.470169 
40 
0.694416 
40 
0.552319 
40 
0.537139 
40 
0.52933 
40 
0.29491 
40 
0.533249 
40 
0.603973 
40 
0.474075 
42 
0.599127 
42 
0.504117 
42 
0.726895 
42 
0.582718 
42 
0.565833 
42 
0.55629 
42 
0.323757 
42 
0.567617 
42 
0.634334 
42 
0.502344 
33 
0.607116 
33 
0.51173 
33 
0.735438 
33 
0.591935 
33 
0.575734 
33 
0.566988 
33 
0.333353 
33 
0.575217 
33 
0.643736 
33 
0.512311 
36 
0.636861 
36 
0.541881 
36 
0.764548 
36 
0.620299 
36 
0.603283 
36 
0.59354 
36 
0.361272 
36 
0.60535 
36 
0.671862 
36 
0.539791 
41 
0.636861 
41 
0.541881 
41 
0.764548 
41 
0.620299 
41 
0.603283 
41 
0.59354 
41 
0.361272 
41 
0.60535 
41 
0.671862 
41 
0.539791 
24 
0.648065 
24 
0.552427 
24 
0.776667 
24 
0.63424 
24 
0.618763 
30 
0.609756 
30 
0.376116 
24 
0.615582 
24 
0.685969 
24 
0.555541 
30 
0.650904 
30 
0.555541 
30 
0.778886 
30 
0.635458 
30 
0.619051 
31 
0.609756 
31 
0.376116 
30 
0.618763 
30 
0.686922 
30 
0.555648 
31 
0.650904 
31 
0.555541 
31 
0.778886 
31 
0.635458 
31 
0.619051 
24 
0.610634 
24 
0.376274 
31 
0.618763 
31 
0.686922 
31 
0.555648 
38 
0.662589 
38 
0.566883 
38 
0.790786 
38 
0.64944 
38 
0.634334 
38 
0.626027 
38 
0.391157 
38 
0.629344 
38 
0.700556 
38 
0.571378 
34 
0.674601 
34 
0.579647 
34 
0.802213 
34 
0.657904 
34 
0.640772 
34 
0.630854 
34 
0.398838 
34 
0.643089 
34 
0.709417 
34 
0.577282 
27 
0.719409 
27 
0.624219 
27 
0.847012 
27 
0.703268 
27 
0.686402 
27 
0.67645 
27 
0.443608 
27 
0.687355 
27 
0.754522 
27 
0.622979
16 
ビジュアルノベル自動生成に関する基礎研究-連想色によるBGM付与の検討- 
結果|正解データと不正解データの分布図 
0 
0.1 
0.2 
0.3 
0.4 
0.5 
0.6 
0.7 
0.8 
0.9 
1 
0 
1 
2 
3 
4 
5 
6 
7 
8 
9 
10 
距離 
シーン番号 
正解データと不正解データの分布図 
正解 
不正解
17 
ビジュアルノベル自動生成に関する基礎研究-連想色によるBGM付与の検討- 
結果|正解BGMと不正解BGMの平均と分散 
0 
0.1 
0.2 
0.3 
0.4 
0.5 
0.6 
0.7 
0.8 
0.9 
1 
0 
1 
2 
3 
4 
5 
6 
7 
8 
9 
10 
距離 
シーン番号 
正解BGMと不正解BGMの平均と分散 
正解 
不正解 
1 3 5 7 9 6 8 10 2 4
18 
ビジュアルノベル自動生成に関する基礎研究-連想色によるBGM付与の検討- 
結果|シーン2とシーン4のタグ 
2 
4 
けっこん式 
おいやって 
ついに 
本性 
わら 
たのしい 
かわいらしくて 
きらきら 
おしろ 
人がよい 
きれいな 
かなしくなって 
みじめ 
大きな 
なきくずれて 
ひどく 
がまん 
ないている 
じゃま 
いそがしい 
いえなくなって 
洗わせ 
いいなり 
なみだ 
ふかせ 
どうにもなりません 
ことばが出てこない 
めいっぱい 
もえがら 
ようせい 
そうじ 
灰だらけ 
まほうつかい 
せまくて 
きたなく 
ダンス・パーティ 
くらい 
りりしかった 
ためいき 
やねうらべや
19 
ビジュアルノベル自動生成に関する基礎研究-連想色によるBGM付与の検討- 
結果|対象BGMのタグ 
1 
2 
3 
4 
5 
6 
7 
8 
9 
10 
11 
12 
13 
14 
15 
寂しい 
楽しい 
明るい 
楽しい 
明るい 
楽しい 
不思議 
明るい 
明るい 
楽しい 
明るい 
楽しい 
明るい 
明るい 
懐かしい 
冷たい 
温かい 
楽しい 
不思議 
穏やか 
優しい 
慎ましい 
楽しい 
楽しい 
温かい 
楽しい 
温かい 
楽しい 
楽しい 
不思議 
暗い 
穏やか 
温かい 
可愛い 
優しい 
不思議 
ファンタジー 
穏やか 
優しい 
穏やか 
穏やか 
穏やか 
温かい 
温かい 
寂しい 
悲しい 
可愛い 
穏やか 
恐ろしい 
不思議 
ファンタジー 
怪しい 
懐かしい 
懐かしい 
優しい 
可愛い 
不思議 
穏やか 
穏やか 
怪しい 
絶望 
ファンタジー 
可愛い 
ファンタジー 
可愛い 
コメディー 
虚無 
不思議 
可愛い 
可愛い 
コメディー 
ファンタジー 
可愛い 
優しい 
シリアス 
虚無 
コメディー 
ファンタジー 
怪しい 
コメディー 
怪しい 
慎ましい 
コメディー 
懐かしい 
虚無 
不思議 
可愛い 
16 
17 
18 
19 
20 
21 
22 
23 
24 
25 
26 
27 
28 
29 
30 
穏やか 
明るい 
楽しい 
穏やか 
懐かしい 
不思議 
明るい 
明るい 
不思議 
楽しい 
冷たい 
暗い 
穏やか 
冷たい 
冷たい 
優しい 
楽しい 
不思議 
優しい 
不思議 
慎ましい 
楽しい 
温かい 
冷たい 
温かい 
暗い 
恐ろしい 
寂しい 
暗い 
暗い 
慎ましい 
懐かしい 
騒々しい 
不思議 
渋い 
冷たい 
温かい 
穏やか 
暗い 
渋い 
恐ろしい 
悪意 
冷たい 
怒り 
恐ろしい 
切ない 
可愛い 
渋い 
慎ましい 
寂しい 
ファンタジー 
穏やか 
優しい 
恐ろしい 
怪しい 
悪意 
シリアス 
暗い 
恐ろしい 
シリアス 
ファンタジー 
コメディー 
切ない 
シリアス 
ファンタジー 
希望 
怪しい 
怪しい 
虚無 
悲しい 
シリアス 
コメディー 
絶望 
怪しい 
31 
32 
33 
34 
35 
36 
37 
38 
39 
40 
41 
42 
43 
渋い 
穏やか 
冷たい 
懐かしい 
慎ましい 
暗い 
明るい 
不思議 
楽しい 
冷たい 
暗い 
暗い 
穏やか 
冷たい 
慎ましい 
暗い 
暗い 
冷たい 
恐ろしい 
楽しい 
寂しい 
サイバー 
暗い 
恐ろしい 
悲しい 
慎ましい 
暗い 
暗い 
恐ろしい 
コメディー 
悲しい 
ファンタジー 
温かい 
冷たい 
コメディー 
ファンタジー 
ファンタジー 
恐ろしい 
切ない 
恐ろしい 
悲しい 
悪意 
怪しい 
シリアス 
絶望 
穏やか 
暗い 
怪しい 
怪しい 
絶望 
ファンタジー 
冷たい 
シリアス 
絶望 
シリアス 
シリアス 
優しい 
サイバー 
シリアス 
シリアス 
悪意 
悲しい 
シリアス 
希望 
シリアス 
シリアス 
シリアス 
虚無

Mais conteúdo relacionado

Mais de harmonylab

DLゼミ: MobileOne: An Improved One millisecond Mobile Backbone
DLゼミ: MobileOne: An Improved One millisecond Mobile BackboneDLゼミ: MobileOne: An Improved One millisecond Mobile Backbone
DLゼミ: MobileOne: An Improved One millisecond Mobile Backboneharmonylab
 
DLゼミ: Llama 2: Open Foundation and Fine-Tuned Chat Models
DLゼミ: Llama 2: Open Foundation and Fine-Tuned Chat ModelsDLゼミ: Llama 2: Open Foundation and Fine-Tuned Chat Models
DLゼミ: Llama 2: Open Foundation and Fine-Tuned Chat Modelsharmonylab
 
DLゼミ: ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
DLゼミ: ViTPose: Simple Vision Transformer Baselines for Human Pose EstimationDLゼミ: ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
DLゼミ: ViTPose: Simple Vision Transformer Baselines for Human Pose Estimationharmonylab
 
Voyager: An Open-Ended Embodied Agent with Large Language Models
Voyager: An Open-Ended Embodied Agent with Large Language ModelsVoyager: An Open-Ended Embodied Agent with Large Language Models
Voyager: An Open-Ended Embodied Agent with Large Language Modelsharmonylab
 
DLゼミ: Ego-Body Pose Estimation via Ego-Head Pose Estimation
DLゼミ: Ego-Body Pose Estimation via Ego-Head Pose EstimationDLゼミ: Ego-Body Pose Estimation via Ego-Head Pose Estimation
DLゼミ: Ego-Body Pose Estimation via Ego-Head Pose Estimationharmonylab
 
ReAct: Synergizing Reasoning and Acting in Language Models
ReAct: Synergizing Reasoning and Acting in Language ModelsReAct: Synergizing Reasoning and Acting in Language Models
ReAct: Synergizing Reasoning and Acting in Language Modelsharmonylab
 
形態素解析を用いた帝国議会議事速記録の変遷に関する研究
形態素解析を用いた帝国議会議事速記録の変遷に関する研究形態素解析を用いた帝国議会議事速記録の変遷に関する研究
形態素解析を用いた帝国議会議事速記録の変遷に関する研究harmonylab
 
【卒業論文】深層生成モデルを用いたユーザ意図に基づく衣服画像の生成に関する研究
【卒業論文】深層生成モデルを用いたユーザ意図に基づく衣服画像の生成に関する研究【卒業論文】深層生成モデルを用いたユーザ意図に基づく衣服画像の生成に関する研究
【卒業論文】深層生成モデルを用いたユーザ意図に基づく衣服画像の生成に関する研究harmonylab
 
灯油タンク内の液面高計測を用いた 灯油残量推定システムに関する研究
灯油タンク内の液面高計測を用いた灯油残量推定システムに関する研究灯油タンク内の液面高計測を用いた灯油残量推定システムに関する研究
灯油タンク内の液面高計測を用いた 灯油残量推定システムに関する研究harmonylab
 
深層自己回帰モデルを用いた俳句の生成と評価に関する研究
深層自己回帰モデルを用いた俳句の生成と評価に関する研究深層自己回帰モデルを用いた俳句の生成と評価に関する研究
深層自己回帰モデルを用いた俳句の生成と評価に関する研究harmonylab
 
競輪におけるレーティングシステムを用いた予想記事生成に関する研究
競輪におけるレーティングシステムを用いた予想記事生成に関する研究競輪におけるレーティングシステムを用いた予想記事生成に関する研究
競輪におけるレーティングシステムを用いた予想記事生成に関する研究harmonylab
 
【卒業論文】B2Bオークションにおけるユーザ別 入札行動予測に関する研究
【卒業論文】B2Bオークションにおけるユーザ別 入札行動予測に関する研究【卒業論文】B2Bオークションにおけるユーザ別 入札行動予測に関する研究
【卒業論文】B2Bオークションにおけるユーザ別 入札行動予測に関する研究harmonylab
 
A Study on Estimation of Household Kerosene Consumption for Optimization of D...
A Study on Estimation of Household Kerosene Consumption for Optimization of D...A Study on Estimation of Household Kerosene Consumption for Optimization of D...
A Study on Estimation of Household Kerosene Consumption for Optimization of D...harmonylab
 
マルチエージェント深層強化学習による自動運転車両の追越行動の獲得に関する研究
マルチエージェント深層強化学習による自動運転車両の追越行動の獲得に関する研究マルチエージェント深層強化学習による自動運転車両の追越行動の獲得に関する研究
マルチエージェント深層強化学習による自動運転車両の追越行動の獲得に関する研究harmonylab
 
A Study on Generation of Deformed Route Maps using Octilinear Grid
A Study on Generation of Deformed Route Maps using Octilinear GridA Study on Generation of Deformed Route Maps using Octilinear Grid
A Study on Generation of Deformed Route Maps using Octilinear Gridharmonylab
 
A Study on the Generation of Clothing Captions Highlighting the Differences b...
A Study on the Generation of Clothing Captions Highlighting the Differences b...A Study on the Generation of Clothing Captions Highlighting the Differences b...
A Study on the Generation of Clothing Captions Highlighting the Differences b...harmonylab
 
A Study on Clothing Recommendation Information Presentation System Based on C...
A Study on Clothing Recommendation Information Presentation System Based on C...A Study on Clothing Recommendation Information Presentation System Based on C...
A Study on Clothing Recommendation Information Presentation System Based on C...harmonylab
 
深層学習を用いたバス乗客画像の属性推定 に関する研究
深層学習を用いたバス乗客画像の属性推定 に関する研究深層学習を用いたバス乗客画像の属性推定 に関する研究
深層学習を用いたバス乗客画像の属性推定 に関する研究harmonylab
 
Emotionally Intelligent Fashion Design Using CNN and GAN
Emotionally Intelligent Fashion Design Using CNN and GANEmotionally Intelligent Fashion Design Using CNN and GAN
Emotionally Intelligent Fashion Design Using CNN and GANharmonylab
 
Towards Total Recall in Industrial Anomaly Detection
Towards Total Recall in Industrial Anomaly DetectionTowards Total Recall in Industrial Anomaly Detection
Towards Total Recall in Industrial Anomaly Detectionharmonylab
 

Mais de harmonylab (20)

DLゼミ: MobileOne: An Improved One millisecond Mobile Backbone
DLゼミ: MobileOne: An Improved One millisecond Mobile BackboneDLゼミ: MobileOne: An Improved One millisecond Mobile Backbone
DLゼミ: MobileOne: An Improved One millisecond Mobile Backbone
 
DLゼミ: Llama 2: Open Foundation and Fine-Tuned Chat Models
DLゼミ: Llama 2: Open Foundation and Fine-Tuned Chat ModelsDLゼミ: Llama 2: Open Foundation and Fine-Tuned Chat Models
DLゼミ: Llama 2: Open Foundation and Fine-Tuned Chat Models
 
DLゼミ: ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
DLゼミ: ViTPose: Simple Vision Transformer Baselines for Human Pose EstimationDLゼミ: ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
DLゼミ: ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
 
Voyager: An Open-Ended Embodied Agent with Large Language Models
Voyager: An Open-Ended Embodied Agent with Large Language ModelsVoyager: An Open-Ended Embodied Agent with Large Language Models
Voyager: An Open-Ended Embodied Agent with Large Language Models
 
DLゼミ: Ego-Body Pose Estimation via Ego-Head Pose Estimation
DLゼミ: Ego-Body Pose Estimation via Ego-Head Pose EstimationDLゼミ: Ego-Body Pose Estimation via Ego-Head Pose Estimation
DLゼミ: Ego-Body Pose Estimation via Ego-Head Pose Estimation
 
ReAct: Synergizing Reasoning and Acting in Language Models
ReAct: Synergizing Reasoning and Acting in Language ModelsReAct: Synergizing Reasoning and Acting in Language Models
ReAct: Synergizing Reasoning and Acting in Language Models
 
形態素解析を用いた帝国議会議事速記録の変遷に関する研究
形態素解析を用いた帝国議会議事速記録の変遷に関する研究形態素解析を用いた帝国議会議事速記録の変遷に関する研究
形態素解析を用いた帝国議会議事速記録の変遷に関する研究
 
【卒業論文】深層生成モデルを用いたユーザ意図に基づく衣服画像の生成に関する研究
【卒業論文】深層生成モデルを用いたユーザ意図に基づく衣服画像の生成に関する研究【卒業論文】深層生成モデルを用いたユーザ意図に基づく衣服画像の生成に関する研究
【卒業論文】深層生成モデルを用いたユーザ意図に基づく衣服画像の生成に関する研究
 
灯油タンク内の液面高計測を用いた 灯油残量推定システムに関する研究
灯油タンク内の液面高計測を用いた灯油残量推定システムに関する研究灯油タンク内の液面高計測を用いた灯油残量推定システムに関する研究
灯油タンク内の液面高計測を用いた 灯油残量推定システムに関する研究
 
深層自己回帰モデルを用いた俳句の生成と評価に関する研究
深層自己回帰モデルを用いた俳句の生成と評価に関する研究深層自己回帰モデルを用いた俳句の生成と評価に関する研究
深層自己回帰モデルを用いた俳句の生成と評価に関する研究
 
競輪におけるレーティングシステムを用いた予想記事生成に関する研究
競輪におけるレーティングシステムを用いた予想記事生成に関する研究競輪におけるレーティングシステムを用いた予想記事生成に関する研究
競輪におけるレーティングシステムを用いた予想記事生成に関する研究
 
【卒業論文】B2Bオークションにおけるユーザ別 入札行動予測に関する研究
【卒業論文】B2Bオークションにおけるユーザ別 入札行動予測に関する研究【卒業論文】B2Bオークションにおけるユーザ別 入札行動予測に関する研究
【卒業論文】B2Bオークションにおけるユーザ別 入札行動予測に関する研究
 
A Study on Estimation of Household Kerosene Consumption for Optimization of D...
A Study on Estimation of Household Kerosene Consumption for Optimization of D...A Study on Estimation of Household Kerosene Consumption for Optimization of D...
A Study on Estimation of Household Kerosene Consumption for Optimization of D...
 
マルチエージェント深層強化学習による自動運転車両の追越行動の獲得に関する研究
マルチエージェント深層強化学習による自動運転車両の追越行動の獲得に関する研究マルチエージェント深層強化学習による自動運転車両の追越行動の獲得に関する研究
マルチエージェント深層強化学習による自動運転車両の追越行動の獲得に関する研究
 
A Study on Generation of Deformed Route Maps using Octilinear Grid
A Study on Generation of Deformed Route Maps using Octilinear GridA Study on Generation of Deformed Route Maps using Octilinear Grid
A Study on Generation of Deformed Route Maps using Octilinear Grid
 
A Study on the Generation of Clothing Captions Highlighting the Differences b...
A Study on the Generation of Clothing Captions Highlighting the Differences b...A Study on the Generation of Clothing Captions Highlighting the Differences b...
A Study on the Generation of Clothing Captions Highlighting the Differences b...
 
A Study on Clothing Recommendation Information Presentation System Based on C...
A Study on Clothing Recommendation Information Presentation System Based on C...A Study on Clothing Recommendation Information Presentation System Based on C...
A Study on Clothing Recommendation Information Presentation System Based on C...
 
深層学習を用いたバス乗客画像の属性推定 に関する研究
深層学習を用いたバス乗客画像の属性推定 に関する研究深層学習を用いたバス乗客画像の属性推定 に関する研究
深層学習を用いたバス乗客画像の属性推定 に関する研究
 
Emotionally Intelligent Fashion Design Using CNN and GAN
Emotionally Intelligent Fashion Design Using CNN and GANEmotionally Intelligent Fashion Design Using CNN and GAN
Emotionally Intelligent Fashion Design Using CNN and GAN
 
Towards Total Recall in Industrial Anomaly Detection
Towards Total Recall in Industrial Anomaly DetectionTowards Total Recall in Industrial Anomaly Detection
Towards Total Recall in Industrial Anomaly Detection
 

kanehira m

  • 1. 1 ビジュアルノベル自動生成に関する基礎研究 -連想色によるBGM付与の検討- BGM Recommendation forMaking Visual Novel with Associative Color 2014/2/14 北海道大学大学院情報科学研究科複合情報学専攻 複雑系工学講座調和系工学研究室 修士2年兼平愛弓 修士論文発表
  • 2. ビジュアルノベル自動生成に関する基礎研究-連想色によるBGM付与の検討- 2 背景|電子書籍のビジュアルノベル化 電子書籍 • デジタル処理がしやすい • 入手しやすい • 量が豊富 ビジュアルノベル 文章+絵+音 電子書籍の物語に絵や音を付与した ビジュアルノベルの自動生成 目的 +絵や音 ♬ ☃ より楽しい娯楽へ! 15万冊以上の電子 書籍を手動でビジュ アルノベル化するの は大変…
  • 3. 3 ビジュアルノベル自動生成に関する基礎研究-連想色によるBGM付与の検討- 背景|ビジュアルノベル自動生成の課題と先行研究 自動選択 自動生成 絵 画像 阿辺川[1] 松本[2] 動画 阿辺川[1] 梶山[3] 音 効果音 松本[2] BGM 本研究 石塚[4][5][6] 中村[7] 3 [1]:阿辺川武and 間下亜紀子, “文章中のコンテクストに適合した関連動画の検索” 情報処理学会研究報告., 2013. [2]:松本圭祐, 伊藤雄一, 村上礼繁, 北村喜文, and 岸野文郎, “テキストの内容理解促進を補助するための動的なマルチメディアコンテンツ生成に 関する検討(セッション6)” 情報処理学会研究報告., 2006. [3]:梶山大介and 榎津秀次, “11-4 物語テキストへの動画挿絵自動添付” 映像情報メディア学会冬季大会講演予稿集, 2011. [4]:石塚賢吉and 鬼沢武久, “物語のシーンの印象に基づいたテーマ音楽の変奏曲の生成,” ファジィシステムシンポジウム講演論文集, 2006. [5]:石塚賢吉, 加藤茂, and 鬼沢武久, “複数の絵から生成される物語のシーンの印象に基づいた音楽の変奏,” 日本知能情報ファジィ学会誌, 2007. [6]:石塚賢吉and 鬼沢武久, “物語のシーンの印象に基づいた声楽曲生成システムの試作,” ファジィシステムシンポジウム講演論文集, 2010. [7]:中村順一, “自然言語処理と音楽情報処理の融合に向けて,” 情報処理学会研究報告,1997. 物語へのBGM自動選択 絵 •背景画像 音 •BGM •効果音 その他 •背景色 •フォントetc. 電子書籍 ビジュアルノベル
  • 4. ビジュアルノベル自動生成に関する基礎研究-連想色によるBGM付与の検討- 4 提案手法|連想色によるBGM付与 集合知である画像検索を用いて決定した 連想色によるシーンへのBGM付与 提案手法 多くの人が納得するBGM 理想のBGM 集合知を使って実現 問題点 人によりバラつきが多く、解が発散し、 1つに決めることが困難 色 人によるバラつきが少ないのではな いか? ブーケ幸せ結婚とは 束縛 白白結婚とは 白
  • 5. 5 ビジュアルノベル自動生成に関する基礎研究-連想色によるBGM付与の検討- アプローチ|電子書籍の各シーンへのBGM付与概要 BGM集合 タグタグ ・・・ BGM タグ タグ ・・・ BGM ・・・ 電子書籍 シーン シーン シーン シーン ・・・ ビジュアル ノベル ・・・ シーン BGM シーン BGM シーン BGM シーン BGM シーン タグ タグ ・・・ BGM タグタグ ・・・ BGM タグ タグ ・・・ BGM シーン BGM X Y Y Y シーン 連想色 BGMの 連想色 BGMの 連想色 BGM 連想色 Z
  • 6. 6 ビジュアルノベル自動生成に関する基礎研究-連想色によるBGM付与の検討- アプローチ|X :シーンの連想色決定法 シーン 特徴単語集合 画像集合 特徴単語 連想色集合 シーン連想色 王子さま、ダンス・パーティ、お金持ち、ゆうめいな人、きれい、ひときわ、おおよろこび、ドレス、ペチコート、かざろう、なやみ、めんどう、 アイロンがけ、フリル、おめかし、フランス、ふちかざり、赤い、ビロード、お気に入り、ゴールド、花つき、ケープ、ダイヤモンド、むねかざ り、あたまかざり、ド・ラ・ポシェ、おじょうさん、ブラシ、つけぼくろ、きかざったり、食べません、うれしかった、すらりと、かがみ シーン3の特徴単語35個TF-IDF法を参考に手動 画像検索byBing Search API最大50個 ケープ・・・ 画像から特徴単語の連想色を決定 シンデレラシーン3「ダンス・パーティに心躍るふたりの姉」 平均RGBベクトル あるとき、王子さまがダンス・パーティをひらくことになりました。お金もちの人や、ゆうめいな人など、いろんな人がまねかれました。シ ンデレラのいえの、ふたりの姉も、服がきれいでひときわ目立っていたので、もちろん声がかかりました。ふたりはおおよろこびで、さっ そくドレスはどれにしようとか、ペチコートはどんなのにしようとか、あたまに何をかざろうとか、あれこれなやみはじめました。けれども、 シンデレラにしてみれば、めんどうなことがひとつふえただけでした。というのも、姉たちのはだぎをアイロンがけしなくちゃ・・・・・・ きれい ・・・ フランス ・・・ なやみ ・・・ 王子さま ダンス・ パーティー お金持ち ゆうめい な人 きれいひときわ おお よろこび ドレス ペチコート かざろう なやみ めんどう アイロン がけ フリル おめかし フランス ふちかざり 赤い シーンの連想色を決定 平均RGBベクトル シーン3
  • 7. 7 ビジュアルノベル自動生成に関する基礎研究-連想色によるBGM付与の検討- アプローチ|Y:BGMの連想色決定法 BGM タグ集合 画像集合 タグ 連想色集合 BGM連想色 寂しい, 冷たい, 暗い, 悲しい, 絶望, 虚無 BGMのタグ付与済み 画像検索byBing Search API最大50個 悲しい ・・・ 画像からタグの連想色を決定 BGM153from DOVA-SYNDROME 平均RGBベクトル 絶望 ・・・ 寂しい 冷たい 暗い 悲しい 絶望 虚無 BGMの連想色を決定 平均RGBベクトル BGM153 冷たい ・・・ 暗い ・・・
  • 8. 8 ビジュアルノベル自動生成に関する基礎研究-連想色によるBGM付与の検討- アプローチ|Z:シーンに適するBGMの決定法 BGM連想色集合 BGM1 BGM2 BGM3 BGM4 BGM5 BGM6 BGM7 BGM8 BGM9 BGM10 BGM11 BGM12 BGM13 BGM14 BGM15 BGM16 BGM17 BGM18 BGM19 BGM20 BGM21 BGM22 BGM23 BGM24 BGM25 BGM26 BGM27 BGM28 BGM29 BGM30 BGM31 BGM32 BGM33 BGM34 BGM35 BGM36 BGM37 BGM38 BGM39 BGM40 BGM41 BGM42 BGM43 シーン1 シーン2 シーン3 シーン4 シーン5 シーン6 シーン7 シーン8 シーン9 シーン10 シーン連想色集合 BGM連想色 BGM連想色 シーン連想色 距離 シーン BGM BGM連想色 距離の決め方 ユークリッド距離 シーンに適するBGMの決め方 距離の最も近いBGM
  • 9. 9 ビジュアルノベル自動生成に関する基礎研究-連想色によるBGM付与の検討- 結果|出力結果 BGM連想色集合 BGM1 BGM2 BGM3 BGM4 BGM5 BGM6 BGM7 BGM8 BGM9 BGM10 BGM11 BGM12 BGM13 BGM14 BGM15 BGM16 BGM17 BGM18 BGM19 BGM20 BGM21 BGM22 BGM23 BGM24 BGM25 BGM26 BGM27 BGM28 BGM29 BGM30 BGM31 BGM32 BGM33 BGM34 BGM35 BGM36 BGM37 BGM38 BGM39 BGM40 BGM41 BGM42 BGM43 シーン1 シーン2 シーン3 シーン4 シーン5 シーン6 シーン7 シーン8 シーン9 シーン10 シーン連想色集合 シーン1 シーン2 シーン4 シーン6 BGM2 BGM3 BGM4 BGM5 BGM9 BGM10 BGM11 BGM13 BGM14 BGM16 BGM17 BGM2 BGM6 BGM7 BGM19 BGM24 BGM26 BGM27 BGM28 BGM29 BGM30 BGM31 BGM1 BGM28 BGM32 BGM43 BGM4 BGM18 BGM22 ・・・ ・・・ ・・・ 正解データ
  • 10. 10 ビジュアルノベル自動生成に関する基礎研究-連想色によるBGM付与の検討- 結果|出力結果 平均RGBベクトル チャンスレベル 正答率 50% 21.4% シーン番号 正解BGM数 正解BGM番号 出力BGM番号 1 13 2, 3, 4, 5, 9, 10, 11, 13, 14, 16, 17, 19, 22 11, 35, 2, 13, 17 3 13 2, 3, 4, 7, 9, 11, 12, 13, 14, 16, 17, 20, 22 11, 2, 13, 35, 17 5 12 2, 3, 4, 7, 9, 11, 12, 13, 14, 17, 19, 22 11, 2, 13, 17, 35 7 16 2, 3, 4, 5, 6, 7, 9, 10, 11, 12, 13, 14, 16, 17, 19, 22 12, 22, 18, 4, 21 2 16 1, 6, 7, 19, 24, 26, 27, 28, 29, 30, 31, 32, 35, 41, 42, 43 11, 35, 2, 13, 17 9 7 3, 10, 11, 12, 16, 18, 23, 11, 2, 13, 17, 35 4 5 1, 28, 30, 32, 43 11, 2, 13, 35, 17 6 3 4, 16, 22 11, 2, 13, 17, 35 8 3 4, 16, 22 11, 35, 2, 13, 17 10 4 12, 16, 22, 23 11, 2, 13, 17, 35 ※赤い番号が正解BGM番号
  • 11. 11 ビジュアルノベル自動生成に関する基礎研究-連想色によるBGM付与の検討- 結果|出力BGMとBGM付与が成功したシーン BGM番号 タグ 2 楽しい 温かい 穏やか 可愛い コメディー ファンタジー 11 明るい 楽しい 穏やか 可愛い コメディー 13 明るい 楽しい 温かい 穏やか 可愛い コメディー 17 明るい 楽しい 可愛い コメディー 懐かしい 35 慎ましい 冷たい 悲しい シリアス 出力BGMのタグ 適するBGMを付与出来たシーンの特徴単語 1 3 5 7 むかし 王子さま 赤い ようせい ガラスのくつ ダンス・パーティ ひとりの男のひと ダンス・パーティ ビロード ステッキ かわいらしい おれい えらそう お金持ち お気に入り 大きくて すてきな おそい お高くとまっている ゆうめいな人 ゴールド りっぱな おめかし おかえり 気まぐれ きれい 花つき ばしゃ よろこび あくび そっくり ひときわ ケープ 金色 わきあがってくる きれいな おもいやり おおよろこび ダイヤモンド きらきら ダンス・パーティ おひめさま お母さんゆずり ドレス むねかざり かがやく みたことないくらい やさしい ペチコート あたまかざり きれいな びじん せかいでいちばん かざろう ド・ラ・ポシェ 金 れいぎただしくて うつくしい なやみ おじょうさん 銀 おひめさま めんどう ブラシ かざりたてた 王子さま アイロンがけ つけぼくろ ぎょしゃ どきどき フリル 食べません みるみるうちに ほほえみ おめかし うれしかった ほうせき うらやましい フランス すらりと ちりばめた ねむい ふちかざり かがみ ドレス
  • 12. 12 ビジュアルノベル自動生成に関する基礎研究-連想色によるBGM付与の検討- まとめ| 成果と結論 成果 シーンにBGMを自動付与するために、連想色を用いた新たな手法を提案 結論 •正答率50% •華やかで明るいシーンに対して適するBGMが付与出来た シーン番号 出力BGM番号 1 11, 35, 2, 13, 17 3 11, 2, 13, 35, 17 5 11, 2, 13, 17, 35 7 12, 22, 18, 4, 21
  • 14. 14 ビジュアルノベル自動生成に関する基礎研究-連想色によるBGM付与の検討- 結果|タグの連想色と特徴単語の連想色 BGM番号 タグ 2 楽しい 温かい 穏やか 可愛い コメディー ファンタジー 11 明るい 楽しい 穏やか 可愛い コメディー 13 明るい 楽しい 温かい 穏やか 可愛い コメディー 17 明るい 楽しい 可愛い コメディー 懐かしい 35 慎ましい 冷たい 悲しい シリアス 出力BGMのタグ 1 3 5 7 むかし 王子さま 赤い ようせい ガラスのくつ ダンス・パーティ ひとりの男のひと ダンス・パーティ ビロード ステッキ かわいらしい おれい えらそう お金持ち お気に入り 大きくて すてきな おそい お高くとまっている ゆうめいな人 ゴールド りっぱな おめかし おかえり 気まぐれ きれい 花つき ばしゃ よろこび あくび そっくり ひときわ ケープ 金色 わきあがってくる きれいな おもいやり おおよろこび ダイヤモンド きらきら ダンス・パーティ おひめさま お母さんゆずり ドレス むねかざり かがやく みたことないくらい やさしい ペチコート あたまかざり きれいな びじん せかいでいちばん かざろう ド・ラ・ポシェ 金 れいぎただしくて うつくしい なやみ おじょうさん 銀 おひめさま めんどう ブラシ かざりたてた 王子さま アイロンがけ つけぼくろ ぎょしゃ どきどき フリル 食べません みるみるうちに ほほえみ おめかし うれしかった ほうせき うらやましい フランス すらりと ちりばめた ねむい ふちかざり かがみ ドレス 適するBGMを付与出来たシーンの特徴単語
  • 15. 15 ビジュアルノベル自動生成に関する基礎研究-連想色によるBGM付与の検討- 結果|正解データと不正解データの距離 1 2 3 4 5 6 7 8 9 10 ID 距離 ID 距離 ID 距離 ID 距離 ID 距離 ID 距離 ID 距離 ID 距離 ID 距離 ID 距離 11 0.164702 11 0.076354 11 0.291461 11 0.145934 11 0.12998 11 0.125319 12 0.036177 11 0.138403 11 0.199046 11 0.067239 35 0.190806 35 0.095714 2 0.312538 2 0.166855 2 0.145934 2 0.13492 22 0.047545 35 0.16068 2 0.217607 2 0.085191 2 0.192976 2 0.117479 13 0.314814 13 0.170383 13 0.14836 13 0.135799 18 0.058739 2 0.171774 13 0.219783 13 0.090606 13 0.198447 13 0.128136 35 0.320247 35 0.178899 17 0.164702 17 0.153484 4 0.06266 13 0.179231 35 0.231643 17 0.103479 17 0.210944 17 0.132248 17 0.331205 17 0.18543 35 0.166855 35 0.165423 21 0.065446 17 0.188611 17 0.23622 35 0.10798 3 0.233434 3 0.149955 3 0.355797 3 0.209529 3 0.189555 3 0.179231 5 0.077129 3 0.209529 3 0.261101 3 0.127204 43 0.264046 43 0.170033 43 0.392978 10 0.249211 10 0.229579 10 0.22274 8 0.079409 43 0.231643 10 0.302675 10 0.169332 10 0.272691 22 0.183171 10 0.395242 22 0.25253 22 0.234197 22 0.225395 3 0.080155 22 0.246329 22 0.305024 22 0.170732 22 0.273127 10 0.191428 22 0.398838 43 0.25743 43 0.247774 43 0.247293 43 0.088614 10 0.25253 43 0.308708 43 0.190806 12 0.29652 12 0.204063 12 0.423155 12 0.277663 12 0.260188 12 0.25135 14 0.089283 12 0.267627 12 0.329765 12 0.19664 18 0.299315 18 0.204063 18 0.428741 37 0.283809 37 0.266736 37 0.263143 35 0.096334 18 0.268514 37 0.33884 37 0.205805 37 0.302675 37 0.216236 37 0.429157 18 0.28652 9 0.269178 9 0.263821 17 0.101153 37 0.280435 18 0.339366 9 0.207819 9 0.307936 9 0.221938 9 0.433433 9 0.28735 18 0.272691 18 0.268293 9 0.102903 9 0.285689 9 0.341812 18 0.210662 21 0.318384 21 0.22274 21 0.447347 5 0.302478 5 0.28652 5 0.281493 10 0.102903 21 0.286313 5 0.356632 5 0.22354 5 0.318757 5 0.225923 5 0.447612 21 0.305998 14 0.288795 14 0.281705 25 0.102903 5 0.291257 21 0.357964 14 0.225923 14 0.327048 14 0.237476 14 0.453554 14 0.306968 21 0.292276 21 0.286935 37 0.105754 14 0.301888 14 0.360778 21 0.230355 4 0.333888 4 0.239968 4 0.461356 4 0.31651 4 0.299712 4 0.291257 6 0.109621 4 0.303852 4 0.368608 4 0.23622 8 0.336727 8 0.241451 8 0.465975 8 0.323205 8 0.308708 8 0.303264 2 0.11595 8 0.305803 8 0.375958 8 0.246088 23 0.345791 23 0.257199 23 0.47307 23 0.327593 23 0.310629 23 0.306387 11 0.117479 23 0.322099 23 0.382546 23 0.248972 6 0.363243 6 0.26984 25 0.487195 25 0.341115 25 0.321544 25 0.310245 23 0.121951 6 0.335133 25 0.392372 25 0.258813 25 0.363243 25 0.27378 6 0.492296 6 0.347336 6 0.331384 6 0.325954 13 0.124844 25 0.336196 6 0.401366 6 0.268293 16 0.434804 16 0.340766 16 0.56478 16 0.423295 16 0.409727 20 0.40373 20 0.169683 16 0.405201 16 0.477202 16 0.34785 20 0.442533 20 0.347165 20 0.570753 20 0.42763 20 0.411899 16 0.40652 7 0.178899 20 0.410597 20 0.479316 20 0.348704 7 0.450395 7 0.354792 7 0.578517 7 0.436579 7 0.421465 7 0.413485 15 0.18543 7 0.417636 7 0.487805 7 0.358628 19 0.454209 19 0.360613 19 0.584145 19 0.441861 19 0.427769 15 0.419767 16 0.186709 1 0.424839 1 0.495668 19 0.365691 1 0.457602 1 0.36193 1 0.585975 1 0.444278 15 0.429019 1 0.421888 1 0.187662 19 0.425398 19 0.496148 15 0.365854 39 0.4589 39 0.363243 39 0.5878 15 0.445214 1 0.429435 19 0.424418 39 0.192049 39 0.426516 15 0.496268 1 0.366666 15 0.46084 15 0.365691 15 0.588306 39 0.446148 39 0.431645 39 0.424979 19 0.205226 15 0.428603 39 0.498063 39 0.36893 28 0.48006 28 0.384408 28 0.608975 28 0.46814 28 0.454078 28 0.447745 28 0.215132 28 0.447347 28 0.519919 28 0.391613 32 0.488414 32 0.392978 32 0.617319 32 0.474201 32 0.45877 32 0.45145 32 0.218425 32 0.456821 32 0.526513 32 0.395543 26 0.541112 26 0.445481 26 0.67 26 0.527867 26 0.512892 26 0.505649 26 0.271817 26 0.508816 26 0.579852 26 0.449866 29 0.560551 29 0.466103 29 0.687355 29 0.542977 29 0.525495 29 0.514975 29 0.283809 29 0.529218 29 0.594041 29 0.462129 40 0.565833 40 0.470169 40 0.694416 40 0.552319 40 0.537139 40 0.52933 40 0.29491 40 0.533249 40 0.603973 40 0.474075 42 0.599127 42 0.504117 42 0.726895 42 0.582718 42 0.565833 42 0.55629 42 0.323757 42 0.567617 42 0.634334 42 0.502344 33 0.607116 33 0.51173 33 0.735438 33 0.591935 33 0.575734 33 0.566988 33 0.333353 33 0.575217 33 0.643736 33 0.512311 36 0.636861 36 0.541881 36 0.764548 36 0.620299 36 0.603283 36 0.59354 36 0.361272 36 0.60535 36 0.671862 36 0.539791 41 0.636861 41 0.541881 41 0.764548 41 0.620299 41 0.603283 41 0.59354 41 0.361272 41 0.60535 41 0.671862 41 0.539791 24 0.648065 24 0.552427 24 0.776667 24 0.63424 24 0.618763 30 0.609756 30 0.376116 24 0.615582 24 0.685969 24 0.555541 30 0.650904 30 0.555541 30 0.778886 30 0.635458 30 0.619051 31 0.609756 31 0.376116 30 0.618763 30 0.686922 30 0.555648 31 0.650904 31 0.555541 31 0.778886 31 0.635458 31 0.619051 24 0.610634 24 0.376274 31 0.618763 31 0.686922 31 0.555648 38 0.662589 38 0.566883 38 0.790786 38 0.64944 38 0.634334 38 0.626027 38 0.391157 38 0.629344 38 0.700556 38 0.571378 34 0.674601 34 0.579647 34 0.802213 34 0.657904 34 0.640772 34 0.630854 34 0.398838 34 0.643089 34 0.709417 34 0.577282 27 0.719409 27 0.624219 27 0.847012 27 0.703268 27 0.686402 27 0.67645 27 0.443608 27 0.687355 27 0.754522 27 0.622979
  • 16. 16 ビジュアルノベル自動生成に関する基礎研究-連想色によるBGM付与の検討- 結果|正解データと不正解データの分布図 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 0 1 2 3 4 5 6 7 8 9 10 距離 シーン番号 正解データと不正解データの分布図 正解 不正解
  • 17. 17 ビジュアルノベル自動生成に関する基礎研究-連想色によるBGM付与の検討- 結果|正解BGMと不正解BGMの平均と分散 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 0 1 2 3 4 5 6 7 8 9 10 距離 シーン番号 正解BGMと不正解BGMの平均と分散 正解 不正解 1 3 5 7 9 6 8 10 2 4
  • 18. 18 ビジュアルノベル自動生成に関する基礎研究-連想色によるBGM付与の検討- 結果|シーン2とシーン4のタグ 2 4 けっこん式 おいやって ついに 本性 わら たのしい かわいらしくて きらきら おしろ 人がよい きれいな かなしくなって みじめ 大きな なきくずれて ひどく がまん ないている じゃま いそがしい いえなくなって 洗わせ いいなり なみだ ふかせ どうにもなりません ことばが出てこない めいっぱい もえがら ようせい そうじ 灰だらけ まほうつかい せまくて きたなく ダンス・パーティ くらい りりしかった ためいき やねうらべや
  • 19. 19 ビジュアルノベル自動生成に関する基礎研究-連想色によるBGM付与の検討- 結果|対象BGMのタグ 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 寂しい 楽しい 明るい 楽しい 明るい 楽しい 不思議 明るい 明るい 楽しい 明るい 楽しい 明るい 明るい 懐かしい 冷たい 温かい 楽しい 不思議 穏やか 優しい 慎ましい 楽しい 楽しい 温かい 楽しい 温かい 楽しい 楽しい 不思議 暗い 穏やか 温かい 可愛い 優しい 不思議 ファンタジー 穏やか 優しい 穏やか 穏やか 穏やか 温かい 温かい 寂しい 悲しい 可愛い 穏やか 恐ろしい 不思議 ファンタジー 怪しい 懐かしい 懐かしい 優しい 可愛い 不思議 穏やか 穏やか 怪しい 絶望 ファンタジー 可愛い ファンタジー 可愛い コメディー 虚無 不思議 可愛い 可愛い コメディー ファンタジー 可愛い 優しい シリアス 虚無 コメディー ファンタジー 怪しい コメディー 怪しい 慎ましい コメディー 懐かしい 虚無 不思議 可愛い 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 穏やか 明るい 楽しい 穏やか 懐かしい 不思議 明るい 明るい 不思議 楽しい 冷たい 暗い 穏やか 冷たい 冷たい 優しい 楽しい 不思議 優しい 不思議 慎ましい 楽しい 温かい 冷たい 温かい 暗い 恐ろしい 寂しい 暗い 暗い 慎ましい 懐かしい 騒々しい 不思議 渋い 冷たい 温かい 穏やか 暗い 渋い 恐ろしい 悪意 冷たい 怒り 恐ろしい 切ない 可愛い 渋い 慎ましい 寂しい ファンタジー 穏やか 優しい 恐ろしい 怪しい 悪意 シリアス 暗い 恐ろしい シリアス ファンタジー コメディー 切ない シリアス ファンタジー 希望 怪しい 怪しい 虚無 悲しい シリアス コメディー 絶望 怪しい 31 32 33 34 35 36 37 38 39 40 41 42 43 渋い 穏やか 冷たい 懐かしい 慎ましい 暗い 明るい 不思議 楽しい 冷たい 暗い 暗い 穏やか 冷たい 慎ましい 暗い 暗い 冷たい 恐ろしい 楽しい 寂しい サイバー 暗い 恐ろしい 悲しい 慎ましい 暗い 暗い 恐ろしい コメディー 悲しい ファンタジー 温かい 冷たい コメディー ファンタジー ファンタジー 恐ろしい 切ない 恐ろしい 悲しい 悪意 怪しい シリアス 絶望 穏やか 暗い 怪しい 怪しい 絶望 ファンタジー 冷たい シリアス 絶望 シリアス シリアス 優しい サイバー シリアス シリアス 悪意 悲しい シリアス 希望 シリアス シリアス シリアス 虚無