Recomendados
Recomendados
Mais conteúdo relacionado
Semelhante a Monta v2
Monta v2
- 1. 音声検出を用いたCNNによる 環境音識別方法の研究 人工知能第１研究室 17E3018 門田 夏樹 2019年2月6日 古家 賢一 教授 第2会場(108号教室) ： ： ： ： ： 所 属 発 表 者 発 表 日 指 導 教 員 発 表 会 場
- 6. 従来研究 Deep Convolutional Neural Networks and Data Augmentation for Environmental Sound Classification (J. Salamon 2016) •学習・識別 CNN(畳み込みニューラルネットワーク)を使用 •平均識別率が約79% データ拡張を導入 5
- 8. 畳み込みニューラルネットワーク (Convolutional Neural Network) • 何層もの層をもつニューラルネットワークのひとつ • 従来のニューラルネットワークに -畳み込み層 -プーリング処理 などといった特徴的な層を積み重ねて実装 7 0 50 100 猫 犬 兎 鼠 猫 引用： https://jp.mathworks.com/discovery /convolutional-neural-network.html 全 結 合 層 全 結 合 層 畳 み 込 み 層 畳 み 込 み 層 畳 み 込 み 層 プ ー リ ン グ 処 理 プ ー リ ン グ 処 理 例: 出力入力
- 11. データ拡張に利用した手法 •信号処理ライブラリMUDA Libraryを使用して次の5種類 のデータ拡張を実施 10 検討項目 略記 パラメータ 時間伸縮 TS 0.81,0.93,1.07,1.23 ピッチシフト PS1 -2,-1,1,2 ピッチシフト PS2 -3.5,-2.5,2.5,3.5 ダイナミックレンジ圧縮 DRC 標準的な音楽、標準的な映画 スピーチ、ラジオ 背景雑音 BG 街の歩行者、街の交通 街の人々、公園
- 12. クラス別識別精度(従来法) •平均識別精度は79% 最高：銃声:94% 最低：エアコン:49% 11 0 0.2 0.4 0.6 0.8 1 AI CA CH DO DR EN GU JA SI ST クラス別分類精度
- 19. 評価指標の算出 Xに属する Yに属する Xと識別 A B Yと識別 C D 18 適合率 = 𝑨 𝑨 + 𝑩 再現率 = 𝑨 𝑨 + 𝑪 Ｆ値 = 𝟐(再現率 × 適合率) 再現率 + 適合率 実際の状態 分類器によ る 識別結果
- 20. 環境音の種類 19 •研究用環境音データベースUrbanSound8Kより、以下の 環境音を使用 種類 略記 エアコン AI 車の警笛 CA 子どもの遊び CH 犬の鳴き声 DO 掘削音 DR エンジンの空ぶかし EN 銃声 GU 削岩機 JA サイレン SI 街の音楽 ST
- 21. 環境音データベースの仕様 •以下の条件にて実験を実施 20 検討項目 パラメータ 使用音源 UrbanSound8K(環境音) CHiME Challenge 4(混合音声) データ数 環境音:8732/混合音声:16 学習／テスト データ数 Fold1(学習:7859/テスト:873) Fold2(学習:7844/テスト:888) Fold3(学習:7807/テスト:925) 録音形式 Waveフォーマット サンプリングレート 44100Hz 入力SNR(dB) -10, -5, 0, 5, 10 データ拡張(MUDA Library) PitchShift(-2, -1, 1, 2) 環境音クリップ長さ 最大4s
- 22. 畳み込みニューラルネットワークの仕様 •深層学習用ライブラリkerasを使用 •10種類の環境音に対して以下の条件にて実施 21 検討項目 パラメータ 層の構造 3畳み込み層+2全結合層 ストライドサイズ(1,2層) (4,2) 学習率 0.01 エポック数 50 ペナルティ項 0.001 入力次元 128×128 活性化関数 ReLU関数(1,2,3,4層目) Softmax関数(5層目)
- 29. 結果(クラス別)のまとめ •適合率 -改善: AI、CA、CH、EN、SI、ST -有意差あり: AI、ST •再現率 -改善: AI、CA、EN、GU、SI -有意差あり: GU、SI •F値 -改善: AI、CA、CH、DO、EN、GU、SI、ST -有意差あり: GU、SI 28
- 30. 考察 •dB が小さいほど、従来手法と提案手法での差が小さい -影響は人間の音声が大きいほど現れやすい •GU とSI 以外では有意差が確認されなかった 定常音に近いサイレンや短い時間の銃声 ⇒非音声区間の切り出し時の不連続さが発生しにくい それ以外の音源 ⇒経時的な変化を伴うため、切り出した際の不自然さが発生し たのではないか •サイレンや銃声のような音源とは別に、経時的な変化を 伴う音源に対しては別途対策が必要では？ 29
Notas do Editor
- GMMはたぶんGMMでモデル化したEMアルゴリズム。 各クラスでの最大尤度を求めている
- 研究背景です。 近年音声認識技術は様々なときに、様々な場所で、様々なときに用いられています。 私たちの身近にある音声認識技術は、図のように、入力、抑圧処理、認識、出力の流れに沿って処理を行っています。 この技術は、雑音の無い環境における音声認識の精度はとても高いのですが、 雑音のある環境での音声認識はまだ十分ではありません。
- 騒音の分析による雑音公害問題への対処→雑音が特定できれば適切な抑圧処理が可能ではないかということ 環境音認識による犯罪場面解析→視覚的(映像)だけでなく、音から犯行現場の特定が可能ではないか、ということ
- GMMはたぶんGMMでモデル化したEMアルゴリズム。 各クラスでの最大尤度を求めている
- Each environmental audio signal was segmented into several sub-signals. それぞれの環境オーディオ信号は各サブ信号に分割されている。 These sub-signals were randomly divided into five groups of equal sizes. それらのサブ信号は同じサイズの5つのグループにランダムに分割されている。 Then, four arbitrarily selected groups were used for training and the rest was used for testing. 次に任意に選ばれた4つのグループはトレーニング用に用いられ、その残りはテスト用に用いられた。 For the cross-validation procedure, the same process was repeated 50 times with different training and test sets to ensure that all samples are included in the test set at least once. 交差検証の手順では、全ての標本が少なくとも1度は含むように保証するため、異なるトレーニングとテストセットで50回同じプロセスを繰り返した。 Two classifiers, feedforward neural network and k-nearest neighbor (k-NN), were deployed in this experiment. 2つの分類器、フィードフォワードニューラルネットワークとk近傍法(k-NN)は、この環境にて展開(配置)される。
- Each environmental audio signal was segmented into several sub-signals. それぞれの環境オーディオ信号は各サブ信号に分割されている。 These sub-signals were randomly divided into five groups of equal sizes. それらのサブ信号は同じサイズの5つのグループにランダムに分割されている。 Then, four arbitrarily selected groups were used for training and the rest was used for testing. 次に任意に選ばれた4つのグループはトレーニング用に用いられ、その残りはテスト用に用いられた。 For the cross-validation procedure, the same process was repeated 50 times with different training and test sets to ensure that all samples are included in the test set at least once. 交差検証の手順では、全ての標本が少なくとも1度は含むように保証するため、異なるトレーニングとテストセットで50回同じプロセスを繰り返した。 Two classifiers, feedforward neural network and k-nearest neighbor (k-NN), were deployed in this experiment. 2つの分類器、フィードフォワードニューラルネットワークとk近傍法(k-NN)は、この環境にて展開(配置)される。
- Each environmental audio signal was segmented into several sub-signals. それぞれの環境オーディオ信号は各サブ信号に分割されている。 These sub-signals were randomly divided into five groups of equal sizes. それらのサブ信号は同じサイズの5つのグループにランダムに分割されている。 Then, four arbitrarily selected groups were used for training and the rest was used for testing. 次に任意に選ばれた4つのグループはトレーニング用に用いられ、その残りはテスト用に用いられた。 For the cross-validation procedure, the same process was repeated 50 times with different training and test sets to ensure that all samples are included in the test set at least once. 交差検証の手順では、全ての標本が少なくとも1度は含むように保証するため、異なるトレーニングとテストセットで50回同じプロセスを繰り返した。 Two classifiers, feedforward neural network and k-nearest neighbor (k-NN), were deployed in this experiment. 2つの分類器、フィードフォワードニューラルネットワークとk近傍法(k-NN)は、この環境にて展開(配置)される。
- Each environmental audio signal was segmented into several sub-signals. それぞれの環境オーディオ信号は各サブ信号に分割されている。 These sub-signals were randomly divided into five groups of equal sizes. それらのサブ信号は同じサイズの5つのグループにランダムに分割されている。 Then, four arbitrarily selected groups were used for training and the rest was used for testing. 次に任意に選ばれた4つのグループはトレーニング用に用いられ、その残りはテスト用に用いられた。 For the cross-validation procedure, the same process was repeated 50 times with different training and test sets to ensure that all samples are included in the test set at least once. 交差検証の手順では、全ての標本が少なくとも1度は含むように保証するため、異なるトレーニングとテストセットで50回同じプロセスを繰り返した。 Two classifiers, feedforward neural network and k-nearest neighbor (k-NN), were deployed in this experiment. 2つの分類器、フィードフォワードニューラルネットワークとk近傍法(k-NN)は、この環境にて展開(配置)される。
- Each environmental audio signal was segmented into several sub-signals. それぞれの環境オーディオ信号は各サブ信号に分割されている。 These sub-signals were randomly divided into five groups of equal sizes. それらのサブ信号は同じサイズの5つのグループにランダムに分割されている。 Then, four arbitrarily selected groups were used for training and the rest was used for testing. 次に任意に選ばれた4つのグループはトレーニング用に用いられ、その残りはテスト用に用いられた。 For the cross-validation procedure, the same process was repeated 50 times with different training and test sets to ensure that all samples are included in the test set at least once. 交差検証の手順では、全ての標本が少なくとも1度は含むように保証するため、異なるトレーニングとテストセットで50回同じプロセスを繰り返した。 Two classifiers, feedforward neural network and k-nearest neighbor (k-NN), were deployed in this experiment. 2つの分類器、フィードフォワードニューラルネットワークとk近傍法(k-NN)は、この環境にて展開(配置)される。
- Each environmental audio signal was segmented into several sub-signals. それぞれの環境オーディオ信号は各サブ信号に分割されている。 These sub-signals were randomly divided into five groups of equal sizes. それらのサブ信号は同じサイズの5つのグループにランダムに分割されている。 Then, four arbitrarily selected groups were used for training and the rest was used for testing. 次に任意に選ばれた4つのグループはトレーニング用に用いられ、その残りはテスト用に用いられた。 For the cross-validation procedure, the same process was repeated 50 times with different training and test sets to ensure that all samples are included in the test set at least once. 交差検証の手順では、全ての標本が少なくとも1度は含むように保証するため、異なるトレーニングとテストセットで50回同じプロセスを繰り返した。 Two classifiers, feedforward neural network and k-nearest neighbor (k-NN), were deployed in this experiment. 2つの分類器、フィードフォワードニューラルネットワークとk近傍法(k-NN)は、この環境にて展開(配置)される。
- Each environmental audio signal was segmented into several sub-signals. それぞれの環境オーディオ信号は各サブ信号に分割されている。 These sub-signals were randomly divided into five groups of equal sizes. それらのサブ信号は同じサイズの5つのグループにランダムに分割されている。 Then, four arbitrarily selected groups were used for training and the rest was used for testing. 次に任意に選ばれた4つのグループはトレーニング用に用いられ、その残りはテスト用に用いられた。 For the cross-validation procedure, the same process was repeated 50 times with different training and test sets to ensure that all samples are included in the test set at least once. 交差検証の手順では、全ての標本が少なくとも1度は含むように保証するため、異なるトレーニングとテストセットで50回同じプロセスを繰り返した。 Two classifiers, feedforward neural network and k-nearest neighbor (k-NN), were deployed in this experiment. 2つの分類器、フィードフォワードニューラルネットワークとk近傍法(k-NN)は、この環境にて展開(配置)される。
- Each environmental audio signal was segmented into several sub-signals. それぞれの環境オーディオ信号は各サブ信号に分割されている。 These sub-signals were randomly divided into five groups of equal sizes. それらのサブ信号は同じサイズの5つのグループにランダムに分割されている。 Then, four arbitrarily selected groups were used for training and the rest was used for testing. 次に任意に選ばれた4つのグループはトレーニング用に用いられ、その残りはテスト用に用いられた。 For the cross-validation procedure, the same process was repeated 50 times with different training and test sets to ensure that all samples are included in the test set at least once. 交差検証の手順では、全ての標本が少なくとも1度は含むように保証するため、異なるトレーニングとテストセットで50回同じプロセスを繰り返した。 Two classifiers, feedforward neural network and k-nearest neighbor (k-NN), were deployed in this experiment. 2つの分類器、フィードフォワードニューラルネットワークとk近傍法(k-NN)は、この環境にて展開(配置)される。
- Each environmental audio signal was segmented into several sub-signals. それぞれの環境オーディオ信号は各サブ信号に分割されている。 These sub-signals were randomly divided into five groups of equal sizes. それらのサブ信号は同じサイズの5つのグループにランダムに分割されている。 Then, four arbitrarily selected groups were used for training and the rest was used for testing. 次に任意に選ばれた4つのグループはトレーニング用に用いられ、その残りはテスト用に用いられた。 For the cross-validation procedure, the same process was repeated 50 times with different training and test sets to ensure that all samples are included in the test set at least once. 交差検証の手順では、全ての標本が少なくとも1度は含むように保証するため、異なるトレーニングとテストセットで50回同じプロセスを繰り返した。 Two classifiers, feedforward neural network and k-nearest neighbor (k-NN), were deployed in this experiment. 2つの分類器、フィードフォワードニューラルネットワークとk近傍法(k-NN)は、この環境にて展開(配置)される。
- Each environmental audio signal was segmented into several sub-signals. それぞれの環境オーディオ信号は各サブ信号に分割されている。 These sub-signals were randomly divided into five groups of equal sizes. それらのサブ信号は同じサイズの5つのグループにランダムに分割されている。 Then, four arbitrarily selected groups were used for training and the rest was used for testing. 次に任意に選ばれた4つのグループはトレーニング用に用いられ、その残りはテスト用に用いられた。 For the cross-validation procedure, the same process was repeated 50 times with different training and test sets to ensure that all samples are included in the test set at least once. 交差検証の手順では、全ての標本が少なくとも1度は含むように保証するため、異なるトレーニングとテストセットで50回同じプロセスを繰り返した。 Two classifiers, feedforward neural network and k-nearest neighbor (k-NN), were deployed in this experiment. 2つの分類器、フィードフォワードニューラルネットワークとk近傍法(k-NN)は、この環境にて展開(配置)される。
- Each environmental audio signal was segmented into several sub-signals. それぞれの環境オーディオ信号は各サブ信号に分割されている。 These sub-signals were randomly divided into five groups of equal sizes. それらのサブ信号は同じサイズの5つのグループにランダムに分割されている。 Then, four arbitrarily selected groups were used for training and the rest was used for testing. 次に任意に選ばれた4つのグループはトレーニング用に用いられ、その残りはテスト用に用いられた。 For the cross-validation procedure, the same process was repeated 50 times with different training and test sets to ensure that all samples are included in the test set at least once. 交差検証の手順では、全ての標本が少なくとも1度は含むように保証するため、異なるトレーニングとテストセットで50回同じプロセスを繰り返した。 Two classifiers, feedforward neural network and k-nearest neighbor (k-NN), were deployed in this experiment. 2つの分類器、フィードフォワードニューラルネットワークとk近傍法(k-NN)は、この環境にて展開(配置)される。
- Each environmental audio signal was segmented into several sub-signals. それぞれの環境オーディオ信号は各サブ信号に分割されている。 These sub-signals were randomly divided into five groups of equal sizes. それらのサブ信号は同じサイズの5つのグループにランダムに分割されている。 Then, four arbitrarily selected groups were used for training and the rest was used for testing. 次に任意に選ばれた4つのグループはトレーニング用に用いられ、その残りはテスト用に用いられた。 For the cross-validation procedure, the same process was repeated 50 times with different training and test sets to ensure that all samples are included in the test set at least once. 交差検証の手順では、全ての標本が少なくとも1度は含むように保証するため、異なるトレーニングとテストセットで50回同じプロセスを繰り返した。 Two classifiers, feedforward neural network and k-nearest neighbor (k-NN), were deployed in this experiment. 2つの分類器、フィードフォワードニューラルネットワークとk近傍法(k-NN)は、この環境にて展開(配置)される。