Enviar pesquisa
Carregar
話者V2S攻撃: 話者認証から構築される 声質変換とその音声なりすまし可能性の評価
•
0 gostou
•
1,172 visualizações
Shinnosuke Takamichi
Seguir
コンピュータセキュリティシンポジウム2019 敵対的視点とユーザ行動 2E1-2
Leia menos
Leia mais
Tecnologia
Vista de apresentação de diapositivos
Denunciar
Compartilhar
Vista de apresentação de diapositivos
Denunciar
Compartilhar
1 de 15
Baixar agora
Baixar para ler offline
Recomendados
Topic model
Topic model
saireya _
サポートベクターマシン(SVM)の数学をみんなに説明したいだけの会
サポートベクターマシン(SVM)の数学をみんなに説明したいだけの会
Kenyu Uehara
論文紹介 wav2vec: Unsupervised Pre-training for Speech Recognition
論文紹介 wav2vec: Unsupervised Pre-training for Speech Recognition
YosukeKashiwagi1
[DL輪読会]Wav2CLIP: Learning Robust Audio Representations From CLIP
[DL輪読会]Wav2CLIP: Learning Robust Audio Representations From CLIP
Deep Learning JP
AIST Dance Video Database: ダンス情報処理研究のためのストリートダンス動画データベース
AIST Dance Video Database: ダンス情報処理研究のためのストリートダンス動画データベース
Shuhei Tsuchida
GAN-based statistical speech synthesis (in Japanese)
GAN-based statistical speech synthesis (in Japanese)
Yuki Saito
数式からみるWord2Vec
数式からみるWord2Vec
Okamoto Laboratory, The University of Electro-Communications
Nakai22sp03 presentation
Nakai22sp03 presentation
Yuki Saito
Recomendados
Topic model
Topic model
saireya _
サポートベクターマシン(SVM)の数学をみんなに説明したいだけの会
サポートベクターマシン(SVM)の数学をみんなに説明したいだけの会
Kenyu Uehara
論文紹介 wav2vec: Unsupervised Pre-training for Speech Recognition
論文紹介 wav2vec: Unsupervised Pre-training for Speech Recognition
YosukeKashiwagi1
[DL輪読会]Wav2CLIP: Learning Robust Audio Representations From CLIP
[DL輪読会]Wav2CLIP: Learning Robust Audio Representations From CLIP
Deep Learning JP
AIST Dance Video Database: ダンス情報処理研究のためのストリートダンス動画データベース
AIST Dance Video Database: ダンス情報処理研究のためのストリートダンス動画データベース
Shuhei Tsuchida
GAN-based statistical speech synthesis (in Japanese)
GAN-based statistical speech synthesis (in Japanese)
Yuki Saito
数式からみるWord2Vec
数式からみるWord2Vec
Okamoto Laboratory, The University of Electro-Communications
Nakai22sp03 presentation
Nakai22sp03 presentation
Yuki Saito
W8PRML5.1-5.3
W8PRML5.1-5.3
Masahito Ohue
PRML Chapter 5
PRML Chapter 5
Masahito Ohue
Saito2103slp
Saito2103slp
Yuki Saito
統計的因果推論 勉強用 isseing333
統計的因果推論 勉強用 isseing333
Issei Kurahashi
クラシックな機械学習の入門 5. サポートベクターマシン
クラシックな機械学習の入門 5. サポートベクターマシン
Hiroshi Nakagawa
生成系ニューラルネットワークまとめ Summary of Generative Neural Network
生成系ニューラルネットワークまとめ Summary of Generative Neural Network
Youichiro Miyake
単語・句の分散表現の学習
単語・句の分散表現の学習
Naoaki Okazaki
[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder
[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder
Deep Learning JP
The VoiceMOS Challenge 2022
The VoiceMOS Challenge 2022
NU_I_TODALAB
DNNテキスト音声合成のためのAnti-spoofingに敵対する学習アルゴリズム
DNNテキスト音声合成のためのAnti-spoofingに敵対する学習アルゴリズム
Shinnosuke Takamichi
【DL輪読会】SDEdit: Guided Image Synthesis and Editing with Stochastic Differentia...
【DL輪読会】SDEdit: Guided Image Synthesis and Editing with Stochastic Differentia...
Deep Learning JP
単語の分散表現と構成性の計算モデルの発展
単語の分散表現と構成性の計算モデルの発展
Naoaki Okazaki
短時間発話を用いた話者照合のための音声加工の効果に関する検討
短時間発話を用いた話者照合のための音声加工の効果に関する検討
Shinnosuke Takamichi
相互情報量を用いた独立性の検定
相互情報量を用いた独立性の検定
Joe Suzuki
PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門
tmtm otm
Journal Club: VQ-VAE2
Journal Club: VQ-VAE2
Takuya Koumura
[DL輪読会]Learning quadrupedal locomotion over challenging terrain
[DL輪読会]Learning quadrupedal locomotion over challenging terrain
Deep Learning JP
文献紹介:Benchmarking Neural Network Robustness to Common Corruptions and Perturb...
文献紹介:Benchmarking Neural Network Robustness to Common Corruptions and Perturb...
Toru Tamaki
【基調講演】『深層学習の原理の理解に向けた理論の試み』 今泉 允聡(東大)
【基調講演】『深層学習の原理の理解に向けた理論の試み』 今泉 允聡(東大)
MLSE
Generating Diverse High-Fidelity Images with VQ-VAE-2
Generating Diverse High-Fidelity Images with VQ-VAE-2
harmonylab
JTubeSpeech: 音声認識と話者照合のために YouTube から構築される日本語音声コーパス
JTubeSpeech: 音声認識と話者照合のために YouTube から構築される日本語音声コーパス
Shinnosuke Takamichi
音声合成のコーパスをつくろう
音声合成のコーパスをつくろう
Shinnosuke Takamichi
Mais conteúdo relacionado
Mais procurados
W8PRML5.1-5.3
W8PRML5.1-5.3
Masahito Ohue
PRML Chapter 5
PRML Chapter 5
Masahito Ohue
Saito2103slp
Saito2103slp
Yuki Saito
統計的因果推論 勉強用 isseing333
統計的因果推論 勉強用 isseing333
Issei Kurahashi
クラシックな機械学習の入門 5. サポートベクターマシン
クラシックな機械学習の入門 5. サポートベクターマシン
Hiroshi Nakagawa
生成系ニューラルネットワークまとめ Summary of Generative Neural Network
生成系ニューラルネットワークまとめ Summary of Generative Neural Network
Youichiro Miyake
単語・句の分散表現の学習
単語・句の分散表現の学習
Naoaki Okazaki
[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder
[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder
Deep Learning JP
The VoiceMOS Challenge 2022
The VoiceMOS Challenge 2022
NU_I_TODALAB
DNNテキスト音声合成のためのAnti-spoofingに敵対する学習アルゴリズム
DNNテキスト音声合成のためのAnti-spoofingに敵対する学習アルゴリズム
Shinnosuke Takamichi
【DL輪読会】SDEdit: Guided Image Synthesis and Editing with Stochastic Differentia...
【DL輪読会】SDEdit: Guided Image Synthesis and Editing with Stochastic Differentia...
Deep Learning JP
単語の分散表現と構成性の計算モデルの発展
単語の分散表現と構成性の計算モデルの発展
Naoaki Okazaki
短時間発話を用いた話者照合のための音声加工の効果に関する検討
短時間発話を用いた話者照合のための音声加工の効果に関する検討
Shinnosuke Takamichi
相互情報量を用いた独立性の検定
相互情報量を用いた独立性の検定
Joe Suzuki
PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門
tmtm otm
Journal Club: VQ-VAE2
Journal Club: VQ-VAE2
Takuya Koumura
[DL輪読会]Learning quadrupedal locomotion over challenging terrain
[DL輪読会]Learning quadrupedal locomotion over challenging terrain
Deep Learning JP
文献紹介:Benchmarking Neural Network Robustness to Common Corruptions and Perturb...
文献紹介:Benchmarking Neural Network Robustness to Common Corruptions and Perturb...
Toru Tamaki
【基調講演】『深層学習の原理の理解に向けた理論の試み』 今泉 允聡(東大)
【基調講演】『深層学習の原理の理解に向けた理論の試み』 今泉 允聡(東大)
MLSE
Generating Diverse High-Fidelity Images with VQ-VAE-2
Generating Diverse High-Fidelity Images with VQ-VAE-2
harmonylab
Mais procurados
(20)
W8PRML5.1-5.3
W8PRML5.1-5.3
PRML Chapter 5
PRML Chapter 5
Saito2103slp
Saito2103slp
統計的因果推論 勉強用 isseing333
統計的因果推論 勉強用 isseing333
クラシックな機械学習の入門 5. サポートベクターマシン
クラシックな機械学習の入門 5. サポートベクターマシン
生成系ニューラルネットワークまとめ Summary of Generative Neural Network
生成系ニューラルネットワークまとめ Summary of Generative Neural Network
単語・句の分散表現の学習
単語・句の分散表現の学習
[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder
[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder
The VoiceMOS Challenge 2022
The VoiceMOS Challenge 2022
DNNテキスト音声合成のためのAnti-spoofingに敵対する学習アルゴリズム
DNNテキスト音声合成のためのAnti-spoofingに敵対する学習アルゴリズム
【DL輪読会】SDEdit: Guided Image Synthesis and Editing with Stochastic Differentia...
【DL輪読会】SDEdit: Guided Image Synthesis and Editing with Stochastic Differentia...
単語の分散表現と構成性の計算モデルの発展
単語の分散表現と構成性の計算モデルの発展
短時間発話を用いた話者照合のための音声加工の効果に関する検討
短時間発話を用いた話者照合のための音声加工の効果に関する検討
相互情報量を用いた独立性の検定
相互情報量を用いた独立性の検定
PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門
Journal Club: VQ-VAE2
Journal Club: VQ-VAE2
[DL輪読会]Learning quadrupedal locomotion over challenging terrain
[DL輪読会]Learning quadrupedal locomotion over challenging terrain
文献紹介:Benchmarking Neural Network Robustness to Common Corruptions and Perturb...
文献紹介:Benchmarking Neural Network Robustness to Common Corruptions and Perturb...
【基調講演】『深層学習の原理の理解に向けた理論の試み』 今泉 允聡(東大)
【基調講演】『深層学習の原理の理解に向けた理論の試み』 今泉 允聡(東大)
Generating Diverse High-Fidelity Images with VQ-VAE-2
Generating Diverse High-Fidelity Images with VQ-VAE-2
Mais de Shinnosuke Takamichi
JTubeSpeech: 音声認識と話者照合のために YouTube から構築される日本語音声コーパス
JTubeSpeech: 音声認識と話者照合のために YouTube から構築される日本語音声コーパス
Shinnosuke Takamichi
音声合成のコーパスをつくろう
音声合成のコーパスをつくろう
Shinnosuke Takamichi
J-KAC:日本語オーディオブック・紙芝居朗読音声コーパス
J-KAC:日本語オーディオブック・紙芝居朗読音声コーパス
Shinnosuke Takamichi
リアルタイムDNN音声変換フィードバックによるキャラクタ性の獲得手法
リアルタイムDNN音声変換フィードバックによるキャラクタ性の獲得手法
Shinnosuke Takamichi
ここまで来た&これから来る音声合成 (明治大学 先端メディアコロキウム)
ここまで来た&これから来る音声合成 (明治大学 先端メディアコロキウム)
Shinnosuke Takamichi
国際会議 interspeech 2020 報告
国際会議 interspeech 2020 報告
Shinnosuke Takamichi
Interspeech 2020 読み会 "Incremental Text to Speech for Neural Sequence-to-Sequ...
Interspeech 2020 読み会 "Incremental Text to Speech for Neural Sequence-to-Sequ...
Shinnosuke Takamichi
サブバンドフィルタリングに基づくリアルタイム広帯域DNN声質変換の実装と評価
サブバンドフィルタリングに基づくリアルタイム広帯域DNN声質変換の実装と評価
Shinnosuke Takamichi
P J S: 音素バランスを考慮した日本語歌声コーパス
P J S: 音素バランスを考慮した日本語歌声コーパス
Shinnosuke Takamichi
音響モデル尤度に基づくsubword分割の韻律推定精度における評価
音響モデル尤度に基づくsubword分割の韻律推定精度における評価
Shinnosuke Takamichi
音声合成研究を加速させるためのコーパスデザイン
音声合成研究を加速させるためのコーパスデザイン
Shinnosuke Takamichi
論文紹介 Unsupervised training of neural mask-based beamforming
論文紹介 Unsupervised training of neural mask-based beamforming
Shinnosuke Takamichi
論文紹介 Building the Singapore English National Speech Corpus
論文紹介 Building the Singapore English National Speech Corpus
Shinnosuke Takamichi
論文紹介 SANTLR: Speech Annotation Toolkit for Low Resource Languages
論文紹介 SANTLR: Speech Annotation Toolkit for Low Resource Languages
Shinnosuke Takamichi
JVS:フリーの日本語多数話者音声コーパス
JVS:フリーの日本語多数話者音声コーパス
Shinnosuke Takamichi
差分スペクトル法に基づく DNN 声質変換の計算量削減に向けたフィルタ推定
差分スペクトル法に基づく DNN 声質変換の計算量削減に向けたフィルタ推定
Shinnosuke Takamichi
音声合成・変換の国際コンペティションへの 参加を振り返って
音声合成・変換の国際コンペティションへの 参加を振り返って
Shinnosuke Takamichi
ユーザ歌唱のための generative moment matching network に基づく neural double-tracking
ユーザ歌唱のための generative moment matching network に基づく neural double-tracking
Shinnosuke Takamichi
End-to-end 韻律推定に向けた DNN 音響モデルに基づく subword 分割
End-to-end 韻律推定に向けた DNN 音響モデルに基づく subword 分割
Shinnosuke Takamichi
統計的ボイチェン研究事情
統計的ボイチェン研究事情
Shinnosuke Takamichi
Mais de Shinnosuke Takamichi
(20)
JTubeSpeech: 音声認識と話者照合のために YouTube から構築される日本語音声コーパス
JTubeSpeech: 音声認識と話者照合のために YouTube から構築される日本語音声コーパス
音声合成のコーパスをつくろう
音声合成のコーパスをつくろう
J-KAC:日本語オーディオブック・紙芝居朗読音声コーパス
J-KAC:日本語オーディオブック・紙芝居朗読音声コーパス
リアルタイムDNN音声変換フィードバックによるキャラクタ性の獲得手法
リアルタイムDNN音声変換フィードバックによるキャラクタ性の獲得手法
ここまで来た&これから来る音声合成 (明治大学 先端メディアコロキウム)
ここまで来た&これから来る音声合成 (明治大学 先端メディアコロキウム)
国際会議 interspeech 2020 報告
国際会議 interspeech 2020 報告
Interspeech 2020 読み会 "Incremental Text to Speech for Neural Sequence-to-Sequ...
Interspeech 2020 読み会 "Incremental Text to Speech for Neural Sequence-to-Sequ...
サブバンドフィルタリングに基づくリアルタイム広帯域DNN声質変換の実装と評価
サブバンドフィルタリングに基づくリアルタイム広帯域DNN声質変換の実装と評価
P J S: 音素バランスを考慮した日本語歌声コーパス
P J S: 音素バランスを考慮した日本語歌声コーパス
音響モデル尤度に基づくsubword分割の韻律推定精度における評価
音響モデル尤度に基づくsubword分割の韻律推定精度における評価
音声合成研究を加速させるためのコーパスデザイン
音声合成研究を加速させるためのコーパスデザイン
論文紹介 Unsupervised training of neural mask-based beamforming
論文紹介 Unsupervised training of neural mask-based beamforming
論文紹介 Building the Singapore English National Speech Corpus
論文紹介 Building the Singapore English National Speech Corpus
論文紹介 SANTLR: Speech Annotation Toolkit for Low Resource Languages
論文紹介 SANTLR: Speech Annotation Toolkit for Low Resource Languages
JVS:フリーの日本語多数話者音声コーパス
JVS:フリーの日本語多数話者音声コーパス
差分スペクトル法に基づく DNN 声質変換の計算量削減に向けたフィルタ推定
差分スペクトル法に基づく DNN 声質変換の計算量削減に向けたフィルタ推定
音声合成・変換の国際コンペティションへの 参加を振り返って
音声合成・変換の国際コンペティションへの 参加を振り返って
ユーザ歌唱のための generative moment matching network に基づく neural double-tracking
ユーザ歌唱のための generative moment matching network に基づく neural double-tracking
End-to-end 韻律推定に向けた DNN 音響モデルに基づく subword 分割
End-to-end 韻律推定に向けた DNN 音響モデルに基づく subword 分割
統計的ボイチェン研究事情
統計的ボイチェン研究事情
Último
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
CRI Japan, Inc.
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
atsushi061452
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
WSO2
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
sn679259
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
Toru Tamaki
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
Toru Tamaki
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
CRI Japan, Inc.
Último
(10)
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
話者V2S攻撃: 話者認証から構築される 声質変換とその音声なりすまし可能性の評価
1.
10/22/2019©Shinnosuke Takamichi, The University
of Tokyo 話者V2S攻撃:話者認証から構築される 声質変換とその音声なりすまし可能性の評価 中村 泰貴*1, 齋藤 佑樹*1, 高道 慎之介*1, 井島 勇祐*2, 猿渡 洋*1 (*1: 東京大学,*2: NTT) コンピュータセキュリティシンポジウム2019 敵対的視点とユーザ行動 2E1-2
2.
/15 研究背景:音声による個人認証システムと システムへの攻撃 話者認証:音声により登録済みユーザを特定する生体認証 [Dehak11] –
ユーザ負担が小さく,スマートスピーカなどで利用 [Prabhavalkar15] – 更なる普及を見据え,音声なりすまし攻撃に利用される可能性あり 話者V2S攻撃:話者認証を用いた音声なりすまし攻撃 – 認証システムが攻撃者により暴露された場合に,登録済みユーザの 音声を人工的に復元する攻撃 (すなわち Verification-to-Synthesis) – 本稿では,声質変換技術を用いた攻撃法を議論 声質変換 (音声変換):データドリブンのボイスチェンジャ [Toda07] – 事前収録音声を用いて,音声の声色を特定の他者の声色に変換 – 近年では,深層学習 (DNN) に基づく変換技術も登場 (次ページ) 2
3.
/15 リアルタイムDNN音声変換 3 https://www.youtube.com/watch?v=P9rGqoYnfCg [Arakawa19]
4.
/15 本発表の概要 声質変換を用いた話者V2S攻撃 – 認証システムに音声は保存されないため,通常の声質変換は不可能 –
本発表では,音声ではなく話者認証から学習される声質変換を提案 4V2Sの話者再現度は,少量の音声を用いる通常の声質変換と同程度 音声なりすまし 変換 声質変換 声質変換を用いた話者V2S攻撃 音声で個人認証 攻撃者 攻撃対象話者 (話者認証に 登録済み) 話者認証を暴露 変換
5.
音声から学習される通常の声質変換 (攻撃対象話者の音声を入手できた場合の音声なりすまし攻撃) 5
6.
/15 通常の声質変換 6 攻撃者 こんにちは はじめまして 攻撃対象話者 こんにちは はじめまして 対応関係を学習 変換して! 変換して! あらゆる発話を変換可能 パラレル
(同一内容) 発話に基づく方法 (上図) [Toda07] – 攻撃者は,攻撃対象話者の音声と同じセリフを発話・収録 ノンパラレル (非同一内容) 発話に基づく方法 [Saito18] – 攻撃者は,自身のあらゆる発話を利用可能.少量の発話でも良い. 学習時 声質変換時
7.
話者V2S攻撃: 話者認証から学習される声質変換 7
8.
/15 攻撃の設定と提案アルゴリズム 設定①:話者認証・声質変換モデルはDNNで記述 – Backpropagation
による学習を行うため 設定②:話者認証システムはホワイトボックス – モデルのDNN構造と話者ラベルは,攻撃者にとって既知 – やや非現実的だが,話者V2S攻撃の性能限界を知る上で重要 アルゴリズム:話者認証と音声認識を利用した声質変換の学習 – 話者認証は話者性のみを評価するため,話者認証の利用だけでは, 変換音声の音韻性 (発話内容) が消失 – そこで,攻撃者は音韻性を評価する音声認識も利用して学習 8
9.
/15 話者認証と音声認識 9 学習時 音声 特徴量 one-hot 話者 ベクトル 音声特徴量から話者を 推定するようにDNNを学習 話者認証 (認証側が用意) 話者認証時 話者事後確率を出力して 入力音声の話者性を評価 0.9 0.1 学習時 音声 特徴量 one-hot 音素 ベクトル 音声特徴量から音素を 推定するようにDNNを学習 音声認識 (攻撃側が用意) 音声認識時 音素事後確率を出力して 入力音声の音韻性を評価 0.9 0.1 a i a i a
10.
/15 V2S攻撃における声質変換の学習 10 Loss = SoftmaxCrossEntropy
+ 𝜔 ⋅ MeanSquaredError 変換側(攻撃側) 認証側 攻撃対象話者の 話者ラベル 話者認証モデル Mean squared error 声質変換モデル 音声認識 モデル 音素事後確率 Softmax cross-entropy 変換前後で音韻性を保存 攻撃対象話者の話者性を復元 攻撃者の 音声特徴量 weight
11.
/15 考察 従来の音声なりすまし研究との比較 – 従来:話者認証を騙す人工音声の合成が目的
[Wu13] – 本研究:話者認証を騙すことによる個人性復元が目的 敵対的攻撃 (adversarial attack) [Goodfellow14] との目的の違い – 敵対的攻撃:認識モデルを誤認識させるデータを生成 – 本研究:認識モデルから攻撃対象の属性 (本稿では話者性) を復元 より現実的な設定に向けた要素 – 本稿で無視した伝達経路(波形生成・空間伝達・音声分析)の考慮 – ブラックボックス話者認証への攻撃手段 11
12.
実験的評価 12
13.
/15 実験条件 13 条件 値・設定 攻撃者 男性1名 攻撃対象話者
男2名・女2名.本発表では男性の結果のみ表示. DNN構造 声質変換・話者認識・話者認証ともに Feed-forward DNN (詳細は原稿参照) 登録済みユーザ数 260 (攻撃対象話者4名を含む) 比較手法 ①通常の声質変換 (パラレル5, 10, 30発話で学習) ②通常の声質変換 (ノンパラレル25発話で学習) ③話者V2S (200発話で学習) 各手法で生成される音声の自然性と話者再現度 (攻撃対象話者の話者らしさをどの程度再現できるか) を主観的に評価
14.
/15 自然性・話者再現性における比較 (評価者は40名.スコアが高いほど良い) 14 話者V2S攻撃の話者再現度は, パラレル5発話を用いる通常の声質変換と同程度 手法A スコア 手法B パラレル5発話
0.388 vs. 0.612 V2S パラレル10発話 0.475 vs. 0.525 パラレル30発話 0.458 vs. 0.542 ノンパラレル 0.598 vs. 0.402 自然性に関するプリファレンスABテスト 手法A スコア 手法B パラレル5発話 0.530 vs. 0.470 V2S パラレル10発話 0.615 vs. 0.385 パラレル30発話 0.675 vs. 0.325 ノンパラレル 0.660 vs. 0.340 話者再現度に関するプリファレンスXABテスト * 太字は p値 < 0.05 で優れた手法
15.
/15 まとめ 新たな音声なりすまし攻撃を提案・評価 – 話者V2S攻撃:話者認識から登録済みユーザの声を復元 –
音声データなしから声質変換を学習 評価結果 – 少量の音声データを用いる通常の声質変換と同程度の性能 今後の予定 – 多数話者の事前収録音声を用いた攻撃法 – 話者V2S攻撃に対する防御法 15
Baixar agora