Mais conteúdo relacionado Semelhante a [招待講演] スピーカアレイを用いた空間フーリエ変換に基づく局所再生 (7) [招待講演] スピーカアレイを用いた空間フーリエ変換に基づく局所再生2. My motivation for localizing sound zone
Comparison of localized sound field methods
Spatial Fourier transform-based sound field control
Spatial Fourier transform-based localized sound zone
generation
Challenges and prospects
Concluding remarks
Extra
Outline
2
10. 音場の空間フーリエ変換(例:2次元音場)
定義(まずは説明のため の場合)
10
Spatial Fourier transform
波面を各方向から到来する平面波成分に分解(直交展開)
!! !" # " !
!!
!"
#
"
!
$%&'()%*+,
-+./(0123
!! !" # " !
!!
!"
#
"
!
$%&'()%*+,
-+./(0123
!! !" # " !
!!
!"
#
"
!
$%&'()%*+,
-+./(0123
!! !" # " !
!!
!"
#
"
!
$%&'()%*+,
-+./(0123
!! !" # " !
!!
!"
#
"
!
$%&'()%*+,
-+./(0123
空間フーリエ変換
kx = 0 kx = ω/ckx = −ω/c kx = −ω/2c kx = ω/2c
各方向の平面波の重み
(角度スペクトル)
収録音場
音圧分布(複素数)
基底平面波
時間領域
フーリエ変換
ω = 2πf
波数:
˜P (kx, y = 0, ω) =
∞
−∞
P(x, y = 0, ω)e−jkxx
dx
x
:(複素数)P(x, y = 0, ω)
y = 0
p(x, y, t):実数
12. 角度スペクトルに基づく音場の内装・外装
2次元音場の角度スペクトル( )
ある線上の音圧からそれ以外の位置の音場を内装・外装可能
球面調和スペクトルに基づく音場の内装・外装
3次元音場の球面調和スペクトル
ある球上の音圧からそれ以外の位置の音場を内装・外装可能
Spatial Fourier transform-based
sound field inter-extrapolation
12
˜P (kx, y, ω) =
∞
−∞
P(x, y, ω)e−j(kxx+
√
k2−k2
xy)
dx = ˜P (kx, y = 0, ω) ej
√
k2−k2
xy
˜P (kx, y, ω) = ˜P (kx, y′
, ω) ej
√
k2−k2
x(y−y′
)
ˇAm
n =
1
jn(kr)
2π
0
π
0
S(r, θ, φ)Y m
n (θ, φ)∗
sin θdθdφ =
ˇSm
n (r)
jn(kr)
ˇSm
n (r) =
jn(kr)
jn(kr′)
ˇSm
n (r′
)
y′
y
y = 0
r′
r
音場の空間フーリエ変換が波動方程式より導出されているため
ˇSm
n (r) =
hn(kr)
hn (kr′)
ˇSm
n (r′
)
内部音場(到来音場) 外部音場(放射音場)
13. 2.5D spectral division method (SDM)
直線アレイによる音場(Single layer potential)
軸方向に空間フーリエ変換
時空間周波数(=波数)領域の各スピーカの
駆動信号
時間周波数領域の駆動信号(逆変換)
13
˜P(kx, y, 0, ω) = ˜D(kx, ω) · ˜G(kx, y, 0, ω)
→ 時空間周波数領域では乗算
x
˜D(kx, ω) =
˜P(kx, yref , 0, ω)
˜G(kx, yref , 0, ω)
J. Ahrens et al. 2010.
→ 時間周波数領域では畳み込み
y = yref
x
y
Secondary source D(x, 0, ω)
P(x, yref , ω)
˜G(kx, yref , 0, ω) =
j
4
H0(kxyref )
P(x, ω) =
∞
−∞
D(x0, ω)G3D(x, x0, ω)dx0
F
制御線上の平面波成分 を制御する方式
G3D(x, x0, ω) =
exp(jk|x − x0)
4π|x − x0|
Spatial Fourier transform-based
sound field synthesis with a linear array
フーリエ変換における
畳み込みの定理
˜P(kx)
D (x0, ω) =
1
2π
k
−k
˜D (kx, ω) ejkxx
dkx
14. HOAの解析的方式
球面アレイによる音場(Single layer potential)
球面調和展開
球面調和スペクトル領域の駆動信号
時間周波数領域の駆動信号(逆変換)
3D higher order Ambisonics (HOA)
14
→球面調和スペクトル領域では乗算
J. Ahrens et al. 2008.
→ 時間周波数領域では畳み込み
F
S(r, θ, φ) =
2π
0
π
0
D(R)G(r, R) sin θdθdφ
ˇSm
n (r) =
4π
2n + 1
ˇDm
n (R) ˇG0
n(r<, R)
G0
n(r<, R) = jk
2n + 1
4π
jn(kr)hn(kR)
R
x
y
z
球面内の指向性成分 を制御する方式
G(r, R) =
exp(jk|r − R)
4π|r − R|
ˇAm
n
ˇDm
n (R) =
2n + 1
4π
ˇSm
n (r)
˘G0
n (r<, R)
=
ˇAm
n
jkhn(kR)
D(R, θ, φ) =
⌊kR⌋
n=0
n
m=−n
ˇD(R)Y m
n (θ, φ)
18. 音場の空間フーリエ変換
[4] E. G. Williams, Fourier Acoustics: Sound Radiation and Nearfield Acoustic
Holography. London, UK: Academic Press, 1999.
空間フーリエ変換に基づく音場制御
[3] J. Ahrens, Analytic Methods of Sound Field Synthesis. Berlin: Springer,
2012. (HPにMATLABコードあり)
http://www.soundfieldsynthesis.org
[5] 羽田, “音の波数領域信号処理‒平面波・円調和・球面調和関数展 開とアレー信号
処理‒,” IEICE Fundamentals Review, vol. 11, no. 4, pp. 243‒255, Apr. 2018.
Related books
18
21. 波数領域空間フィルタの解析的導出
波数領域空間フィルタ
局所領域:
無音領域:
局所位置のシフト
波数領域局所再生空間フィルタ
A method with a linear array
21
x
y
y = yb
Secondary source
Bright
DarkDark
P(x, yb) = 1
P(x, yb) = 0
lb
xb
Shift
˜F(kx, ω) =
˜P(kx, yref , ω)
˜G(kx, yref , ω)
矩形窓でモデル化
P(x, yb) = Π
x
lb
=
1, for |x| ≤ lb/2
0, elsewhere
˜F(kx, ω) =
lb sinc (kxlb/2π) exp(jkxxb)
˜G(kx, yb, ω)
˜P(kx) = lb sinc
kxlb
2π
任意の位置 に
任意の幅 の
局所再生を実現
[xb, yb]T
lb→
P(x, yref , ω) = 1
P(x, yref , ω) = 0
Fx
˜Pshift(kx) = ˜P(kx) exp(jkxxb) = lb sinc
kxlb
2π
exp(jkxxb)
ICASSP 2014,JASA 2017
22. DEMO: with an actually implemented
linear loudspeaker array
22
ICASSP 2014
24. 5手法での比較
DS:遅延型ビームフォーミング
CM:コントラスト最大化法
J.-W. Choi et al. JASA 2002
LS:音圧直接制御法
SFT:空間フーリエ変換を用いた方式
rect.:矩形窓型フィルタ
Hann:Hann窓型フィルタ 24
Results
JASA 2017
!" #$ %" "&'()*+,-./ "&'()0122/
z = 0 [m]
!"#$%&' ( (&'
y [m]
)(
)%&'
)%
)*&'
*
*&'
%
%&'
(
x[m]
)+*
)('
)(*
)%'
)%*
)'
*
z = 0 [m]
!"#$%&' ( (&'
y [m]
)(
)%&'
)%
)*&'
*
*&'
%
%&'
(
x[m]
)+*
)('
)(*
)%'
)%*
)'
*
z = 0 [m]
!"#$%&' ( (&'
y [m]
)(
)%&'
)%
)*&'
*
*&'
%
%&'
(
x[m]
)+*
)('
)(*
)%'
)%*
)'
*
z = 0 [m]
!"#$%&' ( (&'
y [m]
)(
)%&'
)%
)*&'
*
*&'
%
%&'
(
x[m]
)+*
)('
)(*
)%'
)%*
)'
*
z = 0 [m]
!"#$%&' ( (&'
y [m]
)(
)%&'
)%
)*&'
*
*&'
%
%&'
(
x[m]
)+*
)('
)(*
)%'
)%*
)'
*
0 1 2 3 4 5
Temporal frequency [kHz]
0
5
10
15
20
25
30
35
40
Brighttodarkratio[dB]
DS CM LS SFT (rect.) SFT (Hann)
26. 円筒調和スペクトル領域の空間フィルタの解析的導出
伝達関数の円筒調和展開
円筒調和スペクトル領域の音圧を矩形窓でモデル化
円筒調和スペクトル領域の駆動信号
A method with a circular array
26
WASPAA 2015
Gopen(r, r0, ω) =
ejk|r−r0|
4π|r − r0|
=
∞
n=−∞
1
2π
∞
−∞
j
4
Jn(krr0)H(1)
n (krr)dkzejkz(z−z0)
ejn(φ−φ0)
˚Gopen,n(r > r0, ω)
Gbaffled(r, r0, ω) =
∞
n=−∞
1
2π
∞
−∞
−H
(1)
n (krr)
2πkrr0H
(1)′
n (krr0)
dkzejkz(z−z0)
ejn(φ−φ0)
˚Gbaffled,n(r > r0, ω)
for r > r0
y
x
z
r0
rref
Φ
φs
P(rref , φ, 0, ω) = 1
P(rref , φ, 0, ω) = 0
!"#$%&'()
*#+,-.%&'()
/+#012"#%3'1(4%3'1#0)
5)6)#)(0)%0+#02)
˚Pn(Φ, φS, ω) = Φsinc
nΦ
2π
e−jnφs
˚Fn(r0, rref , Φ, φs, ω) =
Φsinc(nΦ/2π)e−jnφs
2πr0
˚Gn(rref > r0, ω)
27. Results
27
WASPAA 2015
open baffled
z = 0 [m]
[dB]-1 0 1
X axis [m]
-1.5
-1
-0.5
0
0.5
1
1.5
Yaxis[m]
-40
-30
-20
-10
0
0 1 2 3 4 5
Temporal Frequency [kHz]
0
5
10
15
20
25BDR[dB]
Spatial Nyquist Frequency
LS method (open)
LS method (baffled)
Beamforming (open)
Beamforming (baffled)
Proposed (open)
Proposed (baffled)
z = 0 [m]
[dB]-1 0 1
X axis [m]
-1.5
-1
-0.5
0
0.5
1
1.5
Yaxis[m]
-40
-30
-20
-10
0
z = 0 [m]
[dB]-1 0 1
X axis [m]
-1.5
-1
-0.5
0
0.5
1
1.5
Yaxis[m]
-40
-30
-20
-10
0
z = 0 [m]
[dB]-1 0 1
X axis [m]
-1.5
-1
-0.5
0
0.5
1
1.5
Yaxis[m]
-40
-30
-20
-10
0
z = 0 [m]
[dB]-1 0 1
X axis [m]
-1.5
-1
-0.5
0
0.5
1
1.5
Yaxis[m]
-40
-30
-20
-10
0
z = 0 [m]
[dB]-1 0 1
X axis [m]
-1.5
-1
-0.5
0
0.5
1
1.5
Yaxis[m]
-40
-30
-20
-10
0
LSBeamformingSFT
BDR(ω) = 20log10
rb
|P(rb, ω)| /Φb
rd
|P(rd, ω)| /Φd
FBF,open =
N
n=−N
Φsinc(nΦ/2π)ejn(φl−φS)
2πj−nJn(kr0)
FBF,baffled
=
N
n=−N
kr0H′
n(kr0)Φsinc(nΦ/2π)ejn(φl−φs)
4j(1−n)
f = 3000 Hz
with Φ = π/2, r0 = 0.25 m and rref = 1.0 m
Open Baffled
29. 直線・円形スピーカアレイを用いた近傍再生
エバネッセント波に基づく方法(H. Itou et al., 2011, 2012.)
2.5次元再生でも鉛直方向にも伝搬しない:◯ ←反射音環境でも実装可能
1波長程度で急激に減衰:× ←減衰距離を制御可能,高周波数聴取不可能
高次のスペクトル再生→要多チャネル:△
円形アレイと直線アレイの併用に基づく方式(ICASSP 2015,JIHMSP 2017)
減衰距離を制御可能:○
鉛直方向にも伝搬しない:◯
アレイ形状が複雑:△
2.5次元再生と実音源の差分に基づく方法(JIHMSP 2017,IWAENC 2018)
減衰距離を制御可能:○
円形アレイの場合少ないチャネル数で実装可能:○
鉛直方向に伝搬してしまう:×
Localized sound zone generation
29
空間フーリエ変換方式のみで実現可能
31. Driving functions of both sound sources
円形・直線音源の駆動関数と放射音場
円形音源の駆動関数
円形音源による放射音場
直線音源による音場 = 円形音源外側の放射音場の逆位相
直線音源の駆動関数:距離に非依存
放射音場
Fx
˜DC,0(r0, ω) = 1S(ω) = 1
ICASSP 2015 & JIHMSP 2017
˜PC,0(r > r0, kx, ω) = −
jπr0
2
J0(krr0)H
(2)
0 (krr)˜PC,0(r < r0, kx, ω) = −
jπr0
2
J0(krr)H
(2)
0 (krr0)
˜PL(r, kx, ω) = − ˜PC,0(r > r0, kx, ω)
˜DL(kx, ω) =
− ˜PC,0(r, kx, ω)
˜G(r, kx, ω)
=
jπr0
2 J0(krr0)H
(2)
0 (krr)
−j
4 H
(2)
0 (krr)
= −2πr0J0(krr0)
˜PC+L(r > r0, kx, ω) = ˜PC,0(r > r0, kx, ω) + ˜PL(r, kx, ω) = 0
˜PC+L(r < r0, kx, ω) = −
jπr0
2
J0(krr)H
(2)
0 (krr0) − J0(krr0)H
(2)
0 (krr) = 0
DC (r0, ω) =
S(ω) (x = 0)
0 (x = 0)
= S(ω)δ(x)
r < r0 における近傍再生を実現
32. !"#$%&"'()
*"#$%&"'()
+","-"'()
"
"
'./)
!0 !1 - 1 0
!0
!123
!1
!-23
-
-23
1
123
0
!4-
!53
!5-
!03
!0-
!13
!1-
!3
-
!"#$%&"'()
*"#$%&"'()
+","-"'()
"
"
'./)
!0 !1 - 1 0
!0
!123
!1
!-23
-
-23
1
123
0
!4-
!53
!5-
!03
!0-
!13
!1-
!3
-
!"#$%&"'()
*"#$%&"'()
+","-"'()
"
"
'./)
!0 !1 - 1 0
!0
!123
!1
!-23
-
-23
1
123
0
!4-
!53
!5-
!03
!0-
!13
!1-
!3
-
!"#$%&"'()
*"#$%&"'()
+","-"'()
"
"
'./)
!0 !1 - 1 0
!0
!123
!1
!-23
-
-23
1
123
0
!4-
!53
!5-
!03
!0-
!13
!1-
!3
-
Results of sound pressure level
点音源
!"#$%&"'()
+","-"'()
"
"
'./)
!0 !1 - 1 0
!0
!123
!1
!-23
-
-23
1
123
0
!4-
!53
!5-
!03
!0-
!13
!1-
!3
-
f = 5 kHz, r0 = 0.25 mf = 1 kHz, r0 = 0.4 m
ICASSP 2015 & JIHMSP 2017
f = 1 kHz, r0 = 0.25 m f = 3 kHz, r0 = 0.25 m
33. 2.5次元音場制御の次元ミスマッチに基づくエリア再生
直線アレイで仮想音像を波面合成
仮想音像位置で実音源を逆位相再生
ポイント
2.5次元再現の基準距離( )では原音場と一致
では振幅も大きく誤差が大きい
では減衰により誤差が小さい
A method with a linear array
33
Realsoundsource
Dreal(xs,ω)=1Virtualsource
Drep(x, ω)
Dreal(xs, ω) = −1
˜Drep(kx, ω) =
ejkxxs
˜Gx(kx, yref − ys, ω)
˜Gx(kx, yref , ω)
Drep(x, ω)
Realsoundsource
Dreal(xs,ω)=−1
P(x,yref,0,ω)=0
y = yref
Residualwavefield
P(x,y,0,ω)=Prep−Preal
!"#$%&"'()
*"#$%&"'()
"
"
'+,)
- . / 0
!.
!-12
!-
!312
3
312
-
-12
.
!23
!03
!/3
!.3
!-3
3
!"#$%&"'()
*"#$%&"'()
"
"
'+,)
- . / 0
!.
!-12
!-
!312
3
312
-
-12
.
!23
!03
!/3
!.3
!-3
3
点音源 提案法
yref
yref < y
y < yref
駆動関数が距離に依存
JIHMSP 2017
˜P (kx, y, ω) = ˜Prep (kx, y, ω) − ˜Preal (kx, y, ω)
36. 原音場を活かしたアクティブマルチスポット音空間再生システム
1. 原音場の英語話者の音場をマイクロホンアレイで収録
2. 収録した原音場をスピーカアレイでキャンセル
3. 機械翻訳した日本語と中国語をそれぞれスポット再生
Extended approach
36
こんにちは
你好
Hello
Cancelling original English field, and
Localizing translated Japanese field
Cancelling original English field, and
Localizing translated Chinese field
Cancelling translated fields, and
Directly passing only original English field
1 2 3
こんにちは
Hello
你好
Japanese
area
English
area
Chinese
area
従来:再生するソースは既知
39. ベース論文
スピーカアレイを用いた局所再生
[17] J.-W. Choi and Y.-H. Kim, “Generation of
an acoustically bright zone with an illuminated
region using multiple sources,” J. Acoust. Soc.
Am., vol. 111, no. 4, pp. 1695‒1700, Apr. 2002.
マルチ音場再生
[39] Y. J. Wu and T. D. Abhayapala, “Spatial
multizone sound-field reproduction: Theory and
design,” IEEE Trans. Audio, Speech, Lang.
Process., vol. 19, no. 6, pp. 1711‒1720, Aug.
2011.
検索方法
Google Scholar検索→引用元→日付順に並び替え
Bright zone
(Listening area)
Dark zone
(Quiet area)
How to find related papers
39