Este documento descreve um sintetizador de piano baseado em amostragem e compressão wavelet para reduzir o tamanho dos bancos de amostras. A técnica usa a transformada wavelet para codificar amostras de piano, permitindo reduzir o tamanho do banco de 421MB para 1.44MB sem perda significativa de qualidade sonora.

1. SÍNTESE POR AMOSTRAGEM DE
PIANO BASEADA EM CODIFICAÇÃO
WAVELET
Thiago Rossi Roque
Rafael Santos Mendes
DCA/FEEC/UNICAMP
AES BRASIL 2012

2. INTRODUÇÃO
• Sintetizador baseado na técnica de amostragem
aliada a técnicas de compressão de dados via
Transformada Wavelet
Síntese por Amostragem de Piano Baseada em Codificação Wavelet – AES Brasil 2012 2

3. MOTIVAÇÃO
• Estudo da técnica de síntese e da compressão de
dados pela Transformada Wavelet
• Aplicações em dispositivos portáteis
– Crescente mercado de smartphones
• Mais de 450 milhões de smartphones vendidos em 2011
– Capacidades de processamento mais altas porém
limitações de memória
• Bancos de amostras devem ser da ordem de 1MB
Síntese por Amostragem de Piano Baseada em Codificação Wavelet – AES Brasil 2012 3

4. A SÍNTESE SONORA
• Síntese por amostragem
- Predominante nos sintetizadores atuais
- Baixo custo computacional porém alto custo de
memória
-Se baseia em amostras do som de um instrumento
para sintetizar todas as notas do instrumento.
Síntese por Amostragem de Piano Baseada em Codificação Wavelet – AES Brasil 2012 4

5. A SÍNTESE SONORA
• Técnicas de compressão e codificação
– Wavetables
– Interpolação de notas (Reamostragem)
– Trecho de sustentação em loop
– Wavelet
Síntese por Amostragem de Piano Baseada em Codificação Wavelet – AES Brasil 2012 5

6. O SOM DO PIANO
• Instrumento escolhido: Piano
– Instrumento de grande dificuldade de síntese com
qualidade
• (Desafio)
– Vastamente estudado
• Tanto no meio computacional como na mecânica e
acústica
Síntese por Amostragem de Piano Baseada em Codificação Wavelet – AES Brasil 2012 6

7. O SOM DO PIANO
• Dinâmica complexa do som
• 2 estágios
– Som imediato
• Caracteriza o trecho de ataque
– Som remanescente
• Caracteriza o trecho de sustentação
• Características distintas para diferentes regiões do
teclado
– Duração do som varia de mais 20 segundos para apenas 3
segundos dependendo da nota tocada
Síntese por Amostragem de Piano Baseada em Codificação Wavelet – AES Brasil 2012 7

8. O SOM DO PIANO
Exemplo de envoltória, Nota A4
Trechos de Som Imediato e Som Remanescente destacados
Síntese por Amostragem de Piano Baseada em Codificação Wavelet – AES Brasil 2012 8

9. WAVELETS
∞
• Funções finitas
∫ |ψ (t ) | dt < ∞
2
– Energia concentrada no tempo
−∞
∞
• Sem componentes de frequência nula
∫ψ (t )dt = 0
−∞
• Família de funções que podem ser usadas como
base para decomposições de funções mais
complexas
Síntese por Amostragem de Piano Baseada em Codificação Wavelet – AES Brasil 2012 9

10. A TRANSFORMADA WAVELET
• Análise multi-resolução
– Funções wavelets possibilitam escalamentos e
deslocamentos temporais
• Possibilitando análises tanto no domínio da frequência
quanto no domínio do tempo
∞ ∞ ∞
x(t ) = ∑ c (k ) ⋅ ϕ (2 t − k ) + ∑ ∑ d
k = −∞
r
r
k = −∞ j = r
j (k ) ⋅ψ (2 t − k )
j
Síntese por Amostragem de Piano Baseada em Codificação Wavelet – AES Brasil 2012 10

11. A TRANSFORMADA WAVELET
• Sendo x (t ) um sinal discreto, pode-se chegar, a
partir da equação anterior em:
c j (k ) = ∑ h(n − 2k ) ⋅ c j +1 (n)
n
d j ( k ) = ∑ h1 (n − 2k ) ⋅ c j +1 (n)
n
• Sendo c j ( k ) e d j (k) os coeficientes da
Transformada Wavelet Discreta
Síntese por Amostragem de Piano Baseada em Codificação Wavelet – AES Brasil 2012 11

12. A TRANSFORMADA WAVELET
• Transformada Wavelet Discreta pode ser realizada
por processos de filtragem e decimação
• Wavelet Packet
Síntese por Amostragem de Piano Baseada em Codificação Wavelet – AES Brasil 2012 12

13. A TRANSFORMADA INVERSA
• Processo tradicional não favorece o uso em tempo
real
• Processo de filtragem pode ser implementado por
multiplicação matricial
x = B⋅ f
• x são os coeficientes
de um nível anterior,
B é a matriz de transformação,
e f são as folhas da árvore
concatenadas.
Síntese por Amostragem de Piano Baseada em Codificação Wavelet – AES Brasil 2012 13

14. A TRANSFORMADA INVERSA
• Caracteristica recursiva para n níveis da WP
• Cálculo eficiente
• Dimensões muito grandes
Síntese por Amostragem de Piano Baseada em Codificação Wavelet – AES Brasil 2012 14

15. A COMPRESSÃO
• Os coeficientes de cada folha da árvore são
ordenados de forma crescente
E então aproximados por um polinômio de grau fixo
Síntese por Amostragem de Piano Baseada em Codificação Wavelet – AES Brasil 2012 15

16. A COMPRESSÃO
• É determinado um limiar dado que os coeficientes
WP abaixo desse são descartados
– Limiar é variado de acordo com a faixa de frequência
seguindo a curva Fletcher-Munson
• Somente os coeficientes do polinômio e a
ordenação original dos coeficientes WP acima do
limiar são armazenados
– Quantidade de informação armazenada é muito reduzida
Síntese por Amostragem de Piano Baseada em Codificação Wavelet – AES Brasil 2012 16

17. O SINTETIZADOR
• Decodifica as mensagens MIDI e gerencia as
mensagens e o estado da síntese
– Gerenciamento possibilita a polifonia
• Sistema requisita amostra codificada ao banco a
partir das mensagens de NOTE ON
• Amostra é de decodificada e submetida à envoltoria
dependendo do trecho utilizado
Síntese por Amostragem de Piano Baseada em Codificação Wavelet – AES Brasil 2012 17

18. O SINTETIZADOR
Síntese por Amostragem de Piano Baseada em Codificação Wavelet – AES Brasil 2012 18

19. RESULTADOS
• Banco de amostras original, em .wav: 421MB
• Banco reduzido, em .wav: 8MB
– Somente trechos de som imediato e som remanescente
• Banco reduzido e comprimido: 1.44MB
Síntese por Amostragem de Piano Baseada em Codificação Wavelet – AES Brasil 2012 19

20. RESULTADOS
• A4
– Original:
– Sintetizado:
• Trecho MIDI
– Sintetizador comercial:
– Sintetizador próprio:
Síntese por Amostragem de Piano Baseada em Codificação Wavelet – AES Brasil 2012 20