Palestra sobre a modelos cognitivos e modelos biológicos da audição utilizando exemplos práticos escritos com a AudioLazy, que ocorreu na UMESP (Universidade Metodista de São Paulo) durante o I Encontro Internacional de Tecnologia, Comunicação e Ciência Cognitiva, no dia 2014-05-22. Site do evento: http://evento.tecccog.net/ Descrição da palestra: Há uma coletânea de modelos para os diversos aspectos da percepção auditiva proposta por diversos autores. Sobre psicologia experimental, psicofísica ou psicoacústica, será discutido desde as curvas de Fletcher-Munson para as intensidades e o modelo helicoidal de Shepard para as alturas (frequências) até o Auditory Scene Analysis de A. Bregman para a integração e separação de fontes sonoras, este já com grande similaridade com a Gestalt. Dentre os modelos biológicos, será exposto o banco de filtros gammatone de Patterson-Holdsworth como modelo para as células ciliares da cóclea (órgãos de Corti), incluindo variações de implementação do modelo, além de uma contextualização em termos de anatomia e fisiologia. Esses modelos serão exemplificados utilizando os recursos da biblioteca AudioLazy para DSP em Python.

1. 2014-05-22 – UMESP – Modelos cognitivos e biológicos da audição com a AudioLazy
Danilo J. S. Bellini – @danilobellini – São Bernardo do Campo – SP
Modelos cognitivos eModelos cognitivos e
biológicos da audição combiológicos da audição com
a AudioLazya AudioLazy
https://github.com/danilobellini/audiolazyhttps://github.com/danilobellini/audiolazy

2. 2014-05-22 – UMESP – Modelos cognitivos e biológicos da audição com a AudioLazy
Danilo J. S. Bellini – @danilobellini – São Bernardo do Campo – SP
IntroduçãoIntrodução
● PsicologiaPsicologia
● BiologiaBiologia
● Física (acústica)Física (acústica)
● MúsicaMúsica
● Processamento de sinaisProcessamento de sinais
(engenharia)(engenharia)
● Reconhecimento deReconhecimento de
padrões (computação)padrões (computação)
● ......
● Percepção auditivaPercepção auditiva
– IntensidadeIntensidade
– AlturaAltura
– TimbreTimbre
– Ritmo/contextoRitmo/contexto
– HarmoniaHarmonia

3. 2014-05-22 – UMESP – Modelos cognitivos e biológicos da audição com a AudioLazy
Danilo J. S. Bellini – @danilobellini – São Bernardo do Campo – SP
LoudnessLoudness
Fletcher-Munson (1933)Fletcher-Munson (1933)
Imagem
extraída de
Moore,
Elements of
Computer
Music, 1990

4. 2014-05-22 – UMESP – Modelos cognitivos e biológicos da audição com a AudioLazy
Danilo J. S. Bellini – @danilobellini – São Bernardo do Campo – SP
LoudnessLoudness
ISO/FDIS 226:2003ISO/FDIS 226:2003
● Diferente do modelo de Fletcher-MunsonDiferente do modelo de Fletcher-Munson
● Fletcher-Munson foi utilizado no modelo deFletcher-Munson foi utilizado no modelo de
compansão “A”, usado em telefoniacompansão “A”, usado em telefonia
– A faixa dos 40 phons (usada no padrão A) é bastanteA faixa dos 40 phons (usada no padrão A) é bastante
similar nos dois modelossimilar nos dois modelos
● Não são os únicos dois modelosNão são os únicos dois modelos
● Maneiras diferentes de coletar a informaçãoManeiras diferentes de coletar a informação
– Fones de ouvidoFones de ouvido
– Altofalantes em uma câmara anecóicaAltofalantes em uma câmara anecóica
Exemplo iso226_plot.pyExemplo iso226_plot.py

5. 2014-05-22 – UMESP – Modelos cognitivos e biológicos da audição com a AudioLazy
Danilo J. S. Bellini – @danilobellini – São Bernardo do Campo – SP
Tabela
extraída de,
Precise and
Full-range
Determination
of Two-
dimensional
Equal
Loudness
Contours,
2000-2003,
relatório do
grupo de
pesquisa
coordenado
por Suzuki

6. 2014-05-22 – UMESP – Modelos cognitivos e biológicos da audição com a AudioLazy
Danilo J. S. Bellini – @danilobellini – São Bernardo do Campo – SP
Altura (pitch)!Altura (pitch)!
ShepardShepard
● 2 dimensões:2 dimensões:
– Altura (Altura (pitch heightpitch height))
● Dimensão “linear”Dimensão “linear”
– Croma (Croma (pitch chromapitch chroma))
● Dimensão “circular”Dimensão “circular”
● Lembra Escher →Lembra Escher →
Exemplo shepard.pyExemplo shepard.py
““Hélice”Hélice”

7. 2014-05-22 – UMESP – Modelos cognitivos e biológicos da audição com a AudioLazy
Danilo J. S. Bellini – @danilobellini – São Bernardo do Campo – SP
Escala melEscala mel
Frequência (Hz)
Altura (mel)
Frequência (Hz)
In [1]: import pylab
In [2]: f = pylab.linspace(20, 20000, 2048)
In [3]: pylab.plot(f, 2595 * pylab.log10(1 + f / 700))

8. 2014-05-22 – UMESP – Modelos cognitivos e biológicos da audição com a AudioLazy
Danilo J. S. Bellini – @danilobellini – São Bernardo do Campo – SP
Série harmônicaSérie harmônica
Exemplos animated_plot.py, dft_pitch.py, play_bach_choral.pyExemplos animated_plot.py, dft_pitch.py, play_bach_choral.py
Filtro combFiltro comb comb(25, .95).plot().show()

9. 2014-05-22 – UMESP – Modelos cognitivos e biológicos da audição com a AudioLazy
Danilo J. S. Bellini – @danilobellini – São Bernardo do Campo – SP
Envoltória espectralEnvoltória espectral
FormantesFormantes
Modelo fonte-filtroModelo fonte-filtro
para a vozpara a voz
LPC (LinearLPC (Linear
Predictive Coding)Predictive Coding)
Classificação deClassificação de
vogaisvogais
(análise e síntese)(análise e síntese)
Exemplos lpc_plot.py e formants.pyExemplos lpc_plot.py e formants.py

10. 2014-05-22 – UMESP – Modelos cognitivos e biológicos da audição com a AudioLazy
Danilo J. S. Bellini – @danilobellini – São Bernardo do Campo – SP
Auditory Scene AnalysisAuditory Scene Analysis
A. BregmanA. Bregman
● GestaltGestalt
● AlocaçãoAlocação
exclusivaexclusiva
– SegregaçãoSegregação
– IntegraçãoIntegração
““O trabalho da percepção é oO trabalho da percepção é o
de obter uma representaçãode obter uma representação
da realidade que sejada realidade que seja
significativa, a partir designificativa, a partir de
entradas sensoriais.”entradas sensoriais.”

11. 2014-05-22 – UMESP – Modelos cognitivos e biológicos da audição com a AudioLazy
Danilo J. S. Bellini – @danilobellini – São Bernardo do Campo – SP
Demonstrations to ASA (Bregman)Demonstrations to ASA (Bregman)
Ruído (experimento 33)Ruído (experimento 33)

12. 2014-05-22 – UMESP – Modelos cognitivos e biológicos da audição com a AudioLazy
Danilo J. S. Bellini – @danilobellini – São Bernardo do Campo – SP
Demonstrations to ASA (Bregman)Demonstrations to ASA (Bregman)
Ruído (experimento 34)Ruído (experimento 34)
Exemplo butterworth_with_noise.pyExemplo butterworth_with_noise.py

13. 2014-05-22 – UMESP – Modelos cognitivos e biológicos da audição com a AudioLazy
Danilo J. S. Bellini – @danilobellini – São Bernardo do Campo – SPAnatomia

14. 2014-05-22 – UMESP – Modelos cognitivos e biológicos da audição com a AudioLazy
Danilo J. S. Bellini – @danilobellini – São Bernardo do Campo – SP
Anatomia e fisiologia da audiçãoAnatomia e fisiologia da audição

15. 2014-05-22 – UMESP – Modelos cognitivos e biológicos da audição com a AudioLazy
Danilo J. S. Bellini – @danilobellini – São Bernardo do Campo – SP

16. 2014-05-22 – UMESP – Modelos cognitivos e biológicos da audição com a AudioLazy
Danilo J. S. Bellini – @danilobellini – São Bernardo do Campo – SP
Banco de filtros de Patterson-Banco de filtros de Patterson-
HoldsworthHoldsworth
Exemplo gammatone_plots.pyExemplo gammatone_plots.py
““Prompted by de Boer and Kuyper (1968), thePrompted by de Boer and Kuyper (1968), the
GammaTone filter was introduced by JohannsmaGammaTone filter was introduced by Johannsma
(1972) to(1972) to describe the shape of the impulsedescribe the shape of the impulse
response function of the auditory systemresponse function of the auditory system asas
estimated by the reverse correlation function ofestimated by the reverse correlation function of
neural firing times.”neural firing times.”
J. Holdsworth, R. Patterson, I. Nimmo-Smith, P. Rice.
Implementing a GammaTone Filter Bank, 1988
Annex C of the SVOS Final Report (Part A: The Auditory Filter Bank)

17. 2014-05-22 – UMESP – Modelos cognitivos e biológicos da audição com a AudioLazy
Danilo J. S. Bellini – @danilobellini – São Bernardo do Campo – SP
Decomposição cromáticaDecomposição cromática
from audiolazy import *
rate = 44100
s, Hz = sHz(rate)
note = "A4"
freqs = octaves(str2freq(note))
bw = lambda f: erb(f) * gammatone_erb_constants(4)[0]
filt = ParallelFilter(gammatone(f*Hz, bw(f)*Hz) for f in freqs)
filt.plot(samples=8192, rate=rate, freq_scale="log").show()
Filtros
gammatone
+
“equivalência
de oitava”
Equivalente?

18. 2014-05-22 – UMESP – Modelos cognitivos e biológicos da audição com a AudioLazy
Danilo J. S. Bellini – @danilobellini – São Bernardo do Campo – SP
Harmonia, croma, ritmo harmônicoHarmonia, croma, ritmo harmônico

19. 2014-05-22 – UMESP – Modelos cognitivos e biológicos da audição com a AudioLazy
Danilo J. S. Bellini – @danilobellini – São Bernardo do Campo – SP
ObrigadoObrigado
Perguntas?Perguntas?
https://github.com/danilobellini/audiolazyhttps://github.com/danilobellini/audiolazy
Imagens sem referência nos
slides foram retiradas da
Wikipedia