SlideShare uma empresa Scribd logo
1 de 24
Software Musical
para Expressão Emocional
António Pedro Oliveira
2
Estrutura da apresentação
 Introdução
 Música e Emoções
 Software Musical
 Aplicações
 Demonstração
 Conclusão
Introdução
 Trabalho de doutoramento
 Motivação
 A música é aceite como uma linguagem de
expressão emocional que é utilizada no cinema,
televisão, rádio, dança, transportes e centros
comerciais
 Problema
 Produção automática de música que exprime
emoções desejadas
3
Introdução EDME RTEDME ConclusionIntrodução Música e Emoções Software Musical Aplicações Demonstração Conclusão
Introdução
 Objectivo
 Implementação e validação de um sistema que
produz música que exprime uma emoção
desejada, com auxílio de modelos matemáticos
que relacionam música e emoções
 O sistema trabalha com todos os estilos da
música tonal
 As emoções são definidas em duas
dimensões: valência e activação
4
Introdução EDME RTEDME ConclusionIntrodução Música e Emoções Software Musical Aplicações Demonstração Conclusão
Emoções
 As emoções têm sido estudadas por vários
cientistas (Damásio e Sutherland 1996;
Ekman 1999; Frijda 2000; Lazarus 1999;
Ortony e Collins 1988)
 Não existe consenso na sua definição
(Scherer 2005)
 Aceitamos as emoções como
correspondendo à nossa manifestação
psicofisiológica (Larsen et al., 2008)
5
Introdução Música e Emoções Software Musical Aplicações Demonstração Conclusão
Música
 A música é um estímulo capaz de influenciar
as nossas emoções (Deutsch 1982; Lerdahl e
Jackendoff 1996; Narmour 1990; Temperley
2004; Widmer e Goebl 2004)
 Existem relações entre as características
musicais e as emoções (Gabrielsson e
Lindstrom 2001; Juslin 2001)
6
Introdução Música e Emoções Software Musical Aplicações Demonstração Conclusão
Relação da música com as emoções
Introdução Música e Emoções Software Musical Aplicações Demonstração Conclusão
7
Abordagens computacionais
 Composição e arranjo musical de acordo
com guias emocionais (Legaspi et al., 2007;
Wassermann et al., 2003)
 Selecção de música pré-composta de acordo
com modelos de classificação/recomendação
(Baum, 2006; Trohidis et al., 2008; Wu and
Jeng, 2006; Yang et al., 2008)
8
Introdução Música e Emoções Software Musical Aplicações Demonstração Conclusão
Abordagens computacionais
 Transformação de música pré-composta
com modelos baseados em conhecimento
(Livingstone et al., 2007; Wingstedt et al.,
2005; Winter, 2005)
 Combinação das abordagens mencionadas
(Chung, 2006)
9
Introdução Música e Emoções Software Musical Aplicações Demonstração Conclusão
Software Musical
10
Fase
offline
Introdução Música e Emoções Software Musical Aplicações Demonstração Conclusão
11
Introdução Música e Emoções Software Musical Aplicações Demonstração Conclusão
Software Musical
12
 Objectivo: produzir música que exprime uma emoção
desejada
Fase em
tempo real
Introdução Música e Emoções Software Musical Aplicações Demonstração Conclusão
Software Musical
13
Base de conhecimento
 Existe uma base de conhecimento que é
utilizada para controlar o conteúdo
emocional da música
 Composta por modelos regressivos que
estabelecem relações entre emoções e
características musicais
 Importante na selecção e transformação da
música
Introdução Música e Emoções Software Musical Aplicações Demonstração Conclusão
Base de conhecimento -
Experiências
14
 Classificação online da valência e activação
de músicas que duram entre 10 e 90
segundos
 1ª experiência
 16 músicas dos estilos pop e r&b
 53 ouvintes
Introdução Música e Emoções Software Musical Aplicações Demonstração Conclusão
Base de conhecimento -
Experiências
15
 2ª experiência
 96 músicas do estilo “bandas sonoras”
 80 ouvintes
 3ª experiência
 132 músicas do estilo pop/rock
 37 ouvintes
Introdução Música e Emoções Software Musical Aplicações Demonstração Conclusão
Base de conhecimento -
Experiências
16
Introdução Música e Emoções Software Musical Aplicações Demonstração Conclusão
Validação
17
 O sistema vai ser validado em duas
experiências com recurso a respostas
baseadas em ratings e medidas
psicofisiológicas
 178 músicas MIDI do estilo clássico, pop,
rock e bandas sonoras
Introdução Música e Emoções Software Musical Aplicações Demonstração Conclusão
Aplicações
 O software tem aplicação em vários
contextos
 Composição musical assistida por computador
 Produção automática de bandas sonoras
 Cuidados de saúde
 Ambientes inteligentes
18
Introdução Música e Emoções Software Musical Aplicações Demonstração Conclusão
Instalação interactiva
Introdução Música e Emoções Software Musical Aplicações Demonstração Conclusão
 Instalação composta por um computador
que usa uma câmara para observar o
ambiente
 O sistema analisa as imagens para
reconhecer a quantidade de presenças e
movimento
Instalação interactiva
Introdução Música e Emoções Software Musical Aplicações Demonstração Conclusão
 Estas duas variáveis são usadas para definir,
respectivamente, os valores de valência e
activação do estado emocional do sistema
 O estado emocional influencia a expressão
da música e das imagens para o ambiente
Instalação interactiva – Experiência
21
Introdução Música e Emoções Software Musical Aplicações Demonstração Conclusão
Demonstração
22
Introdução Música e Emoções Software Musical Aplicações Demonstração Conclusão
Conclusão
 O software produz música que exprime uma
emoção desejada
 O controlo do conteúdo emocional utiliza
uma base de conhecimento obtida com o
auxílio de dados empíricos e informação
obtida na literatura
 A flexibilidade do software possibilita a sua
aplicação em áreas como a geração de
bandas sonoras e cuidados de saúde
23
Introdução Música e Emoções Software Musical Aplicações Demonstração Conclusão
Fim
24

Mais conteúdo relacionado

Mais de António Oliveira

Affective-Driven Music Production
Affective-Driven Music ProductionAffective-Driven Music Production
Affective-Driven Music ProductionAntónio Oliveira
 
Emotionally-Controlled Music Synthesis
Emotionally-Controlled Music SynthesisEmotionally-Controlled Music Synthesis
Emotionally-Controlled Music SynthesisAntónio Oliveira
 
Towards Affective-Physiological Foundations for Music Production
Towards Affective-Physiological Foundations for Music ProductionTowards Affective-Physiological Foundations for Music Production
Towards Affective-Physiological Foundations for Music ProductionAntónio Oliveira
 
Social network analysis using Mobile phone data
Social network analysis using Mobile phone dataSocial network analysis using Mobile phone data
Social network analysis using Mobile phone dataAntónio Oliveira
 

Mais de António Oliveira (8)

Poster cim08
Poster cim08Poster cim08
Poster cim08
 
Affective-Driven Music Production
Affective-Driven Music ProductionAffective-Driven Music Production
Affective-Driven Music Production
 
Mode choice models
Mode choice modelsMode choice models
Mode choice models
 
Route choice
Route choiceRoute choice
Route choice
 
Emotionally-Controlled Music Synthesis
Emotionally-Controlled Music SynthesisEmotionally-Controlled Music Synthesis
Emotionally-Controlled Music Synthesis
 
Towards Affective-Physiological Foundations for Music Production
Towards Affective-Physiological Foundations for Music ProductionTowards Affective-Physiological Foundations for Music Production
Towards Affective-Physiological Foundations for Music Production
 
Social network analysis using Mobile phone data
Social network analysis using Mobile phone dataSocial network analysis using Mobile phone data
Social network analysis using Mobile phone data
 
7 notes
7 notes7 notes
7 notes
 

Último

NR10 - Treinamento LOTO - 2023.pp tx
NR10 - Treinamento LOTO - 2023.pp     txNR10 - Treinamento LOTO - 2023.pp     tx
NR10 - Treinamento LOTO - 2023.pp txrafaelacushman21
 
TRABALHO INSTALACAO ELETRICA EM EDIFICIO FINAL.docx
TRABALHO INSTALACAO ELETRICA EM EDIFICIO FINAL.docxTRABALHO INSTALACAO ELETRICA EM EDIFICIO FINAL.docx
TRABALHO INSTALACAO ELETRICA EM EDIFICIO FINAL.docxFlvioDadinhoNNhamizi
 
Lista de presença treinamento de EPI NR-06
Lista de presença treinamento de EPI NR-06Lista de presença treinamento de EPI NR-06
Lista de presença treinamento de EPI NR-06AndressaTenreiro
 
Apresentação Manutenção Total Produtiva - TPM
Apresentação Manutenção Total Produtiva - TPMApresentação Manutenção Total Produtiva - TPM
Apresentação Manutenção Total Produtiva - TPMdiminutcasamentos
 
07 - MICRÔMETRO EXTERNO SISTEMA MÉTRICO.pptx
07 - MICRÔMETRO EXTERNO SISTEMA MÉTRICO.pptx07 - MICRÔMETRO EXTERNO SISTEMA MÉTRICO.pptx
07 - MICRÔMETRO EXTERNO SISTEMA MÉTRICO.pptxVagner Soares da Costa
 
apresentação de Bancos de Capacitores aula
apresentação de Bancos de Capacitores aulaapresentação de Bancos de Capacitores aula
apresentação de Bancos de Capacitores aulaWilliamCruz402522
 
10 - RELOGIO COMPARADOR - OPERAÇÃO E LEITURA.pptx
10 - RELOGIO COMPARADOR - OPERAÇÃO E LEITURA.pptx10 - RELOGIO COMPARADOR - OPERAÇÃO E LEITURA.pptx
10 - RELOGIO COMPARADOR - OPERAÇÃO E LEITURA.pptxVagner Soares da Costa
 

Último (7)

NR10 - Treinamento LOTO - 2023.pp tx
NR10 - Treinamento LOTO - 2023.pp     txNR10 - Treinamento LOTO - 2023.pp     tx
NR10 - Treinamento LOTO - 2023.pp tx
 
TRABALHO INSTALACAO ELETRICA EM EDIFICIO FINAL.docx
TRABALHO INSTALACAO ELETRICA EM EDIFICIO FINAL.docxTRABALHO INSTALACAO ELETRICA EM EDIFICIO FINAL.docx
TRABALHO INSTALACAO ELETRICA EM EDIFICIO FINAL.docx
 
Lista de presença treinamento de EPI NR-06
Lista de presença treinamento de EPI NR-06Lista de presença treinamento de EPI NR-06
Lista de presença treinamento de EPI NR-06
 
Apresentação Manutenção Total Produtiva - TPM
Apresentação Manutenção Total Produtiva - TPMApresentação Manutenção Total Produtiva - TPM
Apresentação Manutenção Total Produtiva - TPM
 
07 - MICRÔMETRO EXTERNO SISTEMA MÉTRICO.pptx
07 - MICRÔMETRO EXTERNO SISTEMA MÉTRICO.pptx07 - MICRÔMETRO EXTERNO SISTEMA MÉTRICO.pptx
07 - MICRÔMETRO EXTERNO SISTEMA MÉTRICO.pptx
 
apresentação de Bancos de Capacitores aula
apresentação de Bancos de Capacitores aulaapresentação de Bancos de Capacitores aula
apresentação de Bancos de Capacitores aula
 
10 - RELOGIO COMPARADOR - OPERAÇÃO E LEITURA.pptx
10 - RELOGIO COMPARADOR - OPERAÇÃO E LEITURA.pptx10 - RELOGIO COMPARADOR - OPERAÇÃO E LEITURA.pptx
10 - RELOGIO COMPARADOR - OPERAÇÃO E LEITURA.pptx
 

Software Musical para Expressão Emocional

  • 1. Software Musical para Expressão Emocional António Pedro Oliveira
  • 2. 2 Estrutura da apresentação  Introdução  Música e Emoções  Software Musical  Aplicações  Demonstração  Conclusão
  • 3. Introdução  Trabalho de doutoramento  Motivação  A música é aceite como uma linguagem de expressão emocional que é utilizada no cinema, televisão, rádio, dança, transportes e centros comerciais  Problema  Produção automática de música que exprime emoções desejadas 3 Introdução EDME RTEDME ConclusionIntrodução Música e Emoções Software Musical Aplicações Demonstração Conclusão
  • 4. Introdução  Objectivo  Implementação e validação de um sistema que produz música que exprime uma emoção desejada, com auxílio de modelos matemáticos que relacionam música e emoções  O sistema trabalha com todos os estilos da música tonal  As emoções são definidas em duas dimensões: valência e activação 4 Introdução EDME RTEDME ConclusionIntrodução Música e Emoções Software Musical Aplicações Demonstração Conclusão
  • 5. Emoções  As emoções têm sido estudadas por vários cientistas (Damásio e Sutherland 1996; Ekman 1999; Frijda 2000; Lazarus 1999; Ortony e Collins 1988)  Não existe consenso na sua definição (Scherer 2005)  Aceitamos as emoções como correspondendo à nossa manifestação psicofisiológica (Larsen et al., 2008) 5 Introdução Música e Emoções Software Musical Aplicações Demonstração Conclusão
  • 6. Música  A música é um estímulo capaz de influenciar as nossas emoções (Deutsch 1982; Lerdahl e Jackendoff 1996; Narmour 1990; Temperley 2004; Widmer e Goebl 2004)  Existem relações entre as características musicais e as emoções (Gabrielsson e Lindstrom 2001; Juslin 2001) 6 Introdução Música e Emoções Software Musical Aplicações Demonstração Conclusão
  • 7. Relação da música com as emoções Introdução Música e Emoções Software Musical Aplicações Demonstração Conclusão 7
  • 8. Abordagens computacionais  Composição e arranjo musical de acordo com guias emocionais (Legaspi et al., 2007; Wassermann et al., 2003)  Selecção de música pré-composta de acordo com modelos de classificação/recomendação (Baum, 2006; Trohidis et al., 2008; Wu and Jeng, 2006; Yang et al., 2008) 8 Introdução Música e Emoções Software Musical Aplicações Demonstração Conclusão
  • 9. Abordagens computacionais  Transformação de música pré-composta com modelos baseados em conhecimento (Livingstone et al., 2007; Wingstedt et al., 2005; Winter, 2005)  Combinação das abordagens mencionadas (Chung, 2006) 9 Introdução Música e Emoções Software Musical Aplicações Demonstração Conclusão
  • 10. Software Musical 10 Fase offline Introdução Música e Emoções Software Musical Aplicações Demonstração Conclusão
  • 11. 11 Introdução Música e Emoções Software Musical Aplicações Demonstração Conclusão Software Musical
  • 12. 12  Objectivo: produzir música que exprime uma emoção desejada Fase em tempo real Introdução Música e Emoções Software Musical Aplicações Demonstração Conclusão Software Musical
  • 13. 13 Base de conhecimento  Existe uma base de conhecimento que é utilizada para controlar o conteúdo emocional da música  Composta por modelos regressivos que estabelecem relações entre emoções e características musicais  Importante na selecção e transformação da música Introdução Música e Emoções Software Musical Aplicações Demonstração Conclusão
  • 14. Base de conhecimento - Experiências 14  Classificação online da valência e activação de músicas que duram entre 10 e 90 segundos  1ª experiência  16 músicas dos estilos pop e r&b  53 ouvintes Introdução Música e Emoções Software Musical Aplicações Demonstração Conclusão
  • 15. Base de conhecimento - Experiências 15  2ª experiência  96 músicas do estilo “bandas sonoras”  80 ouvintes  3ª experiência  132 músicas do estilo pop/rock  37 ouvintes Introdução Música e Emoções Software Musical Aplicações Demonstração Conclusão
  • 16. Base de conhecimento - Experiências 16 Introdução Música e Emoções Software Musical Aplicações Demonstração Conclusão
  • 17. Validação 17  O sistema vai ser validado em duas experiências com recurso a respostas baseadas em ratings e medidas psicofisiológicas  178 músicas MIDI do estilo clássico, pop, rock e bandas sonoras Introdução Música e Emoções Software Musical Aplicações Demonstração Conclusão
  • 18. Aplicações  O software tem aplicação em vários contextos  Composição musical assistida por computador  Produção automática de bandas sonoras  Cuidados de saúde  Ambientes inteligentes 18 Introdução Música e Emoções Software Musical Aplicações Demonstração Conclusão
  • 19. Instalação interactiva Introdução Música e Emoções Software Musical Aplicações Demonstração Conclusão  Instalação composta por um computador que usa uma câmara para observar o ambiente  O sistema analisa as imagens para reconhecer a quantidade de presenças e movimento
  • 20. Instalação interactiva Introdução Música e Emoções Software Musical Aplicações Demonstração Conclusão  Estas duas variáveis são usadas para definir, respectivamente, os valores de valência e activação do estado emocional do sistema  O estado emocional influencia a expressão da música e das imagens para o ambiente
  • 21. Instalação interactiva – Experiência 21 Introdução Música e Emoções Software Musical Aplicações Demonstração Conclusão
  • 22. Demonstração 22 Introdução Música e Emoções Software Musical Aplicações Demonstração Conclusão
  • 23. Conclusão  O software produz música que exprime uma emoção desejada  O controlo do conteúdo emocional utiliza uma base de conhecimento obtida com o auxílio de dados empíricos e informação obtida na literatura  A flexibilidade do software possibilita a sua aplicação em áreas como a geração de bandas sonoras e cuidados de saúde 23 Introdução Música e Emoções Software Musical Aplicações Demonstração Conclusão

Notas do Editor

  1. Foco do contexto hospitalar na parte das aplicações
  2. As emoções são representadas na forma discreta ou na forma dimensional (com duas ou três dimensões). As primeiras duas dimensões têm servido para representar as emoções (Livingstone, Schubert). Nós estamos a utilizar também duas dimensões e a representação discreta de emoções proposta por Russel. Valência corresponde ao grau de alegria Activação corresponde ao grau de activação
  3. Depois de uma revisão de dados empíricos disponíveis na literatura (psicologia das emoções, psicologia da Música, computação afectiva, computação musical), fizemos uma sistematização das características relevantes comuns a quatro tipos de música: alegre, triste, activante e relaxante.
  4. O sistema utiliza música pré-composta obtida na internet Numa primeira fase prepara-se a música a ser utilizada pelo sistema. A música pré-composta é 1) segmentada 2) classificada emocionalmente 3) guardada numa base de músicas Esta fase é gerida pelo administrador do sistema
  5. Numa segunda fase o utilizador interactua com o sistema através de uma interface na qual é possível escolher emoções de uma lista de emoções ou de um espaço com duas dimensões: valência e activação.
  6. O Software utiliza a emoção desejada para Selecionar as músicas que exprimem a emoção mais próxima da desejada 2) Trasformar e sequenciar os segmentos selecionados para formar estruturas musicais 3) As estruturas musicais são sintetizadas com auxilio de uma biblioteca sonora e tocadas para o ouvinte
  7. Automatic soundtracks can be generated for other systems capable of making an emotional evaluation of a specific context Produção de bandas sonoras para contextos narrativos. A música tem uma grande influência nos jogos de computador. O nosso software pode ser utilizado para adaptar de forma dinâmica a música aos vários contextos e acções do jogo. Exemplo de aplicação EmoTag (Francisco 2007). In a healthcare context, self-report measures or physiological sensors can be used to generate music that reacts to the state of the patients Teste do sistema com pacientes do serviço pediátrico do Hospital de Santo André. Ambient intelligence systems: sensing the environment allows the use of our system in installations where music reacts to the public Aplicámos o software musical num ambiente inteligente
  8. The quantity of presences is determined by the percentage of change between scenario (image taken when the system starts) and current image Quantity of movement is determined by the change between current and last image
  9. The quantity of presences is determined by the percentage of change between scenario (image taken when the system starts) and current image Quantity of movement is determined by the change between current and last image
  10. Fizemos duas experiências. A primeira teve o objectivo de verificar como os participantes interactuavam com o sistema. A segunda teve o objectivo de recolher dados por forma a analisar a avaliação que os participantes faziam do sistema.
  11. http://www.youtube.com/watch?v=xFbkPlQJ1WQ (long version) - 3.30 http://www.youtube.com/watch?v=cVrXLubPmuY (short version) - 0.15
  12. Contexts of application: - Theatre, films, video-games and healthcare contexts. - System was applied in an affective installation Scalability contributes to the expansion and easier integration with external systems