Este documento descreve um sistema de software musical para expressão emocional. O sistema usa modelos matemáticos para relacionar características musicais com emoções e produzir música que expressa uma emoção desejada. O sistema foi validado através de experimentos com ouvintes classificando a valência e ativação de músicas. O software pode ser usado para composição musical assistida por computador e produção automática de bandas sonoras.
2. 2
Estrutura da apresentação
Introdução
Música e Emoções
Software Musical
Aplicações
Demonstração
Conclusão
3. Introdução
Trabalho de doutoramento
Motivação
A música é aceite como uma linguagem de
expressão emocional que é utilizada no cinema,
televisão, rádio, dança, transportes e centros
comerciais
Problema
Produção automática de música que exprime
emoções desejadas
3
Introdução EDME RTEDME ConclusionIntrodução Música e Emoções Software Musical Aplicações Demonstração Conclusão
4. Introdução
Objectivo
Implementação e validação de um sistema que
produz música que exprime uma emoção
desejada, com auxílio de modelos matemáticos
que relacionam música e emoções
O sistema trabalha com todos os estilos da
música tonal
As emoções são definidas em duas
dimensões: valência e activação
4
Introdução EDME RTEDME ConclusionIntrodução Música e Emoções Software Musical Aplicações Demonstração Conclusão
5. Emoções
As emoções têm sido estudadas por vários
cientistas (Damásio e Sutherland 1996;
Ekman 1999; Frijda 2000; Lazarus 1999;
Ortony e Collins 1988)
Não existe consenso na sua definição
(Scherer 2005)
Aceitamos as emoções como
correspondendo à nossa manifestação
psicofisiológica (Larsen et al., 2008)
5
Introdução Música e Emoções Software Musical Aplicações Demonstração Conclusão
6. Música
A música é um estímulo capaz de influenciar
as nossas emoções (Deutsch 1982; Lerdahl e
Jackendoff 1996; Narmour 1990; Temperley
2004; Widmer e Goebl 2004)
Existem relações entre as características
musicais e as emoções (Gabrielsson e
Lindstrom 2001; Juslin 2001)
6
Introdução Música e Emoções Software Musical Aplicações Demonstração Conclusão
7. Relação da música com as emoções
Introdução Música e Emoções Software Musical Aplicações Demonstração Conclusão
7
8. Abordagens computacionais
Composição e arranjo musical de acordo
com guias emocionais (Legaspi et al., 2007;
Wassermann et al., 2003)
Selecção de música pré-composta de acordo
com modelos de classificação/recomendação
(Baum, 2006; Trohidis et al., 2008; Wu and
Jeng, 2006; Yang et al., 2008)
8
Introdução Música e Emoções Software Musical Aplicações Demonstração Conclusão
9. Abordagens computacionais
Transformação de música pré-composta
com modelos baseados em conhecimento
(Livingstone et al., 2007; Wingstedt et al.,
2005; Winter, 2005)
Combinação das abordagens mencionadas
(Chung, 2006)
9
Introdução Música e Emoções Software Musical Aplicações Demonstração Conclusão
11. 11
Introdução Música e Emoções Software Musical Aplicações Demonstração Conclusão
Software Musical
12. 12
Objectivo: produzir música que exprime uma emoção
desejada
Fase em
tempo real
Introdução Música e Emoções Software Musical Aplicações Demonstração Conclusão
Software Musical
13. 13
Base de conhecimento
Existe uma base de conhecimento que é
utilizada para controlar o conteúdo
emocional da música
Composta por modelos regressivos que
estabelecem relações entre emoções e
características musicais
Importante na selecção e transformação da
música
Introdução Música e Emoções Software Musical Aplicações Demonstração Conclusão
14. Base de conhecimento -
Experiências
14
Classificação online da valência e activação
de músicas que duram entre 10 e 90
segundos
1ª experiência
16 músicas dos estilos pop e r&b
53 ouvintes
Introdução Música e Emoções Software Musical Aplicações Demonstração Conclusão
15. Base de conhecimento -
Experiências
15
2ª experiência
96 músicas do estilo “bandas sonoras”
80 ouvintes
3ª experiência
132 músicas do estilo pop/rock
37 ouvintes
Introdução Música e Emoções Software Musical Aplicações Demonstração Conclusão
16. Base de conhecimento -
Experiências
16
Introdução Música e Emoções Software Musical Aplicações Demonstração Conclusão
17. Validação
17
O sistema vai ser validado em duas
experiências com recurso a respostas
baseadas em ratings e medidas
psicofisiológicas
178 músicas MIDI do estilo clássico, pop,
rock e bandas sonoras
Introdução Música e Emoções Software Musical Aplicações Demonstração Conclusão
18. Aplicações
O software tem aplicação em vários
contextos
Composição musical assistida por computador
Produção automática de bandas sonoras
Cuidados de saúde
Ambientes inteligentes
18
Introdução Música e Emoções Software Musical Aplicações Demonstração Conclusão
19. Instalação interactiva
Introdução Música e Emoções Software Musical Aplicações Demonstração Conclusão
Instalação composta por um computador
que usa uma câmara para observar o
ambiente
O sistema analisa as imagens para
reconhecer a quantidade de presenças e
movimento
20. Instalação interactiva
Introdução Música e Emoções Software Musical Aplicações Demonstração Conclusão
Estas duas variáveis são usadas para definir,
respectivamente, os valores de valência e
activação do estado emocional do sistema
O estado emocional influencia a expressão
da música e das imagens para o ambiente
21. Instalação interactiva – Experiência
21
Introdução Música e Emoções Software Musical Aplicações Demonstração Conclusão
23. Conclusão
O software produz música que exprime uma
emoção desejada
O controlo do conteúdo emocional utiliza
uma base de conhecimento obtida com o
auxílio de dados empíricos e informação
obtida na literatura
A flexibilidade do software possibilita a sua
aplicação em áreas como a geração de
bandas sonoras e cuidados de saúde
23
Introdução Música e Emoções Software Musical Aplicações Demonstração Conclusão
Foco do contexto hospitalar na parte das aplicações
As emoções são representadas na forma discreta ou na forma dimensional
(com duas ou três dimensões). As primeiras duas dimensões têm servido
para representar as emoções (Livingstone, Schubert). Nós estamos
a utilizar também duas dimensões e a representação discreta de
emoções proposta por Russel.
Valência corresponde ao grau de alegria
Activação corresponde ao grau de activação
Depois de uma revisão de dados empíricos disponíveis na literatura (psicologia das emoções, psicologia da
Música, computação afectiva, computação musical), fizemos uma sistematização das características relevantes comuns a quatro tipos de música: alegre, triste, activante e relaxante.
O sistema utiliza música pré-composta obtida na internet
Numa primeira fase prepara-se a música a ser utilizada
pelo sistema. A música pré-composta é
1) segmentada
2) classificada emocionalmente
3) guardada numa base de músicas
Esta fase é gerida pelo administrador do sistema
Numa segunda fase o utilizador interactua com o sistema através de uma interface
na qual é possível escolher emoções de uma lista de emoções ou de um espaço
com duas dimensões: valência e activação.
O Software utiliza a emoção desejada para
Selecionar as músicas que exprimem a emoção mais próxima da desejada
2) Trasformar e sequenciar os segmentos selecionados para formar estruturas musicais
3) As estruturas musicais são sintetizadas com auxilio de uma biblioteca sonora e tocadas para o ouvinte
Automatic soundtracks can be generated for other systems capable of making an emotional evaluation of a specific context
Produção de bandas sonoras para contextos narrativos. A música tem uma grande influência nos jogos de computador. O nosso
software pode ser utilizado para adaptar de forma dinâmica a música aos vários contextos e acções do jogo. Exemplo de aplicação
EmoTag (Francisco 2007).
In a healthcare context, self-report measures or physiological sensors can be used to generate music that reacts to the state of the patients
Teste do sistema com pacientes do serviço pediátrico do Hospital de Santo André.
Ambient intelligence systems: sensing the environment allows the use of our system in installations where music reacts to the public
Aplicámos o software musical num ambiente inteligente
The quantity of presences is determined by the percentage of change between scenario (image taken when the system starts) and current image
Quantity of movement is determined by the change between current and last image
The quantity of presences is determined by the percentage of change between scenario (image taken when the system starts) and current image
Quantity of movement is determined by the change between current and last image
Fizemos duas experiências.
A primeira teve o objectivo de verificar como os participantes interactuavam com o sistema.
A segunda teve o objectivo de recolher dados por forma a analisar a avaliação que os participantes
faziam do sistema.
Contexts of application:
- Theatre, films, video-games and healthcare contexts.
- System was applied in an affective installation
Scalability contributes to the expansion and easier integration with external systems