Baixar para ler offline
Carregado porAntónio Oliveira
Software Musical para Expressão Emocional
Este documento descreve um sistema de software musical para expressão emocional. O sistema usa modelos matemáticos para relacionar características musicais com emoções e produzir música que expressa uma emoção desejada. O sistema foi validado através de experimentos com ouvintes classificando a valência e ativação de músicas. O software pode ser usado para composição musical assistida por computador e produção automática de bandas sonoras.
Software Musical para Expressão Emocional
- 1. Software Musical para ExpressãoEmocional António Pedro Oliveira
- 2. 2 Estrutura da apresentação Introdução Música e Emoções Software Musical Aplicações Demonstração Conclusão
- 3. Introdução Trabalho dedoutoramento Motivação A música é aceite como uma linguagem de expressão emocional que é utilizada no cinema, televisão, rádio, dança, transportes e centros comerciais Problema Produção automática de música que exprime emoções desejadas 3 Introdução EDME RTEDME ConclusionIntrodução Música e Emoções Software Musical Aplicações Demonstração Conclusão
- 4. Introdução Objectivo Implementaçãoe validação de um sistema que produz música que exprime uma emoção desejada, com auxílio de modelos matemáticos que relacionam música e emoções O sistema trabalha com todos os estilos da música tonal As emoções são definidas em duas dimensões: valência e activação 4 Introdução EDME RTEDME ConclusionIntrodução Música e Emoções Software Musical Aplicações Demonstração Conclusão
- 5. Emoções As emoçõestêm sido estudadas por vários cientistas (Damásio e Sutherland 1996; Ekman 1999; Frijda 2000; Lazarus 1999; Ortony e Collins 1988) Não existe consenso na sua definição (Scherer 2005) Aceitamos as emoções como correspondendo à nossa manifestação psicofisiológica (Larsen et al., 2008) 5 Introdução Música e Emoções Software Musical Aplicações Demonstração Conclusão
- 6. Música A músicaé um estímulo capaz de influenciar as nossas emoções (Deutsch 1982; Lerdahl e Jackendoff 1996; Narmour 1990; Temperley 2004; Widmer e Goebl 2004) Existem relações entre as características musicais e as emoções (Gabrielsson e Lindstrom 2001; Juslin 2001) 6 Introdução Música e Emoções Software Musical Aplicações Demonstração Conclusão
- 7. Relação da músicacom as emoções Introdução Música e Emoções Software Musical Aplicações Demonstração Conclusão 7
- 8. Abordagens computacionais Composiçãoe arranjo musical de acordo com guias emocionais (Legaspi et al., 2007; Wassermann et al., 2003) Selecção de música pré-composta de acordo com modelos de classificação/recomendação (Baum, 2006; Trohidis et al., 2008; Wu and Jeng, 2006; Yang et al., 2008) 8 Introdução Música e Emoções Software Musical Aplicações Demonstração Conclusão
- 9. Abordagens computacionais Transformaçãode música pré-composta com modelos baseados em conhecimento (Livingstone et al., 2007; Wingstedt et al., 2005; Winter, 2005) Combinação das abordagens mencionadas (Chung, 2006) 9 Introdução Música e Emoções Software Musical Aplicações Demonstração Conclusão
- 10. Software Musical 10 Fase offline Introdução Músicae Emoções Software Musical Aplicações Demonstração Conclusão
- 11. 11 Introdução Música eEmoções Software Musical Aplicações Demonstração Conclusão Software Musical
- 12. 12 Objectivo: produzirmúsica que exprime uma emoção desejada Fase em tempo real Introdução Música e Emoções Software Musical Aplicações Demonstração Conclusão Software Musical
- 13. 13 Base de conhecimento Existe uma base de conhecimento que é utilizada para controlar o conteúdo emocional da música Composta por modelos regressivos que estabelecem relações entre emoções e características musicais Importante na selecção e transformação da música Introdução Música e Emoções Software Musical Aplicações Demonstração Conclusão
- 14. Base de conhecimento- Experiências 14 Classificação online da valência e activação de músicas que duram entre 10 e 90 segundos 1ª experiência 16 músicas dos estilos pop e r&b 53 ouvintes Introdução Música e Emoções Software Musical Aplicações Demonstração Conclusão
- 15. Base de conhecimento- Experiências 15 2ª experiência 96 músicas do estilo “bandas sonoras” 80 ouvintes 3ª experiência 132 músicas do estilo pop/rock 37 ouvintes Introdução Música e Emoções Software Musical Aplicações Demonstração Conclusão
- 16. Base de conhecimento- Experiências 16 Introdução Música e Emoções Software Musical Aplicações Demonstração Conclusão
- 17. Validação 17 O sistemavai ser validado em duas experiências com recurso a respostas baseadas em ratings e medidas psicofisiológicas 178 músicas MIDI do estilo clássico, pop, rock e bandas sonoras Introdução Música e Emoções Software Musical Aplicações Demonstração Conclusão
- 18. Aplicações O softwaretem aplicação em vários contextos Composição musical assistida por computador Produção automática de bandas sonoras Cuidados de saúde Ambientes inteligentes 18 Introdução Música e Emoções Software Musical Aplicações Demonstração Conclusão
- 19. Instalação interactiva Introdução Músicae Emoções Software Musical Aplicações Demonstração Conclusão Instalação composta por um computador que usa uma câmara para observar o ambiente O sistema analisa as imagens para reconhecer a quantidade de presenças e movimento
- 20. Instalação interactiva Introdução Músicae Emoções Software Musical Aplicações Demonstração Conclusão Estas duas variáveis são usadas para definir, respectivamente, os valores de valência e activação do estado emocional do sistema O estado emocional influencia a expressão da música e das imagens para o ambiente
- 21. Instalação interactiva –Experiência 21 Introdução Música e Emoções Software Musical Aplicações Demonstração Conclusão
- 22. Demonstração 22 Introdução Música eEmoções Software Musical Aplicações Demonstração Conclusão
- 23. Conclusão O softwareproduz música que exprime uma emoção desejada O controlo do conteúdo emocional utiliza uma base de conhecimento obtida com o auxílio de dados empíricos e informação obtida na literatura A flexibilidade do software possibilita a sua aplicação em áreas como a geração de bandas sonoras e cuidados de saúde 23 Introdução Música e Emoções Software Musical Aplicações Demonstração Conclusão
- 24.
Notas do Editor
- #3 Foco do contexto hospitalar na parte das aplicações
- #5 As emoções são representadas na forma discreta ou na forma dimensional (com duas ou três dimensões). As primeiras duas dimensões têm servido para representar as emoções (Livingstone, Schubert). Nós estamos a utilizar também duas dimensões e a representação discreta de emoções proposta por Russel. Valência corresponde ao grau de alegria Activação corresponde ao grau de activação
- #8 Depois de uma revisão de dados empíricos disponíveis na literatura (psicologia das emoções, psicologia da Música, computação afectiva, computação musical), fizemos uma sistematização das características relevantes comuns a quatro tipos de música: alegre, triste, activante e relaxante.
- #11 O sistema utiliza música pré-composta obtida na internet Numa primeira fase prepara-se a música a ser utilizada pelo sistema. A música pré-composta é 1) segmentada 2) classificada emocionalmente 3) guardada numa base de músicas Esta fase é gerida pelo administrador do sistema
- #12 Numa segunda fase o utilizador interactua com o sistema através de uma interface na qual é possível escolher emoções de uma lista de emoções ou de um espaço com duas dimensões: valência e activação.
- #13 O Software utiliza a emoção desejada para Selecionar as músicas que exprimem a emoção mais próxima da desejada 2) Trasformar e sequenciar os segmentos selecionados para formar estruturas musicais 3) As estruturas musicais são sintetizadas com auxilio de uma biblioteca sonora e tocadas para o ouvinte
- #19 Automatic soundtracks can be generated for other systems capable of making an emotional evaluation of a specific context Produção de bandas sonoras para contextos narrativos. A música tem uma grande influência nos jogos de computador. O nosso software pode ser utilizado para adaptar de forma dinâmica a música aos vários contextos e acções do jogo. Exemplo de aplicação EmoTag (Francisco 2007). In a healthcare context, self-report measures or physiological sensors can be used to generate music that reacts to the state of the patients Teste do sistema com pacientes do serviço pediátrico do Hospital de Santo André. Ambient intelligence systems: sensing the environment allows the use of our system in installations where music reacts to the public Aplicámos o software musical num ambiente inteligente
- #20 The quantity of presences is determined by the percentage of change between scenario (image taken when the system starts) and current image Quantity of movement is determined by the change between current and last image
- #21 The quantity of presences is determined by the percentage of change between scenario (image taken when the system starts) and current image Quantity of movement is determined by the change between current and last image
- #22 Fizemos duas experiências. A primeira teve o objectivo de verificar como os participantes interactuavam com o sistema. A segunda teve o objectivo de recolher dados por forma a analisar a avaliação que os participantes faziam do sistema.
- #23 http://www.youtube.com/watch?v=xFbkPlQJ1WQ (long version) - 3.30 http://www.youtube.com/watch?v=cVrXLubPmuY (short version) - 0.15
- #24 Contexts of application: - Theatre, films, video-games and healthcare contexts. - System was applied in an affective installation Scalability contributes to the expansion and easier integration with external systems