SlideShare uma empresa Scribd logo
1 de 24
Uma Interface Multitoque para Processamento de Áudio em Tempo Real alunoJerônimoBarbosajbcj@cin.ufpe.br orientadorGeberRamalhoglr@cin.ufpe.br
o que teria os seguintes cenários em comum?
Dj AM...
JonnyGreenwood...
...e o Live Cinema!
Computadores Música Performance Ferramentas de processamento de áudio em tempo real
Ferramentas de processamento de áudio em tempo real CSIRAC, de TrevorPearcey e MastonBeard (1950) e Music I, de Max Mathews (1957). Atualmente são populares entre músicos, DJs, artistas de novas mídias, que dispõem de diversas ferramentas do gênero.
Ferramentas de processamento de áudio em tempo real CSound Criada na década de 90, no MIT Linguagem de programação poderosa pra processamento de sinais: a grosso modo, uma mistura de XML com C Funcionamento baseado na edição de dois arquivos: um de partitura e outro de timbre
Ferramentas de processamento de áudio em tempo real Surgimento em meados da década de 80, fortemente influenciado pelos sintetizadores modulares Linguagem de programação visual (LVP) para processamaneto audiovisual Paradigma orientado a fluxogramase a “filosofia MAX” MAX
Ferramentas de processamento de áudio em tempo real PureData Criado na década de 90,pelo mesmo fundador do MAX, Miller Puckette Free e Open-Source Bastante poderosa, visava corrigir algumas falhas do antecessor, sendo ainda hoje bastante utilizada Paradigma orientado a fluxogramas
Ferramentas de processamento de áudio em tempo real Linguagem gratuita disponível apenas para ambientes OSX Baseado em Lisp, a linguagem foca em processamento audiovisual com foco em LiveCoding Dá um bom suporte à colaboração Impromptu
Ferramentas de processamento de áudio em tempo real AbletonLive Surgida em 2001, é uma das ferramentas mais populares entre DJs Adota uma abordagem diferente de linguagens para fazer o processamento em tempo real (DAW) Abordagem mais intuitiva que às linguagens
Ferramentas de processamento de áudio em tempo real ViMus Camada de interface amigável , para sistemas expressivos (Pd) Usa uma metáfora de caixas tridimensionais, segundo um paradigma orientado a fluxogramas Acaba ignorando a questão da colaboração
Ferramentas de processamento de áudio em tempo real Instrumento musical que preza pela expressividade, colaboração e impacto visual na performance Devido a sua natureza, ignora funcionalidades básicas Reacable
Problemas Dilema da Usabilidade X Expressividade Baixo grau de colaboração Baixa impacto na performance do ponto de vista artístico
Solução mtPd! Uma ferramenta multitoque para processamento de áudio em tempo real Tal como o Reactable e o ViMus, seria uma abstração do Pure Data - substituindo seus principais elementos tradicionais por outros novos, segundo uma abordagem multitoque Dessa forma, com o mtPdpoderemos programar a máquina apenas através de gestos do dedo do usuário na mesa, desenhando objetos, conectando-os...
Solução Abordagem multitoque (que pode ser considerada uma abordagem mais natural, por prover uma interação táctil “direta” com o programa, sem a necessidade de artefatos menos convencionais ao homem), aliada a uma interface elaborada segunda uma abordagem centrada no Usuário. Aplicações multitoques apresentam por natureza um alto grau de colaboração. Abordagem multitoque aliado a um bom Design gráfico e de Interação. Problemas Dilema da Usabilidade X Expressividade Baixo grau de colaboração Baixa impacto na performance do ponto de vista artístico
Concepção [1] Experiência em aplicações multitoque: Interface baseada em gestos sob contexto! Paperprototyping – Aplicados a três usuários do Pure Data, programadores, músicos e artistas de novas mídias, em encontros que duraram em média 30 minutos. Pediu-se para que os supostos usuários realizassem algumas funções básicas do Pd sem que qualquer instrução adicional lhe fossem fornecidas. Essasinstruçõesforamespecificadas de modoquetrabalhassemoselementosbásicos do Pd, sendoessesporhoraosprincipaisalvosdapesquisa.
Felipe Machado,programador, membrodo estúdiolivre, do CDTL econsultor/desenvolvedoremCultura Digital no estado de Pernambuco. Jáutilizahá um bom tempo o Pd comoferramenta de trabalho. JarbasJacome, émusicoemestreemciênciadacomputaçãopelo Centro de Informáticada UFPE. Em 2007 recebeuoPrêmioRumosItaú Cultural Arte-CibernéticaApoio a PesquisaAcadêmicaporsuapesquisa de mestrado, oViMus, Além disso, a ferramentaébastantepresente no seutrabalhocomomusico.  Ricardo Brazileiro, éativista de software livreeartista de novas mídias. Jádesenvolveudiversostrabalhosenvolvendo a ferramenta, incluindoo Emotional Kernel Panic, trabalhoapresentado no PdCon09, a principal conferênciainternacionalsobreo Pd. Os Usuários...
Concepção [2] Elementos contemplados: Caixas (Object, Number, Message e Comment), Conexões, Patches/Subpatchese Funcionalidades Básicas (Salvar, Abrir, Copiar...) Adotou-se uma abordagem de gestos sob contexto para substituir os menus tradicionais Através de uma perspectiva centrada no usuário de concepção, tentou-se combinar os processos de concepção e validação
Implementação Infra-estrutura de Hardware e Sofware
Aplicação Python PyMT Biblioteca auxiliar (DynamicPatching) Implementação
Trabalhos Futuros Tornar o protótipo desenvolvido mais estável do ponto de vista técnico, de modo que esse realmente possa ser utilizado por artistas como uma ferramenta de processamento de áudio Realizar testes de validação mais aprofundados, de modo a fortalecer a tese proposta neste trabalho Terminar de implementar todas as demais funcionalidades do Pure Data ignoradas neste trabalho, de modo que o mtPd seja de fato uma versão multitoque do Pd Realizar testes de performance, comparando-os com o os demais concorrentes do mtPd Resultados Protótipo Funcional, Implementado em um período de aproximadamente 3 meses!  Desenvolvimento marcado pela elevada complexidade técnica, que acabou por impossibilitar a implementação de todas as funcionalidades propostas inicialmente e comprometendo a etapa de validação Proposta muito bem recebida na comunidade
Uma Interface Multitoque para Processamento de Áudio em Tempo Real alunoJerônimoBarbosajbcj@cin.ufpe.br orientadorGeberRamalhoglr@cin.ufpe.br

Mais conteúdo relacionado

Semelhante a Interface Multitoque para Áudio em Tempo Real

Semelhante a Interface Multitoque para Áudio em Tempo Real (20)

Multimédia
MultimédiaMultimédia
Multimédia
 
Multimédia
MultimédiaMultimédia
Multimédia
 
Apostila d moda
Apostila d modaApostila d moda
Apostila d moda
 
Multimídia
MultimídiaMultimídia
Multimídia
 
Design Gráfico
Design GráficoDesign Gráfico
Design Gráfico
 
Utilidades da multimídi1
Utilidades da multimídi1Utilidades da multimídi1
Utilidades da multimídi1
 
Aula1-SAM-Apresentação e Introdução
Aula1-SAM-Apresentação e IntroduçãoAula1-SAM-Apresentação e Introdução
Aula1-SAM-Apresentação e Introdução
 
10 revisao producao_grafica
10 revisao producao_grafica10 revisao producao_grafica
10 revisao producao_grafica
 
Conceitos básicos de Múltimedia
Conceitos básicos de MúltimediaConceitos básicos de Múltimedia
Conceitos básicos de Múltimedia
 
Sm C1
Sm C1Sm C1
Sm C1
 
Mm resumo
Mm resumoMm resumo
Mm resumo
 
Multimédia
MultimédiaMultimédia
Multimédia
 
Sistemas interativos de tempo real
Sistemas interativos de tempo realSistemas interativos de tempo real
Sistemas interativos de tempo real
 
Conceito de multimédia/Tipos de média
Conceito de multimédia/Tipos de médiaConceito de multimédia/Tipos de média
Conceito de multimédia/Tipos de média
 
Multimédia
MultimédiaMultimédia
Multimédia
 
11º encontro
11º encontro11º encontro
11º encontro
 
11º encontro
11º encontro11º encontro
11º encontro
 
Linguagem E Semiotica Brasilia Logocefet
Linguagem E Semiotica Brasilia LogocefetLinguagem E Semiotica Brasilia Logocefet
Linguagem E Semiotica Brasilia Logocefet
 
Design da interação / Design da experiência: considerações sobre um campo de ...
Design da interação / Design da experiência: considerações sobre um campo de ...Design da interação / Design da experiência: considerações sobre um campo de ...
Design da interação / Design da experiência: considerações sobre um campo de ...
 
kits multimidia
kits multimidiakits multimidia
kits multimidia
 

Interface Multitoque para Áudio em Tempo Real

  • 1. Uma Interface Multitoque para Processamento de Áudio em Tempo Real alunoJerônimoBarbosajbcj@cin.ufpe.br orientadorGeberRamalhoglr@cin.ufpe.br
  • 2. o que teria os seguintes cenários em comum?
  • 5. ...e o Live Cinema!
  • 6. Computadores Música Performance Ferramentas de processamento de áudio em tempo real
  • 7. Ferramentas de processamento de áudio em tempo real CSIRAC, de TrevorPearcey e MastonBeard (1950) e Music I, de Max Mathews (1957). Atualmente são populares entre músicos, DJs, artistas de novas mídias, que dispõem de diversas ferramentas do gênero.
  • 8. Ferramentas de processamento de áudio em tempo real CSound Criada na década de 90, no MIT Linguagem de programação poderosa pra processamento de sinais: a grosso modo, uma mistura de XML com C Funcionamento baseado na edição de dois arquivos: um de partitura e outro de timbre
  • 9. Ferramentas de processamento de áudio em tempo real Surgimento em meados da década de 80, fortemente influenciado pelos sintetizadores modulares Linguagem de programação visual (LVP) para processamaneto audiovisual Paradigma orientado a fluxogramase a “filosofia MAX” MAX
  • 10. Ferramentas de processamento de áudio em tempo real PureData Criado na década de 90,pelo mesmo fundador do MAX, Miller Puckette Free e Open-Source Bastante poderosa, visava corrigir algumas falhas do antecessor, sendo ainda hoje bastante utilizada Paradigma orientado a fluxogramas
  • 11. Ferramentas de processamento de áudio em tempo real Linguagem gratuita disponível apenas para ambientes OSX Baseado em Lisp, a linguagem foca em processamento audiovisual com foco em LiveCoding Dá um bom suporte à colaboração Impromptu
  • 12. Ferramentas de processamento de áudio em tempo real AbletonLive Surgida em 2001, é uma das ferramentas mais populares entre DJs Adota uma abordagem diferente de linguagens para fazer o processamento em tempo real (DAW) Abordagem mais intuitiva que às linguagens
  • 13. Ferramentas de processamento de áudio em tempo real ViMus Camada de interface amigável , para sistemas expressivos (Pd) Usa uma metáfora de caixas tridimensionais, segundo um paradigma orientado a fluxogramas Acaba ignorando a questão da colaboração
  • 14. Ferramentas de processamento de áudio em tempo real Instrumento musical que preza pela expressividade, colaboração e impacto visual na performance Devido a sua natureza, ignora funcionalidades básicas Reacable
  • 15. Problemas Dilema da Usabilidade X Expressividade Baixo grau de colaboração Baixa impacto na performance do ponto de vista artístico
  • 16. Solução mtPd! Uma ferramenta multitoque para processamento de áudio em tempo real Tal como o Reactable e o ViMus, seria uma abstração do Pure Data - substituindo seus principais elementos tradicionais por outros novos, segundo uma abordagem multitoque Dessa forma, com o mtPdpoderemos programar a máquina apenas através de gestos do dedo do usuário na mesa, desenhando objetos, conectando-os...
  • 17. Solução Abordagem multitoque (que pode ser considerada uma abordagem mais natural, por prover uma interação táctil “direta” com o programa, sem a necessidade de artefatos menos convencionais ao homem), aliada a uma interface elaborada segunda uma abordagem centrada no Usuário. Aplicações multitoques apresentam por natureza um alto grau de colaboração. Abordagem multitoque aliado a um bom Design gráfico e de Interação. Problemas Dilema da Usabilidade X Expressividade Baixo grau de colaboração Baixa impacto na performance do ponto de vista artístico
  • 18. Concepção [1] Experiência em aplicações multitoque: Interface baseada em gestos sob contexto! Paperprototyping – Aplicados a três usuários do Pure Data, programadores, músicos e artistas de novas mídias, em encontros que duraram em média 30 minutos. Pediu-se para que os supostos usuários realizassem algumas funções básicas do Pd sem que qualquer instrução adicional lhe fossem fornecidas. Essasinstruçõesforamespecificadas de modoquetrabalhassemoselementosbásicos do Pd, sendoessesporhoraosprincipaisalvosdapesquisa.
  • 19. Felipe Machado,programador, membrodo estúdiolivre, do CDTL econsultor/desenvolvedoremCultura Digital no estado de Pernambuco. Jáutilizahá um bom tempo o Pd comoferramenta de trabalho. JarbasJacome, émusicoemestreemciênciadacomputaçãopelo Centro de Informáticada UFPE. Em 2007 recebeuoPrêmioRumosItaú Cultural Arte-CibernéticaApoio a PesquisaAcadêmicaporsuapesquisa de mestrado, oViMus, Além disso, a ferramentaébastantepresente no seutrabalhocomomusico. Ricardo Brazileiro, éativista de software livreeartista de novas mídias. Jádesenvolveudiversostrabalhosenvolvendo a ferramenta, incluindoo Emotional Kernel Panic, trabalhoapresentado no PdCon09, a principal conferênciainternacionalsobreo Pd. Os Usuários...
  • 20. Concepção [2] Elementos contemplados: Caixas (Object, Number, Message e Comment), Conexões, Patches/Subpatchese Funcionalidades Básicas (Salvar, Abrir, Copiar...) Adotou-se uma abordagem de gestos sob contexto para substituir os menus tradicionais Através de uma perspectiva centrada no usuário de concepção, tentou-se combinar os processos de concepção e validação
  • 22. Aplicação Python PyMT Biblioteca auxiliar (DynamicPatching) Implementação
  • 23. Trabalhos Futuros Tornar o protótipo desenvolvido mais estável do ponto de vista técnico, de modo que esse realmente possa ser utilizado por artistas como uma ferramenta de processamento de áudio Realizar testes de validação mais aprofundados, de modo a fortalecer a tese proposta neste trabalho Terminar de implementar todas as demais funcionalidades do Pure Data ignoradas neste trabalho, de modo que o mtPd seja de fato uma versão multitoque do Pd Realizar testes de performance, comparando-os com o os demais concorrentes do mtPd Resultados Protótipo Funcional, Implementado em um período de aproximadamente 3 meses! Desenvolvimento marcado pela elevada complexidade técnica, que acabou por impossibilitar a implementação de todas as funcionalidades propostas inicialmente e comprometendo a etapa de validação Proposta muito bem recebida na comunidade
  • 24. Uma Interface Multitoque para Processamento de Áudio em Tempo Real alunoJerônimoBarbosajbcj@cin.ufpe.br orientadorGeberRamalhoglr@cin.ufpe.br