Ilu sio é uma ferramenta multitoque para processamento de áudio em tempo real desenvolvida por Jerônimo Barbosa sob orientação de Geber Ramalho. A ferramenta usa uma mesa multitoque e pedais para permitir a gravação e edição colaborativa de loops de áudio através de desenhos na mesa durante performances musicais.

1. I L L U S I O!
UMA FERRAMENTA
MULTITOQUE PARA
PROCESSAMENTO DE ÁUDIO
EM T E M P O R E A L!
aluno Jerônimo Barbosa jbcj@cin.ufpe.br
orientador Geber Ramalho glr@cin.ufpe.br

2. o que teria os seguintes cenários em comum?

3. DJ AM...!

4. JONNY GREENWOOD...!

5. ...E O LIVE CINEMA!!

6. C O M P U T A D O R E S!
M Ú S I C A!
P E R F O R M A N C E!
F E R R A M E N T A S P A R A P R O C E S S A M E N T O D E Á U D I O E M T E M P O R E A L!

7. FERRAMENTAS DE PROCESSAMENTO DE ÁUDIO EM TEMPO REAL!
primórdios da computação musical: CSIRAC, de Trevor Pearcey e Maston Beard
(1950) e Music I, de Max Mathews (1957).

8. E ATUALMENTE?!
bastante populares entre per formers (músicos, DJs,
ar tistas de novas mídias)
milhares de ferramentas no mercado
MAS...!
porque algumas ferramentas são tão complicadas de
usar? ou, quando fáceis, acabam não sendo
poderosas?
onde entra a colaboratividade nessa história toda?
qual a diferença, sob o ponto de vista do obser vador,
entre o trabalho de um burocrata e de um per former?

9. E ATUALMENTE?!
bastante populares entre per formers (músicos, DJs,
ar tistas de novas mídias)
milhares de ferramentas no mercado
MAS...!
porque algumas ferramentas são tão complicadas de
usar? ou, quando fáceis, acabam não sendo
poderosas?
onde entra a colaboratividade nessa história toda?
qual a diferença, sob o ponto de vista do obser vador,
entre o trabalho de um burocrata e de um per former? OU BUROCRATA DJ ?

10. TÁ CERTO... MAS O QUE É QUE EXISTE POR AÍ?
CSOUND!
Criada na década de 90, no MIT
Linguagem de programação
poderosa pra processamento de
sinais: a grosso modo, uma
mistura de XML com C
Funcionamento baseado na edição
de dois arquivos: um de par titura
e outro de timbre

11. TÁ CERTO... MAS O QUE É QUE EXISTE POR AÍ?
Surgimento em meados da década
de 80, for temente influenciado
p e l o s s i n te t i z a d o r e s m o d u l a r e s
Linguagem de programação visual
( LV P ) p a r a p r o c e s s a m a n e t o
a u d i o v i s u a l
Paradigma orientado a
f l u xo g r a m a s e a “ f i l o s o f i a M A X ”
MAX!

12. TÁ CERTO... MAS O QUE É QUE EXISTE POR AÍ?
PURE DATA!
Criado na década de 90,pelo
mesmo fundador do MAX, Miller
Puckette
Free e Open-Source
Bastante poderosa, visava
corrigir algumas falhas do
antecessor, sendo ainda hoje
bastante utilizada
Paradigma orientado a
fluxogramas

13. TÁ CERTO... MAS O QUE É QUE EXISTE POR AÍ?
Linguagem gratuita disponível
apenas para ambientes OSX
Baseado em Lisp, a linguagem
foca em processamento
a u d i o v i s u a l c o m fo c o e m L i v e
C o d i n g
Dá um bom supor te à colaboração
IMPROMPTU!

14. TÁ CERTO... MAS O QUE É QUE EXISTE POR AÍ?
ABLETON LIVE!
Surgida em 2001, é uma das
ferramentas mais populares entre
DJs
Adota uma abordagem diferente
de linguagens para fazer o
processamento em tempo real
(DAW)
Abordagem mais intuitiva que às
linguagens

15. TÁ CERTO... MAS O QUE É QUE EXISTE POR AÍ?
VIMUS!
Camada de inter face amigável ,
para sistemas expressivos (Pd)
Usa uma metáfora de caixas
tridimensionais, segundo um
paradigma orientado a
fluxogramas
Acaba ignorando a questão da
colaboração

16. TÁ CERTO... MAS O QUE É QUE EXISTE POR AÍ?
Instrumento musical que preza
pela expressividade, colaboração
e impacto visual na per formance
REACABLE!

17. PROBLEMAS!
Dilema da Usabilidade X Expressividade
Baixo grau de colaboração
Baixa impacto na per formance do ponto de vista ar tístico

18. E AGORA, JOSÉ?

19. um instrumento musical digital livre que permite o controle de loops
gravados em tempo-real, no momento da per formance, através de uma
per formance lúdica e colaborativa baseada no relacionamento entre
desenhos e sons
para tanto, o sistema, baseado em inter faces tangíveis, mescla o uso de
tecnologias multitoques ao conceito de pedais, aqui chamado de pedal
Inspirações: Pure Data –Looper Stations - Samico

21. PROBLEMAS SOLUÇÃO!
Abordagem multitoque (que pode ser considerada uma
Dilema da Usabilidade X Expressividade abordagem mais natural, por prover uma interação táctil
“direta” com o programa, sem a necessidade de
ar tefatos menos convencionais ao homem), aliada a
uma inter face elaborada segunda uma abordagem
centrada no Usuário + metáfora de interação de pedais
de guitarra
Baixo grau de colaboração Aplicações multitoques apresentam por natureza um
alto grau de colaboração.
Baixa impacto na per formance do ponto de vista ar tístico
Abordagem multitoque aliada a um bom design de
interação.

22. AGORA É A HORA DO VÍDEO, PORRA!!

23. ILUSIO!
HARDWARE! SOFTWARE!
MESA
PEDAL! LOOPER! GUI !
MT!

24. ILUSIO!
HARDWARE! SOFTWARE!
MESA
PEDAL! LOOPER! GUI !
MT!

25. HARDWARE!
teclado usb velho modificado

26. HARDWARE
Mesa multitoque FTIR + tracker Community Core Vision

27. ILUSIO!
HARDWARE! SOFTWARE!
MESA
PEDAL! LOOPER! GUI !
MT!

28. SOFTWARE!
Módulo de inter face e módulo de loop,
medidados por Open Sound Control

29. SOFTWARE!
Baseado nos conceito de Forma, Mockup,
Edição e Modo keyboard
Formas – Elemento básico a par tir do qual todo o instrumento funciona. Uma forma é um
desenho, um rabisco, criado pelo usuário na super fície e é responsável por armazenar o loop a
ser gravado;
Mockups – Um subtipo de forma, que funciona como um container, armazenando um conjunto
de outras formas dentro dele;
Edição – Funcionalidade que permite ao usuário abrir e fechar formas (e mockups) com o
objetivo de alterar seu fluxo sonoro;
Modo keyboard – Funcionalidade que permite às formas funcionarem como um piano, que
libera um som (seu loop) quando tocado.

30. CONCLUSÕES???!

31. AH... VALEU, JOSÉ!

32. UMA INTERFACE
MULTITOQUE PARA
PROCESSAMENTO DE ÁUDIO
EM T E M P O R E A L!
aluno Jerônimo Barbosa jbcj@cin.ufpe.br
orientador Geber Ramalho glr@cin.ufpe.br