Aplicações Musicais para Dispositivos Portáteis - iOS e Android

Aplicações musicais para
dispositivos portáteis -
Android e iOS
André Veloso

André Veloso – andrevj@gmail.com www.softwarebending.blogspot.com Agosto 2011 – CC BY NC SA

Objetivos
● Apresentar dispositivos portáteis, celulares e
tablets como ferramentas de criação musical
● Gravação, manipulação e produção de audio
em tempo real com esses dispositivos
● Controle remoto de outros sistemas musicais
● Backup e recuperação
● Performance musical colaborativa utilizando
esses dispositivos


Dispositivo de áudio digital

● Síntese

● Gravação/Reprodução

● Processamento de Sinais

Evolução do áudio em
computadores
● Década de 1950 – Síntese Digital de sons por
computadores – Mainframes e Programas
geradores de melodias

● Década de 1960 e 70 – Chips de Síntese FM –
Geração em tempo real de música


computadores
● Década de 1980 – Computadores pessoais e
minicomputadores – Primeiros sistemas de
gravação de audio digital em computador
● Década de 1990 – Popularização do
computador pessoal
Processamento de sinais em tempo real
Instrumentos Virtuais (VST, AU, RTAS, etc)
Gravação Multipista em Computador


computadores

● Lei de Moore


computadores
● Evolução do poder de processamento possibilitou a
utilização dos computadores como ferramenta de
criação, reprodução, gravação e manipulação de
audio digital

● Processamento de sinais, síntese, instrumentos
virtuais (modelação digital) com computadores
pessoais em TEMPO REAL – poder de
processamento disponível a partir do meio dos
anos 90 (a partir do Pentium II - 400MHz)


Áudio de tempo real
● Latência - tempo entre a reprodução de um
audio apos conversão ou síntese do sinal
digital e o estimulo externo de entrada

● Tempo real - Latências inferiores a 7ms
(milissegundos ou 0,007s)


Áudio de tempo real
● Ex: Latência em um instrumento virtual

Execução MIDI Resultado Sonoro
Processamento

Tempo

Latência


Instrumentos Reais x Instrumentos
Virtuais
Moog Voyager Hardware

Plugin VST/AU/RTAS
Minimoog V


Evolução dos dispositivos portáteis

Psion 3a - 1993 – 7,6MHz NEC CPU

Apple Newton H1000 - 1993 – 20MHz ARM CPU



HP 320Xl - 1996 – 44MHz Hitachi CPU

N900 - 1996 – 25MHz Intel 386 CPU


Cassiopeia A-20 - 1997 – Hitachi 80MHz CPU

Palm Pilot 1000 - 1997 – 16MHZ CPU


Nokia N900i- 1997 – AMD 486 33MHz CPU



Cassiopeia E125 - 2000 – NEC 150MHz CPU
Palm VIIx - 1999 – 16MHZ CPU



Toshiba e310 - 2002 – ARM 206MHz CPU
Cassiopeia E200 - 2001 – ARM 206MHz CPU



Palm Tungsten C - 2003 – ARM 400MHz CPU
BlackBerry 6710 - 2002 – ARM 206MHz CPU



HP iPAQ - 2004 – ARM 400MHz CPU Nokia N70-5 - 2005 – OMAP 200MHz CPU



HTC S640 - 2007 – 400MHz CPU
BlackBerry 7130 - 2006 – Xscale 312MHz CPU



Apple iPhone - 2007 – ARM 412MHz CPU



HTC Dream G1 - 2008 – ARM 528MHz CPU


Palm Pre - 2009 – ARM 600MHz CPU


Dell Venue - 2010 – ARM 1000MHz CPU


Dispositivos portáteis atuais
Características de hardware:
● Grande número de sensores: câmeras,
microfones, acelerômetros, giroscópios,
bussolas, sensores de iluminação,
proximidade, GPS
● Opções de Conectividade de dados: 2G, 3G,
4G, WI-FI, Bluetooth, NFC, USB
● Tela grande com input via multitoque
● Armazenamento via memória Flash


Evolução do áudio em dispositivos
portáteis
● Evolução do poder de processamento possibilitou a
utilização de dispositivos portáteis como ferramenta
de criação, reprodução, gravação e manipulação
de audio digital

● Processamento de sinais, síntese, instrumentos
virtuais (modelação digital) com dispositivos
portáteis em TEMPO REAL – poder de
processamento disponível a partir de meados dos
anos 2000 (ARM 300MHz) – apenas 10 anos após
os computadores pessoais

Instrumentos Reais x Instrumentos
Virtuais

Korg Electribe SX Hardware

Korg iElectribe iOS


Dispositivos portáteis – Sistemas
Operacionais

1996 1999 2000 2001


Dispositivos portáteis – Sistemas
Operacionais

2005 2007 2009 2010


Android e iOS


Introdução ao iOS
● Origem no código do Mac OS X (Unix)
● Popularizou o paradigma de Manipulação
Direta via gestos e toques – multitoque, “Pinch
to zoom”
● Popularizou o conceito de App Store e de
Touch Smartphone
● Versão atual 4.3 – Próximo Release 5.0


Introdução ao iOS
Prós:
● Ciclo constante de atualizações
● API de acesso ao hardware de audio com baixa
latência
● API MIDI nativa (Core MIDI – iOS 4.2)
● Implementação de multitoque consistente entre
os vários dispositivos disponíveis


Introdução ao iOS
Contras:
● Apple (The Apple Way)
● Plataforma fechada
● iTunes – Sync restrito
● Sem possibilidade de devolução de dinheiro na
compra de apps na App Store
● Ciclo de vida curto dos produtos
● Desenvolvimento de Apps restrito a Mac
● Multitarefa Restrito

Dispositivos portáteis iOS

iPhone 4 Ipod touch 4g Ipad 2


Introdução ao Android
● Baseado em Linux
● Versão atual 2.3 Gingerbread – Próxima versão
4.0 Ice Cream Sandwich – Unificação das
versões tablet (atualmente Honeycomb – 3.x) e
celular (2.x)


Prós:
● Loja de Aplicativos baseada em Browser –
Sincronização Transparente
● Várias lojas de aplicativos
● Dispositivos de vários fabricantes – várias faixas de
público-alvo/preço
● Acesso fácil ao armazenamento interno via
montagem USB
● Facilidade de customização da interface e
caracteristicas via apps de terceiros

Contras:
● Fragmentação
● “Gambiarrado”
● Sem API nativa de acesso direto ao hardware de Áudio
– ALTA LATÊNCIA (˜40ms) – Performance do audio
depende da CPU - OpenSL disponível no Gingerbread
NDK - Native Development Kit
● Sem API de MIDI nativo (via ADK na versão 4 ou
OpenSL)
● Inconsistência da implementação de multitoque -
depende de cada fabricante
● Multitarefa Restrito

Contras:
● Segurança Ruim - Grande número de
aplicativos maliciosos
● Falta de padronização na implementação de
sensores
● Maioria das aplicações escritas em Java
(problemas de performance para audio)
● Atualizações dependem dos fabricantes dos
aparelhos para a disponibilização


Dispositivos portáteis Android

Philips GoGear
Google Nexus S
Samsung Galaxy Tab


Apple App Store


Google Android Market


Conectando Áudio
● Conexão padrão: Plug 3.5mm - “Plug de fone” -
P2 Estéreo


Conectando Áudio

Saída de Fone de
Ouvido


Conectando Áudio

P10

3.5mm 3.5mm RCA

3.5mm

3.5mm


Conectando Áudio

RCA
P10


Tipos de software de Áudio
● Síntese
● Processamento de Sinais de entrada
● Gravação e Reprodução de audio
● Samplers
● Drum Machines
● DAWs
● Controladores MIDI e OSC
● Tudo ao mesmo tempo

Síntese
● Geração de som a partir de manipulação de
ondas simples ou ruídos por meio de aplicação
de envelopes (ADRS), filtros ou osciladores
● Sintetizador
● Envelopes (ADRS)
● Filtros (VCF)
● Osciladores (LFO)


Síntese - Tipos
● Aditiva – Soma de ondas senoidais
● Subtrativa – Filtragem de ondas ricas em
harmônicos (Quadradas, sawtooth, ruido)
● FM – Modulação de uma onda básica por meio de
de uma outra complexa
● Granular – manipulação de pequenos elementos
de sinal - Grãos
● Física – Simulação dos componentes físicos que
produzem sons em um instrumento musical real


Processamento de Sinais de
Entrada
● Modificação de sinais vindos do microfone ou
entrada de linha por meio de “efeitos
● Analógico - Eletrônicos
● Digital - Algoritmos


Processamento de Sinais de
Entrada – Tipos de Efeitos
● Compressão
● Distorção (Fuzz, Overdrive)
● Filtros (Wah, Equalização)
● Modulação (Chorus, Flanger, Tremolo)
● Pitch/Correção Tonal (Auto-Tune)
● Temporais (Reverb, Delay)
● Modeladores (Simuladores de Amps, pedais)


Gravação e Reprodução
● Similares aos gravadores portáteis de fita K7
● Possibilidade de registro em pistas múltiplas
● Full Duplex – Gravação e reprodução
simultâneas
● Registro de ideias musicais
● Recursos básicos de Mixagem (Pan, Efeitos,
etc)


Samplers
● Reprodução de trechos sonoros pré-gravados
(amostras) que são reproduzidos por meio de
teclados ou outro dispositivo de disparo
(trigger)
● Multitimbrais
● Polifônicos
● Rítmicos (Drum Machines)


DAWs
● Digital Audio Workstation
● Permitem a gravação, edição, mixagem e
processamento de audio e MIDI


Controladores
● Permitem o controle de outros dispositivos
digitais por meio de protocolos de comunicação
(MIDI, OSC, DMX, ArtNet)


Tudo ao mesmo tempo
● Softwares que apresentam todas as
características apresentadas (Síntese,
Processamento de Sinais, Gravação e
Reprodução de audio, Sampling, DAW) em um
único aplicativo.


Softwares de Áudio iOS – Synths
● Rebirth


Rebirth
Roland TB-303 Synth Roland TR-808 Drum Machine

Roland TR-909 Drum Machine


Jasuto


Mixtikl


Softwares de Áudio iOS -
Processamento de Sinais
Moog Filtraton


Softwares de Áudio iOS -
Processamento de Sinais
Amplitube


Softwares de Áudio iOS- Gravação
4Tracks e Reprodução


Softwares de Áudio iOS-
Djay Reprodução DJ


Softwares de Áudio iOS-
TouchDJ Reprodução DJ


Softwares de Áudio iOS- DAW
FruitLoop Mobile


Softwares de Áudio iOS - Loops
● Looptastic


● Reactable


Softwares de Áudio iOS – Tudo ao
mesmo Tempo
Tabletop - www.retronyms.com


mesmo Tempo
Rhythm Studio


● Garage Band mesmo Tempo


Softwares de Áudio iOS
www.korguser.net/wist
Wireless Sync-Start
Tecnology (Bluetooth)
Aplicações Compativeis:
● TableTop
● iELECTRIBE
● iMS-20
● SyncKontrol for monotribe


Hardware de Áudio iOS



Camera Connection Kit (iPad somente)

USB

Dispositivos USB v1.1 “Class Compliant”
http://iosmidi.com/devices/

● Alguns dispositivos necessitam de alimentação
externa ou a conexão via Hub USB alimentado –
porta USB do iPad possui pouca energia
● Hub USB permite ainda conexão simultânea de
equipamentos
D-Link DUB-H7 7-PORT USB 2.0 HUB
500mA por porta USB


Softwares de Áudio Android – Tudo
ao mesmo Tempo
Caustic


Softwares de Áudio Android -
Reloop
Sampler


Softwares de Áudio Android - Synth
Ethereal


Softwares de Áudio Android - Loop
nanoloop


Softwares de Áudio Android – Drum
Electro Beat Machine Machine


Jasuto ao mesmo Tempo


Softwares de Áudio Android – Synth
Etherophone


Softwares de Áudio Android – Drum
Electrum
Machine


Softwares de Áudio Android – Synth
RD3


SPC ao mesmo Tempo


Controlando Outros Sistemas
Musicais
● Utilização de sistemas portáteis para controle
de outros softwares e hardwares

Protocolos:
● MIDI
● OSC
● DMX/ArtNet
● DSMI


MIDI
● Musical Instrument Digital Interface
● Dados de controle
● Interconexão e troca de mensagens musicais e de
controle entre instrumentos musicais eletrônicos,
sintetizadores, computadores, bateria eletrônicas,
etc.
● Pode ser armazenada em arquivos (SMF) editáveis
em softwares sequenciadores
● Audio gerado por meio de sintetizadores, em
hardware ou software

MIDI
Transmite "mensagens de eventos"
Tipos de Mensagem:
● Tonalidade e intensidade de notas tocada (MIDI
Note)
● Sinais de controle de parâmetros como volume,
vibrato e pan (MIDI CC)
● Sinais de "clock" para sincronismo de tempo
entre dispositivos (MIDI MTC)
● Controle de playback/rec/faders (MIDI MCU)

MIDI - Conexões

USB

DIN-5


RTP/MIDI
● Real Time Protocol MIDI
● Comunicação MIDI via rede TCP-UDP/IP
● Nativa do Mac OS X
● Em Windows – Driver rtpMIDI Tobias Erichsen
● Em Linux – QmidiNet e multimidicast
● Nativo do iOS desde a versão 4.2 – Core MIDI
● No Android – implementado por cada aplicativo


Dispositivos MIDI iOS
● Apple Camera Connection Kit iPad (MIDI
padrão Via USB) - Apple Core MIDI

Dispositivos USB v1.1 MIDI “Class Compliant”
http://iosmidi.com/devices/


Dispositivos MIDI iOS


OSC
● Open Sound Control
● Troca de dados de controle via rede TCP-
UDP/IP
● Ethernet/WI-FI – Elimina a necessidade de
hardware dedicado para troca de dados
● Tipo de dados com maior precisão do que o
MIDI
● Estrutura de mensagens genéricas, baseados
em tipos primários: float, string


OSC


OSC – Objetivos Futuros
● Padronização do protocolo
● Criação da especificação das mensagens de
controle de notas (semelhantes aos MIDI Note),
para controle de sintetizadores polifônicos


DSMI


Android ADK - Accessory
Development Kit


Mac OS X
● Configuração de Recepção de dados OSC,
MIDI, RTP-MIDI
● OSC: OSCulator, Pure Data
● MIDI: Pure Data, MIDIPipe


Windows
● Configuração de Recepção de dados OSC,
MIDI, RTP-MIDI
● OSC: Pure Data, GlovePIE
● MIDI: Pure Data, GlovePIE, MIDI Yoke, MIDI
OX


Pure Data:
Ferramenta de
programação visual
para processamento
de sinais de audio e
dados de controle
(MIDI, OSC, etc),
multiplataforma,
gratuita e Open-
Source


Controlando Outros Sistemas –
Hardwares MIDI
Dispositivos que possuem
MIDI OUT DIN5 MIDI IN via DIN5:
iOS
Sintetizadores
Módulos de som
Baterias Eletrônicas

5
IN
D
T
U

Android
IO
ID

Arduino
M

Android ADK


Softwares Controladores - iOS
TouchOSC


MIDITouch


KONKREET PERFORMER + TWISTED KP


TWISTED KP –
Conversor MIDI
do Konkreet
Labs Performer
para Reaktor 5


Luminair DMX/ArtNet


Softwares Controladores - Android
TouchDAW


Softwares Controladores - Android
Control


Backup e recuperação
Principais razões para se fazer um backup:
● Obsolescência Programada (de software e
hardware)
● Roubo/Perda do dispositivo portátil
● Perda dos dados do computador de
sincronismo
● Prolongar a utilidade do dispositivo, como
hardware de uso musical ou controlador


Backup e recuperação - iOS
Backup dos arquivo .ipa dos aplicativos
● OS X: <PASTA DO USUARIO> / Music / iTunes /
Mobile Application
● Windows XP: Documents and Settings<nome do
usuário>Meus documentosMinhas
músicasiTunesiTunes MediaMobile Applications
● Windows Vista e 7: Usuários<nome do
usuário>MúsicasiTunesiTunes MediaMobile
Applications
Backup do instalador do iTunes e do arquivo do firmware,
nas ultimas versões utilizadas pelo dispositivos


Backup e recuperação - Android
● Backup dos arquivos .apk dos aplicativos
● Titanuim Backup
● Backup do arquivo da ROM atual e do
programa de atualização da ROM (depende de
cada fabricante)


Aplicações Musicais para Dispositivos Portáteis - iOS e Android

Recomendados

Recomendados

Mais conteúdo relacionado

Semelhante a Aplicações Musicais para Dispositivos Portáteis - iOS e Android

Semelhante a Aplicações Musicais para Dispositivos Portáteis - iOS e Android (20)

Aplicações Musicais para Dispositivos Portáteis - iOS e Android