Breve introduzione sulle reti neurali, e approfondimento su LSTM RNN. Successiva fare si Benchmark sui progetti attualmente in corso.

1. Relazione di Corinne Schillizzi
Università degli Studi di Milano Bicocca
Dipartimento di Informatica, Sistemistica e Comunicazione
Corso di laurea in Teoria e Tecnologia della Comunicazione
NEURAL NETWORK FORMUSIC COMPOSITION
Intelligenza Artificiale
2016-2017

2. PENSARE UMANAMENTE
Approcci all’IA
AGIRE UMANAMENTE
PENSARE RAZIONALMENTE
AGIRE RAZIONALMENTE
L’intelligenza creativa ricade nell’approccio dell’agire umanamente
“Lo studio di come far eseguire ai computer le attività in cui, al mo-
mento, le persone sono più brave”
(Rich e Knight, 1991)

3. La composizione algoritmica ha messo alla prova differenti tecniche di
Intelligenza artificiale:
rappresentazione grammaticale,
metodi probabilistici,
network neurali,
sistemi basati su regole ecc.
La tecnologia più utilizzata è quella delle
Neural Network

4. Un ANN consiste di semplici unità di elaborazione, i neuroni, e di con-
nessioni dirette ed aventi un peso (weight).
Il peso della connessione tra il neurone i ed il neurone j è definito come
wij

5. Σ
x1
x2
xn
y
w1
w2
wn
Rappresentazione neurone introdotta da
McCulloch e Pitts
f
θ

6. Funzioni:
funzione di propagazione
funzione di attivazione
aj(t) = fact(netj(t), aj(t − 1), θj)
funzione di output
fout(aj) = oj
netj= ∑ (oi . wij)
i ∈ I

7. Topologie
Feedforward Network
i livelli sono completamente separati, ogni neurone di questa topologia
di rete è collegato direttamente ai neuroni del livello successivo.
input layer
hidden layer
output layer

8. Topologie
Recurrent Network
Ancuni o tutti i neuroni hanno la capacità di influenzarsi
o di influenzare gli altri neuroni.

9. Paradigmi di apprendimento
Non Supervisionato : input
Per Rinforzo : input (e valutazione successiva dell’output)
Supervisionato : input, output desiderato, vettore d’errore
Nell’apprendimento supervisionato viene utilizzato il backpropagation
method, una procedura di apprendimento che utilizza la tecnica del
gradiente discendente, per determinare i cambiamenti dei pesi
necessari per la minimizzazione dell’errore.

10. Metodo del gradiente discendente
La funzione del gradiente discendente è il passaggio da un valore iniziale al valo-
re desiderato tramite step di dimensioni sempre più piccole.
gradiente è il vettore definito ad ogni punto della funzione rispetto all’obiettivo

11. Network per la composizione musicale
La topologia RNN è la più utilizzata per questo task
Problema del vanishing gradient
i livelli e gli step dei Neural Network sono legati
l’un l’altro tramite funzioni moltiplicative, l’errore
è suscettibile alla diminuzione o esplosione espo
nenziale.
Hochreiter & Schmidhuber nel 1997 introducono la rete
LSTM(Long Short Term Memory)

12. LSTM (LONG SHORT-TERM MEMORY)
La memoria a lungo termine è resa possibile da una struttura differente:
il CEC (Costant Error Carousel)
forget gate layer input gate layer output gate layer

13. LSTM
Lo stato della cella mantenuto dal “nastro trasportatore” lungo tutta
la catena del network, sul quale l’informazione può proseguire
invariata, o essere rimossa o aggiunta.
i gates bloccano o passano l’informazione
agendo su di essa tramite i propri set e pesi
Il metodo di apprendimento è realizzato tramite la
Truncated Backpropagation
che divide la sequenza al quale viene riportato il gradiente in più step.

14. ESEMPIO COMPOSIZIONE CON LSTM
Tra i primi esperimenti: A first look at Music Composition using
LSTM Recurrent Neural Network di Douglas e Schmidhuber (IDSIA)
input: 12 barre musica blues
network: suddivisione in celle per la struttura e celle per la
melodia
errore: note attivate rispetto alle attivabili
task raggiunto: composizione di una struttura di accordi e
melodie su tale struttura

15. PROGETTI IN CORSO
Avviato da Google Brain Team ed oggi Open Source.
Google Brain team that asks:
Can we use machine learning to create compelling art
and music?
Sviluppato sulla libreria per la computazione
numerica tramite grafo, TensorFlow,
open source dal 2016

16. PROGETTI IN CORSO
Tra gli esperimenti di MAGENTA:
il primo risultato è stato la composizione di 90 secondi di melodia
per piano
NSinth (Neural Synthetizer) -> sviluppa i suoni a partire dai dati
AI duet -> risponde alle melodie del musicista con altre melodie
Jam session-> ha richiesto l’uso di sei Neural network

17. PROGETTI IN CORSO
IBM WATSON BEAT
Applicazione cloud-based compone brani
a partire da 30 caratteristiche, apprende
live dagli utenti o dai brani forniti in input
Il maggiore risultato in collaborazione con il produtto-
re Alex da kid per la realizzazione del brano “not easy”, trami-
te l’uso di altre API Watson (Tone Analyzer e Alkemy Language)

18. PROGETTI IN CORSO
FlowComposer
Parte del progetto FlowMachine
(François Pachet), per
realizzare una macchina che
sappia creare uno stile a partire da
quelli dati in input.
Uso del modello di Markov, uno dei primi modelli utilizzati per la com-
posizione automatica, ma con dei vincoli.
Constrained Markov Model

19. PROGETTI IN CORSO
AIVA
Progetto della startup omonima,
le cui tracce di musica classica ven-
gono già utitilizzate per vari contenuti pubblicitari e cinematografici.
È stata riconosciuta come compositore ed ha registrato il suo primo
album Genoma.

20. PROGETTI IN CORSO
SHIMON
È un robot con 4 braccia e 8 baston
cini, realizzato nel laboratorio dell’
istituto di tecnologia in Georgia.
input di 5000 canzoni ed altre piccole tracce musicali, è in grado di
comporre generando la melodia e la struttura armonica autonomamen-
te.

21. CONCLUSIONI
La creatività è una capacità molto complessa
e continua, nonostante i risultati ottenuti, ad
essere una vera sfida.
L’uso combinato di tecnologie di apprendi-
mento automatico con tecnologie semanti-
che per la comprensione della struttura e si-
gnificato della composizione potrebbe essere
una soluzione.

22. GRAZIE PER L’ATTENZIONE