2. Motivations du projet MDMA
Fabriquer un nouveau type de contrôleur MIDI,
sans matériel supplémentaire
Créer un programme compatible avec les logiciels
musicaux
Être capable de reconnaître des mouvements des
mains, de les relier à des événements précis
Fournir une interface configurable et ergonomique
2/12 – graal.ens-lyon.fr/mdma
3. Architecture & spécifications
Mouvements de l'utilisateur décodés par la
webcam
Zones virtuelles configurables avec lesquelles
l'utilisateur interagit
Déclenchement d'événements particuliers selon
les mouvements
Communication avec les autres logiciels sous
forme de signaux MIDI configurables
3/12 – graal.ens-lyon.fr/mdma
4. Reconnaissance visuelle
Calibration visuelle
• Configuration du masque
• Images avec les mains ouvertes/fermées
Étapes de calibration
• Masquage des zones
• Détection du point le plus sombre de l’image. Seuil de luminosité.
• Calculs de la surface des mains (dans la position ouverte/fermée)
• Seuil de la surface de la main ouverte
4/12 – graal.ens-lyon.fr/mdma
5. Reconnaissance visuelle
Détection des mains
• Binarisation de l'image
• Masquage de l'image
• Érosion de l'image (filtrage du bruit)
• Division de l'image en deux
• Détection des contours
• Construction d'une enveloppe convexe
• Calcul de la surface limitée par l'enveloppe et du barycentre
5/12 – graal.ens-lyon.fr/mdma
6. Musique & signaux MIDI
Message de type NOTE ON
Un ou deux octets de données.
6/12 – graal.ens-lyon.fr/mdma
7. Musique & signaux MIDI
MDMA avec création de port MIDI
MDMA avec utilisation de ports MIDI autonomes
Ensuite, gestion des signaux grâce à la bibliothèque RtMidi.
7/12 – graal.ens-lyon.fr/mdma
8. Gestion des événements
Pad
Entrée / Sortie / Ouverture / Fermeture
Fader
Changement de valeur sur les axes X/Y
Segment
Entrée/Sortie
8/12 – graal.ens-lyon.fr/mdma
9. Communication
Mise en place d’une charte graphique
Choix des couleurs & du logo. Mise en place du site.
Interne
Discussions dans l’équipe & avec les responsables
Externe
• Diffusion numérique
• Site web trilingue (23 pages) : suivi des avancées du projet
• affiche et diffusion dans l’École (media étudiants)
9/12 – graal.ens-lyon.fr/mdma
10. Intégration du logiciel
Compatible avec Linux, Mac OS & Windows.
Testé à de multiples reprises.
Disponible sous licence libre CeCILL-B
10/12 – graal.ens-lyon.fr/mdma
11. Et ensuite ?
Utilisation musicale en pratique
Utilisation de la Kinect
11/12 – graal.ens-lyon.fr/mdma
