Présentation de support pour la soutenance d'ingénieur CNAM de Gaël Duperrey, du 10 juin 2015. Sujet du mémoire : "Brain Computer Interaction (BCI) étude des dispositifs, choix, installation et mise en œuvre d’un ensemble de cas d’étude et leur évaluation"

1. CONSERVATOIRE NATIONAL DES ARTS ET METIERS
CENTRE REGIONAL DE RHONE-ALPES
---
Mémoire présenté par
Gaël DUPERREY
---
Brain Computer Interaction (BCI)
étude des dispositifs, choix, installation et mise en
œuvre d’un ensemble de cas d’étude et leur
évaluation
Soutenu le 10 juin 2015
---
JURY
PRESIDENT M Christophe PICOULEAU Professeur des Universités CNAM Paris
MEMBRES M Bertrand DAVID Professeur des Universités EC Lyon
M René CHALON Maître de conférences EC Lyon
M Claude GENIER Enseignant CNAM Lyon
M Franck TARPIN-BERNARD Professeur des Universités Grenoble

2. Plan
• Contexte
• Hypothèses
• Choix d’un matériel
• Expérimentations
• Usages
• Conclusion
2 / 31
Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages

3. 3 / 31
Contexte
• LIRIS (Laboratoire d’InfoRmatique en Image et Systèmes d’information)
• SICAL (Situated Interaction, Collaboration, Adaptation and Learning)
• Trois thématiques de recherche :
• EAIH (Environnements Informatiques pour l’Apprentissage Humain)
• IHM (Interfaces Homme-Machine)
• Systèmes interactifs adaptatifs
• Volonté explorer / évaluer nouvelle interaction
Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages

4. 4 / 31
Principe de fonctionnement
Source : brainpainting.net
Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages

5. 5 / 31
Cartes cognitives
Source : Impact Epilepsy
Source : pinterest.com
Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages

6. 6 / 31
Histoire
• 1875 : Richard Caton 1er enregistrement
cortex à nu
• 1929 : Hans Berger 1er enregistrement sur
cuir chevelu
• 1969 : Fetz, Schmidt & Baker : singes
peuvent apprendre à contrôler
entraînement par punition / récompenses
• 1980 : Apostolos Gorgopoulos
• loi mathématique traduisant direction
déplacement du bras en fonction de l’activité
cérébrale
• Mouvement commandé par plusieurs zones du
cerveau
• 1990 : Phillip Kennedy : 1ère ICO
intracorticale sur un singe
• 1999 : décodage activité cérébrale des
chats (Berkeley) : reproduire images vues
Richard Caton
Source : svs.kz
Hans Berger
Source : archee.qc.ca
Source : Wikipedia
Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages

7. 7 / 31
Histoire
• 2000 : William H Dobelle : IND semi-
invasive couplée caméra / ordinateur
rend la vu à la un aveugle
• 2005 : Matt Nagle : tétraplégique.
Commander main artificielle
• 2007/2008 : Kyoto : reconstruire
images captées dans le cerveau
• 2014 premier message télépathique
entre deux humains
Jens Naumann
Source : Wikipedia
Matt Nagle
Source : quotesays.com
Source : nouvelobs.com
Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages

8. 8 / 31
Objectifs / Hypothèses
• Universalité
• La BCI fonctionne t-elle avec tout le monde ?
• Activons-nous les mêmes zones cérébrales pour les mêmes
activités ?
• Pouvons-nous identifier les zones cognitives ?
• Utilisabilité
• Reproductibilité
• Peut-on reproduire le fonctionnement dans le temps ?
Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages

9. 9 / 31
Types d’Interfaces
Neuronales Directes
• Invasives
• Semi-invasives
• Non-invasives
Source : Graimann et al - 2011
Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages

10. 10 / 31
Choix du matériel
• Investissement initial peu élevé
• Contraintes
• Le moins contraignant possible (simple d’utilisation)
• Rapidement disponible
• Compatible OpenVibe
• Solutions
• OpenVibe propose 16 constructeurs
• Choix
• Solution sans gel
• Amplificateur intégré
• Grand public : Neurosky / Emotiv
Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages

11. 11 / 31
Emotiv EPOC
• EPOC / EPOC + / Insight
• Choix : EPOC
• 14 électrodes
• Solution saline
• WIFI
• 2 semaines
• 700 $
• Applications
• Panneau de contrôle
• Kit de développement
• Ludiques
Source : Emotiv
Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages

12. 12 / 31
Expérimentations
• Contraintes
• Début rapide
• Projet d’Etude 50 (PE50)
• Découverte de la technologie
• Ne pas abuser du temps des testeurs
• Choix
• Utilisation applications d’Emotiv
• Panneau de contrôle
• Démonstration (Montagne aux esprits)
• OpenVibe : Visualisation topographique
Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages

13. 13 / 31
Protocole expérimental : 1
• Première session
• Premier contact (suite expressive)
• Mouvements du cube (suite cognitive)
• Choix des mouvements
• Entraînement par paliers
• Démonstration (montagne aux esprits)
• Suite cognitive
• Questionnaires
• Deuxième session
• Reproduire mouvements du cube
• Re-entraînement / Re-initialisation
• Démonstration
• Suite Cognitive
• Questionnaires
Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages

14. 14/ 31
Extrait d’une
expérimentation
Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages
Vidéo sur Youtube : https://youtu.be/LJ6iCIroE2c

15. Panel utilisateur
• 17 personnes
• 14 hommes / 3 femmes
• Membres du PE50
• Membres du laboratoire
• Des volontaires (Ecole Centrale, EM)
• Origines diverses (France, Chine, Togo)
• Classes d’âges variées de 18 à plus de 50 ans)
15 / 31
Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages

16. SUS
(System Usability Scale)
• Système normalisé
• Comparer des systèmes/interfaces
• Evaluation quantitative
• 10 questions issues de 50
• Echelle de Likert (5 points)
• « pas du tout d’accord (1) » à « Tout à fait d’accord (5) »
• Si on ne sait pas, on répond « 3 »
• Méthode de calcul définie
• Score sur 100
16 / 31
Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages

17. SUS : Résultats
• Score : 62,35
• Minima 35
• Maxima 80
• Moyenne générale : 68
• Equivalent à un D : ok ou bien
• Echantillon succinct
• Plus adapter pour comparer
• Interfaces entres elles
• IHM
• Pas pour évaluer une technologie seule
17 / 31
Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages

18. Résultats Impressions
• Casque peu confortable
• Demande beaucoup de concentration
• Frustration facile
• Technologie « amusante »
• Difficile à appréhender initialement
• Applications ludiques plus simples, plus
appréciées
• Perspectives :
• Aide au handicap
• Jeux vidéo
• Contrôle d’appareils
• Remarque : questionnaire trop immature
18 / 31
Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages

19. Résultats
données brutes SUS
• Le score SUS n’étant pas
probant, analyse des données
brutes
• Répartition des notes
• Problème pour la note 3 suite
instructions SUS
• Un autre questionnaire plus
adapté serait plus pertinent
19 / 31
• Q2 : Je trouve ce système inutilement complexe.
• Q3 : Je pense que ce système est facile d’utilisation.
• Q4 : Je pense que j’aurais besoin d’une assistance
technique pour utiliser ce système.
Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages

20. 20 / 31
Protocole expérimental : 2
• Suite cognitive
• Pousser / gauche
• Visualisation d’images (16)
• Imagination / Visualisation
• Images
• Serrer la mâchoire
• Mouvements du cube (pousser/gauche)
• Yeux ouverts/fermés
• Panel réduit : 5 personnes
• 2 séances : comparaison
des observations
Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages

21. Résultats
Nombre d’action / utilisateur
• Maximum de 2 à 4
• 4 : association d’expressions faciales
• Optimal de 2
• 2/3 des testeurs ont du ré-entrainer
• 1/3 a du réinitialiser et entrainer
• Problème sans stimulus
• Très peu de réussite dans l’application « Suite
cognitive » d’affichée.
21 / 31
Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages

22. Usages actuels et à venir
• Médicaux
• Sondages / marketing
• Récréatifs
• Artistiques
• Autres
22 / 31
Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages

23. Médicaux
• Imagerie cérébrale
• EEG peut réaliser un
premier diagnostic
(Brainscope)
• Aide au handicap
• Accompagnement santé
• Gestion du stress par
détection et diffusion de
musique. Neuroplasticité.
(myBrain)
23 / 31
Source : BrainScope
Source : myBrain
Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages

24. Récréatif / Artistiques
• Mindflex (Mattel)
• Stillalive : Son of Nor
• Supplément d’âme
24 / 31
Source : Mattel
Source : Studio Stillalive
Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages

25. Récréatif / Artistiques
• Humain augmenté
• Necomimi
• Shippo
• Lisa Park « Eunoia »
25 / 31
Source : Lisa Park
Source : braincorner.com.tw
Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages

26. Evolutions
• Domotique
• Commander des appareils
• Allumer/Eteindre une machine,
• Programmer des cycles…
• Big Data
• Stocker profils
• Usage médical
• Sondages / Marketing
• Smartcities
• Adapter la ville en fonction
des ressentis usagers
• Complément d’interaction
avec des mobiliers urbains
(Abribus interactif…)
26 / 31
Abribus Interactif de la ville de Paris
Source : cio-online.com
Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages

27. Exemple d’application lampe
• Actions
• Pousser
• Gauche
• Serrer la mâchoire
• Limiter à une lampe
• Pour plus, penser menus
déroulants offrant des choix
• Validation suivant un délai
27 / 31
Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages

28. Limitations de notre
projection
• On se limite et on conçoit l’interface en
fonction des possibilités
• Menus déroulants avec validation de choix
• Multimodalité
• Géolocalisation
• Adaptation de notre besoin à la technologie et
non l’inverse
28 / 31
Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages

29. Conclusion
• Universalité
• Oui, mais…
• Degrés de réussite très variés
• Utilisabilité
• Oui, mais…
• Pas assez d’actions (vocabulaire)
• Latence
• faux positifs
• Reproductibilité
• Oui, mais…
• Aléatoire suivant publics
• Beaucoup d’entrainements nécessaires (manque de naturalité)
19 / 31
Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages

30. Conclusion
• Hors handicap, technologie trop immature
• Côté ludique plait, mais encore beaucoup de travail
• Approches :
• multimodale
• Supplément d’âme
• Fonctions cognitives : résolution trop faible (appareil et EEG)
• Guide apprentissage / Méthodologie utilisation
• OpenEEG / OpenBCI
• Electrodes manquantes pour utiliser plus pleinement OpenVibe et ses démo
• Cibler fonction cognitive pour limiter usage à quelques électrodes, à un
signal précis
• On perçoit les utilités, possibilités.
30 / 31
Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages

31. Merci de votre attention.
31 / 31

33. Annexes

34. Neurosky
Source : Neurosky

35. Emotiv Insight
Source : Emotiv

36. ECoG
électrocorticographie
• Électrodes entre la dure-mère et le cortex
Sources : Wikimedia - Wikipedia

37. Système 10/20

38. Electrodes Emotiv EPOC

39. SUS : 10 questions
• Q1 : Je pense que je vais utiliser ce système fréquemment
• Q2 : Je trouve ce système inutilement complexe
• Q3 : Je pense que ce système est facile d’utilisation
• Q4 : Je pense que j’aurais besoin d’une assistance technique pour utiliser ce système.
• Q5 : Je trouve que les nombreuses fonctions de ce système ont été bien intégrées
• Q6 : Je trouve qu’il y a trop d’incohérences dans ce système
• Q7 : J’imagine que la plupart des personnes pourrait apprendre à utiliser ce système rapidement
• Q8 : J’ai trouvé ce système très lourd à utiliser
• Q9 : Je suis très confiant(e) dans l’utilisation de ce système
• Q10 : J’ai dû apprendre beaucoup de choses avant de pouvoir faire fonctionner ce système.

40. SUS : Méthode de calcul
• Pour les questions 1, 3, 5, 7 et 9, le score est la
valeur moins 1
• Pour les items 2, 4, 6, 8 et 10, le score est 5
moins la valeur
• Faire ensuite le total des scores et multiplier
par 2,5 pour obtenir le score SUS qui varie de
0 à 100

41. SUS : Résultats

42. SUS : Score / Mercantile / Adjective
Source : uxpajournal.org

43. Scénario OpenVibe
• Temporal filter : 12 Hz à 24 Hz (Bêta)
• Simple DSP : x²

44. Application Puzzle