Présentation pour la 6ème édition des jourée NeuroSTIC, Brest, le 6 Octobre 2017

1. Cerveau naturel et intelligence
artificielle: un dialogue vertueux
entre neuroscience et informatique
6e édition des journées NeuroSTIC, Brest, 6 Octobre 2017
Guillaume Dumas, Laboratoire de Génétique Humaine & Fonctions Cognitives

2. Partie 1: Top-Down
2 • Guillaume Dumas • Cerveau naturel et intelligence artificielle: un dialogue vertueux entre neuroscience et informatique • 2017-10-06

3. 3 • Guillaume Dumas • Cerveau naturel et intelligence artificielle: un dialogue vertueux entre neuroscience et informatique • 2017-10-06
GoogLeNet, a 22 layers deep network

4. 4 • Guillaume Dumas • Cerveau naturel et intelligence artificielle: un dialogue vertueux entre neuroscience et informatique • 2017-10-06
"Ce n'est pas un mouvement humain.
Je n'ai jamais vu un homme jouer ce geste.
C’est tellement beau."
Fan Hui, Champion Européen de Go

5. 5 • Guillaume Dumas • Cerveau naturel et intelligence artificielle: un dialogue vertueux entre neuroscience et informatique • 2017-10-06
Ordinateur neuromorphique TrueNorth
Programme de la DARPA SyNAPSE

6. 6 • Guillaume Dumas • Cerveau naturel et intelligence artificielle: un dialogue vertueux entre neuroscience et informatique • 2017-10-06

7. 7 • Guillaume Dumas • Cerveau naturel et intelligence artificielle: un dialogue vertueux entre neuroscience et informatique • 2017-10-06
In-Datacenter Performance Analysis of a
Tensor Processing UnitTM (Jouppi et al. 2017)

8. 8 • Guillaume Dumas • Cerveau naturel et intelligence artificielle: un dialogue vertueux entre neuroscience et informatique • 2017-10-06
“ Une cellule nerveuse est plus qu'un
simple organe actif de base (...) Ainsi,
toutes les complexités mentionnées
ici peuvent ne pas être pertinentes,
mais elles peuvent aussi conférer au
système un caractère analogique ou
un caractère « mixte » ”
Von Neumann (1958)
The Computer & the Brain

9. 2 differences majeures:
Structure : redondance
Dynamique :
Evolution vs. Design
9 • Guillaume Dumas • Cerveau naturel et intelligence artificielle: un dialogue vertueux entre neuroscience et informatique • 2017-10-06

10. 10 • Guillaume Dumas • Cerveau naturel et intelligence artificielle: un dialogue vertueux entre neuroscience et informatique • 2017-10-06
Felleman & Van Essen (1991) asimovinstitute.org/neural-network-zoo/
. . .

11. Partie 2: Bottom-Up
11 • Guillaume Dumas • Cerveau naturel et intelligence artificielle: un dialogue vertueux entre neuroscience et informatique • 2017-10-06

12. Izhikevich & Edelman, PNAS 2008
12 • Guillaume Dumas • Cerveau naturel et intelligence artificielle: un dialogue vertueux entre neuroscience et informatique • 2017-10-06

13. 13 • Guillaume Dumas • Cerveau naturel et intelligence artificielle: un dialogue vertueux entre neuroscience et informatique • 2017-10-06

14. 14 • Guillaume Dumas • Cerveau naturel et intelligence artificielle: un dialogue vertueux entre neuroscience et informatique • 2017-10-06
“Il y a beaucoup d'avantages pour
chaque neuroscientifique parce que
nous avons maintenant un nouvel
atlas, nous pouvons utiliser des
supercalculateurs, nous pouvons
prouver nos modèles, une plate-forme
Neurorobotics, de nouveaux outils de
simulation et ainsi de suite.”
Katrin Amunts, HBP Board Member

15. 15 • Guillaume Dumas • Cerveau naturel et intelligence artificielle: un dialogue vertueux entre neuroscience et informatique • 2017-10-06

16. 16 • Guillaume Dumas • Cerveau naturel et intelligence artificielle: un dialogue vertueux entre neuroscience et informatique • 2017-10-06
“Le vilain secret est que nous ne comprenons
même pas le nématode C. Elegans, qui a
seulement 302 neurones”
Christof Koch, Allen Brain Institute Chief Scientific Officer
“Il y a beaucoup d'avantages pour
chaque neuroscientifique parce que
nous avons maintenant un nouvel
atlas, nous pouvons utiliser des
supercalculateurs, nous pouvons
prouver nos modèles, une plate-forme
Neurorobotics, de nouveaux outils de
simulation et ainsi de suite.”
Katrin Amunts, HBP Board Member

17. Credit: Liang Gao, 2017

18. ” la prochaine fois que vous
verrez une jolie image 3D de
nombreux neurones simulés,
pensez "cerveau culte du cargo".
Cette simulation ne va pas penser
plus que les avions du culte du
cargo vont voler. ”
18 • Guillaume Dumas • Cerveau naturel et intelligence artificielle: un dialogue vertueux entre neuroscience et informatique • 2017-10-06
Credit: The OpenWorm Project
Image generated by neuroConstruct)

19. 19 • Guillaume Dumas • Cerveau naturel et intelligence artificielle: un dialogue vertueux entre neuroscience et informatique • 2017-10-06
Neuroscience-Inspired Artificial Intelligence (Hassabis et al. Neuron 2017)
A Intuition des lois physiques (Battaglia et al., 2016)
B compréhension de scène par modèles génératifs (Eslami et
al., 2016)
C Apprentissage non-supervisé des propriétés intrinsèques
d’objets (Higgins et al., 2016) par factorisation par modèle
génératifs profonds (Variational Auto-Encoder [VAE])

20. 20 • Guillaume Dumas • Cerveau naturel et intelligence artificielle: un dialogue vertueux entre neuroscience et informatique • 2017-10-06
”As one would expect from a journal
called Neuron, the article was pretty
positive about the use of neurons!
[…] All of these examples seem
primarily motivated by the underlying
psychology, not the biological
implementation. Which is fine! But
does that mean that the biology has
nothing to teach us?”
Adam J Calhoun (@Neuroecology) .

21. Plasticité - Au-delà de la rétropropagation
Connectivité - du partage du poids aux réseaux récurrents
Astrocytes - integration de plusieurs échelles de temps
Corps - pour obtenir tout seul son ensemble d’apprentissage
Oscillations - Temps, attention et calcul sub-liminaire
…
21 • Guillaume Dumas • Cerveau naturel et intelligence artificielle: un dialogue vertueux entre neuroscience et informatique • 2017-10-06

22. 22 • Guillaume Dumas • Cerveau naturel et intelligence artificielle: un dialogue vertueux entre neuroscience et informatique • 2017-10-06
"My view is throw it all away
and start again " "I suspect
that means getting rid of
back-propagation.”
"I don't think it's how the
brain works""We clearly don't
need all the labeled data."
Geoffrey Hinton, 2017

23. 23 • Guillaume Dumas • Cerveau naturel et intelligence artificielle: un dialogue vertueux entre neuroscience et informatique • 2017-10-06
Unsupervised Learning of Visual Features through Spike Timing
Dependent Plasticity. Masquelier & Thorpe, PLoS Comp Biol 2007

24. Partie 3:
24 • Guillaume Dumas • Cerveau naturel et intelligence artificielle: un dialogue vertueux entre neuroscience et informatique • 2017-10-06

25. 25 • Guillaume Dumas • Cerveau naturel et intelligence artificielle: un dialogue vertueux entre neuroscience et informatique • 2017-10-06
Top-Down
(SemioticalView)
Bottom-Up
(InformationalView)
Source: lkm.fri.uni-lj.si
Neurobiology

26. 26 • Guillaume Dumas • Cerveau naturel et intelligence artificielle: un dialogue vertueux entre neuroscience et informatique • 2017-10-06

27. 27 • Guillaume Dumas • Cerveau naturel et intelligence artificielle: un dialogue vertueux entre neuroscience et informatique • 2017-10-06
Dumas et al., PLoS ONE 2010

28. Dumas et al., PLoS ONE 2012
28 • Guillaume Dumas • Cerveau naturel et intelligence artificielle: un dialogue vertueux entre neuroscience et informatique • 2017-10-06
+ x 2 =
Large-scale, anatomically detailed models
of the brain allow to perform experiments
that are impossible (physically or ethically)

29. 29 • Guillaume Dumas • Cerveau naturel et intelligence artificielle: un dialogue vertueux entre neuroscience et informatique • 2017-10-06
Dumas et al., PLoS ONE 2012
Normal Shuffle

30. 30 • Guillaume Dumas • Cerveau naturel et intelligence artificielle: un dialogue vertueux entre neuroscience et informatique • 2017-10-06
Dumas et al., PLoS ONE 2012
FFTBrainAreaSignals
Cortical Level Scalp Level
Cintra
CintraFFTEEGSignals

31. 31 • Guillaume Dumas • Cerveau naturel et intelligence artificielle: un dialogue vertueux entre neuroscience et informatique • 2017-10-06
Dumas et al., PLoS ONE 2012
Real connectivity facilitate inter-brain synchronization
Residual synchronization
Information exchanged between the two virtual brains
Inter-brainsynchronization

32. 32 • Guillaume Dumas • Cerveau naturel et intelligence artificielle: un dialogue vertueux entre neuroscience et informatique • 2017-10-06
Kelso, Dumas, & Tognoli, Neural Networks 2013
ExperimentalComputational

33. 33 • Guillaume Dumas • Cerveau naturel et intelligence artificielle: un dialogue vertueux entre neuroscience et informatique • 2017-10-06

34. 34 • Guillaume Dumas • Cerveau naturel et intelligence artificielle: un dialogue vertueux entre neuroscience et informatique • 2017-10-06
Dumas et al. « The Human Dynamic Clamp » PNAS 2014

35. 35 • Guillaume Dumas • Cerveau naturel et intelligence artificielle: un dialogue vertueux entre neuroscience et informatique • 2017-10-06
Dumas et al. « The Human Dynamic Clamp » PNAS 2014
”The Turing test implies only that judges are unable to tell if
an agent is a human or a machine, and as such says nothing
about the genuineness of the path toward that decision.
Here, the Human Dynamic Clamp is a tool to test
hypotheses and gain understanding about how humans
interact with each other as well as with machines. In the
HDC paradigm, exploration of the machine’s behavior may be
viewed as an exploration of us as well.”

36. 36 • Guillaume Dumas • Cerveau naturel et intelligence artificielle: un dialogue vertueux entre neuroscience et informatique • 2017-10-06
Theorie
Methodes
Models

37. 37 • Guillaume Dumas • Cerveau naturel et intelligence artificielle: un dialogue vertueux entre neuroscience et informatique • 2017-10-06
Cliques of Neurons Bound into Cavities
Provide a Missing Link between Structure
and Function (Reimann et al. 2017)
Predictability of human EEG: a
dynamical approach (Gallez & Babloyantz,
Biol. Cybernetics 1991)
”It has been shown previously (Babloyantz et al.
1985, Babloyantz and Destexhe 1986) that the
correlation dimension has a saturation region in
function of the embedding dimension”

38. 38 • Guillaume Dumas • Cerveau naturel et intelligence artificielle: un dialogue vertueux entre neuroscience et informatique • 2017-10-06
«À moins que nos
méthodes ne puissent
traiter le cas d’un
simple processeur,
comment pouvons-nous
nous espérer que cela
fonctionne sur notre
propre cerveau?
Jonas & Kording 2016
Méthode lésionelle Enregistrement de potentiels d’action
Enregistrement du champ électrique

39. 39 • Guillaume Dumas • Cerveau naturel et intelligence artificielle: un dialogue vertueux entre neuroscience et informatique • 2017-10-06
Hofree et al. Nat. Meth. 2013; Kim, Poline & Dumas BiorXiv 2017
Large Cohort
Highly Heterogeneous
Genetic Profiles
Individuals Clusters
Homogeneous
Genetic Profiles

40. 40 • Guillaume Dumas • Cerveau naturel et intelligence artificielle: un dialogue vertueux entre neuroscience et informatique • 2017-10-06
Rolland et al. Cell 2014
Biais social de la
matrice d’adjacence
Biais biologique du nombre de mutations
Systématique
Litterature

41. 41 • Guillaume Dumas • Cerveau naturel et intelligence artificielle: un dialogue vertueux entre neuroscience et informatique • 2017-10-06
Theorie
Methodes
Models

42. 42 • Guillaume Dumas • Cerveau naturel et intelligence artificielle: un dialogue vertueux entre neuroscience et informatique • 2017-10-06
Dark Control: A Unified Account of Default Mode Function by Markov Decision
Processes (Elvis Dohmatob, Guillaume Dumas, & Danilo Bzdok, BioRxiv 2017)

43. 43 • Guillaume Dumas • Cerveau naturel et intelligence artificielle: un dialogue vertueux entre neuroscience et informatique • 2017-10-06
Dark Control: A Unified Account of Default Mode Function by Markov Decision
Processes (Elvis Dohmatob, Guillaume Dumas, & Danilo Bzdok, BioRxiv 2017)

44. Conclusion
44 • Guillaume Dumas • Cerveau naturel et intelligence artificielle: un dialogue vertueux entre neuroscience et informatique • 2017-10-06

45. 45 • Guillaume Dumas • Cerveau naturel et intelligence artificielle: un dialogue vertueux entre neuroscience et informatique • 2017-10-06
Top-Down
(SemioticalView)
Bottom-Up
(InformationalView)
Source: lkm.fri.uni-lj.si
Neurobiology

46. 46 • Guillaume Dumas • Cerveau naturel et intelligence artificielle: un dialogue vertueux entre neuroscience et informatique • 2017-10-06
Top-Down
(SemioticalView)
Theory
Hypothesis
Experiment
Data
Pattern
Model
Bottom-Up
(InformationalView)
Méthodologies pour
l’analyses de données
Heuristiques pour
Architectures Cognitives
& Algorithmes AI
Interactions Humain-
Humain & Humain-
Machine

47. 47 • Guillaume Dumas • Cerveau naturel et intelligence artificielle: un dialogue vertueux entre neuroscience et informatique • 2017-10-06

48. Ph.D @ ICM
Jacqueline Nadel
Jacques Martinerie
Robert Soussignan
Mario Chavez
Postdoc @ CCSBS
Institut Pasteur
Collaborators
Leonhard Schilbach
Benno Schwikowski
Danilo Bzdok
Elvis Dohmatob
Denis Engemann
Eva Loth
Jumana Ahmad
Thomas Bourgeron
Jean-Pierre Changeux
Thomas Rolland
Freddy Cliquet
Alexandre Mathieu
Yang-Min Kim
Roberto Toro
Hany Goubran-Botros
Richard Delorme
Aline Lefebvre
Anita Beggiato
Anna Maruani
J.A. Scott Kelso
Emmanuelle Tognoli
Gonzalo DeGuzman
Armin Fuchs
Mengsen Zhang
48 • Guillaume Dumas • The Challenge of Interacting with Others • 29/09/2016 — Aarhus University — Interacting Minds in Collaboration
Viviane Kostrubiec
Alexandre Lehmann
Asaf Bachrach
Julien Laroche
Erik Maronde
Merle Fairhurst
Benoît Theuil
Hôpital Robert Debré

49. Merci de votre attention
gdumas@pasteur.fr – Extrospection.eu – @introspection