Kernel methods and variable selection for exploratory analysis and multi-omic...
Graphes, noyaux et cartes de Kohonen
1. Les graphes
Classification de sommets, noyau et cartes de Kohonen
Perspectives
References
Journée FREMIT
Nathalie Villa-Vialaneix
Projet I(M+RI)T en collaboration avec T. Dkaki, J.M. Inglebert &
S. Gadat
Institut de Mathématiques de Toulouse, France -
nathalie.villa@math.univ-toulouse.fr
16 octobre 2007
Nathalie Villa FREMIT - 16 oct 07
2. Les graphes
Classification de sommets, noyau et cartes de Kohonen
Perspectives
References
Sommaire
1 Les graphes
2 Classification de sommets, noyau et cartes de Kohonen
Laplacien
Noyau de la chaleur
Kernel SOM
3 Perspectives
Nathalie Villa FREMIT - 16 oct 07
3. Les graphes
Classification de sommets, noyau et cartes de Kohonen
Perspectives
References
Sommaire
1 Les graphes
2 Classification de sommets, noyau et cartes de Kohonen
Laplacien
Noyau de la chaleur
Kernel SOM
3 Perspectives
Nathalie Villa FREMIT - 16 oct 07
4. Les graphes
Classification de sommets, noyau et cartes de Kohonen
Perspectives
References
Graphes et réseaux sociaux (ANRT Graphes-Comp)
Graphe construit à partir d’un corpus d’archives médiévales
À partir de 1000 contrats agraires
(1250-1350), on construit un graphe pondéré :
sommets : les paysans trouvés dans les contrats ;
poids : nombre de contrats où deux paysans sont cités
simultanément.
Nathalie Villa FREMIT - 16 oct 07
5. Les graphes
Classification de sommets, noyau et cartes de Kohonen
Perspectives
References
Graphes et réseaux sociaux (ANRT Graphes-Comp)
Graphe construit à partir d’un corpus d’archives médiévales
À partir de 1000 contrats agraires
(1250-1350), on construit un graphe pondéré :
sommets : les paysans trouvés dans les contrats ;
poids : nombre de contrats où deux paysans sont cités
simultanément.
Grand graphe :
Nombre de sommets : 615
Nombre d’arêtes : 4193
Somme des poids : 40 329
Diamètre : 10
Densité : 2,2%
Nathalie Villa FREMIT - 16 oct 07
6. Les graphes
Classification de sommets, noyau et cartes de Kohonen
Perspectives
References
Autres domaines d’application
Web :
Nathalie Villa FREMIT - 16 oct 07
7. Les graphes
Classification de sommets, noyau et cartes de Kohonen
Perspectives
References
Autres domaines d’application
Graphes de protéines :
Nathalie Villa FREMIT - 16 oct 07
8. Les graphes
Classification de sommets, noyau et cartes de Kohonen
Perspectives
References
Problématique
Deux objectifs :
1 Trouver des sous-groupes homogènes (classification) ;
2 Représenter le graphe dans sa globalité, de manière lisible
(visualisation).
Nathalie Villa FREMIT - 16 oct 07
9. Les graphes
Classification de sommets, noyau et cartes de Kohonen
Perspectives
References
Laplacien
Noyau de la chaleur
Kernel SOM
Sommaire
1 Les graphes
2 Classification de sommets, noyau et cartes de Kohonen
Laplacien
Noyau de la chaleur
Kernel SOM
3 Perspectives
Nathalie Villa FREMIT - 16 oct 07
10. Les graphes
Classification de sommets, noyau et cartes de Kohonen
Perspectives
References
Laplacien
Noyau de la chaleur
Kernel SOM
Laplacien d’un graphe
Pour un graphe
de sommets V = {x1, . . . , xn}
pondérés par (wi,j)i,j=1,...,n (positifs) tels que, pour tout
i, j = 1, . . . , n, wi,j = wj,i et di = n
j=1 wi,j
on résume le graphe par son Laplacian, L = (Li,j)i,j=1,...,n :
Li,j =
−wi,j if i j
di if i = j
;
Nathalie Villa FREMIT - 16 oct 07
11. Les graphes
Classification de sommets, noyau et cartes de Kohonen
Perspectives
References
Laplacien
Noyau de la chaleur
Kernel SOM
Propriétés du Laplacien I [von Luxburg, 2007]
Composantes connexes
Le noyau de la matrice L est engendré par les indicatrices
IA1
, . . . , IAk
des sommets des k composantes connexes du graphe.
Nathalie Villa FREMIT - 16 oct 07
12. Les graphes
Classification de sommets, noyau et cartes de Kohonen
Perspectives
References
Laplacien
Noyau de la chaleur
Kernel SOM
Propriétés du Laplacien II [Villa et al., 2007]
Communauté parfaite : Sous-graphe complet (clique) dont tous
les sommets ont les mêmes voisins à l’extérieur de la clique.
Détermination de communautés parfaites
Les communautés parfaites d’un graphe non pondéré
correspondent à des groupes de m sommets pour lesquels il
existe m vecteurs propres ayant les mêmes coordonnées
nulles.
Nathalie Villa FREMIT - 16 oct 07
13. Les graphes
Classification de sommets, noyau et cartes de Kohonen
Perspectives
References
Laplacien
Noyau de la chaleur
Kernel SOM
Propriétés du Laplacien III [von Luxburg, 2007]
Problème de la coupe optimale
Supposons maintenant que notre graphe soit connexe.
Le problème (optimisation discrète) de trouver une partition du
graphe en k groupes de sommets, A1, . . . , Ak qui minimise
1
2
k
i=1 j∈Ai,j Ai
wj,j
est approché par le problème d’optimisation continue suivant
min
H∈Rn×k
Tr HT
LH subject to HT
H = I
Nathalie Villa FREMIT - 16 oct 07
14. Les graphes
Classification de sommets, noyau et cartes de Kohonen
Perspectives
References
Laplacien
Noyau de la chaleur
Kernel SOM
Spectral clustering
Méthode
1 Déterminer les k derniers vecteurs propres,
u1, . . . , uk de L et poser U = [u1, . . . , uk ] ;
2 Utiliser un algorithme de classification
(typiquement k-means) pour classer les lignes
de U en k groupes.
Nathalie Villa FREMIT - 16 oct 07
15. Les graphes
Classification de sommets, noyau et cartes de Kohonen
Perspectives
References
Laplacien
Noyau de la chaleur
Kernel SOM
Spectral clustering
Méthode
1 Déterminer les k derniers vecteurs propres,
u1, . . . , uk de L et poser U = [u1, . . . , uk ] ;
2 Utiliser un algorithme de classification
(typiquement k-means) pour classer les lignes
de U en k groupes.
Limites du spectral clustering
N’utilise pas la totalité du spectre de L
Ne tient pas compte du poids des vecteurs propres.
Nathalie Villa FREMIT - 16 oct 07
16. Les graphes
Classification de sommets, noyau et cartes de Kohonen
Perspectives
References
Laplacien
Noyau de la chaleur
Kernel SOM
Une version régularisée de L
Régularisation : la matrice de diffusion : pour β > 0,
Kβ = e−βL
= +∞
k=1
(−βL)k
k! .
⇒
kβ
: V × V → R
(xi, xj) → K
β
i,j
noyau de diffusion (ou noyau de la chaleur).
Nathalie Villa FREMIT - 16 oct 07
17. Les graphes
Classification de sommets, noyau et cartes de Kohonen
Perspectives
References
Laplacien
Noyau de la chaleur
Kernel SOM
Interprétation intuitive
kβ(i, j) peut être interprétée comme l’énergie accumulée en i
lorsque l’énergie a été injectée en j au temps 0 et que l’énergie
circule de manière continue dans les arêtes du graphe selon une
fraction qui dépend de β.
Nathalie Villa FREMIT - 16 oct 07
18. Les graphes
Classification de sommets, noyau et cartes de Kohonen
Perspectives
References
Laplacien
Noyau de la chaleur
Kernel SOM
Noyau de la chaleur et RKHS
Principe
Graphe → Espace de Hilbert de grande dimension
(H, ., . )
Dans (H, ., . ), pratiquer un algorithme de classification ou carte
de Kohonen (SOM).
Nathalie Villa FREMIT - 16 oct 07
19. Les graphes
Classification de sommets, noyau et cartes de Kohonen
Perspectives
References
Laplacien
Noyau de la chaleur
Kernel SOM
Resultats pour une grille 7 × 7
Nathalie Villa FREMIT - 16 oct 07
20. Les graphes
Classification de sommets, noyau et cartes de Kohonen
Perspectives
References
Laplacien
Noyau de la chaleur
Kernel SOM
Resultats pour une grille 7 × 7
Nathalie Villa FREMIT - 16 oct 07
21. Les graphes
Classification de sommets, noyau et cartes de Kohonen
Perspectives
References
Laplacien
Noyau de la chaleur
Kernel SOM
Comparaison avec le « Spectral Clustering »
Nathalie Villa FREMIT - 16 oct 07
22. Les graphes
Classification de sommets, noyau et cartes de Kohonen
Perspectives
References
Sommaire
1 Les graphes
2 Classification de sommets, noyau et cartes de Kohonen
Laplacien
Noyau de la chaleur
Kernel SOM
3 Perspectives
Nathalie Villa FREMIT - 16 oct 07
23. Les graphes
Classification de sommets, noyau et cartes de Kohonen
Perspectives
References
Quelques pistes
1 Visualisation globale du graphe sur la carte
Nathalie Villa FREMIT - 16 oct 07
24. Les graphes
Classification de sommets, noyau et cartes de Kohonen
Perspectives
References
Quelques pistes
1 Visualisation globale du graphe sur la carte
Nathalie Villa FREMIT - 16 oct 07
25. Les graphes
Classification de sommets, noyau et cartes de Kohonen
Perspectives
References
Quelques pistes
1 Visualisation globale du graphe sur la carte
2 Généralisation de la méthode pour les graphes orientés, la
comparaison de graphes.
Nathalie Villa FREMIT - 16 oct 07
26. Les graphes
Classification de sommets, noyau et cartes de Kohonen
Perspectives
References
Quelques pistes
1 Visualisation globale du graphe sur la carte
2 Généralisation de la méthode pour les graphes orientés, la
comparaison de graphes.
3 Travail sur les très grands graphes.
Nathalie Villa FREMIT - 16 oct 07
27. Les graphes
Classification de sommets, noyau et cartes de Kohonen
Perspectives
References
Quelques pistes
1 Visualisation globale du graphe sur la carte
2 Généralisation de la méthode pour les graphes orientés, la
comparaison de graphes.
3 Travail sur les très grands graphes.
4 Application en recherche d’informations, en confrontation
de connaissances.
Nathalie Villa FREMIT - 16 oct 07
28. Les graphes
Classification de sommets, noyau et cartes de Kohonen
Perspectives
References
References
Villa, N., Boulet, R., Rossi, F. & Jouve, B. (2007).
Batch kernel SOM and related Laplacian methods for graph
mining. Application to a medieval social network.
Neurocomputing.
To appear.
von Luxburg, U. (2007).
A tutorial on spectral clustering.
Technical Report TR-149, Max Planck Institut für biologische
Kybernetik.
Avaliable at http://www.kyb.mpg.de/publications/
attachments/luxburg06_TR_v2_4139%5B1%5D.pdf.
Nathalie Villa FREMIT - 16 oct 07
