Recomendados
Recomendados
Mais conteúdo relacionado
Destaque
Destaque (20)
Mais de tuxette
Mais de tuxette (20)
Discrimination de courbes par SVM
- 1. SVM & FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Discrimination de courbes par SVM Nathalie Villa-Vialaneix Équipe GRIMM, Université Toulouse Le Mirail villa@univ-tlse2.fr LSP, 16 novembre 2005
- 2. SVM & FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Sommaire 1 Analyse des données fonctionnelles 2 Principe des SVM 3 Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse
- 3. SVM & FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Sommaire 1 Analyse des données fonctionnelles 2 Principe des SVM 3 Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse
- 4. SVM & FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Les données fonctionnelles : Définition Données classiques : chaque observation est un vecteur de RD ;
- 5. SVM & FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Les données fonctionnelles : Définition Données classiques : chaque observation est un vecteur de RD ; Données fonctionnelles : chaque observation est une fonction d’un espace de dimension infinie (L2 , par exemple ; espace de Hilbert, en général).
- 6. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Exemples Représentation temporelle (reconnaissance vocale 1) 0 2000 4000 6000 8000 −1.0 −0.5 0.0 0.5 1.0 Temps (ms) Frequences Boat Goat But : Reconnaître le mot. . . 1Données disponibles sur http ://www.math.univ-montp2.fr/˜biau/bbwdata.tgz
- 7. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Exemples Représentation fréquentielle (reconnaissance vocale 1) 0 50 100 150 200 250 0 5 10 15 20 25 Frequences Log−periodogramme [aa] [ao] But : Reconnaître le son. . . 1TIMIT database disponible sur http ://www-stat.stanford.edu/˜tibs/ElemStatLearn/datasets/phoneme.data
- 8. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Exemples Courbe de réponse (chimiométrie 1) 0 20 40 60 80 100 2 3 4 5 Longueur d’onde Absorbance But : Déterminer le taux de graisse. . . 1Tecator database disponible sur http ://lib.stat.cmu.edu/datasets/tecator
- 9. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Exemple de problèmes en FDA (1) Problèmes d’inversion d’opérateurs X = E(X X) − E(X) E(X) est de Hilbert-Schmidt ) −1 X est non borné (ce n’est pas un opérateur continu de L2 ) ! !
- 10. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Exemple de problèmes en FDA (1) Problèmes d’inversion d’opérateurs X = E(X X) − E(X) E(X) est de Hilbert-Schmidt ) −1 X est non borné (ce n’est pas un opérateur continu de L2 ) ! ! ni Conséquence au niveau de l’estimation Pn = 1 X n =1 xi xi − X X est mal conditionné ) nécessité de pénalisation ou de régularisation. Exemple : Régression inverse fonctionnelle [Ferré Villa, 2005]
- 11. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Les données fonctionnelles en pratique Soit X une variable aléatoire fonctionnelle, on ne connaît jamais complètement les observations (xi)i=1,...,n de X !
- 12. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Les données fonctionnelles en pratique Soit X une variable aléatoire fonctionnelle, D ii1 on ne connaît jamais complètement les observations (xi)i=1,...,n de X ! on dispose de xi(t), . . . , xi(t) ; dans le pire cas, le nombre et la place des points de discrétisation dépendent de l’observation.
- 13. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Exemple de problèmes en FDA (2) D’un point de vue pratique... représenter les fonctions observées et les fonctions paramètres ;
- 14. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Exemple de problèmes en FDA (2) D’un point de vue pratique... représenter les fonctions observées et les fonctions paramètres ; n D, les observations pour un même individu sont fortement corrélées (fonction sous-jacente) ) problèmes mal posés, méthodes usuelles souvent inapplicables directement.
- 15. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Apports de notre travail en FDA Mise au point d’une méthode de régression inverse fonctionnelle, FIR, régularisée par pénalisation ;
- 16. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Apports de notre travail en FDA Mise au point d’une méthode de régression inverse fonctionnelle, FIR, régularisée par pénalisation ; Extension des perceptrons multi-couches pour le traitement de données fonctionnelles : approche par FIR ;
- 17. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Apports de notre travail en FDA Mise au point d’une méthode de régression inverse fonctionnelle, FIR, régularisée par pénalisation ; Extension des perceptrons multi-couches pour le traitement de données fonctionnelles : approche par FIR ; Généralisation des SVM au traitement de données fonctionnelles.
- 18. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Sommaire 1 Analyse des données fonctionnelles 2 Principe des SVM 3 Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse
- 19. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Rappel sur le principe SVM Le problème Soit X 2 H et Y 2 {−1; 1}. On cherche à déterminer la valeur de Y connaissant la variable X.
- 20. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Rappel sur le principe SVM Le problème Soit X 2 H et Y 2 {−1; 1}. On cherche à déterminer la valeur de Y connaissant la variable X. Les données On dispose de n réalisations indépendantes de (X, Y) : (x1, y1), . . . , (xn, yn).
- 21. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Discrimination linéaire à marge optimale
- 22. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Discrimination linéaire à marge optimale
- 23. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Discrimination linéaire à marge optimale w marge : 1 kwk2 Vecteur Support
- 24. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Discrimination linéaire à marge optimale w marge : 1 kwk2 Vecteur Support On cherche w tel que : minw,b hw,wi, sous les contraintes : yi(hw, xii + b) 1, 1 i n.
- 25. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Discrimination linéaire à marge souple
- 26. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Discrimination linéaire à marge souple
- 27. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Discrimination linéaire à marge souple w marge : 1 kwk2 Vecteur Support
- 28. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Discrimination linéaire à marge souple w marge : 1 kwk2 Vecteur Support On cherche w tel que : minw,b,hw,wi + C Pni =1 i , sous les contraintes : yi(hw, xii + b) 1 − i , 1 i n, i 0, 1 i n.
- 29. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Envoyer les données dans un espace de grande dimension Espace initial H
- 30. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Envoyer les données dans un espace de grande dimension Espace initial H Espace image X (non linéaire)
- 31. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Envoyer les données dans un espace de grande dimension Espace initial H Espace image X (non linéaire)
- 32. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Envoyer les données dans un espace de grande dimension Espace initial H Espace image X (non linéaire) On cherche w tel que : (PC,X) minw,b,hw,wi + C Pni =1 i , sous les contraintes : yi(hw,(xi)i + b) 1 − i , 1 i n, i 0, 1 i n.
- 33. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Intérêt du non linéaire Formulation régularisation : (PC,X) , (R,X) min f2X 1 n Xn i=1 max(0, 1 − yi f (xi)) + hf , f iX.
- 34. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Intérêt du non linéaire Formulation régularisation : (PC,X) , (R,X) min f2X 1 n Xn i=1 max(0, 1 − yi f (xi)) + hf , f iX. Formulation duale : (PC,X) , (DC,X) max Pni =1 i − Pni =1 Pnj =1 ijyiyjh(xi),(xj)iX, avec PNi =1 iyi = 0, 0 i C, 1 i n.
- 35. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Intérêt du non linéaire Formulation régularisation : (PC,X) , (R,X) min f2X 1 n Xn i=1 max(0, 1 − yi f (xi)) + hf , f iX. Formulation duale : (PC,X) , (DC,X) max Pni =1 i − Pni =1 Pnj =1 ijyiyjh(xi),(xj)iX, avec PNi =1 iyi = 0, 0 i C, 1 i n. Produit scalaire dans X : 8 u, v 2 X, K(u, v) = h(u),(v)iX
- 36. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Sommaire 1 Analyse des données fonctionnelles 2 Principe des SVM 3 Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse
- 37. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Présentation des travaux En collaboration avec Fabrice Rossi Support vector machine for functional data classification (2005), paru dans ESANN proceedings. En collaboration avec Fabrice Rossi Classification in Hilbert spaces with support vector machines (2005), paru dans ASMDA proceedings En collaboration avec Fabrice Rossi Support vector machine for functional data classification (2005), à paraître dans Neurocomputing.
- 38. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Noyaux pour FDA Forme générale Prétraitement : P : H ! D 8 u, v 2 H,Q(u, v) = K(P(u), P(v)).
- 39. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Noyaux pour FDA Forme générale Prétraitement : P : H ! D 8 u, v 2 H,Q(u, v) = K(P(u), P(v)). 1 Projections : pour VD = Vect{ 1, . . . , D}, P(x) = XD j=1 hx, ji j .
- 40. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Noyaux pour FDA Forme générale Prétraitement : P : H ! D 8 u, v 2 H,Q(u, v) = K(P(u), P(v)). 1 Projections : pour VD = Vect{ 1, . . . , D}, P(x) = XD j=1 hx, ji j . 2 Transformations fonctionnelles : P(x) = Dqx,. . .
- 41. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Noyaux pour FDA Forme générale Prétraitement : P : H ! D 8 u, v 2 H,Q(u, v) = K(P(u), P(v)). 1 Projections : pour VD = Vect{ 1, . . . , D}, P(x) = XD j=1 hx, ji j . 2 Transformations fonctionnelles : P(x) = Dqx,. . . 3 FIR. . .
- 42. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Sommaire 1 Analyse des données fonctionnelles 2 Principe des SVM 3 Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse
- 43. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Une approche consistante Approche par projection 1 ( j)j base Hilbertienne de H : projection sur ( j)j=1,...,d ;
- 44. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Une approche consistante Approche par projection 1 ( j)j base Hilbertienne de H : projection sur ( j)j=1,...,d ; 2 Choix des paramètres : a d 2 N, K 2 Jd, C 2 [0; Cd]
- 45. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Une approche consistante Approche par projection 1 ( j)j base Hilbertienne de H : projection sur ( j)j=1,...,d ; 2 Choix des paramètres : a d 2 N, K 2 Jd, C 2 [0; Cd] partage des données : B1 = (x1, y1), . . . , (xl , yl ) et B2 = (xl+1, yl+1), . . . , (xn, yn) ;
- 46. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Une approche consistante Approche par projection 1 ( j)j base Hilbertienne de H : projection sur ( j)j=1,...,d ; 2 Choix des paramètres : a d 2 N, K 2 Jd, C 2 [0; Cd] partage des données : B1 = (x1, y1), . . . , (xl , yl ) et B2 = (xl+1, yl+1), . . . , (xn, yn) ; construction du SVM sur B1 : fa ;
- 47. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Une approche consistante Approche par projection 1 ( j)j base Hilbertienne de H : projection sur ( j)j=1,...,d ; 2 Choix des paramètres : a d 2 N, K 2 Jd, C 2 [0; Cd] partage des données : B1 = (x1, y1), . . . , (xl , yl ) et B2 = (xl+1, yl+1), . . . , (xn, yn) ; construction du SVM sur B1 : fa ; choix du paramètre optimal sur B2 : a = argmina bL n−l fa + d p n − l avecbL n−l fa = 1 n−l Pni =l+1 I{fa (xi ),yi }.
- 48. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Une approche consistante Approche par projection 1 ( j)j base Hilbertienne de H : projection sur ( j)j=1,...,d ; 2 Choix des paramètres : a d 2 N, K 2 Jd, C 2 [0; Cd] partage des données : B1 = (x1, y1), . . . , (xl , yl ) et B2 = (xl+1, yl+1), . . . , (xn, yn) ; construction du SVM sur B1 : fa ; choix du paramètre optimal sur B2 : a = argmina bL n−l fa + d p n − l avecbL n−l fa = 1 n−l Pni =l+1 I{fa (xi ),yi }. ) On obtient un SVM fn.
- 49. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Hypothèses Hypothèses sur la distribution de X (H1) X prend ses valeurs dans un borné de H.
- 50. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Hypothèses Hypothèses sur la distribution de X (H1) X prend ses valeurs dans un borné de H. Hypothèses sur les paramètres : 8 d 1, (H2) Jd est un ensemble fini ; (H3) 9Kd 2 Jd tel que : Kd est universel et 9d 0 : N(Kd, ) = O(−d ) ; (H4) Cd 1 ; (H5) P d1 |Jd|e−22d +1.
- 51. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Hypothèses Hypothèses sur la distribution de X (H1) X prend ses valeurs dans un borné de H. Hypothèses sur les paramètres : 8 d 1, (H2) Jd est un ensemble fini ; (H3) 9Kd 2 Jd tel que : Kd est universel et 9d 0 : N(Kd, ) = O(−d ) ; (H4) Cd 1 ; (H5) P d1 |Jd|e−22d +1. Hypothèses sur la validation (H6) limn!+1 l = +1; (H7) limn!+1 n − l = +1; (H8) limnl log(n−l) !+1 n−l = 0.
- 52. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Convergence par procédure de validation Théorème 1 Consistance universelle Sous les hypothèses (H1)-(H8), fn est consistant : Lfn n!+1 −−−−−! L, où Lfn = ( P(fn(X) , Y) et L = P(f (X) , Y) avec 1 si P(Y = 1|X = x) 1/2, f (x) = −1 sinon.
- 53. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Application : reconnaissance vocale Description des données et méthodes 3 problèmes et pour chaque problème, 100 enregistrements discrétisés en 8 192 points ;
- 54. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Application : reconnaissance vocale Description des données et méthodes 3 problèmes et pour chaque problème, 100 enregistrements discrétisés en 8 192 points ; Mise en oeuvre de la procédure consistante : Projection sur une base trigonométrique ; Partage de la base de données en 50 spectres (apprentissage) / 49 (validation) ; Performances déterminées par leave-one-out.
- 55. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Application : reconnaissance vocale Description des données et méthodes 3 problèmes et pour chaque problème, 100 enregistrements discrétisés en 8 192 points ; Mise en oeuvre de la procédure consistante : Projection sur une base trigonométrique ; Partage de la base de données en 50 spectres (apprentissage) / 49 (validation) ; Performances déterminées par leave-one-out. Résultats Prob. k-nn QDA SVM gau. SVM lin. SVM lin. (proj) (proj) (direct) yes/no 10% 7% 10% 19% 58% boat/goat 21% 35% 8% 29% 46% sh/ao 16% 19% 12% 25% 47%
- 56. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Application : Tecator data Set Description des données et méthodes 215 spectres discrétisés en 100 points ; 2 classes : taux de graisse 20% et 20%.
- 57. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Application : Tecator data Set Description des données et méthodes 215 spectres discrétisés en 100 points ; 2 classes : taux de graisse 20% et 20%. Procédure : Projection sur une base de splines cubiques (déterminée par leave-one-out) ; Partage aléatoire de la base de données en 60 spectres (apprentissage) / 60 spectres (validation) ; Performances déterminées sur un échantillon de test aléatoire de 95 spectres.
- 58. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Application : Tecator data Set Description des données et méthodes 215 spectres discrétisés en 100 points ; 2 classes : taux de graisse 20% et 20%. Procédure : Projection sur une base de splines cubiques (déterminée par leave-one-out) ; Partage aléatoire de la base de données en 60 spectres (apprentissage) / 60 spectres (validation) ; Performances déterminées sur un échantillon de test aléatoire de 95 spectres. Résultats (Moyenne pour 250 répétitions) Noyau Erreur moyenne (test) Linéaire 3.38% Linéaire sur D2X 3.28% Gaussien 7.5% Gaussien sur D2X 2.6%
- 59. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Sommaire 1 Analyse des données fonctionnelles 2 Principe des SVM 3 Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse
- 60. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Approche directe pour SVM sur dérivées X est régulière : X 2 H = Hm = {x : [0; 1] ! R : Dmx existe et Dmx 2 L2 + conditions aux limites} ;
- 61. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Approche directe pour SVM sur dérivées X est régulière : X 2 H = Hm = {x : [0; 1] ! R : Dmx existe et Dmx 2 L2 + conditions aux limites} ; Produit scalaire : H est muni du produit scalaire hf , giH = hLf , LgiL2 = Z [0;1] Lf (t)Lg(t)dt où Lx = Pmj =1 ajDjx avec am , 0 et les conditions aux limites qui impliquent Lx , 0 si x , 0.
- 62. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Exemples d’espaces de Sobolev H1 avec L = I + D et x(0) = 0 (Lx = 0 ) x = ae−t et x(0) = a) ;
- 63. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Exemples d’espaces de Sobolev H1 avec L = I + D et x(0) = 0 (Lx = 0 ) x = ae−t et x(0) = a) ; H2 avec L = I + D2 et x(0) = Dx(0) = 0 ;
- 64. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Exemples d’espaces de Sobolev H1 avec L = I + D et x(0) = 0 (Lx = 0 ) x = ae−t et x(0) = a) ; H2 avec L = I + D2 et x(0) = Dx(0) = 0 ; Hm (m 1) avec L = Dm et Djx(0) = 0, 8 j = 1, . . . ,m. Pour d’autres exemples, voir [Besse Ramsay, 1986] et [Berlinet Thomas-Agnan, 2004].
- 65. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie RKHS H peut être un RKHS Un RKHS est un espace de fonctions tel que 9 K : R ×R ! H : 8 x 2 H, hx, K(t, .)iH = x(t).
- 66. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie RKHS H peut être un RKHS Un RKHS est un espace de fonctions tel que 9 K : R ×R ! H : 8 x 2 H, hx, K(t, .)iH = x(t). H1 avec L = I + D et x(0) = 0 est un RKHS de noyau K(s, t) = e− max(s,t) sinh(min(s, t));
- 67. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie RKHS H peut être un RKHS Un RKHS est un espace de fonctions tel que 9 K : R ×R ! H : 8 x 2 H, hx, K(t, .)iH = x(t). H1 avec L = I + D et x(0) = 0 est un RKHS de noyau K(s, t) = e− max(s,t) sinh(min(s, t)); H2 avec L = I + D2 et x(0) = Dx(0) = 0 est un RKHS de noyau K(s, t) = (min(s, t) cos(s − t) − cos(s) cos(t))/2
- 68. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie SVM fonctionnels par interpolation spline [Besse Ramsay, 1986] Si H est un RKHS de noyau K alors, 8 x 2 H, connue aux points (tk )k=1,...,d, spline d’interpolation h = PVect{K(tk ,.),k=1,...,d}(x).
- 69. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie SVM fonctionnels par interpolation spline [Besse Ramsay, 1986] Si H est un RKHS de noyau K alors, 8 x 2 H, connue aux points (tk )k=1,...,d, spline d’interpolation h = PVect{K(tk ,.),k=1,...,d}(x). Application aux SVM dans L2 SVM sur (Lhn)n avec noyau G1 [0;1] , SVM sur (xn)n avec noyau Gd K−1/2 dans Rd. où xn = (xn(t1), . . . , xn(td)) et K = (K(ti , tj))i,j .
- 70. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Consistance directe Théorème 2 Consistance universelle Soit (tk )k=1,...,d des points de discrétisation dans [0; 1] tels que K = (K(ti , tj))i,j=1,...,d soit inversible. Alors,
- 71. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Consistance directe Théorème 2 Consistance universelle Soit (tk )k=1,...,d des points de discrétisation dans [0; 1] tels que K = (K(ti , tj))i,j=1,...,d soit inversible. Alors, il existe une suite de points de discrétisation (D)D1 telle que d = (tk )k=1,...,d, 8D 1, D D+1 et KD = (K(ti , tj ))i,j=1,...,D est inversible, Vect{K(t, .), t 2 [D1D} est dense dans H ;
- 72. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Consistance directe Théorème 2 Consistance universelle Soit (tk )k=1,...,d des points de discrétisation dans [0; 1] tels que K = (K(ti , tj))i,j=1,...,d soit inversible. Alors, il existe une suite de points de discrétisation (D)D1 telle que d = (tk )k=1,...,d, 8D 1, D D+1 et KD = (K(ti , tj ))i,j=1,...,D est inversible, Vect{K(t, .), t 2 [D1D} est dense dans H ; le SVM construit à partir de la spline d’interpolation avec une suite de régularisation (CD n )n = O(n1−
- 73. D ), 0
- 74. D 1/D est universellement consistant : lim n!+1 lim D!+1 Lfn,D = L où L est l’erreur de Bayes.
- 75. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Sommaire 1 Analyse des données fonctionnelles 2 Principe des SVM 3 Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse
- 76. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Régression inverse fonctionnelle Modèle ([Ferré Yao, 2003], [Ferré Villa, 2005]) Y = f (ha1, Xi . . . haq, Xi, ), où y X, E() = 0, f inconnue, {a1, . . . , aq} linéairement independants. EDR = Vect{a1, . . . aq}
- 77. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Régression inverse fonctionnelle Modèle ([Ferré Yao, 2003], [Ferré Villa, 2005]) Y = f (ha1, Xi . . . haq, Xi, ), où y X, E() = 0, f inconnue, {a1, . . . , aq} linéairement independants. EDR = Vect{a1, . . . aq} Caractérisation de l’espace EDR Si, pour A = (hX, a1i, . . . , hX, aqi), Condition de Li 8 u 2 H, 9v 2 Rq : E(hu, Xi|A) = vTA, alors E(X|Y) 2 X(EDR).
- 78. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Régression inverse fonctionnelle Modèle ([Ferré Yao, 2003], [Ferré Villa, 2005]) Y = f (ha1, Xi . . . haq, Xi, ), où y X, E() = 0, f inconnue, {a1, . . . , aq} linéairement independants. EDR = Vect{a1, . . . aq} Caractérisation de l’espace EDR Si, pour A = (hX, a1i, . . . , hX, aqi), Condition de Li 8 u 2 H, 9v 2 Rq : E(hu, Xi|A) = vTA, alors E(X|Y) 2 X(EDR). ) On choisit d’estimer a1, . . . , aq, vecteurs propres de −1 X E(X|Y).
- 79. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie SVM par FIR Estimation de EDR : [Ferré Yao, 2003], [Ferré Villa, 2005] proposent des approches consistantes de l’estimation de l’espace EDR,[EDR;
- 80. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie SVM par FIR Estimation de EDR : [Ferré Yao, 2003], [Ferré Villa, 2005] proposent des approches consistantes de l’estimation de l’espace EDR,[EDR; Estimation de f par SVM : SVM sur P[EDR(X) ;
- 81. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie SVM par FIR Estimation de EDR : [Ferré Yao, 2003], [Ferré Villa, 2005] proposent des approches consistantes de l’estimation de l’espace EDR,[EDR; Estimation de f par SVM : SVM sur P[EDR(X) ; Résultat de consistance universelle pour ce SVM : ? ? ?
- 82. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Simulations Données simulées Waveform 2 4 6 8 10 12 14 16 18 20 8 6 4 2 0 −2 −4 Classe 1 2 4 6 8 10 12 14 16 18 20 10 8 6 4 2 0 −2 −4 Classe 2 2 4 6 8 10 12 14 16 18 20 8 6 4 2 0 −2 −4 Classe 3 300 courbes (apprentissage) / 500 courbes (validation) ; erreur calculée sur un échantillon de 500 courbes ; 10 répétitions.
- 83. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Simulations Données simulées Waveform 2 4 6 8 10 12 14 16 18 20 8 6 4 2 0 −2 −4 Classe 1 2 4 6 8 10 12 14 16 18 20 10 8 6 4 2 0 −2 −4 Classe 2 2 4 6 8 10 12 14 16 18 20 8 6 4 2 0 −2 −4 Classe 3 300 courbes (apprentissage) / 500 courbes (validation) ; erreur calculée sur un échantillon de 500 courbes ; 10 répétitions. Résultats FIR-SVM SVM R-PDA FIR-N Moyenne (test) 13,70 15,46 15,62 14,16 Ecart type (test) 2,25 3,04 2,05 2,01 Minimum (test) 10,20 12,20 12,60 12,00 Moyenne (apprentissage) 11,73 10,17 12,47 12,37
- 84. SVM FDA Toulouse, 16 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Berlinet, A. Thomas-Agnan, C. (2004). Reproducing kernel Hilbert spaces in probability and statistics. Kluwer Academic Publisher. Besse, P. Ramsay, J. (1986). Principal component analysis of sampled curves. Psychometrica, 51, 285–311. Ferré, L. Villa, N. (2005). Discrimination de courbes par régression inverse fonctionnelle. Revue de Statistique Appliquée, LIII(1), 39–57. Ferré, L. Yao, A. (2003). Functional sliced inverse regression analysis. Statistics, 37, 475–488.