SlideShare uma empresa Scribd logo

Discrimination de courbes par SVM

•
•
T
tuxette

Séminaire du laboratoire d’optimisation globale, ENAC, Toulouse November 24th, 2005

Ciências
1 de 82
Baixar para ler offline
SVM & FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Discrimination de courbes par SVM Nathalie Villa-Vialaneix Équipe GRIMM, Université Toulouse Le Mirail villa@univ-tlse2.fr ENAC, 24 nov. 2005
SVM & FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Sommaire 1 Analyse des données fonctionnelles 2 Principe des SVM 3 Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse
SVM & FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Sommaire 1 Analyse des données fonctionnelles 2 Principe des SVM 3 Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse
SVM & FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Les données fonctionnelles : Définition Données classiques : chaque observation est un vecteur de RD ;
SVM & FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Les données fonctionnelles : Définition Données classiques : chaque observation est un vecteur de RD ; Données fonctionnelles : chaque observation est une fonction d’un espace de dimension infinie (L2 , par exemple ; espace de Hilbert, en général).
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Exemples Représentation temporelle (reconnaissance vocale 1) 0 2000 4000 6000 8000 −1.0 −0.5 0.0 0.5 1.0 Temps (ms) Frequences Boat Goat But : Reconnaître le mot. . . 1Données disponibles sur http ://www.math.univ-montp2.fr/˜biau/bbwdata.tgz
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Exemples Représentation fréquentielle (reconnaissance vocale 1) 0 50 100 150 200 250 0 5 10 15 20 25 Frequences Log−periodogramme [aa] [ao] But : Reconnaître le son. . . 1TIMIT database disponible sur http ://www-stat.stanford.edu/˜tibs/ElemStatLearn/datasets/phoneme.data
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Exemples Courbe de réponse (chimiométrie 1) 0 20 40 60 80 100 2 3 4 5 Longueur d’onde Absorbance But : Déterminer le taux de graisse. . . 1Tecator database disponible sur http ://lib.stat.cmu.edu/datasets/tecator
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Exemple de problèmes en FDA (1) Problèmes d’inversion d’opérateurs X = E(X X) − E(X) E(X) est de Hilbert-Schmidt ) −1 X est non borné (ce n’est pas un opérateur continu de L2 ) ! !
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Exemple de problèmes en FDA (1) Problèmes d’inversion d’opérateurs X = E(X X) − E(X) E(X) est de Hilbert-Schmidt ) −1 X est non borné (ce n’est pas un opérateur continu de L2 ) ! ! ni Conséquence au niveau de l’estimation Pn = 1 X n =1 xi xi − X X est mal conditionné ) nécessité de pénalisation ou de régularisation. Exemple : Régression inverse fonctionnelle [Ferré Villa, 2005]
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Les données fonctionnelles en pratique Soit X une variable aléatoire fonctionnelle, on ne connaît jamais complètement les observations (xi)i=1,...,n de X !
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Les données fonctionnelles en pratique Soit X une variable aléatoire fonctionnelle, D ii1 on ne connaît jamais complètement les observations (xi)i=1,...,n de X ! on dispose de xi(t), . . . , xi(t) ; dans le pire cas, le nombre et la place des points de discrétisation dépendent de l’observation.
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Exemple de problèmes en FDA (2) D’un point de vue pratique... représenter les fonctions observées et les fonctions paramètres ;
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Exemple de problèmes en FDA (2) D’un point de vue pratique... représenter les fonctions observées et les fonctions paramètres ; n D, les observations pour un même individu sont fortement corrélées (fonction sous-jacente) ) problèmes mal posés, méthodes usuelles souvent inapplicables directement.
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Apports de notre travail en FDA Mise au point d’une méthode de régression inverse fonctionnelle, FIR, régularisée par pénalisation ;
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Apports de notre travail en FDA Mise au point d’une méthode de régression inverse fonctionnelle, FIR, régularisée par pénalisation ; Extension des perceptrons multi-couches pour le traitement de données fonctionnelles : approche par FIR ;
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Apports de notre travail en FDA Mise au point d’une méthode de régression inverse fonctionnelle, FIR, régularisée par pénalisation ; Extension des perceptrons multi-couches pour le traitement de données fonctionnelles : approche par FIR ; Généralisation des SVM au traitement de données fonctionnelles.
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Sommaire 1 Analyse des données fonctionnelles 2 Principe des SVM 3 Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Rappel sur le principe SVM Le problème Soit X 2 H et Y 2 {−1; 1}. On cherche à déterminer la valeur de Y connaissant la variable X.
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Rappel sur le principe SVM Le problème Soit X 2 H et Y 2 {−1; 1}. On cherche à déterminer la valeur de Y connaissant la variable X. Les données On dispose de n réalisations indépendantes de (X, Y) : (x1, y1), . . . , (xn, yn).
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Discrimination linéaire à marge optimale
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Discrimination linéaire à marge optimale
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Discrimination linéaire à marge optimale w marge : 1 kwk2 Vecteur Support
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Discrimination linéaire à marge optimale w marge : 1 kwk2 Vecteur Support On cherche w tel que : minw,b hw,wi, sous les contraintes : yi(hw, xii + b) 1, 1 i n.
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Discrimination linéaire à marge souple
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Discrimination linéaire à marge souple
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Discrimination linéaire à marge souple w marge : 1 kwk2 Vecteur Support
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Discrimination linéaire à marge souple w marge : 1 kwk2 Vecteur Support On cherche w tel que : minw,b,hw,wi + C Pni =1 i , sous les contraintes : yi(hw, xii + b) 1 − i , 1 i n, i 0, 1 i n.
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Envoyer les données dans un espace de grande dimension Espace initial H
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Envoyer les données dans un espace de grande dimension Espace initial H Espace image X (non linéaire)
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Envoyer les données dans un espace de grande dimension Espace initial H Espace image X (non linéaire)
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Envoyer les données dans un espace de grande dimension Espace initial H Espace image X (non linéaire) On cherche w tel que : (PC,X) minw,b,hw,wi + C Pni =1 i , sous les contraintes : yi(hw,(xi)i + b) 1 − i , 1 i n, i 0, 1 i n.
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Intérêt du non linéaire Formulation régularisation : (PC,X) , (R,X) min f2X 1 n Xn i=1 max(0, 1 − yi f (xi)) + hf , f iX.
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Intérêt du non linéaire Formulation régularisation : (PC,X) , (R,X) min f2X 1 n Xn i=1 max(0, 1 − yi f (xi)) + hf , f iX. Formulation duale : (PC,X) , (DC,X) max Pni =1 i − Pni =1 Pnj =1 ijyiyjh(xi),(xj)iX, avec PNi =1 iyi = 0, 0 i C, 1 i n.
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Intérêt du non linéaire Formulation régularisation : (PC,X) , (R,X) min f2X 1 n Xn i=1 max(0, 1 − yi f (xi)) + hf , f iX. Formulation duale : (PC,X) , (DC,X) max Pni =1 i − Pni =1 Pnj =1 ijyiyjh(xi),(xj)iX, avec PNi =1 iyi = 0, 0 i C, 1 i n. Produit scalaire dans X : 8 u, v 2 H, K(u, v) = h(u),(v)iX
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Sommaire 1 Analyse des données fonctionnelles 2 Principe des SVM 3 Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Présentation des travaux En collaboration avec Fabrice Rossi Support vector machine for functional data classification (2005), paru dans ESANN proceedings. En collaboration avec Fabrice Rossi Classification in Hilbert spaces with support vector machines (2005), paru dans ASMDA proceedings En collaboration avec Fabrice Rossi Support vector machine for functional data classification (2005), à paraître dans Neurocomputing.
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Noyaux pour FDA Forme générale Prétraitement : P : H ! D 8 u, v 2 H,Q(u, v) = K(P(u), P(v)).
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Noyaux pour FDA Forme générale Prétraitement : P : H ! D 8 u, v 2 H,Q(u, v) = K(P(u), P(v)). 1 Projections : pour VD = Vect{ 1, . . . , D}, P(x) = XD j=1 hx, ji j .
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Noyaux pour FDA Forme générale Prétraitement : P : H ! D 8 u, v 2 H,Q(u, v) = K(P(u), P(v)). 1 Projections : pour VD = Vect{ 1, . . . , D}, P(x) = XD j=1 hx, ji j . 2 Transformations fonctionnelles : P(x) = Dqx,. . .
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Noyaux pour FDA Forme générale Prétraitement : P : H ! D 8 u, v 2 H,Q(u, v) = K(P(u), P(v)). 1 Projections : pour VD = Vect{ 1, . . . , D}, P(x) = XD j=1 hx, ji j . 2 Transformations fonctionnelles : P(x) = Dqx,. . . 3 FIR. . .
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Sommaire 1 Analyse des données fonctionnelles 2 Principe des SVM 3 Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Une approche consistante Approche par projection 1 ( j)j base Hilbertienne de H : projection sur ( j)j=1,...,d ;
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Une approche consistante Approche par projection 1 ( j)j base Hilbertienne de H : projection sur ( j)j=1,...,d ; 2 Choix des paramètres : a d 2 N, K 2 Jd, C 2 [0; Cd]
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Une approche consistante Approche par projection 1 ( j)j base Hilbertienne de H : projection sur ( j)j=1,...,d ; 2 Choix des paramètres : a d 2 N, K 2 Jd, C 2 [0; Cd] partage des données : B1 = (x1, y1), . . . , (xl , yl ) et B2 = (xl+1, yl+1), . . . , (xn, yn) ;
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Une approche consistante Approche par projection 1 ( j)j base Hilbertienne de H : projection sur ( j)j=1,...,d ; 2 Choix des paramètres : a d 2 N, K 2 Jd, C 2 [0; Cd] partage des données : B1 = (x1, y1), . . . , (xl , yl ) et B2 = (xl+1, yl+1), . . . , (xn, yn) ; construction du SVM sur B1 : fa ;
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Une approche consistante Approche par projection 1 ( j)j base Hilbertienne de H : projection sur ( j)j=1,...,d ; 2 Choix des paramètres : a d 2 N, K 2 Jd, C 2 [0; Cd] partage des données : B1 = (x1, y1), . . . , (xl , yl ) et B2 = (xl+1, yl+1), . . . , (xn, yn) ; construction du SVM sur B1 : fa ; choix du paramètre optimal sur B2 : a = argmina bL n−l fa + d p n − l avecbL n−l fa = 1 n−l Pni =l+1 I{fa (xi ),yi }.
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Une approche consistante Approche par projection 1 ( j)j base Hilbertienne de H : projection sur ( j)j=1,...,d ; 2 Choix des paramètres : a d 2 N, K 2 Jd, C 2 [0; Cd] partage des données : B1 = (x1, y1), . . . , (xl , yl ) et B2 = (xl+1, yl+1), . . . , (xn, yn) ; construction du SVM sur B1 : fa ; choix du paramètre optimal sur B2 : a = argmina bL n−l fa + d p n − l avecbL n−l fa = 1 n−l Pni =l+1 I{fa (xi ),yi }. ) On obtient un SVM fn.
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Hypothèses Hypothèses sur la distribution de X (H1) X prend ses valeurs dans un borné de H.
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Hypothèses Hypothèses sur la distribution de X (H1) X prend ses valeurs dans un borné de H. Hypothèses sur les paramètres : 8 d 1, (H2) Jd est un ensemble fini ; (H3) 9Kd 2 Jd tel que : Kd est universel et 9d 0 : N(Kd, ) = O(−d ) ; (H4) Cd 1 ; (H5) P d1 |Jd|e−22d +1.
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Hypothèses Hypothèses sur la distribution de X (H1) X prend ses valeurs dans un borné de H. Hypothèses sur les paramètres : 8 d 1, (H2) Jd est un ensemble fini ; (H3) 9Kd 2 Jd tel que : Kd est universel et 9d 0 : N(Kd, ) = O(−d ) ; (H4) Cd 1 ; (H5) P d1 |Jd|e−22d +1. Hypothèses sur la validation (H6) limn!+1 l = +1; (H7) limn!+1 n − l = +1; (H8) limnl log(n−l) !+1 n−l = 0.
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Convergence par procédure de validation Théorème 1 Consistance universelle Sous les hypothèses (H1)-(H8), fn est consistant : Lfn n!+1 −−−−−! L, où Lfn = ( P(fn(X) , Y) et L = P(f (X) , Y) avec 1 si P(Y = 1|X = x) 1/2, f (x) = −1 sinon.
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Application : reconnaissance vocale Description des données et méthodes 3 problèmes et pour chaque problème, 100 enregistrements discrétisés en 8 192 points ;
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Application : reconnaissance vocale Description des données et méthodes 3 problèmes et pour chaque problème, 100 enregistrements discrétisés en 8 192 points ; Mise en oeuvre de la procédure consistante : Projection sur une base trigonométrique ; Partage de la base de données en 50 spectres (apprentissage) / 49 (validation) ; Performances déterminées par leave-one-out.
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Application : reconnaissance vocale Description des données et méthodes 3 problèmes et pour chaque problème, 100 enregistrements discrétisés en 8 192 points ; Mise en oeuvre de la procédure consistante : Projection sur une base trigonométrique ; Partage de la base de données en 50 spectres (apprentissage) / 49 (validation) ; Performances déterminées par leave-one-out. Résultats Prob. k-nn QDA SVM gau. SVM lin. SVM lin. (proj) (proj) (direct) yes/no 10% 7% 10% 19% 58% boat/goat 21% 35% 8% 29% 46% sh/ao 16% 19% 12% 25% 47%
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Application : Tecator data Set Description des données et méthodes 215 spectres discrétisés en 100 points ; 2 classes : taux de graisse 20% et 20%.
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Application : Tecator data Set Description des données et méthodes 215 spectres discrétisés en 100 points ; 2 classes : taux de graisse 20% et 20%. Procédure : Projection sur une base de splines cubiques (déterminée par leave-one-out) ; Partage aléatoire de la base de données en 60 spectres (apprentissage) / 60 spectres (validation) ; Performances déterminées sur un échantillon de test aléatoire de 95 spectres.
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Application : Tecator data Set Description des données et méthodes 215 spectres discrétisés en 100 points ; 2 classes : taux de graisse 20% et 20%. Procédure : Projection sur une base de splines cubiques (déterminée par leave-one-out) ; Partage aléatoire de la base de données en 60 spectres (apprentissage) / 60 spectres (validation) ; Performances déterminées sur un échantillon de test aléatoire de 95 spectres. Résultats (Moyenne pour 250 répétitions) Noyau Erreur moyenne (test) Linéaire 3.38% Linéaire sur D2X 3.28% Gaussien 7.5% Gaussien sur D2X 2.6%
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Sommaire 1 Analyse des données fonctionnelles 2 Principe des SVM 3 Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Approche directe pour SVM sur dérivées X est régulière : X 2 H = Hm = {x : [0; 1] ! R : Dmx existe et Dmx 2 L2 + conditions aux limites} ;
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Approche directe pour SVM sur dérivées X est régulière : X 2 H = Hm = {x : [0; 1] ! R : Dmx existe et Dmx 2 L2 + conditions aux limites} ; Produit scalaire : H est muni du produit scalaire hf , giH = hLf , LgiL2 = Z [0;1] Lf (t)Lg(t)dt où Lx = Pmj =1 ajDjx avec am , 0 et les conditions aux limites qui impliquent Lx , 0 si x , 0.
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Exemples d’espaces de Sobolev H1 avec L = I + D et x(0) = 0 (Lx = 0 ) x = ae−t et x(0) = a) ;
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Exemples d’espaces de Sobolev H1 avec L = I + D et x(0) = 0 (Lx = 0 ) x = ae−t et x(0) = a) ; H2 avec L = I + D2 et x(0) = Dx(0) = 0 ;
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Exemples d’espaces de Sobolev H1 avec L = I + D et x(0) = 0 (Lx = 0 ) x = ae−t et x(0) = a) ; H2 avec L = I + D2 et x(0) = Dx(0) = 0 ; Hm (m 1) avec L = Dm et Djx(0) = 0, 8 j = 1, . . . ,m − 1. Pour d’autres exemples, voir [Besse Ramsay, 1986] et [Berlinet Thomas-Agnan, 2004].
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie RKHS H peut être un RKHS Un RKHS est un espace de fonctions tel que 9 K : R ×R ! H : 8 x 2 H, hx, K(t, .)iH = x(t).
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie RKHS H peut être un RKHS Un RKHS est un espace de fonctions tel que 9 K : R ×R ! H : 8 x 2 H, hx, K(t, .)iH = x(t). H1 avec L = I + D et x(0) = 0 est un RKHS de noyau K(s, t) = e− max(s,t) sinh(min(s, t));
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie RKHS H peut être un RKHS Un RKHS est un espace de fonctions tel que 9 K : R ×R ! H : 8 x 2 H, hx, K(t, .)iH = x(t). H1 avec L = I + D et x(0) = 0 est un RKHS de noyau K(s, t) = e− max(s,t) sinh(min(s, t)); H2 avec L = I + D2 et x(0) = Dx(0) = 0 est un RKHS de noyau K(s, t) = (min(s, t) cos(s − t) − cos(s) cos(t))/2
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie SVM fonctionnels par interpolation spline [Besse Ramsay, 1986] Si H est un RKHS de noyau K alors, 8 x 2 H, connue aux points (tk )k=1,...,d, spline d’interpolation h = PVect{K(tk ,.),k=1,...,d}(x).
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie SVM fonctionnels par interpolation spline [Besse Ramsay, 1986] Si H est un RKHS de noyau K alors, 8 x 2 H, connue aux points (tk )k=1,...,d, spline d’interpolation h = PVect{K(tk ,.),k=1,...,d}(x). Application aux SVM dans L2 SVM sur (Lhn)n avec noyau G1 [0;1] , SVM sur (xn)n avec noyau Gd K−1/2 dans Rd. où xn = (xn(t1), . . . , xn(td)) et K = (K(ti , tj))i,j .
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Consistance directe Théorème 2 Consistance universelle Soit (tk )k=1,...,d des points de discrétisation dans [0; 1] tels que K = (K(ti , tj))i,j=1,...,d soit inversible. Alors,
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Consistance directe Théorème 2 Consistance universelle Soit (tk )k=1,...,d des points de discrétisation dans [0; 1] tels que K = (K(ti , tj))i,j=1,...,d soit inversible. Alors, il existe une suite de points de discrétisation (D)D1 telle que d = (tk )k=1,...,d, 8D 1, D D+1 et KD = (K(ti , tj ))i,j=1,...,D est inversible, Vect{K(t, .), t 2 [D1D} est dense dans H ;
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Consistance directe Théorème 2 Consistance universelle Soit (tk )k=1,...,d des points de discrétisation dans [0; 1] tels que K = (K(ti , tj))i,j=1,...,d soit inversible. Alors, il existe une suite de points de discrétisation (D)D1 telle que d = (tk )k=1,...,d, 8D 1, D D+1 et KD = (K(ti , tj ))i,j=1,...,D est inversible, Vect{K(t, .), t 2 [D1D} est dense dans H ; le SVM construit à partir de la spline d’interpolation avec une suite de régularisation (CD n )n = O(n1−
D ), 0
D 1/D est universellement consistant : lim n!+1 lim D!+1 Lfn,D = L où L est l’erreur de Bayes.
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Sommaire 1 Analyse des données fonctionnelles 2 Principe des SVM 3 Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Régression inverse fonctionnelle Modèle ([Ferré Yao, 2003], [Ferré Villa, 2005]) Y = f (ha1, Xi . . . haq, Xi, ), où y X, E() = 0, f inconnue, {a1, . . . , aq} linéairement independants. EDR = Vect{a1, . . . aq}
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Régression inverse fonctionnelle Modèle ([Ferré Yao, 2003], [Ferré Villa, 2005]) Y = f (ha1, Xi . . . haq, Xi, ), où y X, E() = 0, f inconnue, {a1, . . . , aq} linéairement independants. EDR = Vect{a1, . . . aq} Caractérisation de l’espace EDR Si, pour A = (hX, a1i, . . . , hX, aqi), Condition de Li 8 u 2 H, 9v 2 Rq : E(hu, Xi|A) = vTA, alors E(X|Y) 2 X(EDR).
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Régression inverse fonctionnelle Modèle ([Ferré Yao, 2003], [Ferré Villa, 2005]) Y = f (ha1, Xi . . . haq, Xi, ), où y X, E() = 0, f inconnue, {a1, . . . , aq} linéairement independants. EDR = Vect{a1, . . . aq} Caractérisation de l’espace EDR Si, pour A = (hX, a1i, . . . , hX, aqi), Condition de Li 8 u 2 H, 9v 2 Rq : E(hu, Xi|A) = vTA, alors E(X|Y) 2 X(EDR). ) On choisit d’estimer a1, . . . , aq, vecteurs propres de −1 X E(X|Y).
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie SVM par FIR Estimation de EDR : [Ferré Yao, 2003], [Ferré Villa, 2005] proposent des approches consistantes de l’estimation de l’espace EDR,[EDR;
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie SVM par FIR Estimation de EDR : [Ferré Yao, 2003], [Ferré Villa, 2005] proposent des approches consistantes de l’estimation de l’espace EDR,[EDR; Estimation de f par SVM : SVM sur P[EDR(X) ;
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie SVM par FIR Estimation de EDR : [Ferré Yao, 2003], [Ferré Villa, 2005] proposent des approches consistantes de l’estimation de l’espace EDR,[EDR; Estimation de f par SVM : SVM sur P[EDR(X) ; Résultat de consistance universelle pour ce SVM : ? ? ?
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Simulations Données simulées Waveform 2 4 6 8 10 12 14 16 18 20 8 6 4 2 0 −2 −4 Classe 1 2 4 6 8 10 12 14 16 18 20 10 8 6 4 2 0 −2 −4 Classe 2 2 4 6 8 10 12 14 16 18 20 8 6 4 2 0 −2 −4 Classe 3 300 courbes (apprentissage) / 500 courbes (validation) ; erreur calculée sur un échantillon de 500 courbes ; 10 répétitions.

Recomendados

Réseaux de neurones et SVM à entrées fonctionnelles : une approche par régres...
Réseaux de neurones et SVM à entrées fonctionnelles : une approche par régres...Réseaux de neurones et SVM à entrées fonctionnelles : une approche par régres...
Réseaux de neurones et SVM à entrées fonctionnelles : une approche par régres...
tuxette
 
Réseaux de neurones à entrées fonctionnelles
Réseaux de neurones à entrées fonctionnellesRéseaux de neurones à entrées fonctionnelles
Réseaux de neurones à entrées fonctionnelles
tuxette
 
Discrimination de courbes par SVM
Discrimination de courbes par SVMDiscrimination de courbes par SVM
Discrimination de courbes par SVM
tuxette
 
Analyse de données fonctionnelles par Machines à Vecteurs de Support (SVM)
Analyse de données fonctionnelles par Machines à Vecteurs de Support (SVM) Analyse de données fonctionnelles par Machines à Vecteurs de Support (SVM)
Analyse de données fonctionnelles par Machines à Vecteurs de Support (SVM)
tuxette
 
Théorie de l’apprentissage et SVM : présentation rapide et premières idées da...
Théorie de l’apprentissage et SVM : présentation rapide et premières idées da...Théorie de l’apprentissage et SVM : présentation rapide et premières idées da...
Théorie de l’apprentissage et SVM : présentation rapide et premières idées da...
tuxette
 
Traitement de données fonctionnelles par Support Vector Machine
Traitement de données fonctionnelles par Support Vector MachineTraitement de données fonctionnelles par Support Vector Machine
Traitement de données fonctionnelles par Support Vector Machine
tuxette
 
Discrimination de courbes par SVM
Discrimination de courbes par SVMDiscrimination de courbes par SVM
Discrimination de courbes par SVM
tuxette
 
Prédiction conforme sparse
Prédiction conforme sparsePrédiction conforme sparse
Prédiction conforme sparse
Cdiscount
 

Recomendados

Réseaux de neurones et SVM à entrées fonctionnelles : une approche par régres...
Réseaux de neurones et SVM à entrées fonctionnelles : une approche par régres...Réseaux de neurones et SVM à entrées fonctionnelles : une approche par régres...
Réseaux de neurones et SVM à entrées fonctionnelles : une approche par régres...
tuxette
 
Réseaux de neurones à entrées fonctionnelles
Réseaux de neurones à entrées fonctionnellesRéseaux de neurones à entrées fonctionnelles
Réseaux de neurones à entrées fonctionnelles
tuxette
 
Discrimination de courbes par SVM
Discrimination de courbes par SVMDiscrimination de courbes par SVM
Discrimination de courbes par SVM
tuxette
 
Analyse de données fonctionnelles par Machines à Vecteurs de Support (SVM)
Analyse de données fonctionnelles par Machines à Vecteurs de Support (SVM) Analyse de données fonctionnelles par Machines à Vecteurs de Support (SVM)
Analyse de données fonctionnelles par Machines à Vecteurs de Support (SVM)
tuxette
 
Théorie de l’apprentissage et SVM : présentation rapide et premières idées da...
Théorie de l’apprentissage et SVM : présentation rapide et premières idées da...Théorie de l’apprentissage et SVM : présentation rapide et premières idées da...
Théorie de l’apprentissage et SVM : présentation rapide et premières idées da...
tuxette
 
Traitement de données fonctionnelles par Support Vector Machine
Traitement de données fonctionnelles par Support Vector MachineTraitement de données fonctionnelles par Support Vector Machine
Traitement de données fonctionnelles par Support Vector Machine
tuxette
 
Discrimination de courbes par SVM
Discrimination de courbes par SVMDiscrimination de courbes par SVM
Discrimination de courbes par SVM
tuxette
 
Prédiction conforme sparse
Prédiction conforme sparsePrédiction conforme sparse
Prédiction conforme sparse
Cdiscount
 
Planification séquentielle pour l'estimation de probabilités de défaillance
Planification séquentielle pour l'estimation de probabilités de défaillancePlanification séquentielle pour l'estimation de probabilités de défaillance
Planification séquentielle pour l'estimation de probabilités de défaillance
Julien Bect
 
Fonction quadratique TS-4
Fonction quadratique TS-4Fonction quadratique TS-4
Fonction quadratique TS-4
mathemathieu
 
Une introduction à la géométrie de l'information
Une introduction à la géométrie de l'informationUne introduction à la géométrie de l'information
Une introduction à la géométrie de l'information
Frank Nielsen
 
Modelisation non supervisee
Modelisation non superviseeModelisation non supervisee
Modelisation non supervisee
miniloka
 
Planification et analyse d'expériences numériques: approche bayésienne
Planification et analyse d'expériences numériques: approche bayésiennePlanification et analyse d'expériences numériques: approche bayésienne
Planification et analyse d'expériences numériques: approche bayésienne
Julien Bect
 
09 mouvement-2
09 mouvement-209 mouvement-2
09 mouvement-2
Moha Djerah
 
Rappels stats-2014-part2
Rappels stats-2014-part2Rappels stats-2014-part2
Rappels stats-2014-part2
Arthur Charpentier
 
Cours econometrie-uqam-st-2-v2
Cours econometrie-uqam-st-2-v2Cours econometrie-uqam-st-2-v2
Cours econometrie-uqam-st-2-v2
Arthur Charpentier
 
Slide 2040-1
Slide 2040-1Slide 2040-1
Slide 2040-1
Arthur Charpentier
 
Cours econometrie-uqam-st-3-v4
Cours econometrie-uqam-st-3-v4Cours econometrie-uqam-st-3-v4
Cours econometrie-uqam-st-3-v4
Arthur Charpentier
 
A slides 11
A slides 11A slides 11
A slides 11
Denis Gillet
 
Slides 2040-2-0
Slides 2040-2-0Slides 2040-2-0
Slides 2040-2-0
Arthur Charpentier
 
Chap9 : Systèmes non linéaires
Chap9 : Systèmes non linéairesChap9 : Systèmes non linéaires
Chap9 : Systèmes non linéaires
Mohammed TAMALI
 
Cours econometrie-uqam-st-3
Cours econometrie-uqam-st-3Cours econometrie-uqam-st-3
Cours econometrie-uqam-st-3
Arthur Charpentier
 
Slides 2040-4
Slides 2040-4Slides 2040-4
Slides 2040-4
Arthur Charpentier
 
Comment faire disparaître les rides
Comment faire disparaître les ridesComment faire disparaître les rides
Comment faire disparaître les rides
Pierre-Hugues Carmichael
 
Saint Valentin à L’HôTel Résidence De Charme: Villa Noria
Saint Valentin à L’HôTel Résidence De Charme: Villa NoriaSaint Valentin à L’HôTel Résidence De Charme: Villa Noria
Saint Valentin à L’HôTel Résidence De Charme: Villa Noria
GERONIMI
 
Villa La Roche
Villa La RocheVilla La Roche
Villa La Roche
Kaori Becerril
 
Palladio et la géométrie classique
Palladio et la géométrie classique Palladio et la géométrie classique
Palladio et la géométrie classique
MiiMii Med Elarbi
 
Analyse villa la roche
Analyse villa la rocheAnalyse villa la roche
Analyse villa la roche
Maher Younes
 
Le corbusier
Le corbusierLe corbusier
Le corbusier
mbusta1961
 
villa savoye
villa savoye villa savoye
villa savoye
suzain ali
 

Mais conteúdo relacionado

Mais procurados

Modelisation non supervisee
Modelisation non superviseeModelisation non supervisee
Modelisation non supervisee
miniloka
 
Planification et analyse d'expériences numériques: approche bayésienne
Planification et analyse d'expériences numériques: approche bayésiennePlanification et analyse d'expériences numériques: approche bayésienne
Planification et analyse d'expériences numériques: approche bayésienne
Julien Bect
 
Cours econometrie-uqam-st-2-v2
Cours econometrie-uqam-st-2-v2Cours econometrie-uqam-st-2-v2
Cours econometrie-uqam-st-2-v2
Arthur Charpentier
 
Cours econometrie-uqam-st-3-v4
Cours econometrie-uqam-st-3-v4Cours econometrie-uqam-st-3-v4
Cours econometrie-uqam-st-3-v4
Arthur Charpentier
 
Chap9 : Systèmes non linéaires
Chap9 : Systèmes non linéairesChap9 : Systèmes non linéaires
Chap9 : Systèmes non linéaires
Mohammed TAMALI
 

Mais procurados (16)

Planification séquentielle pour l'estimation de probabilités de défaillance
Planification séquentielle pour l'estimation de probabilités de défaillancePlanification séquentielle pour l'estimation de probabilités de défaillance
Planification séquentielle pour l'estimation de probabilités de défaillance
 
Fonction quadratique TS-4
Fonction quadratique TS-4Fonction quadratique TS-4
Fonction quadratique TS-4
 
Une introduction à la géométrie de l'information
Une introduction à la géométrie de l'informationUne introduction à la géométrie de l'information
Une introduction à la géométrie de l'information
 
Modelisation non supervisee
Modelisation non superviseeModelisation non supervisee
Modelisation non supervisee
 
Planification et analyse d'expériences numériques: approche bayésienne
Planification et analyse d'expériences numériques: approche bayésiennePlanification et analyse d'expériences numériques: approche bayésienne
Planification et analyse d'expériences numériques: approche bayésienne
 
09 mouvement-2
09 mouvement-209 mouvement-2
09 mouvement-2
 
Rappels stats-2014-part2
Rappels stats-2014-part2Rappels stats-2014-part2
Rappels stats-2014-part2
 
Cours econometrie-uqam-st-2-v2
Cours econometrie-uqam-st-2-v2Cours econometrie-uqam-st-2-v2
Cours econometrie-uqam-st-2-v2
 
Slide 2040-1
Slide 2040-1Slide 2040-1
Slide 2040-1
 
Cours econometrie-uqam-st-3-v4
Cours econometrie-uqam-st-3-v4Cours econometrie-uqam-st-3-v4
Cours econometrie-uqam-st-3-v4
 
A slides 11
A slides 11A slides 11
A slides 11
 
Slides 2040-2-0
Slides 2040-2-0Slides 2040-2-0
Slides 2040-2-0
 
Chap9 : Systèmes non linéaires
Chap9 : Systèmes non linéairesChap9 : Systèmes non linéaires
Chap9 : Systèmes non linéaires
 
Cours econometrie-uqam-st-3
Cours econometrie-uqam-st-3Cours econometrie-uqam-st-3
Cours econometrie-uqam-st-3
 
Slides 2040-4
Slides 2040-4Slides 2040-4
Slides 2040-4
 
Comment faire disparaître les rides
Comment faire disparaître les ridesComment faire disparaître les rides
Comment faire disparaître les rides
 

Destaque

Villa rotonda-presentacion-final
Villa rotonda-presentacion-finalVilla rotonda-presentacion-final
Villa rotonda-presentacion-final
Jeffer Agurto Deza
 

Destaque (9)

Saint Valentin à L’HôTel Résidence De Charme: Villa Noria
Saint Valentin à L’HôTel Résidence De Charme: Villa NoriaSaint Valentin à L’HôTel Résidence De Charme: Villa Noria
Saint Valentin à L’HôTel Résidence De Charme: Villa Noria
 
Villa La Roche
Villa La RocheVilla La Roche
Villa La Roche
 
Palladio et la géométrie classique
Palladio et la géométrie classique Palladio et la géométrie classique
Palladio et la géométrie classique
 
Analyse villa la roche
Analyse villa la rocheAnalyse villa la roche
Analyse villa la roche
 
Le corbusier
Le corbusierLe corbusier
Le corbusier
 
villa savoye
villa savoye villa savoye
villa savoye
 
Villa Savoye
Villa SavoyeVilla Savoye
Villa Savoye
 
Analisis de la villa savoye le corbusier
Analisis de la villa savoye le corbusierAnalisis de la villa savoye le corbusier
Analisis de la villa savoye le corbusier
 
Villa rotonda-presentacion-final
Villa rotonda-presentacion-finalVilla rotonda-presentacion-final
Villa rotonda-presentacion-final
 

Mais de tuxette

Mais de tuxette (20)

Racines en haut et feuilles en bas : les arbres en maths
Racines en haut et feuilles en bas : les arbres en mathsRacines en haut et feuilles en bas : les arbres en maths
Racines en haut et feuilles en bas : les arbres en maths
 
Méthodes à noyaux pour l’intégration de données hétérogènes
Méthodes à noyaux pour l’intégration de données hétérogènesMéthodes à noyaux pour l’intégration de données hétérogènes
Méthodes à noyaux pour l’intégration de données hétérogènes
 
Méthodologies d'intégration de données omiques
Méthodologies d'intégration de données omiquesMéthodologies d'intégration de données omiques
Méthodologies d'intégration de données omiques
 
Projets autour de l'Hi-C
Projets autour de l'Hi-CProjets autour de l'Hi-C
Projets autour de l'Hi-C
 
Can deep learning learn chromatin structure from sequence?
Can deep learning learn chromatin structure from sequence?Can deep learning learn chromatin structure from sequence?
Can deep learning learn chromatin structure from sequence?
 
Multi-omics data integration methods: kernel and other machine learning appro...
Multi-omics data integration methods: kernel and other machine learning appro...Multi-omics data integration methods: kernel and other machine learning appro...
Multi-omics data integration methods: kernel and other machine learning appro...
 
ASTERICS : une application pour intégrer des données omiques
ASTERICS : une application pour intégrer des données omiquesASTERICS : une application pour intégrer des données omiques
ASTERICS : une application pour intégrer des données omiques
 
Autour des projets Idefics et MetaboWean
Autour des projets Idefics et MetaboWeanAutour des projets Idefics et MetaboWean
Autour des projets Idefics et MetaboWean
 
Rserve, renv, flask, Vue.js dans un docker pour intégrer des données omiques ...
Rserve, renv, flask, Vue.js dans un docker pour intégrer des données omiques ...Rserve, renv, flask, Vue.js dans un docker pour intégrer des données omiques ...
Rserve, renv, flask, Vue.js dans un docker pour intégrer des données omiques ...
 
Apprentissage pour la biologie moléculaire et l’analyse de données omiques
Apprentissage pour la biologie moléculaire et l’analyse de données omiquesApprentissage pour la biologie moléculaire et l’analyse de données omiques
Apprentissage pour la biologie moléculaire et l’analyse de données omiques
 
Quelques résultats préliminaires de l'évaluation de méthodes d'inférence de r...
Quelques résultats préliminaires de l'évaluation de méthodes d'inférence de r...Quelques résultats préliminaires de l'évaluation de méthodes d'inférence de r...
Quelques résultats préliminaires de l'évaluation de méthodes d'inférence de r...
 
Intégration de données omiques multi-échelles : méthodes à noyau et autres ap...
Intégration de données omiques multi-échelles : méthodes à noyau et autres ap...Intégration de données omiques multi-échelles : méthodes à noyau et autres ap...
Intégration de données omiques multi-échelles : méthodes à noyau et autres ap...
 
Journal club: Validation of cluster analysis results on validation data
Journal club: Validation of cluster analysis results on validation dataJournal club: Validation of cluster analysis results on validation data
Journal club: Validation of cluster analysis results on validation data
 
Overfitting or overparametrization?
Overfitting or overparametrization?Overfitting or overparametrization?
Overfitting or overparametrization?
 
Selective inference and single-cell differential analysis
Selective inference and single-cell differential analysisSelective inference and single-cell differential analysis
Selective inference and single-cell differential analysis
 
SOMbrero : un package R pour les cartes auto-organisatrices
SOMbrero : un package R pour les cartes auto-organisatricesSOMbrero : un package R pour les cartes auto-organisatrices
SOMbrero : un package R pour les cartes auto-organisatrices
 
Graph Neural Network for Phenotype Prediction
Graph Neural Network for Phenotype PredictionGraph Neural Network for Phenotype Prediction
Graph Neural Network for Phenotype Prediction
 
A short and naive introduction to using network in prediction models
A short and naive introduction to using network in prediction modelsA short and naive introduction to using network in prediction models
A short and naive introduction to using network in prediction models
 
Explanable models for time series with random forest
Explanable models for time series with random forestExplanable models for time series with random forest
Explanable models for time series with random forest
 
Présentation du projet ASTERICS
Présentation du projet ASTERICSPrésentation du projet ASTERICS
Présentation du projet ASTERICS
 

Discrimination de courbes par SVM

  • 1. SVM & FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Discrimination de courbes par SVM Nathalie Villa-Vialaneix Équipe GRIMM, Université Toulouse Le Mirail villa@univ-tlse2.fr ENAC, 24 nov. 2005
  • 2. SVM & FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Sommaire 1 Analyse des données fonctionnelles 2 Principe des SVM 3 Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse
  • 3. SVM & FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Sommaire 1 Analyse des données fonctionnelles 2 Principe des SVM 3 Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse
  • 4. SVM & FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Les données fonctionnelles : Définition Données classiques : chaque observation est un vecteur de RD ;
  • 5. SVM & FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Les données fonctionnelles : Définition Données classiques : chaque observation est un vecteur de RD ; Données fonctionnelles : chaque observation est une fonction d’un espace de dimension infinie (L2 , par exemple ; espace de Hilbert, en général).
  • 6. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Exemples Représentation temporelle (reconnaissance vocale 1) 0 2000 4000 6000 8000 −1.0 −0.5 0.0 0.5 1.0 Temps (ms) Frequences Boat Goat But : Reconnaître le mot. . . 1Données disponibles sur http ://www.math.univ-montp2.fr/˜biau/bbwdata.tgz
  • 7. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Exemples Représentation fréquentielle (reconnaissance vocale 1) 0 50 100 150 200 250 0 5 10 15 20 25 Frequences Log−periodogramme [aa] [ao] But : Reconnaître le son. . . 1TIMIT database disponible sur http ://www-stat.stanford.edu/˜tibs/ElemStatLearn/datasets/phoneme.data
  • 8. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Exemples Courbe de réponse (chimiométrie 1) 0 20 40 60 80 100 2 3 4 5 Longueur d’onde Absorbance But : Déterminer le taux de graisse. . . 1Tecator database disponible sur http ://lib.stat.cmu.edu/datasets/tecator
  • 9. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Exemple de problèmes en FDA (1) Problèmes d’inversion d’opérateurs X = E(X X) − E(X) E(X) est de Hilbert-Schmidt ) −1 X est non borné (ce n’est pas un opérateur continu de L2 ) ! !
  • 10. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Exemple de problèmes en FDA (1) Problèmes d’inversion d’opérateurs X = E(X X) − E(X) E(X) est de Hilbert-Schmidt ) −1 X est non borné (ce n’est pas un opérateur continu de L2 ) ! ! ni Conséquence au niveau de l’estimation Pn = 1 X n =1 xi xi − X X est mal conditionné ) nécessité de pénalisation ou de régularisation. Exemple : Régression inverse fonctionnelle [Ferré Villa, 2005]
  • 11. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Les données fonctionnelles en pratique Soit X une variable aléatoire fonctionnelle, on ne connaît jamais complètement les observations (xi)i=1,...,n de X !
  • 12. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Les données fonctionnelles en pratique Soit X une variable aléatoire fonctionnelle, D ii1 on ne connaît jamais complètement les observations (xi)i=1,...,n de X ! on dispose de xi(t), . . . , xi(t) ; dans le pire cas, le nombre et la place des points de discrétisation dépendent de l’observation.
  • 13. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Exemple de problèmes en FDA (2) D’un point de vue pratique... représenter les fonctions observées et les fonctions paramètres ;
  • 14. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Exemple de problèmes en FDA (2) D’un point de vue pratique... représenter les fonctions observées et les fonctions paramètres ; n D, les observations pour un même individu sont fortement corrélées (fonction sous-jacente) ) problèmes mal posés, méthodes usuelles souvent inapplicables directement.
  • 15. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Apports de notre travail en FDA Mise au point d’une méthode de régression inverse fonctionnelle, FIR, régularisée par pénalisation ;
  • 16. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Apports de notre travail en FDA Mise au point d’une méthode de régression inverse fonctionnelle, FIR, régularisée par pénalisation ; Extension des perceptrons multi-couches pour le traitement de données fonctionnelles : approche par FIR ;
  • 17. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Apports de notre travail en FDA Mise au point d’une méthode de régression inverse fonctionnelle, FIR, régularisée par pénalisation ; Extension des perceptrons multi-couches pour le traitement de données fonctionnelles : approche par FIR ; Généralisation des SVM au traitement de données fonctionnelles.
  • 18. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Sommaire 1 Analyse des données fonctionnelles 2 Principe des SVM 3 Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse
  • 19. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Rappel sur le principe SVM Le problème Soit X 2 H et Y 2 {−1; 1}. On cherche à déterminer la valeur de Y connaissant la variable X.
  • 20. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Rappel sur le principe SVM Le problème Soit X 2 H et Y 2 {−1; 1}. On cherche à déterminer la valeur de Y connaissant la variable X. Les données On dispose de n réalisations indépendantes de (X, Y) : (x1, y1), . . . , (xn, yn).
  • 21. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Discrimination linéaire à marge optimale
  • 22. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Discrimination linéaire à marge optimale
  • 23. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Discrimination linéaire à marge optimale w marge : 1 kwk2 Vecteur Support
  • 24. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Discrimination linéaire à marge optimale w marge : 1 kwk2 Vecteur Support On cherche w tel que : minw,b hw,wi, sous les contraintes : yi(hw, xii + b) 1, 1 i n.
  • 25. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Discrimination linéaire à marge souple
  • 26. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Discrimination linéaire à marge souple
  • 27. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Discrimination linéaire à marge souple w marge : 1 kwk2 Vecteur Support
  • 28. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Discrimination linéaire à marge souple w marge : 1 kwk2 Vecteur Support On cherche w tel que : minw,b,hw,wi + C Pni =1 i , sous les contraintes : yi(hw, xii + b) 1 − i , 1 i n, i 0, 1 i n.
  • 29. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Envoyer les données dans un espace de grande dimension Espace initial H
  • 30. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Envoyer les données dans un espace de grande dimension Espace initial H Espace image X (non linéaire)
  • 31. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Envoyer les données dans un espace de grande dimension Espace initial H Espace image X (non linéaire)
  • 32. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Envoyer les données dans un espace de grande dimension Espace initial H Espace image X (non linéaire) On cherche w tel que : (PC,X) minw,b,hw,wi + C Pni =1 i , sous les contraintes : yi(hw,(xi)i + b) 1 − i , 1 i n, i 0, 1 i n.
  • 33. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Intérêt du non linéaire Formulation régularisation : (PC,X) , (R,X) min f2X 1 n Xn i=1 max(0, 1 − yi f (xi)) + hf , f iX.
  • 34. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Intérêt du non linéaire Formulation régularisation : (PC,X) , (R,X) min f2X 1 n Xn i=1 max(0, 1 − yi f (xi)) + hf , f iX. Formulation duale : (PC,X) , (DC,X) max Pni =1 i − Pni =1 Pnj =1 ijyiyjh(xi),(xj)iX, avec PNi =1 iyi = 0, 0 i C, 1 i n.
  • 35. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Intérêt du non linéaire Formulation régularisation : (PC,X) , (R,X) min f2X 1 n Xn i=1 max(0, 1 − yi f (xi)) + hf , f iX. Formulation duale : (PC,X) , (DC,X) max Pni =1 i − Pni =1 Pnj =1 ijyiyjh(xi),(xj)iX, avec PNi =1 iyi = 0, 0 i C, 1 i n. Produit scalaire dans X : 8 u, v 2 H, K(u, v) = h(u),(v)iX
  • 36. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Sommaire 1 Analyse des données fonctionnelles 2 Principe des SVM 3 Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse
  • 37. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Présentation des travaux En collaboration avec Fabrice Rossi Support vector machine for functional data classification (2005), paru dans ESANN proceedings. En collaboration avec Fabrice Rossi Classification in Hilbert spaces with support vector machines (2005), paru dans ASMDA proceedings En collaboration avec Fabrice Rossi Support vector machine for functional data classification (2005), à paraître dans Neurocomputing.
  • 38. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Noyaux pour FDA Forme générale Prétraitement : P : H ! D 8 u, v 2 H,Q(u, v) = K(P(u), P(v)).
  • 39. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Noyaux pour FDA Forme générale Prétraitement : P : H ! D 8 u, v 2 H,Q(u, v) = K(P(u), P(v)). 1 Projections : pour VD = Vect{ 1, . . . , D}, P(x) = XD j=1 hx, ji j .
  • 40. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Noyaux pour FDA Forme générale Prétraitement : P : H ! D 8 u, v 2 H,Q(u, v) = K(P(u), P(v)). 1 Projections : pour VD = Vect{ 1, . . . , D}, P(x) = XD j=1 hx, ji j . 2 Transformations fonctionnelles : P(x) = Dqx,. . .
  • 41. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Noyaux pour FDA Forme générale Prétraitement : P : H ! D 8 u, v 2 H,Q(u, v) = K(P(u), P(v)). 1 Projections : pour VD = Vect{ 1, . . . , D}, P(x) = XD j=1 hx, ji j . 2 Transformations fonctionnelles : P(x) = Dqx,. . . 3 FIR. . .
  • 42. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Sommaire 1 Analyse des données fonctionnelles 2 Principe des SVM 3 Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse
  • 43. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Une approche consistante Approche par projection 1 ( j)j base Hilbertienne de H : projection sur ( j)j=1,...,d ;
  • 44. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Une approche consistante Approche par projection 1 ( j)j base Hilbertienne de H : projection sur ( j)j=1,...,d ; 2 Choix des paramètres : a d 2 N, K 2 Jd, C 2 [0; Cd]
  • 45. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Une approche consistante Approche par projection 1 ( j)j base Hilbertienne de H : projection sur ( j)j=1,...,d ; 2 Choix des paramètres : a d 2 N, K 2 Jd, C 2 [0; Cd] partage des données : B1 = (x1, y1), . . . , (xl , yl ) et B2 = (xl+1, yl+1), . . . , (xn, yn) ;
  • 46. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Une approche consistante Approche par projection 1 ( j)j base Hilbertienne de H : projection sur ( j)j=1,...,d ; 2 Choix des paramètres : a d 2 N, K 2 Jd, C 2 [0; Cd] partage des données : B1 = (x1, y1), . . . , (xl , yl ) et B2 = (xl+1, yl+1), . . . , (xn, yn) ; construction du SVM sur B1 : fa ;
  • 47. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Une approche consistante Approche par projection 1 ( j)j base Hilbertienne de H : projection sur ( j)j=1,...,d ; 2 Choix des paramètres : a d 2 N, K 2 Jd, C 2 [0; Cd] partage des données : B1 = (x1, y1), . . . , (xl , yl ) et B2 = (xl+1, yl+1), . . . , (xn, yn) ; construction du SVM sur B1 : fa ; choix du paramètre optimal sur B2 : a = argmina bL n−l fa + d p n − l avecbL n−l fa = 1 n−l Pni =l+1 I{fa (xi ),yi }.
  • 48. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Une approche consistante Approche par projection 1 ( j)j base Hilbertienne de H : projection sur ( j)j=1,...,d ; 2 Choix des paramètres : a d 2 N, K 2 Jd, C 2 [0; Cd] partage des données : B1 = (x1, y1), . . . , (xl , yl ) et B2 = (xl+1, yl+1), . . . , (xn, yn) ; construction du SVM sur B1 : fa ; choix du paramètre optimal sur B2 : a = argmina bL n−l fa + d p n − l avecbL n−l fa = 1 n−l Pni =l+1 I{fa (xi ),yi }. ) On obtient un SVM fn.
  • 49. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Hypothèses Hypothèses sur la distribution de X (H1) X prend ses valeurs dans un borné de H.
  • 50. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Hypothèses Hypothèses sur la distribution de X (H1) X prend ses valeurs dans un borné de H. Hypothèses sur les paramètres : 8 d 1, (H2) Jd est un ensemble fini ; (H3) 9Kd 2 Jd tel que : Kd est universel et 9d 0 : N(Kd, ) = O(−d ) ; (H4) Cd 1 ; (H5) P d1 |Jd|e−22d +1.
  • 51. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Hypothèses Hypothèses sur la distribution de X (H1) X prend ses valeurs dans un borné de H. Hypothèses sur les paramètres : 8 d 1, (H2) Jd est un ensemble fini ; (H3) 9Kd 2 Jd tel que : Kd est universel et 9d 0 : N(Kd, ) = O(−d ) ; (H4) Cd 1 ; (H5) P d1 |Jd|e−22d +1. Hypothèses sur la validation (H6) limn!+1 l = +1; (H7) limn!+1 n − l = +1; (H8) limnl log(n−l) !+1 n−l = 0.
  • 52. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Convergence par procédure de validation Théorème 1 Consistance universelle Sous les hypothèses (H1)-(H8), fn est consistant : Lfn n!+1 −−−−−! L, où Lfn = ( P(fn(X) , Y) et L = P(f (X) , Y) avec 1 si P(Y = 1|X = x) 1/2, f (x) = −1 sinon.
  • 53. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Application : reconnaissance vocale Description des données et méthodes 3 problèmes et pour chaque problème, 100 enregistrements discrétisés en 8 192 points ;
  • 54. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Application : reconnaissance vocale Description des données et méthodes 3 problèmes et pour chaque problème, 100 enregistrements discrétisés en 8 192 points ; Mise en oeuvre de la procédure consistante : Projection sur une base trigonométrique ; Partage de la base de données en 50 spectres (apprentissage) / 49 (validation) ; Performances déterminées par leave-one-out.
  • 55. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Application : reconnaissance vocale Description des données et méthodes 3 problèmes et pour chaque problème, 100 enregistrements discrétisés en 8 192 points ; Mise en oeuvre de la procédure consistante : Projection sur une base trigonométrique ; Partage de la base de données en 50 spectres (apprentissage) / 49 (validation) ; Performances déterminées par leave-one-out. Résultats Prob. k-nn QDA SVM gau. SVM lin. SVM lin. (proj) (proj) (direct) yes/no 10% 7% 10% 19% 58% boat/goat 21% 35% 8% 29% 46% sh/ao 16% 19% 12% 25% 47%
  • 56. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Application : Tecator data Set Description des données et méthodes 215 spectres discrétisés en 100 points ; 2 classes : taux de graisse 20% et 20%.
  • 57. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Application : Tecator data Set Description des données et méthodes 215 spectres discrétisés en 100 points ; 2 classes : taux de graisse 20% et 20%. Procédure : Projection sur une base de splines cubiques (déterminée par leave-one-out) ; Partage aléatoire de la base de données en 60 spectres (apprentissage) / 60 spectres (validation) ; Performances déterminées sur un échantillon de test aléatoire de 95 spectres.
  • 58. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Application : Tecator data Set Description des données et méthodes 215 spectres discrétisés en 100 points ; 2 classes : taux de graisse 20% et 20%. Procédure : Projection sur une base de splines cubiques (déterminée par leave-one-out) ; Partage aléatoire de la base de données en 60 spectres (apprentissage) / 60 spectres (validation) ; Performances déterminées sur un échantillon de test aléatoire de 95 spectres. Résultats (Moyenne pour 250 répétitions) Noyau Erreur moyenne (test) Linéaire 3.38% Linéaire sur D2X 3.28% Gaussien 7.5% Gaussien sur D2X 2.6%
  • 59. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Sommaire 1 Analyse des données fonctionnelles 2 Principe des SVM 3 Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse
  • 60. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Approche directe pour SVM sur dérivées X est régulière : X 2 H = Hm = {x : [0; 1] ! R : Dmx existe et Dmx 2 L2 + conditions aux limites} ;
  • 61. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Approche directe pour SVM sur dérivées X est régulière : X 2 H = Hm = {x : [0; 1] ! R : Dmx existe et Dmx 2 L2 + conditions aux limites} ; Produit scalaire : H est muni du produit scalaire hf , giH = hLf , LgiL2 = Z [0;1] Lf (t)Lg(t)dt où Lx = Pmj =1 ajDjx avec am , 0 et les conditions aux limites qui impliquent Lx , 0 si x , 0.
  • 62. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Exemples d’espaces de Sobolev H1 avec L = I + D et x(0) = 0 (Lx = 0 ) x = ae−t et x(0) = a) ;
  • 63. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Exemples d’espaces de Sobolev H1 avec L = I + D et x(0) = 0 (Lx = 0 ) x = ae−t et x(0) = a) ; H2 avec L = I + D2 et x(0) = Dx(0) = 0 ;
  • 64. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Exemples d’espaces de Sobolev H1 avec L = I + D et x(0) = 0 (Lx = 0 ) x = ae−t et x(0) = a) ; H2 avec L = I + D2 et x(0) = Dx(0) = 0 ; Hm (m 1) avec L = Dm et Djx(0) = 0, 8 j = 1, . . . ,m − 1. Pour d’autres exemples, voir [Besse Ramsay, 1986] et [Berlinet Thomas-Agnan, 2004].
  • 65. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie RKHS H peut être un RKHS Un RKHS est un espace de fonctions tel que 9 K : R ×R ! H : 8 x 2 H, hx, K(t, .)iH = x(t).
  • 66. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie RKHS H peut être un RKHS Un RKHS est un espace de fonctions tel que 9 K : R ×R ! H : 8 x 2 H, hx, K(t, .)iH = x(t). H1 avec L = I + D et x(0) = 0 est un RKHS de noyau K(s, t) = e− max(s,t) sinh(min(s, t));
  • 67. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie RKHS H peut être un RKHS Un RKHS est un espace de fonctions tel que 9 K : R ×R ! H : 8 x 2 H, hx, K(t, .)iH = x(t). H1 avec L = I + D et x(0) = 0 est un RKHS de noyau K(s, t) = e− max(s,t) sinh(min(s, t)); H2 avec L = I + D2 et x(0) = Dx(0) = 0 est un RKHS de noyau K(s, t) = (min(s, t) cos(s − t) − cos(s) cos(t))/2
  • 68. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie SVM fonctionnels par interpolation spline [Besse Ramsay, 1986] Si H est un RKHS de noyau K alors, 8 x 2 H, connue aux points (tk )k=1,...,d, spline d’interpolation h = PVect{K(tk ,.),k=1,...,d}(x).
  • 69. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie SVM fonctionnels par interpolation spline [Besse Ramsay, 1986] Si H est un RKHS de noyau K alors, 8 x 2 H, connue aux points (tk )k=1,...,d, spline d’interpolation h = PVect{K(tk ,.),k=1,...,d}(x). Application aux SVM dans L2 SVM sur (Lhn)n avec noyau G1 [0;1] , SVM sur (xn)n avec noyau Gd K−1/2 dans Rd. où xn = (xn(t1), . . . , xn(td)) et K = (K(ti , tj))i,j .
  • 70. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Consistance directe Théorème 2 Consistance universelle Soit (tk )k=1,...,d des points de discrétisation dans [0; 1] tels que K = (K(ti , tj))i,j=1,...,d soit inversible. Alors,
  • 71. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Consistance directe Théorème 2 Consistance universelle Soit (tk )k=1,...,d des points de discrétisation dans [0; 1] tels que K = (K(ti , tj))i,j=1,...,d soit inversible. Alors, il existe une suite de points de discrétisation (D)D1 telle que d = (tk )k=1,...,d, 8D 1, D D+1 et KD = (K(ti , tj ))i,j=1,...,D est inversible, Vect{K(t, .), t 2 [D1D} est dense dans H ;
  • 72. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Consistance directe Théorème 2 Consistance universelle Soit (tk )k=1,...,d des points de discrétisation dans [0; 1] tels que K = (K(ti , tj))i,j=1,...,d soit inversible. Alors, il existe une suite de points de discrétisation (D)D1 telle que d = (tk )k=1,...,d, 8D 1, D D+1 et KD = (K(ti , tj ))i,j=1,...,D est inversible, Vect{K(t, .), t 2 [D1D} est dense dans H ; le SVM construit à partir de la spline d’interpolation avec une suite de régularisation (CD n )n = O(n1−
  • 74. D 1/D est universellement consistant : lim n!+1 lim D!+1 Lfn,D = L où L est l’erreur de Bayes.
  • 75. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Sommaire 1 Analyse des données fonctionnelles 2 Principe des SVM 3 Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse
  • 76. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Régression inverse fonctionnelle Modèle ([Ferré Yao, 2003], [Ferré Villa, 2005]) Y = f (ha1, Xi . . . haq, Xi, ), où y X, E() = 0, f inconnue, {a1, . . . , aq} linéairement independants. EDR = Vect{a1, . . . aq}
  • 77. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Régression inverse fonctionnelle Modèle ([Ferré Yao, 2003], [Ferré Villa, 2005]) Y = f (ha1, Xi . . . haq, Xi, ), où y X, E() = 0, f inconnue, {a1, . . . , aq} linéairement independants. EDR = Vect{a1, . . . aq} Caractérisation de l’espace EDR Si, pour A = (hX, a1i, . . . , hX, aqi), Condition de Li 8 u 2 H, 9v 2 Rq : E(hu, Xi|A) = vTA, alors E(X|Y) 2 X(EDR).
  • 78. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Régression inverse fonctionnelle Modèle ([Ferré Yao, 2003], [Ferré Villa, 2005]) Y = f (ha1, Xi . . . haq, Xi, ), où y X, E() = 0, f inconnue, {a1, . . . , aq} linéairement independants. EDR = Vect{a1, . . . aq} Caractérisation de l’espace EDR Si, pour A = (hX, a1i, . . . , hX, aqi), Condition de Li 8 u 2 H, 9v 2 Rq : E(hu, Xi|A) = vTA, alors E(X|Y) 2 X(EDR). ) On choisit d’estimer a1, . . . , aq, vecteurs propres de −1 X E(X|Y).
  • 79. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie SVM par FIR Estimation de EDR : [Ferré Yao, 2003], [Ferré Villa, 2005] proposent des approches consistantes de l’estimation de l’espace EDR,[EDR;
  • 80. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie SVM par FIR Estimation de EDR : [Ferré Yao, 2003], [Ferré Villa, 2005] proposent des approches consistantes de l’estimation de l’espace EDR,[EDR; Estimation de f par SVM : SVM sur P[EDR(X) ;
  • 81. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie SVM par FIR Estimation de EDR : [Ferré Yao, 2003], [Ferré Villa, 2005] proposent des approches consistantes de l’estimation de l’espace EDR,[EDR; Estimation de f par SVM : SVM sur P[EDR(X) ; Résultat de consistance universelle pour ce SVM : ? ? ?
  • 82. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Simulations Données simulées Waveform 2 4 6 8 10 12 14 16 18 20 8 6 4 2 0 −2 −4 Classe 1 2 4 6 8 10 12 14 16 18 20 10 8 6 4 2 0 −2 −4 Classe 2 2 4 6 8 10 12 14 16 18 20 8 6 4 2 0 −2 −4 Classe 3 300 courbes (apprentissage) / 500 courbes (validation) ; erreur calculée sur un échantillon de 500 courbes ; 10 répétitions.
  • 83. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Simulations Données simulées Waveform 2 4 6 8 10 12 14 16 18 20 8 6 4 2 0 −2 −4 Classe 1 2 4 6 8 10 12 14 16 18 20 10 8 6 4 2 0 −2 −4 Classe 2 2 4 6 8 10 12 14 16 18 20 8 6 4 2 0 −2 −4 Classe 3 300 courbes (apprentissage) / 500 courbes (validation) ; erreur calculée sur un échantillon de 500 courbes ; 10 répétitions. Résultats FIR-SVM SVM R-PDA FIR-N Moyenne (test) 13,70 15,46 15,62 14,16 Ecart type (test) 2,25 3,04 2,05 2,01 Minimum (test) 10,20 12,20 12,60 12,00 Moyenne (apprentissage) 11,73 10,17 12,47 12,37
  • 84. SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Berlinet, A. Thomas-Agnan, C. (2004). Reproducing kernel Hilbert spaces in probability and statistics. Kluwer Academic Publisher. Besse, P. Ramsay, J. (1986). Principal component analysis of sampled curves. Psychometrica, 51, 285–311. Ferré, L. Villa, N. (2005). Discrimination de courbes par régression inverse fonctionnelle. Revue de Statistique Appliquée, LIII(1), 39–57. Ferré, L. Yao, A. (2003). Functional sliced inverse regression analysis. Statistics, 37, 475–488.