1. Intelligence Artificielle - mai 2012
Comparaison de différentes
méthodes utilisant des réseaux
de neurones
Objet d’application : des fonctions bruitées
Kostiantyn KLEKOTA
Nicholas CHARRIERE
2. Présentation (1/2)
Objectif : Comparer différentes méthodes de
prédiction de fonction
Paramètres : Nous avons testé sur les 2 fonctions
suivantes :
X(t)=sin(4πt)+ε Y(t)=exp(-t/2)+ε
Où ε est un bruit distribué normalement avec une dispersion de 0.05
100 points de données pour l’entraînement, et 100
pour la vérification (sauf pour ANFIS 400/400)
3. Présentation (2/2)
Pour l’input, on utilise 5 points pour prévoir le 6ème:
[f(t-1), f(t-2), f(t-3), f(t-4), f(t-5)] → f(t)
On a comparé les méthodes suivantes :
Cascade forward backpropagation network
Elman backpropagation network
Feed forward backpropagation network
Layered recurrent network
ANFIS (Adaptive-Network-Based Fuzzy Inference System )
On utilise la méthode du RMSE (root mean sqared error)
pour comparer
4. Paramètres de chaque méthode
Méthode Paramètres
Cascade forward BPN 3 couches de 5 neurones chacune + un neurone en output
Elman BPN 2 couches de 5 neurones chacune + un neurone en output
Feed forward BPN 1 couche de 5 neurones + un neurone en output
Layered recurrent network 1 couche de 10 neurones + 1 neurone en output
Généré automatiquement, avec :
Nombre de noeuds: 92
Nombre de paramètres linéaires: 192
Nombre de paramètres non linéaires: 30
Nombre total de paramètres: 222
ANFIS Nombre de paires de data d’apprentissage: 400
Nombre de paire de data de vérif.: 100
Nombre de loies floues: 32
Nombre max d’Epochs: 25
5. Cascade forward BPN
Réseau avec une “auto-organisation”
Pendant l’entraînement, des neurones
sont séléctionnés d’un lot de candidats
et ajoutés à la couche cachée
Architecture en cascade
L’algorithme d’apprentissage maximise
l’amplitude de la corrélation entre
l’output du nouveau neurone et l’erreur
résiduelle du réseau qu’on essaye de
minimiser
6. Elman BPN
Réseau récurrent simple (RNN)
A 3 couches : input, output, et une
couche cachée
Ressemble au feedforward BPN, mais
possède une couche de “contexte”
Elle est remplie, sans pondération, de
l’output de la couche cachée
Puis le réseau Elman s’en rappelle et les
output sur la prochaine étape
Enfin ces valeurs sont renvoyées, en
utilisant une connection qui utilise un
apprentissage pour pondérer, dans la
couche cachée
7. Feed forward BPN
Différent des méthodes récurrentes ou semi-
récurrentes (cascade)
Réseau artificiel dans lequel les connections ne
forment pas un cycle
Premier et peut-être plus simple des réseaux,
l’information circule dans un seul sens
8. Layered recurrent network
Dans celui-ci on a des cycles
Permet d’exhiber un
comportement temporel
dynamique
Leur mémoire leur permet de
gérer des séquences
aléatoires d’inputs
Pratique pour des taches
comme de la reconnaissance
d’écriture
En général on y utilise la
méthode du gradient descent.
9. ANFIS
(Adaptive-Network-Based Fuzzy Inference System )
Réseau adaptatif basé sur le système d’interférence
floue de Takagi-Sugeno
Une des premieres versions de réseaux de neurones
combinés à la logique floue
Permet donc d’avoir les qualités de ces deux-dernières
dans un même framework
Permet de bien approximer des fonctions non-linéaires
10. ANFIS
(Adaptive-Network-Based Fuzzy Inference System )
La première couche prend les inputs (transcrit des variables verbales en
valeurs numériques grâce aux fonctions d’appartenance (membership
functions)
La seconde couche multiplie les signaux et renvoie le produit
La troisieme couche normalise avec les règles
La quatrième sert à pondérer en appliquant de nouvelles règles
La cinquième aggrège les résultats
11. Conclusion
Notre but était de comparer les performances
Pour cela, on a utilisé le RMSE (root of mean squared
error)
Les résultats montrent que les productivités sont très
proches
Meilleure méthode pour SIN : Feedforward BPN
Meilleure méthode pour EXP : ANFIS