handwriting recognition

1. 2011/2012
1

2. • Idée générale
• Définition
• Le principe de boosting
• Historique
• AdaBoost
– L'Algorithme de AdaBoost
– ILLUSTRATION
– Les avantages et les inconvénients
pratiques de AdaBoost
• Conclusion
2

3. Exemple: détecter des mots au pluriel
Règle Forte
Règle faible 2 Règle faible 1
3

4. • Le mot boosting s’applique à des méthodes
générales capables de produire des décisions
très précises à partir d’un ensemble de règles
de décision « faibles ».
« Le boosting combine des hypothèses dites
faibles en une hypothèse dite forte »
4

5. • Faire simple pour faire compliqué
il est facile de trouver des règles simples,
généralement justes.
il est très difficile de trouver une règle "fortes" qui
est vérifiée dans tous les cas.
• Le principe est issu de la combinaison de
classifieurs (appelés également hypothèses).
5

6. • La catégorisation
• Détection et classement d’objet dans des images
• Le filtrage de texte
• Bioinformatique
6

7. Drucker & al
Schapire Premières
algorithme mises en
de weak œuvres réelles
Freund Freund &
learner Algorithme
optimal par
Schapire
votes Adaboost
pondérés
1989 1990 1992 1996
7

8. • Adaboost (Adaptive Boosting, R.Scharpire,
Y.Freund, 1996) est une méthode de
boosting (intelligence artificielle,
apprentissage automatique) introduite par
Yoav Freund et Robert Schapire.
• Adaboost consiste à transformer, d’une manière
efficace, un classifieur «faible» en un classifieur
«fort» en réduisant les taux d’erreur.
8

9. 9

10. 10

11. Initialisation
Exemple
11

12. Étape 1
:
:
:
:
12

13. Étape 2
Z = 0.827
13

14. Étape 3
14

15. = =
15

16. Les avantages:
• très rapide.
• Simple et facile à programmer.
• Une seul paramètre à régler.
• Permet de trouver les exemples aberrants.
Les inconvénients:
Les performances d’ADABOOST sont influencées par :
• Le choix du weak learner.
• La nature des données d’apprentissage.
16

17. Le boosting est un outil efficace expérimentalement
Basé sur une théorie mathématique et trois principes
essentiels:
1- Combiner les estimations de différents experts.
2- Modifier, avant chaque ajout d’un expert, la
distribution des exemples.
3- Au final, utiliser une moyenne des « votes » des
experts, pondérée par leurs fiabilités respectives.
• Permet d’obtenir un très bon classifieur en
associant des classifieurs « faibles »
17

18. Merci de votre attention
18