Modélisation et gestion de concepts, en particulier temporels, pour l'assistance à la caractérisation de séquences d'images
1. Modélisation et gestion de concepts, en particulier
temporels, pour l’assistance à la caractérisation de
séquences d’images
Alain Simac-Lejeune 14 juin 2011
Direction : Patrick Lambert et Michèle Rombaut
Laboratoire LISTIC Annecy et GIPSA-Lab Grenoble
10. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Existant
INDEXATION MANUELLE
exemples : mots-clés, INA
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 3 / 43
11. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Existant
INDEXATION MANUELLE
exemples : mots-clés, INA
problèmes :
- long
- subjectif
- liée à la langue
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 3 / 43
12. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Existant
INDEXATION MANUELLE
exemples : mots-clés, INA
problèmes :
- long INDEXATION AUTOMATIQUE
- subjectif
- liée à la langue
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 3 / 43
13. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Existant
INDEXATION MANUELLE
exemples : mots-clés, INA
problèmes :
- long INDEXATION AUTOMATIQUE
- subjectif
- liée à la langue
machine learning
Etape 1 Etape 2
Création base apprentissage Classification supervisée
Etape Manuelle Etape Automatique
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 3 / 43
14. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Existant
INDEXATION MANUELLE
exemples : mots-clés, INA
problèmes :
- long INDEXATION AUTOMATIQUE
- subjectif
- liée à la langue
machine learning
Etape 1 Etape 2
Création base apprentissage Classification supervisée
Etape Manuelle Etape Automatique
annotation manuelle
annotation collaborative
visionnage actif
annotation assistée
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 3 / 43
15. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Existant
INDEXATION MANUELLE
exemples : mots-clés, INA
problèmes :
- long INDEXATION AUTOMATIQUE
- subjectif
- liée à la langue
machine learning
Etape 1 Etape 2
Création base apprentissage Classification supervisée
Etape Manuelle Etape Automatique
annotation manuelle AdaBoost
annotation collaborative SVM
visionnage actif HMM
annotation assistée k-plus proches voisins
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 3 / 43
16. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Existant
INDEXATION MANUELLE
exemples : mots-clés, INA
problèmes :
- long INDEXATION AUTOMATIQUE
- subjectif
- liée à la langue
machine learning
Etape 1 Etape 2
Création base apprentissage Classification supervisée
Etape Manuelle Etape Automatique
annotation manuelle AdaBoost
annotation collaborative SVM
visionnage actif HMM
annotation assistée k-plus proches voisins
constitution de la base d’apprentissage : par annotation manuelle
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 3 / 43
17. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Approche proposée
concept = élément de contenu de niveau sémantique élevé
par exemple, concept dans la suite : ‘courir’
On souhaite construire une base d’apprentissage présentant le concept ‘courir’ ?
oui peut-être non
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 4 / 43
18. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Approche proposée
concept = élément de contenu de niveau sémantique élevé
par exemple, concept dans la suite : ‘courir’
On souhaite construire une base d’apprentissage présentant le concept ‘courir’ ?
oui peut-être non
notre approche : sélectionner des segments vidéos
qui correspondent à un concept
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 4 / 43
19. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Approche proposée
concept = élément de contenu de niveau sémantique élevé
par exemple, concept dans la suite : ‘courir’
On souhaite construire une base d’apprentissage présentant le concept ‘courir’ ?
oui peut-être non
notre approche : sélectionner des segments vidéos
qui correspondent à un concept
annotation d’une base plus petite
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 4 / 43
20. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Approche proposée
concept = élément de contenu de niveau sémantique élevé
par exemple, concept dans la suite : ‘courir’
On souhaite construire une base d’apprentissage présentant le concept ‘courir’ ?
oui peut-être non
notre approche : sélectionner des segments vidéos
qui correspondent à un concept
annotation d’une base plus petite
=> construction de la base d’apprentissage
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 4 / 43
21. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Système proposé
OBJECTIF : faciliter la construction de la base d'apprentissage
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 5 / 43
22. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Système proposé
OBJECTIF : faciliter la construction de la base d'apprentissage
EXTRACTION
Extraction
d’attributs
Attributs
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 5 / 43
23. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Système proposé
OBJECTIF : faciliter la construction de la base d'apprentissage
EXTRACTION
Extraction
d’attributs
Attributs
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 5 / 43
24. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Système proposé
OBJECTIF : faciliter la construction de la base d'apprentissage
EXTRACTION MODELISATION
Expert en
Traitement d’Images
Extraction Modèles
d’attributs
Attributs Structuration
de la base
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 5 / 43
25. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Système proposé
OBJECTIF : faciliter la construction de la base d'apprentissage
EXTRACTION MODELISATION
Expert en
Traitement d’Images
Extraction Modèles
d’attributs
Attributs Structuration
de la base
Phase ‘offline’
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 5 / 43
26. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Système proposé
OBJECTIF : faciliter la construction de la base d'apprentissage
EXTRACTION MODELISATION
Expert en
Traitement d’Images
Extraction Modèles
d’attributs
Attributs Structuration
de la base
Phase ‘offline’
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 5 / 43
27. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Système proposé
OBJECTIF : faciliter la construction de la base d'apprentissage
EXTRACTION MODELISATION DEFINITION
Expert en Interactions par QR
Traitement d’Images
Expert
Applicatif
Extraction Modèle
Modèles de concept
d’attributs
Attributs Structuration Extraction
de la base de segments vidéo
Phase ‘offline’
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 5 / 43
28. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Système proposé
OBJECTIF : faciliter la construction de la base d'apprentissage
EXTRACTION MODELISATION DEFINITION
Expert en Interactions par QR
Traitement d’Images
Expert
Applicatif
Extraction Modèle
Modèles de concept
d’attributs
Attributs Structuration Extraction
de la base de segments vidéo
Phase ‘offline’
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 5 / 43
29. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Système proposé
OBJECTIF : faciliter la construction de la base d'apprentissage
EXTRACTION MODELISATION DEFINITION VALIDATION
Expert en Interactions par QR
Expert
Traitement d’Images Applicatif
Expert
Applicatif
Extraction Modèle Validation
Modèles de concept
d’attributs
Attributs Structuration Extraction Prototypes
de la base de segments vidéo
Phase ‘offline’
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 5 / 43
30. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Système proposé
OBJECTIF : faciliter la construction de la base d'apprentissage
EXTRACTION MODELISATION DEFINITION VALIDATION
Expert en Interactions par QR
Expert
Traitement d’Images Applicatif
Expert
Applicatif
Extraction Modèle Validation
Modèles de concept
d’attributs
Attributs Structuration Extraction Prototypes
de la base de segments vidéo
Phase ‘offline’
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 5 / 43
31. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Système proposé
OBJECTIF : faciliter la construction de la base d'apprentissage
EXTRACTION MODELISATION DEFINITION VALIDATION
Expert en Interactions par QR
Expert
Traitement d’Images Applicatif
Expert
Applicatif
Extraction Modèle Validation
Modèles de concept
d’attributs
Attributs Structuration Extraction Prototypes
de la base de segments vidéo
Phase ‘offline’ Phase interactive
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 5 / 43
32. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Plan de la présentation
EXTRACTION MODELISATION DEFINITION VALIDATION
Expert en Interactions par QR
Expert
Traitement d’Images Applicatif
Expert
Applicatif
Extraction Modèle Validation
Modèles de concept
d’attributs
Attributs Structuration Extraction Prototypes
de la base de segments vidéo
Phase ‘offline’ Phase interactive
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 6 / 43
33. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Informations bas niveau
Image compensée Flot optique Lignes (Hough) SIP STIP
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 7 / 43
37. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Attributs
Attributs plan Attributs image Attributs objet
type caméra orientation caméra taille objet
(fixe ou mobile) zoom caméra position verticale
nombre de lignes position horizontale
nombre de SIP nombre de SIP
nombre de STIP nombre de STIP
intensité du flot optique intensité du flot optique
orientation du flot optique compacité
nombre d’objets
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 8 / 43
38. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Attributs
Attributs plan Attributs image Attributs objet
type caméra orientation caméra taille objet
(fixe ou mobile) zoom caméra position verticale
nombre de lignes position horizontale
nombre de SIP nombre de SIP
nombre de STIP nombre de STIP
intensité du flot optique intensité du flot optique
orientation du flot optique compacité
nombre d’objets
exemple : compacité (0-1)
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 8 / 43
39. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Point d’intérêt : définition
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 9 / 43
40. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Point d’intérêt : définition
une couleur
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 9 / 43
41. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Point d’intérêt : définition
une couleur
un contour
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 9 / 43
42. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Point d’intérêt : définition
une couleur
un contour
un coin
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 9 / 43
43. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Point d’intérêt : définition
une couleur
un contour
un coin
notion de zone intéressante
ou d’intérêt
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 9 / 43
44. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Point d’intérêt : définition
une couleur
un contour
un coin
notion de zone intéressante
ou d’intérêt
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 9 / 43
45. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Point d’intérêt : définition
une couleur
un contour
un coin
notion de zone intéressante
ou d’intérêt
zone où le gradient varie
dans plusieurs directions
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 9 / 43
46. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Point d’intérêt : définition
une couleur
un contour
un coin
notion de zone intéressante
ou d’intérêt
zone où le gradient varie
dans plusieurs directions
intérêt : résume l’information utile en quelques points
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 9 / 43
47. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Points d’intérêt spatio-temporels
Extension spatio-temporelle des points d’intérêt
Matrice du filtre Hessian-Laplace
Filtrage gaussien spatial et temporel
Critère de saillance
Extrema locaux positifs
saillance > seuil
[ref] : On space-time interest points. International Journal of Computer Vision, Ivan Laptev, 2005.
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 10 / 43
48. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Evaluation des STIP : intérêt / saillance
cartes de saillance points d’impact carte d’intérêt et points d’intérêt
a) image originale Eye-tracker
b) saillance statique impact = zone rouge
c) saillance dynamique
comparaison à l’aide d’une métrique (adaptée à la saillance)
324 plans de 1 à 3 secondes, 50 personnes
STIP
[ref] : Relevance of Interest Points for Eye Position Prediction on videos, Simac-Lejeune, Marat, Pellerin, Lambert, Rombaut, Guyader, ICVS, 2009
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 11 / 43
49. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Evaluation des STIP : résultats
STIP pertinents : mouvement rapide et désordonné
SIP pertinents : visage et main
Mouvement de foule : pas de corrélation
[ref] : Relevance of Interest Points for Eye Position Prediction on videos, Simac-Lejeune, Marat, Pellerin, Lambert, Rombaut, Guyader, ICVS, 2009
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 12 / 43
50. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Evaluation des STIP : détection de changements
2 courbes :
- bleue : instantanée
- rouge : lissée
base de 125 séquences
d’athlétisme
précision moyenne 0.87
rappel moyen 0.86
(tolérance 3 images)
[ref] : Points d’intérêt spatio-temporels pour la détection de mouvement dans les vidéos, Simac-Lejeune, Rombaut, Lambert, MajecSTIC, 2010
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 13 / 43
51. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Plan de la présentation
EXTRACTION MODELISATION DEFINITION VALIDATION
Expert en Interactions par QR
Expert
Traitement d’Images Applicatif
Expert
Applicatif
Extraction Modèle Validation
Modèles de concept
d’attributs
Attributs Structuration Extraction Prototypes
de la base de segments vidéo
Phase ‘offline’ Phase interactive
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 14 / 43
52. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Nécessité de la modélisation
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 15 / 43
53. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Modèle de briques
1 modèle de brique basique = 1 attribut + 1 propriété
exemple : compacité-faible = compacité + intervalle[0;0,4]
1 attribut => n modèles de briques basiques
exemple : compacité - 3 briques (faible / moyenne / forte)
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 16 / 43
54. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Structuration en briques
modèle brique basique ‘compacité’
- faible (0 à 0,4)
- moyenne (0,4 à 0,6)
- forte (0,6 à 1,0)
suivi d’une variable dans le temps
=> segmentation temporelle
segment cohérent = briques
[ref] : Spatio-Temporal block model for video indexation assistance, Simac-Lejeune, Rombaut, Lambert, KDIR, 2010
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 17 / 43
56. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Opérateurs
construction de modèle de briques élaborées par combinaison
de modèle de briques
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 18 / 43
57. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Opérateurs
construction de modèle de briques élaborées par combinaison
de modèle de briques
4 types d’opérateurs Exemples
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 18 / 43
58. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Opérateurs
construction de modèle de briques élaborées par combinaison
de modèle de briques
4 types d’opérateurs Exemples
Algèbre temporelle
(relations de Allen) x puis y x suivi de y x pendant y
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 18 / 43
59. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Opérateurs
construction de modèle de briques élaborées par combinaison
de modèle de briques
4 types d’opérateurs Exemples
Algèbre temporelle
(relations de Allen) x puis y x suivi de y x pendant y
‘INterval and DUration’ x<y
INDU (<,>,=)
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 18 / 43
60. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Opérateurs
construction de modèle de briques élaborées par combinaison
de modèle de briques
4 types d’opérateurs Exemples
Algèbre temporelle
(relations de Allen) x puis y x suivi de y x pendant y
‘INterval and DUration’ x<y
INDU (<,>,=)
Opérateurs logiques
(et, ou exclusif) x et y
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 18 / 43
61. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Opérateurs
construction de modèle de briques élaborées par combinaison
de modèle de briques
4 types d’opérateurs Exemples
Algèbre temporelle
(relations de Allen) x puis y x suivi de y x pendant y
‘INterval and DUration’ x<y
INDU (<,>,=)
Opérateurs logiques
(et, ou exclusif) x et y
Autres opérateurs (*, n ) (x suivi de y)*
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 18 / 43
62. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Exemple de construction d’un modèle de brique élaborée
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 19 / 43
63. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Exemple de construction d’un modèle de brique élaborée
modèle de briques de bases
compacité faible
compacité moyenne
compacité forte
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 19 / 43
64. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Exemple de construction d’un modèle de brique élaborée
modèle de briques de bases opérateurs
compacité faible
compacité moyenne
suivi de ou exclusif
compacité forte
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 19 / 43
65. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Exemple de construction d’un modèle de brique élaborée
modèle de briques de bases opérateurs
compacité faible
compacité moyenne
suivi de ou exclusif
compacité forte
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 19 / 43
66. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Exemple de construction d’un modèle de brique élaborée
modèle de briques de bases opérateurs
compacité faible
compacité moyenne
suivi de ou exclusif
compacité forte
définition d’un modèle
alternance de modèles de briques de compacité
de brique élaborée
(une seule à la fois)
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 19 / 43
67. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Plan de la présentation
EXTRACTION MODELISATION DEFINITION VALIDATION
Expert en Interactions par QR
Expert
Traitement d’Images Applicatif
Expert
Applicatif
Extraction Modèle Validation
Modèles de concept
d’attributs
Attributs Structuration Extraction Prototypes
de la base de segments vidéo
Phase ‘offline’ Phase interactive
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 20 / 43
68. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
But du système
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 21 / 43
69. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
But du système
problème
comment définir un concept à partir des briques extraites ?
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 21 / 43
70. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
But du système
problème
comment définir un concept à partir des briques extraites ?
=> récupérer la connaissance de l’expert applicatif
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 21 / 43
71. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
But du système
problème
comment définir un concept à partir des briques extraites ?
=> récupérer la connaissance de l’expert applicatif
système de Q/R
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 21 / 43
72. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
But du système
problème
comment définir un concept à partir des briques extraites ?
=> récupérer la connaissance de l’expert applicatif
Expert en
Traitement d’Images
Celui qui connaît les modèles de briques
construit
système de Q/R
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 21 / 43
73. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
But du système
problème
comment définir un concept à partir des briques extraites ?
=> récupérer la connaissance de l’expert applicatif
Expert en Expert
Traitement d’Images Applicatif
Celui qui connaît les modèles de briques Celui qui connaît l’application
construit utilise
système de Q/R
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 21 / 43
74. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
But du système
problème
comment définir un concept à partir des briques extraites ?
=> récupérer la connaissance de l’expert applicatif
Expert en Expert
Traitement d’Images Applicatif
Celui qui connaît les modèles de briques Celui qui connaît l’application
construit utilise
système de Q/R
résultat du système : modèle de concept
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 21 / 43
75. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Exemple
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 22 / 43
76. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Exemple
Question 1 : quel est le type d’activité du concept à définir ?
Réponses : communication / déplacement / mouvement / ...
réponse : mouvement
=> réponses active ou désactive des thèmes de questions
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 22 / 43
77. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Exemple
Question 1 : quel est le type d’activité du concept à définir ?
Réponses : communication / déplacement / mouvement / ...
réponse : mouvement
=> réponses active ou désactive des thèmes de questions
Question 2 : quelle est la vitesse du mouvement ?
Réponses : lent / plutôt lent / assez rapide / rapide
réponse : rapide
=> réponses reliées à l’intensité du flot optique, rapide = sélection fo-rapide
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 22 / 43
78. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Exemple
Question 1 : quel est le type d’activité du concept à définir ?
Réponses : communication / déplacement / mouvement / ...
réponse : mouvement
=> réponses active ou désactive des thèmes de questions
Question 2 : quelle est la vitesse du mouvement ?
Réponses : lent / plutôt lent / assez rapide / rapide
réponse : rapide
=> réponses reliées à l’intensité du flot optique, rapide = sélection fo-rapide
...
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 22 / 43
79. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Exemple
Question 1 : quel est le type d’activité du concept à définir ?
Réponses : communication / déplacement / mouvement / ...
réponse : mouvement
=> réponses active ou désactive des thèmes de questions
Question 2 : quelle est la vitesse du mouvement ?
Réponses : lent / plutôt lent / assez rapide / rapide
réponse : rapide
=> réponses reliées à l’intensité du flot optique, rapide = sélection fo-rapide
...
«y a-t-il plusieurs phases ?» et de la réponse oui
Question 12 : combien y a-t-il de phases distinctes ?
Réponses : 1 / 2 / 3 / 4 ou plus
réponse : 3
=> nombre de phases : sélection de l’opérateur m ‘suivi de’, et de n (nombre)
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 22 / 43
80. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Définition et fonctionnement
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 23 / 43
81. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Définition et fonctionnement
Question
Réponses
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 23 / 43
82. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Définition et fonctionnement
Question
Réponses
Modèle de brique(s)
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 23 / 43
83. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Définition et fonctionnement
Question
Réponses
Modèle de brique(s) Opérateur(s)
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 23 / 43
84. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Définition et fonctionnement
Question
Réponses
Modèle de brique(s) Opérateur(s) Navigation
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 23 / 43
85. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Définition et fonctionnement
Question
Réponses
Modèle de brique(s) Opérateur(s) Navigation
1 réponse = 1 nouvelle information
pour la définition du concept
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 23 / 43
86. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Liens : briques et opérateurs
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 24 / 43
87. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Liens : briques et opérateurs
question
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 24 / 43
88. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Liens : briques et opérateurs
question
réponse A réponse B réponse C réponse D réponse E
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 24 / 43
89. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Liens : briques et opérateurs
question
réponse A réponse B réponse C réponse D réponse E
sélection des modèles
de briques no-1 et c-f
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 24 / 43
90. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Liens : briques et opérateurs
question
réponse A réponse B réponse C réponse D réponse E
sélection des modèles
de briques no-1 et c-f
sélection des modèles
de briques no-1 et c-f
et liaison m
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 24 / 43
91. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Liens : briques et opérateurs
question
réponse A réponse B réponse C réponse D réponse E
sélection des modèles
de briques no-1 et c-f
sélection des modèles
de briques no-1 et c-f
et liaison m
sélection de la liaison m
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 24 / 43
92. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Liens : briques et opérateurs
question
réponse A réponse B réponse C réponse D réponse E
ne sais pas
sélection des modèles
de briques no-1 et c-f
sélection des modèles
de briques no-1 et c-f
et liaison m
sélection de la liaison m
sélection de plusieurs
modèles de briques
avec un ou exclusif
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 24 / 43
93. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Liens : briques et opérateurs
question
réponse A réponse B réponse C réponse D réponse E
question
ne sais pas
sélection des modèles inutile
de briques no-1 et c-f
sélection des modèles
de briques no-1 et c-f
et liaison m
sélection de la liaison m
sélection de plusieurs
modèles de briques
avec un ou exclusif
sélection d’aucun modèle
ni opérateur mais
application d’une règle / modèle fo
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 24 / 43
95. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Structuration
problème : comment choisir la question suivante pour maximiser l’information
apportée, garder la cohérence et être certain de son intérêt
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 25 / 43
96. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Structuration
problème : comment choisir la question suivante pour maximiser l’information
apportée, garder la cohérence et être certain de son intérêt
structuration arborescente
ordonnancement des questions
- par thème
- séquentiel et/ou aléatoire
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 25 / 43
97. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Structuration
problème : comment choisir la question suivante pour maximiser l’information
apportée, garder la cohérence et être certain de son intérêt
question initiale
structuration arborescente
ordonnancement des questions
- par thème
- séquentiel et/ou aléatoire
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 25 / 43
98. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Structuration
problème : comment choisir la question suivante pour maximiser l’information
apportée, garder la cohérence et être certain de son intérêt
question initiale
thème 1
questions 1.x
structuration arborescente
ordonnancement des questions
- par thème
- séquentiel et/ou aléatoire
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 25 / 43
99. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Structuration
problème : comment choisir la question suivante pour maximiser l’information
apportée, garder la cohérence et être certain de son intérêt
question initiale
thème 1
thème 2
questions 1.x questions 2.x
structuration arborescente
ordonnancement des questions
- par thème
- séquentiel et/ou aléatoire
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 25 / 43
100. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Structuration
problème : comment choisir la question suivante pour maximiser l’information
apportée, garder la cohérence et être certain de son intérêt
question initiale
thème 1 thème 3
thème 2
questions 1.x questions 2.x questions 3.x
structuration arborescente
ordonnancement des questions
- par thème
- séquentiel et/ou aléatoire
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 25 / 43
101. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Structuration
problème : comment choisir la question suivante pour maximiser l’information
apportée, garder la cohérence et être certain de son intérêt
question initiale
thème 1 thème 3
thème 2
questions 1.x questions 2.x questions 3.x
Q 1.1 Q 1.2 Q 1.3 Q 1.4 Q 1.7 structuration arborescente
ordonnancement des questions
Q 1.5
- par thème
Q 1.6 - séquentiel et/ou aléatoire
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 25 / 43
102. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Résultat final de la phase de QR
automatique : quand il n’y a plus de questions à poser
manuelle : l’utilisateur souhaite s’arrêter
résultat : un modèle de concept
exemple : définition de la marche
marche = (rectiligne) ET (lent) ET REPETITION(compacité-faible PUIS compacité-moyenne)
{fo-(1)} d fo-io-lent d {c-f + c-m,m}
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 26 / 43
103. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Plan de la présentation
EXTRACTION MODELISATION DEFINITION VALIDATION
Expert en Interactions par QR
Expert
Traitement d’Images Applicatif
Expert
Applicatif
Extraction Modèle Validation
Modèles de concept
d’attributs
Attributs Structuration Extraction Prototypes
de la base de segments vidéo
Phase ‘offline’ Phase interactive
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 27 / 43
104. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Recherche de prototypes et rétroaction
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 28 / 43
105. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Recherche de prototypes et rétroaction
base de données système QR
Expert
Applicatif
de séquences
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 28 / 43
106. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Recherche de prototypes et rétroaction
base de données système QR
Expert
Applicatif
de séquences
Définition du concept
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 28 / 43
107. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Recherche de prototypes et rétroaction
base de données système QR
Expert
Applicatif
de séquences
Définition du concept
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 28 / 43
108. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Recherche de prototypes et rétroaction
base de données système QR
Expert
Applicatif
de séquences
Définition du concept
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 28 / 43
109. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Recherche de prototypes et rétroaction
base de données système QR
Expert
Applicatif
de séquences
Définition du concept
système de requête
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 28 / 43
110. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Recherche de prototypes et rétroaction
base de données système QR
Expert
Applicatif
de séquences
Définition du concept
système de requête
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 28 / 43
111. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Recherche de prototypes et rétroaction
base de données système QR
Expert
Applicatif
de séquences
Définition du concept
système de requête
prototypes potentiellement
intéressants
validation
Expert
Applicatif
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 28 / 43
112. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Recherche de prototypes et rétroaction
base de données système QR
Expert
Applicatif
de séquences
Définition du concept
système de requête
prototypes potentiellement
intéressants
validation
Expert
Applicatif
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 28 / 43
113. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Recherche de prototypes et rétroaction
base de données système QR
Expert
Applicatif
de séquences
Définition du concept
système de requête
système d’analyse
prototypes potentiellement
intéressants
validation
Expert
Applicatif
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 28 / 43
114. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Recherche de prototypes et rétroaction
base de données système QR
Expert
Applicatif
de séquences
Définition du concept
système de requête
système d’analyse
prototypes potentiellement
intéressants
validation
Expert
Applicatif
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 28 / 43
115. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Recherche de prototypes et rétroaction
base de données système QR
Expert
Applicatif
de séquences
Définition du concept
système de requête
système d’analyse
prototypes potentiellement
intéressants
validation
Expert
Applicatif
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 28 / 43
116. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Recherche de prototypes et rétroaction
base de données système QR
Expert
Applicatif
de séquences
Définition du concept Définition finale
système de requête
du concept
système d’analyse
prototypes potentiellement
intéressants
validation
Expert
Applicatif
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 28 / 43
117. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Validation : algorithme de correction
=
définition initiale briques prototypes validés
algorithme de recherche de ‘modèle’
ajout de briques et d’opérateurs
ajout d’informations de séquentialité
modification opérateurs
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 29 / 43