Modèles et Outils Documentaires pour les Hypervidéos sur le Web

République Algérienne Démocratique et Populaire
Ministère de l’Enseignement Supérieur et de la Recherche Scientifique

Université Abderrahmane Mira de Bejaia
Faculté des Sciences Exactes
Département d’Informatique

ECOLE DOCTORALE RESEAUX ET SYSTEMES DISTRIBUES

Soutenance de Mémoire de Magistère
Thème:

 Prsésenté par: Madjid SADALLAH
 Dirigé par: Yannick PRIE et Azzeddine MAREDJ

Promotion: 2008/2009

Cadre Général
 Réalisé au CERIST en partenariat avec LIRIS
 CERIST
◦ Équipe SMDM (Système Multimédia et Documents
Structurés) dans le cadre du projet MediaStudio2
 Systèmes d’édition et de présentation de documents
multimédia interactifs et adaptables.
 LIRIS
◦ Équipe SILEX dans le cadre du projet Advene
 Outils de lecture active et d’interprétation de documents
audiovisuels.

Introduction

Problématique

Concepts et Etat de l’Art

Proposition

Mise en Œuvre

Évaluation

Conclusion & Perspectives

Introduction Problématique Concepts Proposition Mise en Œuvre Discussion. Conclusion

Vulgarisation des TICs

Mutation de l’univers informationnel

Reconfiguration des pratiques
intellectuelles humaines

Nouvelles conceptions et formes de
perception de la connaissance


Numérisation
de la vidéo

Vulgarisation sans
évolutions précédente d’échange de
hard & soft
données AV
(Youtube, Vimeo, Dailymotion,
videoblogs, mail video, tutorials,…)

Web comme
canal


Vidéo -Forme récente. L’utilisateur interagit
Numérique avec la vidéo = l’utilisateur peut
affecter le flux de la vidéo et cette
influence, au retour, affecte les choix
futurs de l’utilisateur (Stenzler)
 au delà de l’expérience filmique.
-Nouvelles caractéristiques
Vidéo Linéaire informationnelles et interactionnelles.
-Développement de nouvelles formes
d’expérience utilisateur au-delà de
celles actuelles (forums vidéos, chat et
mail vidéos et les vidéoblog)
-Nouvelles utilisations de la vidéo:
Vidéo apprentissage et publicité interactive.
Interactive


 Systèmes hypermédias permettent
l’intégration du contenu multimédia (e.g. vidéo
comme média) dans l’hypertexte.
 Nouveau défi de l’hypermédia: besoins issus de
l'émergence de la vidéo interactive.
 Hypervidéo: Cadre intégrateur multimédia +
hypermédia + vidéo interactive. Elle combine:
◦ la richesse de l'audiovisuel
◦ les capacités du multimédia
◦ l'interactivité de l'hypermédia


 Hypermédia: Non linéarité + Interactivité +
Hétérogénéité
 Hypervidéo: Cadre intégrateur hypermédia (+
hypermédia) + vidéo interactive. Elle combine:
◦ la richesse de l'audiovisuel
◦ les capacités du multimédia
◦ l'interactivité de l'hypermédia
 Donc, l’Hypervidéo est de l’hypermédia avec:
◦ Plus de contrôle/ liberté pour l'acquisition de l'information
◦ Structures de transmission plus élaborées, riches et plus
flexibles.
◦ Nouvelles formes de création et de présentation de
l'information AV traitée dans sa granularité la plus fine ou la
plus complexe et contrainte en espace et en temps.


 Intégration de la vidéo interactive dans les hypermédia
Conforter les nouvelles
audiovisuelles par de la th
 Modèles hypermédia rigides et restrictifs conceptualisation des hype
 Besoin de représentation formelle dédiés été largement exam

 En plus :

Chambel et al. : « Le
suivant lesquelles la v
là de la technologie: le manque de traitée par les systèm
alisation entrave une plus grande peuvent appréhend
e et utilisation des hypervidéos. spatiale et tempore
e représentation formelle dédiée
e modalités de présentation Expériences filmique + hypertextuelle  résultant du caractère
appropriées. des modèles de représentation au-delà de
ceux - très rigides et restrictifs - des
modèles hypermédias.


 Donc:
◦ Modèles hypermédias conventionnels: limités et difficilement
implémentables
◦ Systèmes hypervidéos actuels: des modèles spécifiques ou
implicites (dictés par l’implémentation)

! Modèle ?
Document = ensemble de structures (par exemple celle logique) qui obéissent
 Notre Objectif: organisation formelle: les modèles.
à une
Contribuer à la formalisation des hypervidéos via:
Les outils de manipulation sont développés en respectant ces modèles.
La sémantique d’un document est la contrepartie de pratiques, (d’outils,
un modèle modèles et structures).
"dédié et « implémentable ».
 Un modèle de document décrit et contraint les structures concrètes d’un
documents par lesquelles ils peuvent être manipulés et présentés à un
utilisateur.

Introduction

Problématique

Concepts et État de l’Art

Proposition

Mise en Œuvre

Évaluation



 Hypervidéo = développements (hypermédia + multimédia
+ audiovisuel). Elle étend l’analyse MM/HM de la vidéo pour
relier les objets audiovisuels à tout son contexte.
◦ Hypertexte : connecter des nœuds textuels
◦ Multimédia : agencement interactif et hétérogène de
média.
◦ Hypermédia : hypertexte + multimédia
◦ Document Audiovisuel: images animées et/ou de sons
se déroulant de manière linéaire selon un rythme
temporel
 DAV :
◦ À un instant donné t, pas de vision globale/perception
complète de la connaissance transportée.
◦ Pas de structure. Ajout: manuel ou auto.


 [Vidéo + structure] permettent une analyse: logique,
spatiale, temporelle et hypermédia, donc multimédia
 Véritable intégration de la vidéo dans l’espace
hypermédia:
◦ Ce n’est plus une illustration.
◦ Structurée par des liens définis suivant des dimensions
spatiales et temporelles permettant d’interagir avec son
contenu et de naviguer au sein de sa structure.
◦ Des liens entre des nœuds audiovisuels et autres, disponibles
dans l’espace hypermédia.


 Hypervidéo:
◦ Introduite avec HyperCafe
◦ De la visualisation linéaire et rigide { l’interactivité
◦ Deux composantes complémentaires : le flux AV continu et les
données associées  graphe dont certains nœuds sont des
fragments AV
◦ Le flux est enrichi par des données qui lui permettent d’être
contrôlable et interactif
 plusieurs alternatives pour voir le même contenu
 s’affranchir de la temporalité AV linéaire
 Chaque hypervidéo générée d’un DAV est une vue possible qui
relie la structure de données et le flux associé.


 Propriétés: combinaison de celles des HM et des DAV
◦ idée de base de l’hypertexte remplaçant le texte par la vidéo
◦ intégration complète et effective de la vidéo interactive
◦ des alternatives de visualisation, d’interaction et d’utilisation
attractives non-conventionnelles,
◦ des moyens de transmission et d’acquisition de connaissance
robustes
◦ possibilité d’organiser et d’explorer l’espace documentaire suivant
des choix et des parcours non linéaires personnalisables
 Différences HV vs HM:
◦ cadence de présentation HV dictée par celle du flux audiovisuel en
l’absence de toute interaction  importance cruciale de l’audiovisuel
◦ définitions dédiées des concepts clés (nœud, lien, ancres, etc.)
◦ lecture filmique augmentée, pas rigide voire papier


 Différences HV et HM (suite):
◦ Structure HV complexe centrée sur le contenu AV  segmentation et
structuration de la vidéo + ajout voire codage de données
◦ Temporalité accrue. La présentation est contrôlé dans le temps en
rapport avec la timeline de la vidéo.
◦ Un nœud HM peut être image, texte ou page. C’est quoi un nœud HV?
des segments qui peuvent n’être qu’un une seule scène voire une
seule image?
◦ Dimensions spatiale et temporelle des liens  régions sensitives ou
hotspots (détails précis au sein d’une séquence vidéo) ambulantes.
 Désorientation: perte dans l’espace documentaire.
 Surcharge cognitive
 Rhétorique des hypervidéos 
◦ Matérialisation de liens
◦ Notion de Link Awareness


 De la Vidéo à l’Hypervidéo:
◦ «La forme audiovisuelle ne mobilise pas d’unités répertoriées
composant le contenu (comme les lettres de l’alphabet)» 
Besoin de la structuration.
◦ Pas de découpage universel de définition d’unités AV de base
◦ Importance cruciale des modèles de représentation des
documents audiovisuels  Notion d’annotation.
 Besoin d’annoter
◦ besoin de structurer et annoter la vidéo pour la décrire
connivence HV/annotations très forte.
◦ l’annotation vidéo: suite du développement des domaines de
l’hypermédia et de l’hypertexte.
◦ Adaptation des concepts de l’annotation hypermédia à
l’audiovisuel  hypervidéo.


 Concept d’Annotation
◦ «Note particulière attachée à une cible (…). À une
annotation correspond un contenu, matérialisé
par une inscription, qui est une trace de la
représentation mentale que l’annotateur se fait
de la cible. »
◦ Utilisations diverses (toutes sortes de
possibilités de développement de ressources
médiatiques): sélection du contenu (recherche
ou filtrage), capture du contenu pour des
visualisations, traitements, navigation, accès aux
éléments décrits, gestion des droits d’accès, etc.


 L’annotation vidéo associe des données textuelles ou
multimédia à une vidéo ou à une partie de la vidéo,
enrichissant le contenu sans altérer le flux original.
 Annoter la vidéo:
◦ Processus automatique ou manuel (ou combiné).
◦ Deux techniques:
 association de métadonnées
 enrichissement du contenu.
 Structure d’annotation associée à une vidéo:
◦ sépare le contenu de son rendu
◦ offre une infrastructure pour augmenter la vidéo avec
des données pouvant être instrumentées pour
construire multiples vues du même document.


 Modélisation HV à base d’annotations:
◦ nouvelle couche de données greffée sur celle du flux AV
◦ chaque annotation est associée/définit un segment logique
◦ différentes granularités d’accès à la vidéo
◦ plusieurs annotations sur le même segment logique 
différentes vues de la même donnée
◦ des segments logiques peuvent se chevaucher/s’imbriquer
arbitrairement
◦ ajout et suppression d’annotations indépendamment des flux
 création et modification dynamique et incrémentale des
annotations vidéo
◦ la recherche et l’extraction à base de contenu sémantique
possibles à un niveau que les techniques d’édition graphique et
de vision par ordinateur ne peuvent pas réaliser


 Hypervidéo à base d’annotation
◦ améliore de manière considérable le rôle actif de l’utilisateur
◦ augmente l’interactivité de la vidéo
◦ permet de développer des techniques qui assurent des activités
documentaires diverses.
◦ brise la linéarité de la vidéo pour créer un espace d’information
non linéaire, inhérent aux hypervidéos.

 Cela motive: l’intérêt à proposer des modèles
hypervidéos à base d’annotations.


 Modèles de référence hypermédia: DHM, AHM
 Modèles HV: HyperCafe, detail-on-demand
 Modèles de document multimédia
◦ Dimension spatiale: modèles absolus vs relatifs
◦ Dimension temporelle: modèles à instants/intervalles
 Langages et Standards: HyTime, MHEG, SMIL
 Discussion:
◦ Modèles HM trop généraux, pas adaptés pour les HV et difficiles à
implémenter
◦ Le peu de modèles HV: restrictifs et spécifiques à leurs systèmes
◦ SMIL intéressant mais:
 Trop général
 Assez volumineux
 Pas de définition formelle d’un modèle (inspiré de AHM)
 Manipulation compliquée

2


 Annotations:
◦ Modèles : Dublin Core, MPEG-7, Annodex et Cinelab
◦ Outils : VIA, Anvil, Elan, Diver, Advene, VideoAnnex, ViPER-GT
 Discussion:
◦ Cinelab intéressant car ciblant les hypervidéos et interopérable
avec d’autres (MPEG-7,…)
◦ Outils d’annotation ne permettent pas la génération d’HV,
exception Advene


 Environnements Hypervidéos
◦ Hypermédia orienté vidéo: Aspen Movie Map, HyperPlant,
VideoFinger, Elastic Charles
◦ Système d’édition et de présentation Hypervidéo: HyperCafe,
Hyper-Film, VideoClix, Hyper-Hitchcock, HyperSoap,
VisualSHOCK MOVIE, HotVideo, Hvet, Advene et SIVA Suite
 Discussion :
◦ Orientation Web: HyperFilm, VideoClix et VisualShock Movie.
Besoin de plugins
◦ Suivi d’objets: VideoClix, HyperSoap et VisualSHOCK MOVIE.
Grande complexité
◦ Représentation des ancres hypervidéos: très mal prise en
charge.


 Discussion(suite):
◦ Annotations: aucun, à part Advene, n’est explicitement à base
d’annotations
◦ Altération du flux: VideoClix rend les fichiers propriétaires
◦ À base technique. Pas de modèle explicite.
◦ Modèle restrictif: detail-on-demand
◦ Hypermédia. Pas spécifique


 Hypervidéo sur le Web
◦ Dimension temporelle encore problématique
◦ Outils: plugins
◦ HTML5: prise en charge AV.
◦ Quelques tentatives: Youtube annotations, popcorn.js
◦ SMIL Timesheets: étendre le modèle temporel de SMIL à XML
 Discussion
◦ Vidéo supportée d’une manière illustrative
◦ Plugins: manque de sécurité, accessibilité, interopérabilité, …
◦ HTML5: support mitigé par les navigateurs. Pas de modèle
temporel
◦ SMIL Timesheets: solution possible pour le temps sur le Web
◦ Quel modèle et quelle technologie ?


 Principes
◦ Hypervidéo = spécialisation de l’hypermédia centrée sur un ou
plusieurs documents audiovisuels annotés.
◦ Annotation comme infrastructure de conception 
l’hypervidéo = adoption des méthodes de l’hypermédia { la
vidéo numérique annotée
◦ Modélisation logique à base de composants  principe
d’héritage et d’imbrication de composants pour la création et la
représentation hiérarchique de documents. composant =
concept clé dénotant une entité abstraite servant de réceptacle
de données et/ou pouvant être utilisée pour la définition d’une
représentation homogène d’un nombre de concepts du modèle.
◦ Adaptation des paradigmes de l’hypermédia
◦ Support des dimensions multimédia de l’hypervidéo
◦ Gestion dynamique { base d’événements


Annotation
comme
infrastructure  deux niveau = adoption
principe d’héritage et
définitions formelles
l’hypervidéofonctionnels :
est
de conception
d’imbrication de
nécessairement
concises des paradigmes
des méthodes de
déclaratif et opérationnel.
composants { la vidéo
multimédia.  création et
rencontrés dans un
l’hypermédia parles
Combinaison
Gestion Modélisation
représentation
Modélisation des 4
hypervidéos. CHM
numérique annotée
modèle événementiel
dynamique à
base
logique à base
de composants
hiérarchique
dimensions du
recense un ensemble
d’événements
Hypervidéo document.
minimal de concepts
CHM
 qu’il discute,= entité
composant redéfinit
éventuellement et
abstraite servant de
modélise. de données
réceptacle
Adaptation des Support des et/ou définissant une
paradigmes de dimensions
l’hypermédia multimédia représentation de
concepts homogène


 Modèle d’annotation:
◦ Origine: modèle Cinélab
◦ annotation = donnée associée à un segment logique de la
vidéo appelé fragment
◦ Fragment  un intervalle de validité, une portée définie par
des timecodes - instants de début et de fin - par référence au
temps de la vidéo.
◦ Attributs d’une annotation: identificateur, type, sa référence
média, ses timecodes (début/fin) et son contenu.
 Document hypervidéo vue enrichie des informations
du corpus de vidéos annotées.
 L’édition vidéo et l’extraction de caractéristique 
Création d’annotation: Advene, Anvil,…


Vue générale du Layout
modèle logique de 1..*
1
CHM 1..* 1 1 1 ..*
AnnotationStructure Hypervideo TimedMedia
1..* 1 *

TimelineRef
1 1..* 1..*
*
AnnotationReader 1..* Component TLComponent

 Une hypervidéo : spécialisation et composition à plusieurs niveaux de
Component. Au moins un composant temporalisé (AV): TimedMedia
 Les composants sont des unités d’information formelles et de composition.
Ils peuvent être temporalisés (reliés à une référence de temps) ou pas.
 Les données sont récupérées moyennant des lecteurs à partir de structures
d’annotation qui peuvent faire référence { des ressources
 La disposition physique des composants et du document est représentée par
une spécification de la layout.


Composants de Base Hypervideo
de CHM AnnotationReader 1

1 1..*
1..* 1
Hotspot TimedMedia TimelineRef GlobalTimelineRef
* 1 1..*

0..* 1 0..* 1..* 1
Anchor Component 1
TLComponent

 Hypervideo : composants de haut/bas niveau.
 AnnotationReader: accéder { une structure d’annotations et renvoyer les données en
réponse à une requête.
 TimedMedia: composant abstrait se référant à un flux temporalisé. Il ajoute du temps au
document
 TimelineRef (TLR): référence virtuelle du temps, inférée { partir du temps d’un TimedMedia.
 GlobalTimelineRef: référence global. Synchronisation intra TLRs + source de synchronisation
pour des composants temporalisés mais non liés à une TLR.
 TLComponent: composant relié à une TLR
 Anchor et Hotspot: ancres hypervidéo.

<<realize>> <<realize>>
Composants d’interface VideoPlayer <<interface>> AudioPlayer
simples de CHM Player
(CHM Plain Components)

TLComponent
VisualComponent Component

Container TimelineRefGUI TextViewer RichTextViewer ImageViewer

 Niveau intermédiaire (Hypermedia/Multimédia) à partir des composants atomiques.
 Utilisables tels que ou pour la composition/imbrication
 Interfaces interactives pour la présentation de données temporalisées
 Conteneurs statiques (Container):
 Interface graphique pour comprendre d’autres composants.
 Simplifier le regroupement spatial et/ou sémantique de plusieurs composants et d’unifier leur
traitement
 Interfaces de rendu des médias :
 Interfaces de rendu des flux audiovisuels : Player, AudioPlayer et VideoPlayer.
 Interfaces de rendu des médias statiques: visionneuses et les lecteurs de contenu statique.
TextViewer, ImageViewer,RichTextViewer et TimelineRefControlGUI.


Composants CHM de
1 0..*
Haut Niveau Component AnnotationReader

1..* 1

Track Timeline Map History Trace TableOfContent

 Haut niveau à partir des niveaux plus bas
 Sorte de langage de description du niveau lecteur qui adapte quelques artefacts de présentation
 Paradigmes Hypermédia + Propres aux hypervidéos
 Ensemble non exhaustif et extensible
 Historique et Parcours de lecture:
 Historique de Navigation

 Trace

 Indexes de navigation:
 Map

 TableOfContent

 Les lignes de Temps
 Timeline

 Track


Composants CHM de
1 0..*
Haut Niveau Component AnnotationReader

1..* 1

Track Timeline Map History Trace TableOfContent

 D’autres composants: les Sous-titres (Subtitles), Légendes (Captions) et
Overlays:sont des exemples d’utilisation des composants de haut niveau.
 Les légendes textuelles TextCaptions tels que sous-titres, traduction,
commentaire, etc., des superpositions graphiques (Graphic Overlays) et
d’autres Multimedia Overlays dont les données sont contenus
d’annotations textuels ou multimédia peuvent être placés sur les lecteurs
vidéo.
 Leurs conteneurs sont des instances de visionneuses et lecteurs ayant
des spécifications spatiales appropriées.
 Le modèle CHM ne spécifie pas explicitement ces composants car ils
peuvent être facilement instanciés à partir de ceux existant.


Composants CHM AnnotationReader
d’accès aux Données
Component AnnotationStructure

AdveneReader JSonReader TimedTexttReader RDFReader DataScrapper

 L’accès { une donnée externe { un composant est réalisé via une interaction
avec un lecteur d’annotation.
 Lecteur d’annotations/de données: composants de communication,
middleware avec une interface fonctionnelle d’interrogation des structures
de données (annotations et ressources) suivant une procédure unifiée.
 AnnotationReader: lecteur standard
 AdveneReader
 JSonReader
 TimedTextReader


Modèle Spatial des
Hypervideo Layout
hypervidéos CHM 1 1 ..*
1 1
1..* 1
1..* 1
Component VisualComponent SpatialRegion

 Fait partie de la famille des modèles absolus,
 CHM définit les éléments:
 Layout
 région spatiale
 élément visuel.


Modèle temporel des
hypervidéos CHM
 Paradigme TimeLine Reference (TLR):
◦ notion de ligne de temps adaptée au contexte hypervidéo
◦ échelle temporelle explicite comme référence d’activation commune.
◦ L’information de tout objet est relative au contenu
audiovisuelsituée sur un point de sa ligne de temps.
◦ Le composant AV assujettit l’évolution de tout objet média qui lui
est associé
◦ Définition: Une TimeLine Reference est un référentiel temporel
virtuel attaché à la composant audiovisuelle annotée, pouvant être
issu d’un montage { partir d’un corpus annoté, afin d’ordonnancer
tous les événements temporels pouvant exister dans un document
hypervidéo et inférer à ses composants des capacités temporelles.
Les composants temporalisés du document sont activés et
désactivés par référence à cette TLR. Plusieurs références de
temps et au moins une peuvent exister dans un même document.


hypervidéos CHM

 Propriétés de la TLR
◦ L’évolution de la TLR reflète celle du flux principal
◦ Par défaut, la synchronisation TLR-TLComponent est fine
◦ Un composant peut changer de TLR
◦ Une TLR peut avoir une autre comme référence
◦ Terminaison d’une TLR  Terminaison de tous les
composants qui lui sont reliés.
◦ Terminaison de toutes les TLRs  fin de la présentation
◦ Attributs de la TLR: position, state et duration.
 Notion de Contexte de présentation: photo instantanée
(snapshot) de l’hypervidéo.


hypervidéos CHM

 Attributs temporels:


hypervidéos CHM

 Synchronisation multimédia
◦ Hard ou fine.
◦ Vidéo principale dé-synchronisée  mise à pause de la
présentation jusqu’{ resynchronisation du média principal
◦ Média secondaire dé-synchronisé  la présentation du
document continue. À chaque mise à jour du temps de la
progression de la présentation, la référence tente de
resynchroniser tous les objets qui ne sont plus à jour
temporellement.


Modèle Hypermedia des
hypervidéos CHM

 Dimension hypermédia et interactionnelle
◦ La temporalité des éléments multimédia grande
complexité de perception.
◦ Nouveaux besoins: retour sur un média particulier, un détail
passé ou un saut vers un instant donné, etc.
◦ Besoin de considérer l’interaction pour une édition plus
riche et une lecture plus active.
◦ Deux types d’interaction:
 manipulation (composant player)
 Navigation par un mécanisme de lien
 Liens CHM: uni-directionnels, uni-soucres, uni-
destinations, internes ou externes.


Modèle Hypermedia des
hypervidéos CHM
 Types de liens:
◦ Hypertextuel: adresser une ancre simple définie en espace
◦ Hypervidéo: adresser des ancres spatio-temporelles
(hotspot)
 Ancre hypervidéo: une zone au sein d’un nœud.
Référence à un média ou une partie spatio-temporelle.
 Une ancre peut être définie sur des objets non visuels,
par exemple sur de l’audiouniquement destination.
 Dans CHM, une hotspot est composée d’un ensemble
d’ancres.

Attributs des ancres et hotspots CHM


Modèle événementiel
des Hypervidéos CHM Event 0..* 0 ..*
Action

TimelineRefUpdated LinkActivated TimelineRefUpdate OpenURL

LayoutModif DomEvent ModifLayout ExecuteScript

 Comportement dynamique gérée par un mécanisme événementiel.
 Événement: réalité physique observée paramétrée en espace et en temps.
 Composants CHM: Event et Action.
 Events listeners: détecter les occurrences des événements invoquer les
procédures de traitement appropriées
 Action: instruction atomique ou un ensemble d’opérations. Peut déclencher
d’autres événements ( d’autres actions).
 Événements CHM: interactions utilisateur, événements intra-objet,
événements inter-objets, événements applicatifs et événements définis par
l’utilisateur.


 Web: hypermédia le + répandu
 Vidéo sur le Web: rudimentaire
 Démarche: combiner les expériences:
◦ Hypermédia
◦ Audiovisuelle
 But: nouvelle culture pour la production et
l’exploitation de la vidéo sur Internet
 Au passage: discuter la prise en charge effective de la
vidéo et du multimédia en général sur le Web


Principes généraux du
prototype WebCHM

WebCHM

Langage Librairies
Hypervidéo Javascript

Interprétation
Syntaxe Instrumentation Transformation
de la Syntaxe
déclarative du HTML du Contenu
CHM

HTML 5 & Co.


Étapes d’édition
hypervidéos

Annotation Édition Présentation
-Annotation du -Déclaration de l’espace - Interprétation
corpus avec Advene de nom CHM
- Transformation
- Export de la - Édition HTML classique
structure (html, js, css) - Formatage
d’annotations (XML, - Édition CHM - Synchronisation
JSon, Mpeg-7, (déclaration des
RDF,etc) - Interaction
composants)
- Événement
- Style CSS des classes et
éléments CHM


Architecture Générale du
prototype WebCHM
Moteur Moteur de
d’Interprétation transformation

Composants CHM+ Doc. HTML+CSS+Scripts+
Doc. CHM
Web (HTML, SVG,...) Timesheet+ Web (SVG,...)

Gestionnaire Ordonnanceur Formateur Templ.
Annot+ d’accès aux
rendu
Ress. données

Gestionnaire Présentation
de composants hypervidéo

Gestionnaire
Gestionnaire d’événements
d’interactions


Génération dex exports et vidéo
Analyse et annotation de ladu contenu et des
annotations (dans l’exemple, format Json)

 Utilise des conteneurs HTML, principalement DIV
<DIV chm:component=‘nom-composant’ …> transforme un
élément HTML en un composant CHM
 TLComponent = component + chm:timelineref
 Annotation <id, type, begin, end, content, media>
 Liens: syntaxe W3C Media Fragment chm :
href =
"http://www.exemple.com/video.mp4#t=.120,1.230";
 Evénements et actions: déclarés comme tout autre
composant
 Exemple:

<div chm:component="timedmedia" id="tm" chm:src="TimBerners-Lee_2009.mp4"></div>

<div chm:component="videoplayer" id="movieplayer“ chm:src="tm" chm:region="center"></div>


 Moteur d’Interprétation: recense les composants CHM
Interprétation, transformation et génération de code
 Moteur de Transformation: génère le code HTML des
composants
 Accès de données: middleware entre composants et
données
 Gestionnaire de composants: adresser les composants
CHM d’une manière consistente


 Feuilles de style CSS
Formatage Spatial
 Layout, Spatial Regions et VisualComponent: décrits
par des classes et des attributs de style CSS
 Un ensemble de templates est fourni
 Formateur: gestion des spécifications spatiales
 Le moteur de rendu du navigateur prend la main
 Reconfiguration du document { l’exécution: sur
intervention du formateur


 TimedMedia: permet d’inférer une référence
Formatage Temporel et Synchronisation
temporelle
 L’attribut chm:timelineref lie un composant à un
TimedMedia
 Ensemble d’attributs- chm:begin, chm:end,
chm:duration, chm:loopcount, chm:canslideTLR et
chm:finesync.
 Ordonnanceur: règle la synchronisation
 Problème: Le Web est atemporel
 Idée: Utiliser la nouvelle spécification SMIL
Timesheets
 Implémentée dans le projet Timesheet Scheduler.


 Ensemble de templates prètes { l’utilisation
Interfaces de rendu
 Un lecteur audiovisuel HTML5/Flash avec
fonctionnalités avancées


 HTML5/Flash
Lecteur Vidéo CHMVideoPlayer
 Utilisé dans Advene
 Flash au besoin. Le reste: HTML+CSS+ Timesheet
 Couche d’abstraction logicielle HTML5 lisible partout
 Présente toute sorte d’overlays
 Fonctionnalités avancées par rapport { ce qu’on trouve:
dimensions, taille, visibilité, sensibilité aux interaction,
optimisation du temps
 Vidéo continue ou en montage
 Version ‘vignette’ pour des clichés (thumbnail video)


 Exemples: http://advene.org/chm/samples.html
◦ Video Subtitles
◦ Transcription
◦ Timeline
◦ Table of Content
◦ Map
◦ Enrichment
◦ Two Independant Players
◦ Dependent Players
◦ Exemple complet: The Nosferatu Hypervideo sample

Introduction Problématique Concepts Proposition Mise en Œuvre. Discussion Conclusion.

 Caractéristique du modèle
◦ Haut niveau d’abstraction: composants
◦ Expression des dimensions multimédia
◦ Prise en charge de l’audiovisuel interactif
◦ Puissance d’expressivité: assomption!
◦ Intuitivité
◦ Généricité
◦ Spécificités du modèle d’annotation
◦ Implémentabilité


 Relation avec DHM/AHM/SMIL
◦ Notion de composant
◦ Liens
◦ Les aspects spatial et temporel
◦ Gestion dynamique
◦ Modèle en couche de DHM


 Partiel. Valide les principes CHM  HV à base théorique
 Langage déclaratif  édition HV grandement simplifiée
 Conformité aux standards Web
 Éditer HV <-> éditer HTML (CSS, JS, SVG,…)
 Éxploite la force temporelle de SMIL
 S’affranchit des plugins avec heut abstraction logicielle
 Utilise un module temporel au dessus de celui
Flash/HTML5
 Introduit les annotations dans l’édition MM pour le
Web
 Illustre HTML5
 Introduit d’autres d’utilisations de la vidéo en ligne

Introduction

Problématique

Conceptset État de l’Art

Proposition

Mise en Œuvre

Évaluation


Introduction Problématique Concepts Proposition Mise en Œuvre Discussion Conclusion

 Synthèse: proposition d’un modèle hypervidéo dédié et
implémentable intégrateur des dimensions:
hypermédia, multimédia, audiovisuelle et annotations.
 Bilan Scientifique:
◦ Aspect théorique
 Modèlisation à base de composants
 Modèle de données orienté annotations
 Prise en charge des dimension
multimédia/hypermédia/événementielle
◦ Aspect pratique
 Framework libre pour les hypervidéos sur le Web: langage
déclaratif, respect des normes Web, facilité d’édition, utilise les
nouvelles technologies.

Introduction Problématique Concepts Proposition Mise en Œuvre Discussion Conclusion

 Perspectives
◦ Aspect recherche
 Etude des modes de perception de l’information audiovisuelle
 Aspect collaboratif
 TV interactive (IDTV)
 Modèle multimédia et adaptation
 Multimédia et annotations sur le Web
◦ Aspect Développement
 Développer le maximum de module de manière générique
 Spécification DOM
 Éditeur CHM sous advene
 Éditeur graphique (GUI)

 Communications
◦ Hypervideo and annotations on the web
MMWeb2011 - Gratz, Austria (septembre 2011)
◦ Component-based hypervideo model: high-level
operational specification of hypervidéos
ACM DocEng’2011 – California, USA (septembre 2011)

 Le projet CHM sur le Web
◦ Modèle, API et exemples: http://www.advene.org/chm
◦ RSS: http://www.advene.org/chm/feed.xml
◦ Twitter: http://twitter.com/chmproject

Modèles et Outils Documentaires pour les Hypervidéos sur le Web

Modèles et Outils Documentaires pour les Hypervidéos sur le Web

Recomendados

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados (10)

Destaque

Destaque (6)

Semelhante a Modèles et Outils Documentaires pour les Hypervidéos sur le Web

Semelhante a Modèles et Outils Documentaires pour les Hypervidéos sur le Web (20)

Mais de Madjid Sadallah

Mais de Madjid Sadallah (7)

Modèles et Outils Documentaires pour les Hypervidéos sur le Web