LIPADE_Report

Recherche d’images similaires dans des
bases radiologiques :
Application aux séquences d’IRM des
masses ovariennes
Yankı Sesyılmaz
Université Pierre et Marie Curie
Master 2 Informatique
Spécialité Image
Encadrants de stage : Camille Kurtz, Florence Cloppet,
Laure Fournier
Correspondante de stage : Isabelle Bloch
Responsable de stage : Séverine Dubuisson
1er
Mars 2016 - 31 Août 2016
Soutenance prévue le 12 Septembre 2016
Ce stage est ﬁnancé par le projet interdisciplinaire “Imageries du Vivant” (USPC)

Remerciements
Tout d’abord, je voudrais remercier mes respectables encadrants Camille Kurtz, Florence
Cloppet et Laure Fournier, de m’avoir orientée avec patience et de me soutenir avec leurs connais-
sances et expériences au cours de la réalisation de ce projet.
Je souhaiterais également remercier ma correspondante de stage, Isabelle Bloch, pour son
aide et pour le suivi de mon stage.
De même, je souhaite remercier ma responsable de stage, Séverine Dubuisson, pour l’intérêt
qu’elle a apporté à ce stage.
Je tiens à remercier particulièrement toutes les membres de l’équipe SIP du laboratoire
LIPADE, qui étaient présents ces 6 mois avec leur disponibilité, leur enthousiasme et leur bonne
humeur.
Merci aussi à ma famille et à mon ami Erol Köseoğlu, pour leur soutien et leur énorme
patience.
Enﬁn, je remercie le projet Imageries du Vivant pour ﬁnancer ce stage.

Table des matières
Liste des ﬁgures i
Liste des tableaux iii
Liste des notations iv
1 Introduction 1
2 Contexte du stage 3
2.1 Aide à la prise de décision en routine radiologique . . . . . . . . . . . . . . . . . . . 3
2.2 Exploiter les bases d’images radiologiques . . . . . . . . . . . . . . . . . . . . . . . . 4
2.3 Cas à étudier : séquence d’images IRM de masses ovariennes . . . . . . . . . . . . . . 4
2.3.1 Types de kystes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
2.3.2 Types de séquences IRM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
2.3.3 Identiﬁcation des types de masses ovariennes . . . . . . . . . . . . . . . . . . 6
2.3.4 Annotation des images de masses ovariennes . . . . . . . . . . . . . . . . . . 7
2.3.5 Objectifs du stage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
3 Approches existantes pour la recherche d’images similaires dans des bases de
données 10
3.1 Recherche d’images par métadonnées . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
3.2 Recherche d’images par le contenu . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
3.2.1 Approches générales . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
3.2.2 Approches dans l’imagerie médicale . . . . . . . . . . . . . . . . . . . . . . . 15
3.2.3 Approches de fusion des caractéristiques visuelles et sémantiques . . . . . . . 17
3.2.4 Approches de recherche multi-images . . . . . . . . . . . . . . . . . . . . . . . 18
3.3 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
4 Méthode proposée de recherche de cas similaires avec une requête multi-
séquences 21
4.1 Grandes étapes de la méthode . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

4.2 Annotation des images de la base . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
4.3 Indexation sur les ROIs : extraction des caractéristiques visuelles . . . . . . . . . . . 24
4.3.1 Descripteur de couleur : histogramme de niveaux de gris . . . . . . . . . . . . 25
4.3.2 Descripteur de texture : motifs binaires locaux . . . . . . . . . . . . . . . . . 25
4.3.3 Descripteur de texture : pyramide d’histogrammes de gradients orientés . . . 27
4.3.4 Descripteur sémantique : termes sémantiques . . . . . . . . . . . . . . . . . . 27
4.3.5 Indexation sur la région d’intérêt . . . . . . . . . . . . . . . . . . . . . . . . . 28
4.4 Recherche de cas similaires . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
4.4.1 Approche mono-descripteur, multi-séquences . . . . . . . . . . . . . . . . . . 28
4.4.2 Approches multi-descripteurs, multi-séquences . . . . . . . . . . . . . . . . . 32
5 Validation expérimentale 38
5.1 Implémentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
5.2 Protocole expérimental . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
5.3 Analyse des résultats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
5.3.1 Choix de la mesure de similarité sur les résultats mono-descripteur, multi-
séquences . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
5.3.2 Mesures de performances des approches multi-descripteurs, multi-séquences . 50
6 Conclusion 54
6.1 Bilan des travaux réalisés . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
6.2 Limites de l’approche développée . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
6.3 Perspectives de recherche . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
Références 56

Liste des figures
1 Différents types de lésions ovariennes sur des séquences IRM (les lésions sont entou-
rées en rouge) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
2 Différents types de séquence IRM représentant un endométriome . . . . . . . . . . . 6
3 Schéma général de l’algorithme de CBIR . . . . . . . . . . . . . . . . . . . . . . . . . 12
4 Schéma général de l’algorithme de CBIR avec retour de pertinence . . . . . . . . . . 15
5 Schéma général de notre approche . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
6 La plate-forme Web - ePAD . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
7 Exemple de fichier d’annotation en format XML généré par la plateforme ePAD . . . 24
8 Représentation d’un histogramme de niveaux de gris d’une image . . . . . . . . . . . 25
9 Schéma de l’algorithme des motifs binaires locaux . . . . . . . . . . . . . . . . . . . . 26
10 Représentation d’un pyramide d’histogrammes de gradient orienté . . . . . . . . . . 27
11 Schéma de l’approche mono-descripteur, multi-séquences . . . . . . . . . . . . . . . . 31
12 Schéma de l’approche multi-descripteurs, multi-séquences avec l’agrégation des in-
formations multi-séquences en combinant les différents descripteurs . . . . . . . . . . 36
13 Schéma de l’approche multi-descripteurs, multi-séquences avec l’agrégation des in-
formations multi-descripteurs séquence par séquence . . . . . . . . . . . . . . . . . . 37
14 Index de l’algorithme de Apache Lucene . . . . . . . . . . . . . . . . . . . . . . . . . 39
15 Index de la base de masses ovariennes . . . . . . . . . . . . . . . . . . . . . . . . . . 39
16 Interface Lucene avec l’exemple des lésions de l’abdomen . . . . . . . . . . . . . . . . 40
17 Résultats de GLH pour un endométriome présentés sur une page html . . . . . . . . 41
18 Résultats des stratégies de fusion de caractéristiques pour un tératome présentés sur
la page html . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
i

19 Résultats des stratégies de fusion séquentielle de caractéristiques pour un cyst pré-
sentés sur la page html . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
20 Mesures de performance globale avec GLH . . . . . . . . . . . . . . . . . . . . . . . . 46
21 Mesures de performance globale avec LBP . . . . . . . . . . . . . . . . . . . . . . . . 47
22 Mesures de performance globale avec PHOG . . . . . . . . . . . . . . . . . . . . . . . 48
23 Mesures de performance globale avec TS . . . . . . . . . . . . . . . . . . . . . . . . . 49
24 Mesures de performance globale de l’approche multi-descripteurs, multi-séquences —
agrégation des informations multi-séquences en combinant les diﬀérents descripteurs 51
25 Mesures de performance globale de l’approche multi-descripteurs, multi-séquences —
agrégation des informations multi-descripteurs séquence par séquence . . . . . . . . . 52
26 Comparaison des mesures de performance globale de l’approche multi-descripteurs,
multi-séquences . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
ii

Liste des tableaux
1 Tableau récapitulatif des relations entre apparence visuelle des lésions sur chaque
type de séquence par diagnostic. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
2 Les termes sémantiques utilisés pour l’annotation des masses ovariennes. . . . . . . . 8
3 Les termes sémantiques utilisés uniquement pour annoter les images T1 FatSat Gd. . 8
4 Mesure de performance de GLH selon différentes distances de similarité . . . . . . . 46
5 Mesure de performance de LBP selon différentes distances de similarité . . . . . . . 47
6 Mesure de performance de PHOG selon différentes distances de similarité . . . . . . 48
7 Mesure de performance de TS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
iii

Liste des notations
AIM Annotation and Image Markup
BoW Bag Of Words
Traduction française : Sacs de mots
CBIR Content-Based Image Retrieval
Traduction française : Recherche d’images par le contenu
CBR Case Based Reasoning
Traduction française : Raisonnement par cas
DICOM Digital Imaging and Communications in Medicine
Traduction française : Imagerie Numérique et Communication en Médecine
GLH Gray Level Histogram
Traduction française : Histogramme de niveaux de gris
HEGP Hôpital Européen Georges Pompidou
HLF High-Level Features
Traduction française : Descripteurs de haut niveau
iCBMIR interactive Content-Based Medical Image Retrieval
IDV Imageries Du Vivant
IRM Imagerie par Résonance Magnétique
LBP Local Binary Patterns
Traduction française : Motif binaire local
LIPADE Laboratoire d’Informatique Paris Descartes
LIRE Lucene Image REtrieval
LLF Low-Level Features Traduction française : Descripteurs de bas niveau
NDCG Normalized Discounted Cumulative Gain
PACS Picture Archiving and Communication System
Traduction française : Système d’Archivage et de Transmission d’Images
PHOG Pyramid of Histograms of Orientation Gradients
Traduction française : Histogramme de gradients orientés
QBIC Query By Image Content
Traduction française : Requête par contenu d’image
iv

RF Relevance Feedback
Traduction française : Retour de Pertinence
ROI Region Of Interest
Traduction française : Région d’intérêt
SIP Systèmes Intelligents de Perception
SQL Structured Query Language
Traduction française : Langage de requête structurée
SVM Support Vector Machines
Traduction française : Machines à vecteurs de support
TS Termes sémantiques
UPMC Université Pierre et Marie Curie
v

1 Introduction
C’est dans le cadre de mon Master 2 Informatique, spécialité Image, de l’Université Pierre
et Marie Curie (UPMC), durant l’année universitaire 2015 – 2016, que j’ai effectué un stage de
recherche d’une durée de six mois. Mon stage, encadré par M. Camille Kurtz, Mme. Florence
Cloppet et Mme. Laure Fournier, s’est déroulé dans l’équipe Systèmes Intelligents de Perception
(SIP) du Laboratoire d’Informatique Paris Descartes (LIPADE) de l’Université Paris Descartes.
L’équipe SIP, fondée en 1990 par le Pr. George Stamon, s’intéresse aux domaines centrés
autour de la Perception Visuelle accompagnée de quelques éléments d’Intelligence Artificielle à tra-
vers l’étude de modélisations et d’applications. Les travaux des membres de l’équipe se répartissent
dans plusieurs champs thématiques, comme par exemple la segmentation d’images guidée par les
connaissances, le suivi et la caractérisation d’objets en mouvement, ou encore la modélisation des
relations spatiales. Ces travaux sont principalement appliqués à l’imagerie biologique et médicale,
à l’étude d’images satellitaires, ainsi qu’à l’analyse de documents.
Depuis 2014, l’équipe SIP travaille sur un projet de recherche intitulé “interactive Content-
Based Medical Image Retrieval” (iCBMIR). Ce projet est en partie financé par le Programme de
Recherche Interdisciplinaire, Imageries du Vivant (IDV), au sein de l’Université Sorbonne Paris
Cité (USPC). Le projet iCBMIR est en collaboration entre le LIPADE et le service de radiologie de
l’Hôpital Européen Georges Pompidou (HEGP). L’objectif de ce projet est d’apporter de nouvelles
approches de recherche d’images dans des bases de données d’images radiologiques hospitalières
fondées sur une recherche à partir d’attributs visuels, sémantiques et sur des mécanismes de retour
de pertinence.
Dans ce contexte, des travaux de recherche sont actuellement menés par l’équipe SIP et le
sujet de stage proposé cette année fait suite à deux stages précédemment effectués :
• Stage de Paul-André Idoux en 2014 : Adaptation d’une plate-forme de recherche
d’images similaires (Lucene Image REtrival - LIRE) au traitement d’images médicales.
• Stage de Carlos Tor Diez en 2015 : Intégration d’un premier mécanisme de retour
de pertinence dans la plate-forme.
L’objectif de mon stage était de concevoir des outils permettant aux médecins radiologues
d’effectuer des recherches multi-images, de fusionner les résultats de recherche par termes séman-
tiques et par caractéristiques d’images et d’intégrer cela dans la plate-forme existante puis d’évaluer
1

1 Introduction
cet outil pour la recherche de séquences IRM de masses ovariennes. Autrement dit, étant donné un
nouvel examen de masses ovariennes d’un patient, composé potentiellement de plusieurs séquences
d’images (comme dans le cas de l’IRM), notre outil devra permettre aux radiologues de retrouver
des cas visuellement similaires à cet examen, en analysant conjointement le contenu des différentes
séquences.
Ce rapport présente les contributions apportées pendant les six mois de stage. Dans un
premier temps, dans la Section 2, nous introduirons le contexte dans lequel s’inscrit ce travail de
recherche. Puis, dans la Section 3, nous présenterons un état de l’art des méthodes existantes de
recherche multi-images par le contenu et de fusion des caractéristiques quantitatives et qualitatives.
Dans la Section 4, nous parlerons des expérimentations que nous avons effectuées pour la recherche
d’images IRM de masses ovariennes. Enfin, dans la Section 5, nous donnerons les résultats que nous
avons obtenus, de manière à dresser un bilan et à dégager des perspectives à ce travail sur la Section
6.
2

2 Contexte du stage
Actuellement les images médicales représentent 30% du stockage des données dans le monde
entier [55]. Ces données permettent d’observer et de comprendre les propriétés morphologiques,
fonctionnelles et métaboliques des organes et des lésions d’un individu. Elles sont également des
données très complexes : elles peuvent être multimodales et multidimensionnelles. Cependant, elles
sont indispensables pour révéler certaines maladies phénotypiques. En revanche, ce nombre croissant
d’images médicales déplace le problème de la fouille de données dans un contexte de problème de
« Big Data ».
2.1 Aide à la prise de décision en routine radiologique
Dans le domaine de la radiologie, l’interprétation d’une seule vacation d’Imagerie par Ré-
sonance Magnétique (IRM) est extrêmement chronophage (plus de 200 images par vacation sont
prises). De plus, l’interprétation des images radiologiques est très subjective et peut varier de
manière significative entre différents radiologues [42]. Ceci est probablement dû à des erreurs d’in-
terprétation, à un niveau d’expérience différent ou simplement à de la fatigue.
Ainsi, une aide à la prise de décision peut être mise en place pour automatiser la recherche
d’images radiologiques dans des Systèmes d’Archivage et de Transmission d’Images (PACS), qui
sont des bases d’images radiologiques hospitalières, et la recherche de cas similaires ayant déjà fait
l’objet d’un diagnostic par rapport à un nouveau cas que les médecins radiologues interprètent.
Cette nécessité est en effet due aux limites actuelles des PACS :
• ils sont généralement seulement utilisés pour stocker les cas correspondant aux examens
des patients ;
• ils peuvent être seulement interrogés par des mots-clés (nom du patient, date d’acquisition,
diagnostic, etc.) ;
• ils ne permettent pas de rechercher des images visuellement similaires.
3

2 Contexte du stage
2.2 Exploiter les bases d’images radiologiques
Dans le cadre d’une collaboration avec Laure Fournier, médecin radiologue à l‘Hôpital Euro-
péen Georges Pompidou (HEGP), l’objectif de ce stage est de fournir un outil qui puisse permettre
d’aider les médecins radiologues à interpréter les séquences d’images IRM, pour l’analyse des masses
ovariennes et la recherche de cas similaires dans des PACS. Ces bases de données contiennent les
images radiologiques archivées servant à la gestion des dossiers des patients. Pour un radiologue,
l’interprétation d’images médicales consiste en 3 tâches distinctes :
• la perception des résultats de l’image ;
• l’interprétation de ces résultats dans le but de rendre un diagnostic ;
• les recommandations cliniques pour traiter le problème.
Trouver des cas similaires dans ces bases de données pourrait permettre de retrouver des
images, potentiellement déjà interprétées, décrivant les mêmes anomalies anatomiques, ce qui aide-
rait le radiologue à établir un diagnostic, notamment dans des cas rares et difficiles à interpréter.
2.3 Cas à étudier : séquence d’images IRM de masses ovariennes
2.3.1 Types de kystes
Pour pouvoir effectuer des évaluations de notre système par la suite, nous avons constitué
une base d’images radiologiques de masses ovariennes se composant de cas déjà diagnostiqués. Laure
Fournier nous a proposé de ne travailler que sur trois types de kystes différents qu’on peut considérer
comme des cas simples :
• les kystes simples ou cystes : des lésions bénignes purement liquides ;
• les kystes hémorragiques ou endométriomes : des lésions avec du sang ;
• les kystes dermoïdes ou tératomes : des lésions graisseuses.
Notre base contient 25 cas simples issus de 25 patients différents, dont 10 cystes, 8 endomé-
triomes et 7 tératomes. Au total, nous avons 90 images dans notre base, soit 3 à 4 séquences par
cas (les différentes séquences sont décrites dans la section 2.3.2 suivante). Le fait que nous n’ayons
4

2 Contexte du stage
pas à chaque fois 4 séquences est dû à un biais d’acquisition réalisé par les radiologues : quand ils
décident que ce n’est pas nécessaire de réaliser une séquence IRM, ils ne le font pas.
Des exemples de ces trois types de kystes sont présentés dans la Figure 1.
(a) Cyst (b) Endométriome (c) Tératome
Figure 1 – Différents types de lésions ovariennes sur des séquences IRM (les lésions sont entourées
en rouge)
2.3.2 Types de séquences IRM
L’imagerie par résonance magnétique (IRM) est un examen dans l’imagerie médicale qui
permet de compléter le diagnostic de certaines pathologies. Elle permet d’avoir plus d’informations
sur des lésions qui ne sont pas visibles sur les radiographies standards, l’échographie ou le scanner.
C’est une imagerie qui se fait à partir des molécules d’eau qui se trouvent de le corps humaine. Le
fait de déplacer le corps humain dans un champ magnétique va faire que ces molécules d’eau vont
être toutes orientées dans un même sens et avoir un certain niveau d’énergie. Cette énergie va être
modifiée avec une onde dite radio-fréquence qui va donner un état d’énergie à ces molécules d’eau.
Quand elles vont revenir à l’état d’équilibre, les molécules d’eau vont rendre cette énergie de façon
différente selon les tissus où elles se trouvent et c’est cette énergie qui va être retranscrite en image.
Les images obtenues par IRM sont dites des images dynamiques. Elles sont des reconstruc-
tions en trois dimensions de la structure analysée selon différentes coupes dans plusieurs plans.
Une séquence d’IRM est un certain nombre d’impulsions de radiofréquence et de gradients qui
se traduisent par un ensemble d’images ayant un aspect particulier. Pendant une séance d’acquisition
d’images IRM d’un patient, plusieurs séquences d’images sont obtenues. Une séquence d’images IRM
5

2 Contexte du stage
contient de 20 à 300 images selon la difficulté que les kystes présentent. Après avoir assisté à une
séance de vacation d’IRM, nous avons décidé, en accord du docteur Laure Fournier, de ne travailler
que sur quatre types de séquences :
• T2 : la séquence principale qui donne l’anatomie de la lésion. Les liquides apparaissent en
blanc sur cette séquence ;
• T1 : les parties qui apparaissent en blanc sur la coupe T1 sont soit de la graisse soit du
sang ;
• T1 FatSat : on sature la séquence T1 pour différencier la graisse du sang. Si les parties
blanches sur T1 deviennent noires foncées, c’est de la graisse, sinon c’est du sang ;
• T1 FatSat Gadolinium : avec l’injection du produit de contraste, le Gadolinium, lors de
l’acquisition de la séquence T1 FatSat, nous pouvons mettre en évidence les zones musculaires.
Remarque : l’injection est faite sur un T1 FatSat et non sur un T1 simple, car le Gadolinium
donne une couleur blanche aux zones tissulaires. Sur un T1, la graisse et le sang sont blancs alors
que dans un T1 FatSat, les graisses deviennent noires.
La figure 2 présente un exemple de kyste hémorragique observé dans des différentes séquences
d’IRM.
(a) T2 (b) T1 (c) T1 FS (c) T1 FS Gd
Figure 2 – Différents types de séquence IRM représentant un endométriome
2.3.3 Identification des types de masses ovariennes
Les radiologues doivent analyser chaque séquence d’IRM et annoter toutes les observations
selon une certaine lexicologie afin d’établir le diagnostic sur une masse ovarienne d’une patiente.
6

2 Contexte du stage
Ces observations peuvent être visuelles à partir des images ou peuvent être déduites à partir des
informations stockées dans le dossier de la patiente.
Dans notre cas, l’information indispensable est le type de signal observé sur l’image :
• les Hyper-signaux sont les parties blanches observées sur les images IRM ;
• les Hypo-signaux sont les parties grises foncées observées sur les images IRM. Nous ne
pouvons pas dire que ce sont des parties noires même si elles semblent l’être car la couleur noire
représente l’absence totale de signal ;
• les Iso-signaux sont les parties en gris clair observées sur les images IRM. Pour pouvoir
repérer ces zones, les radiologues se basent toujours sur l’intensité lumineuse des muscles.
Le docteur Laure Fournier nous a donné un tableau récapitulatif simplifié qui établit la
relation pour faire un diagnostic par les types de signaux observés (cf. Table 1).
T2 T1 T1 FatSat T1 FatSat Gd
Kyste simple Hyper Hypo Hypo Hypo
Kyste hémorragique Variable Hyper Hyper Hyper
Kyste dermoïde Variable Hyper Hypo Hypo
Table 1 – Tableau récapitulatif des relations entre apparence visuelle des lésions sur chaque type
de séquence par diagnostic.
Dans l’exemple de kyste hémorragique présenté sur la figure 2, nous observons que la lésion
sur les séquences T1, T1 FS et T1 FS Gd est respectivement blanche par rapport aux images entières.
Cela signifie que la lésion révèle un hyper-signal sur ces trois séquences. Quand nous vérifions cette
information avec la table récapitulative 1, nous constatons que le diagnostic de l’exemple de la figure
2 est justifié : c’est un exemple de kyste hémorragique. Nous n’avons alors pas besoin de vérifier le
signal de la séquence T2 parce qu’il n’y a qu’une seule possibilité que les séquences T1, T1 FS et
T1 FS Gd représentent des hyper-signaux.
2.3.4 Annotation des images de masses ovariennes
Bien que nous souhaitions automatiser une recherche d’images radiologiques similaires par
le contenu, c’est-à-dire par les caractéristiques visuelles des images, nous devons tout de même
dans un premier temps annoter les images. Ce besoin est lié à la nécessité de pouvoir caractériser
7

2 Contexte du stage
la région d’intérêt (ROI) qui, dans notre cas, est la lésion et non l’image entière. Nous ne devons
prendre en compte que la ROI et non pas l’image entière pour extraire les caractéristiques visuelles
puisque les informations en dehors de la ROI ne sont pas pertinentes pour interpréter une masse
ovarienne. Par contre, ici, nous ne nous focalisons pas sur la tâche de segmentation qui pourrait
également être automatisée.
Ainsi, le docteur Laure Fournier nous a précisé certains termes sémantiques que les médecins
radiologues utilisent pour annoter les masses ovariennes [50] et nous avons utilisé la lexicologie de
RadLex 1
pour identiﬁer ces termes [31].
La table 2 contient les termes sémantiques que nous avons utilisés pour l’annotation.
Champs Termes sémantiques
Lesion Location ovary, uterus, uterine tube, vagina
Signal high signal intensity, low signal intensity, intermediate si-
gnal intensity
Sequence T2 weighted, T1 weighted, fat saturation, imaging with IV
contrast, diﬀusion weighted
Uniformity heterogeneous, homogeneous
Composition cystic, fat-containing, hemorrhagic
Diagnosis simple cyst, endometrioma, dermoid cyst
Table 2 – Les termes sémantiques utilisés pour l’annotation des masses ovariennes.
Si la séquence annotée est “imaging with IV contrast” (i.e. T1 FatSat Gadolinium) deux
autres termes sémantiques sont ajoutés à l’annotation (cf. Table 3).
Champs Termes sémantiques
Enhancement yes, no
Solidness non-solid, partially solid, completely solid
Table 3 – Les termes sémantiques utilisés uniquement pour annoter les images T1 FatSat Gd.
1. http://bioportal.bioontology.org/ontologies/RADLEX?p=classes&conceptid=root
8

2 Contexte du stage
2.3.5 Objectifs du stage
2.3.5.1 Objectif méthodologique
Dans le contexte du projet iCBMIR, l’objectif méthodologique du stage est, étant donné un
nouveau cas/patiente qui a une masse ovarienne représentée par des séquences IRM, de développer
une approche permettant de retrouver des cas similaires dans un PACS hospitalier. Pour ce faire,
nous allons développer une nouvelle méthode de recherche d’images par le contenu (CBIR) gérant
le multi-images : une requête va être composée non pas d’une seule image mais de plusieurs images
correspondant aux diﬀérentes séquences IRM. Un des objectifs sera également de permettre de faire
des recherches en fusionnant tous les descripteurs visuels issus des diﬀérentes séquences ainsi que
les descripteurs sémantiques utilisés par les radiologues pour annoter les images.
2.3.5.2 Objectif technologique
L’objectif technologique du stage est d’implémenter cette méthode dans la plate-forme exis-
tante du LIPADE. Cette plate-forme logicielle utilise une librairie Java open-source, Lucene Image
REtrieval 1
(LIRE). Cette librairie permet d’extraire des descripteurs des images, de les indexer et
de faire une requête simple sur ces images. Elle fournit une interface de programmation pour faire
tout ceci. Nous allons donc adapter la librairie pour qu’elle gère les recherches multi-images sur une
base d’images de masses ovariennes.
2.3.5.3 Application/Validation
Finalement, après avoir mesuré la performance de notre implémentation, nous allons valider
cet outil pour des recherches cliniques en routine sur des masses ovariennes en collaboration avec
les médecins du service de radiologie de l’HEGP.
1. http://www.lire-project.net/
9

3 Approches existantes pour la recherche d’images simi-
laires dans des bases de données
De nos jours, le développement important des technologies de réseau pour l’informatique
à haute vitesse et l’augmentation considérable des systèmes de stockages ont abouti à un énorme
intérêt pour l’archivage des images numérisées. Ceci a conduit à un problème de « Big Data » quand
il a fallu traiter ces données.
Il existe deux types d’informations liés à une image numérisée qui représente un objet visuel :
les métadonnées de l’image et les informations visuelles, qui s’appellent les caractéristiques visuelles
de l’image ou descripteurs visuels. Il existe plusieurs systèmes de recherche d’images par le contenu
(Content-Based Image Retrieval – CBIR) et de nombreux sujets de recherche dans ce domaine,
selon ces deux informations pour traiter ce problème de « Big Data ».
3.1 Recherche d’images par métadonnées
Les premières méthodes proposées dans les années 1970 pour effectuer des recherches
d’images par métadonnées permettaient d’interroger des bases d’images par mots-clés [6, 7]. Ce
type de méthode consistait à annoter les images, modéliser les métadonnées, construire une base de
données relationnelle et enfin lancer des requêtes selon les mots-clés présents dans des annotations
pour trouver des images similaires. Mais pour un humain, annoter un nombre important d’images
est une tâche fastidieuse. De plus, la perception humaine étant subjective, les annotations peuvent
varier considérablement et présenter des inconsistances.
L’approche la plus fréquente dans les hôpitaux pour faire la recherche d’images médicales
est la recherche par métadonnées des images. C’est-à-dire que les médecins radiologues lancent de
simples requêtes SQL permettant de retrouver des images par mots-clés (diagnostic, date d’ac-
quisition, nom du patient, etc.). Ces informations sont stockées dans les métadonnées des fichiers
d’Imagerie Numérique et Communication en Médecine (DICOM) qui est la norme standard pour
la gestion informatique des données issues de l’imagerie médicale [34].
De nos jours, des propositions pour automatiser l’annotation des images sont menées pour
faire face aux limites de cette recherche par métadonnées [29]. Dans l’article [10], les auteurs pro-
posent une méthode pour prédire les termes sémantiques à partir des informations extraites de la
région d’intérêt par des caractéristiques visuelles de texture basées sur des ondelettes multiéchelles
10

3 Approches existantes pour la recherche d’images similaires dans des bases de données
de Riesz. Ce descripteur, permet de capturer les corrélations intrinsèques entre les annotations et
les caractéristiques visuelles de bas-niveau.
3.2 Recherche d’images par le contenu
3.2.1 Approches générales
En 1992, le terme de recherche d’images par le contenu (CBIR) est introduit par T. Kato
[28] pour décrire ses expérimentations sur l’automatisation de ces recherches d’images d’une base
de données par les caractéristiques visuelles des images (couleur et forme). Par la suite, plusieurs
recherches sont menées dans cette direction par les communautés universitaires et industrielles.
La méthode initiale repose sur deux étapes : une phase d’indexation qui se déroule en mode
« hors-ligne » et une phase de recherche « en-ligne » à partir d’un exemple d’image requête (cf.
Figure 3).
L’étape de l’indexation, qui se fait hors-ligne, consiste à extraire des caractéristiques visuelles
de toutes les images de la base. Autrement dit, de créer des collections de documents numériques
contenant les informations issues des caractéristiques visuelles extraites des images.
L’étape de recherche en-ligne consiste à extraire les mêmes caractéristiques visuelles de
l’image requête et de calculer une distance de similarité entre les caractéristiques des images de
l’index et celles de l’image requête.
En principe, les valeurs de distance les plus petites correspondront aux images les plus simi-
laires à l’image requête. Cependant, parfois les résultats peuvent ne pas être pertinents. Donc, après
l’intégration d’une autre étape qui est le système de retour de pertinence (RF) dans l’algorithme
CBIR, les résultats peuvent être améliorés. En eﬀet, le RF permet à l’utilisateur d’amener un ju-
gement aux résultats et d’annoter les images par “cohérent” (relevant) ou “incohérent” (irrelevant)
pour relancer la requête aﬁn d’obtenir un classement amélioré.
11

Rang 1
Base de données
d'image (PACS) Extraction de
caractéristiques
(indexation)
Extraction de
caractéristiques
Calcul des
similarités
Utilisateur
Image requête
Résultats de
la recherche
Rang 2
Rang n
Figure 3 – Schéma général de l’algorithme de CBIR
3.2.1.1 Étape hors-ligne : indexation
La phase d’indexation de la base d’images permet de préparer les données pour une future
recherche dans cette base. Son but n’est pas de rassembler toutes les informations portées par
l’image mais de réduire ces informations selon les besoins du domaine de recherche. Selon diﬀérents
domaines, le contenu de l’image peut être représenté par des descripteurs extraits de l’image. On
peut catégoriser ces descripteurs selon deux groupes : les descripteurs de bas niveau (Low-Level
Features - LLF) et de haut niveau (Low-Level Features - HLF).
— les descripteurs de bas niveau : ils décrivent le contenu bas niveau de l’image, principa-
lement en termes de couleurs, textures et formes.
— les descripteurs de haut niveau : ils représentent principalement les termes sémantiques
attribués à l’image par l’utilisateur avant ou lors de l’indexation. Ils décrivent le contenu
sémantique de l’image par des mots-clés.
La couleur est une des caractéristiques visuelles les plus employées en indexation [53, 17, 9].
Ceci est dû à la robustesse que la couleur montre par rapport aux changements d’échelle et d’orien-
tation, son indépendance à la taille et aux occlusions des images. La couleur est souvent présentée
sous la forme d’histogramme de couleurs : représentation de la distribution des couleurs/intensités
de l’image (RGB, HSV, Niveaux de gris, etc . . . ). La première utilisation de l’histogramme de cou-
12

leurs en CBIR était faite en 1991 par les auteurs de l’article [48]. Depuis, plusieurs autres recherches
sont amenées sur le descripteur de couleur [44].
Par ailleurs, les histogrammes de couleurs présentent aussi des limites. Nous perdons les
caractéristiques importantes pour décrire le contenu global des images comme l’information spatiale,
la texture et la forme.
La texture se réfère aux motifs visuels ayant des propriétés d’homogénéité qui ne résultent
pas de la présence seulement de couleur ou d’intensité unique. Elle est beaucoup utilisée aussi en
CBIR grâce à sa cohérence avec la perception humaine : elle contient des informations importantes
sur l’agencement structurel de surfaces et de leur relation mutuelle [18, 54].
La forme peut être aussi définie comme un complément à la couleur. Les descripteurs de
formes sont robustes à la translation, la rotation et le changement d’échelle. Ils sont catégorisés
en deux classes : descripteurs de formes [21] basés sur les régions et basés sur les contours [39].
Les descripteurs basés sur les régions utilisent en général la transformation de Fourier qui est une
représentation fréquentielle d’une image [43, 33].
En plus de ces descripteurs bas-niveau, nous avons les descripteurs de haut niveau qui sont
les termes sémantiques. Ces descripteurs sont liés aux jugements de l’utilisateur qui décrit sémanti-
quement le contenu de l’image. Selon le domaine d’utilisation, il existe une lexicologie à suivre pour
décider des termes convenant à l’image.
Outre les descripteurs globaux, il est possible de faire de la recherche par des descripteurs
locaux comme des descripteurs SIFT ou SURF pour calculer un dictionnaire visuel et faire de la
recherche par points d’intérêt [61, 51, 24].
Dans la section 4.3, nous allons aborder la phase d’indexation plus en détails.
3.2.1.2 Étape en-ligne : recherche
Une fois l’indexation réalisée, la phase de recherche consiste à mesurer la similarité entre
une image requête et les images de la base selon les informations retirées de l’index. L’utilisateur
donne une image exemple en requête, les mêmes caractéristiques extraites pour l’indexation seront
extraites de cette requête et enfin les images de la base seront ordonnées en fonction d’une mesure
de similarité à cette requête. Cette mesure dépend des représentations des descripteurs utilisés et
donc peut être calculée de plusieurs manières différentes.
13

Il existe un grand nombre de mesures de similarité. Certaines sont des distances, c’est-à-
dire des mesures qui ont les propriétés de non-négativité, réflexivité, symétrie et qui respectent
l’inégalité triangulaire. Certaines mesures sont spécifiques aux histogrammes ou aux distributions.
Dans l’article [40], nous pouvons voir une étude comparative de certaines mesures de similarité
adaptées aux distributions. De même, dans [4], une étude la comparaison d’histogrammes en CBIR
est faite.
Les distances Euclidienne, Manhattan et Tanimoto sont très connues comme mesures de
similarité pour les histogrammes. Nous avons décrit ces mesures dans la section 4.4.1.
Actuellement, il existe plusieurs systèmes commercialisés de CBIR. En 1995, le produit
“Query By Image Content” (QBIC) d’IBM devient le premier système commercialisé capable de
faire un CBIR [15]. Photobook, développé par MIT Media Laboratory, a suivi QBIC [38]. Puis les
systèmes orientés à faire des CBIR sur le World Wide Web ont commencé à être commercialisés :
VisualSEEK [46], Google Image CBIR search, etc.
3.2.1.3 Étape après la recherche : retour de pertinence
Dans certain cas les résultats de la recherche ne sont pas adaptés aux besoins de l’utilisateur ;
Le système de CBIR peut être accompagné d’un mécanisme de retour de pertinence (RF). En
supposant que les utilisateurs maîtrisent le domaine de recherche, l’idée du RF est d’intégrer la
subjectivité de la perception des utilisateurs et d’affiner les requêtes sur la base de cette évaluation
[60]. Autrement dit, lorsque l’utilisateur effectue une requête avec une image dans son système CBIR
et qu’il obtient des résultats, il a la possibilité de marquer comme positifs/pertinents ou négatifs/pas
pertinants les résultats. Avec les nouvelles informations quantifiées par le système RF, le système
CBIR récupère ces retours et améliore ces résultats (cf. Figure 4). Il existe plusieurs méthodes de
RF pour les systèmes CBIR.
La repondération des descripteurs [5] met une priorité ou pénalise chaque caractéristique des
images marquées par l’utilisateur selon un coefficient unique. La méthode d’extension des requêtes
(Query Expansion Method) [59, 41] est aussi appliquée pour le RF. Le RF peut être adapté pour
les descripteurs non seulement de bas niveau mais aussi de haut niveau [30].
14

Base de données
d'image (PACS) Extraction de
caractéristiques
(indexation)
Extraction de
caractéristiques
Calcul des
similarités
Utilisateur
Retour de
pertinence
Image requête
Rang 1
Résultats de
la recherche
Rang 2
Rang n
Figure 4 – Schéma général de l’algorithme de CBIR avec retour de pertinence
3.2.2 Approches dans l’imagerie médicale
Il existe aussi plusieurs propositions de systèmes basés sur des recherches d’images par le
contenu dans l’imagerie médicale, mais les implémentations commerciales sont rares. La plupart
des systèmes existants sont fondés sur des requêtes par mots-clés (voir section 3.1). La raison en est
donnée dans l’article [49] par le fait que le domaine médical est très spéciﬁque et un seul système ne
peut pas convenir à toutes sortes d’images médicales (IRM, scanner, etc. . . ) qui peuvent représenter
diﬀérentes modalités, régions anatomiques, pathologies, etc. . .
De plus, le concept de saut sémantique est souvent présent pour des systèmes CBIR dans
l’imagerie médicale [12]. Nous pouvons considérer cet écart sémantique comme une discontinuité
dans l’aspect de la compréhension de l’image, avec la “compréhension humaine” sur un côté de
l’écart et la “compréhension de la machine” sur l’autre. Dans [12], les auteurs ont catégorisé ces
écarts sémantiques en quatre catégories : contenu, fonctionnalité, performance et utilisabilité. Ces
écarts peuvent créer des limites dans l’application de CBIR pour les images médicales. Par exemple,
un manque de pertinence des informations échangées entre les experts médicaux et d’ingénierie sera
15

fortement lié aux caractéristiques de l’utilisabilité et de la performance des systèmes CBIR. La
difficulté de représenter d’une bonne façon les contenus des images médicales par des caractéris-
tiques visuelles bas niveaux posera problème à la fonctionnalité des systèmes CBIR. L’insuffisance
d’évaluation approfondie de la performance du système en médecine sera considérablement liée à la
performance des systèmes CBIR. Enfin, l’absence d’outils appropriés pour permettre aux experts
médicaux d’évaluer les applications CBIR pose des difficultés additionnelles.
Par ailleurs, les systèmes CBIR présentent des limites dans le domaine de la médecine. Il
existe une multitude de systèmes dépendant des contextes particuliers auxquels ils s’appliquent.
Pour en citer quelques-uns très connus :
— CervigramFinder [56] : un prototype de système CBIR accessible par Internet, qui fonc-
tionne sur un sous-ensemble de la base d’images du col de l’utérus (cervigram). Le système
utilise des descripteurs de couleur, texture et de forme. Il calcule le vecteur caractéris-
tique de la ROI de la requête avec des caractéristiques spécifiées et compare ce vecteur
de requête avec les vecteurs de caractéristiques pré-calculées des régions stockées dans la
base d’images ;
— ASSERT (Automatic Search and Selection Engine with Retrieval Tools) [45] : un système
qui permet de retrouver des images de tomographie du poumon similaires de haute réso-
lution. En plus des descripteurs de la texture, de la forme et des propriétés en niveaux de
gris, le système comprend également des attributs qui mesurent les propriétés perceptives
de l’anatomie ;
— SPIRS (Spine Pathology and Image Retrieval System) [20] : ce système a été développé
pour la recherche d’images similaires des radiographies de la colonne vertébrale qui sont
pathologiquement très sensibles. Des techniques de correspondance de formes partielles et
entières, des correspondances de données multidimensionnelles, des retours de pertinence
et des plateformes Web pour CBIR ont été explorées pour ce système
Cependant, selon l’enquête de Müller et al. qui se trouve dans [35], il existe quelques ap-
proches pour créer un système CBIR générique, approprié à l’application médicale. Par exemple,
l’architecture proposée par le système IRMA [32], améliore le PACS actuel IRMA en proposant un
système de retour de pertinence très efficace et facile à utiliser. Sinon, il existe des exemples de
systèmes plus anciens comme I2
C [37], KMed [8] et COBRA [14] qui sont adaptés pour faire l’étude
des images médicales non spécifiques à un domaine médical précis.
16

3.2.3 Approches de fusion des caractéristiques visuelles et sémantiques
Les approches de CBIR que nous avons abordées dans les sections précédentes utilisent la
plupart du temps un seul type de caractéristique visuelle extraite des images ou bien plusieurs
différentes juste pour comparer les résultats finals. Cependant, il existe aussi des approches qui
combinent directement les informations issues de différents descripteurs visuels et parfois des des-
cripteurs basés sur des informations sémantiques.
Une approche [58] est proposée pour améliorer les résultats de CBIR en combinant les des-
cripteurs de couleur et de texture. Leur système propose à l’utilisateur une première recherche basée
sur le descripteur de couleur et si les résultats ne sont pas cohérents, l’utilisateur peut faire une
deuxième recherche basée sur le descripteur de texture parmi les résultats les mieux classés à partir
du descripteur de la couleur. Certes, cette deuxième recherche, avec l’information de la texture,
permet d’améliorer les résultats de recherche. Par contre, on risque de perdre les meilleurs résultats
classés de la première recherche, dont certains étaient très cohérents.
Par ailleurs, [57] utilise encore des descripteurs de couleur et de texture. Leur système per-
met d’extraire dans un premier temps l’histogramme de niveaux de gris, calculer la matrice de
co-occurence de l’histogramme de couleur pour ensuite extraire le descripteur de texture par l’in-
termédiaire de cette matrice de co-occurence. Ils comparent leurs résultats de recherche par l’algo-
rithme de caractéristiques de texture basées sur une matrice de co-occurrence de niveaux de gris
avec les résultats de la recherche fondées sur la couleur, et constatent que les performances de la
recherche augmentent.
Cependant, il est aussi possible de fusionner différentes caractéristiques visuelles avant de
faire la recherche, c’est-à-dire dans l’étape de l’indexation. Les auteurs de [16] proposent de combiner
les histogrammes de couleur et de forme pour en former un histogramme invariant de grande
dimension unifié pour la recherche d’images similaires et intègre ce dernier dans un système en-
ligne PicToSeek.
C’est aussi possible d’ajouter d’autres caractéristiques visuelles. Par exemple, dans [23], les
auteurs combinent les descripteurs de couleur, de texture et de forme. Non seulement, ils utilisent
plus de descripteurs mais ils permettent aussi à l’utilisateur d’améliorer les résultats en faisant appel
au retour de pertinence pour modifier les poids des résultats obtenus dans un premier temps.
Enfin, une autre possibilité de travailler sur plusieurs caractéristiques visuelles dans un sys-
tème CBIR est de ne pas faire un pré-traitement mais de faire un post-traitement. Autrement dit,
17

de faire la recherche pour chaque caractéristique séparément et de combiner les résultats obtenus à
partir de ces différents descripteurs [52]. Ce qui revient à faire des fusions au niveau des différents
résultats.
En effet, cette approche de fusion est aussi appliquée dans certains systèmes proposés en
imagerie médicale. Par exemple, le système CBIR2 [2] combine non seulement des descripteurs
visuels mais aussi des informations textuelles. Autrement dit, il propose un système hybride de
fusion des descripteurs sémantiques et visuels.
Au final, il est possible d’utiliser une approche de fusion de caractéristiques visuelles afin
de retirer plus d’informations de l’image requête et d’améliorer les résultats de recherche d’images
similaires.
3.2.4 Approches de recherche multi-images
Nous nous intéressons ici aux méthodes de CBIR permettant d’effectuer des recherches avec
une requête composée de plusieurs images. En effet, amener des informations complémentaires avec
d’autres images requêtes peut améliorer les résultats de recherche. Il existe deux stratégies pour
réaliser cette approche, mais chacun présente différentes limites :
— combiner les images requêtes : à partir des images requêtes, une image fusionnée (i.e. une
requête unique) est générée, qui intègre les différents exemples.
— combiner les mesures de similarité des images requêtes avec la base : chaque requête est
formée individuellement et les résultats de recherche sont fusionnés en une seule liste.
Dans le système MindReader [25], l’utilisateur peut choisir les images qui participeront à la
requête et leurs poids en fonction de leurs ressemblances avec les images recherchées. À la base,
MindReader propose un système qui gère la recherche multi-images par les méthodes de recherche
interactives basées sur la repondération des requêtes (Query Reweighting – QR) appliquée avec le
retour de pertinence.
Une autre approche est d’exécuter des requêtes distinctes pour chaque exemple et de com-
biner les résultats par la suite [27]. Ceci revient à faire une interrogation par de multiples points
concentrés sur la fonction de similarité et la fusion de plusieurs requêtes en un seul point. Leur
système est aussi basé sur un retour de pertinence.
L’utilisation d’images multiples en requête dans l’imagerie médicale existe aussi. Dans [1], les
18

descripteurs de couleurs et de textures sont extraits des images microscopiques puis une classification
des deux principaux diagnostics est faite à l’aide de l’apprentissage supervisé par des SVM et enfin
la recherche est effectuée sur ces différentes classes.
Les auteurs de [63] décident de travailler sur un système de raisonnement par cas (Case-Based
Reasoning - CBR) en formant l’image requête dans des données issues des différentes modalités
(Rayons X, IRM, CT-scan, etc.) qui forment un cas avec plusieurs images en requête. Les cas sont
représentés par des sacs de mots (Bag Of Words - BoW) et la recherche s’effectue en calculant la
similarité de toutes les images dans le cas requête avec toutes les images dans l’ensemble de données
pour trouver l’ensemble le plus similaire.
3.3 Discussion
Comme cela est évoqué dans la section précédente (Section 2), les objets d’intérêt de notre
étude sont des masses ovariennes, où chaque cas peut être représenté simultanément pas plusieurs
types de séquences IRM (T2, T1, T1 FS, etc. . . ). C’est à ce niveau que nous rencontrons un premier
problème pour la recherche d’images similaires. La plupart des méthodes existantes dans l’état de
l’art permettent de faire une recherche à partir d’une seule image en requête, mais malgré le retour
de pertinence, les résultats présentés à la fin ne sont pas toujours cohérents. De plus, ces méthodes
ne sont pas directement adaptables à des recherches multi-images. Car chaque séquence présente
différentes caractéristiques visuelles et on ne peut pas juger un cas par une seule image d’une seule
séquence. Donc, de meilleurs résultats peuvent être obtenus en changeant le système de recherche
d’images similaires par un système de recherche de cas/patient similaires (pouvant être décrits pas
un ensemble d’images).
De plus, les annotations sémantiques des images ne sont pas tout à fait objectives même si
c’est une lexicologie commune utilisée par tous les radiologues.
En outre, les recherches par caractéristiques qualitatives peuvent ne pas être très cohérentes.
Même si les systèmes existants permettent de refaire les recherches après un retour de pertinence de
l’utilisateur, fusionner les caractéristiques qualitatives et quantitatives des images pourrait améliorer
les résultats.
Enfin, dans cette recherche bibliographique sur l’indexation et la recherche d’images par le
contenu, nous avons vu qu’il y a un manque pour la recherche multi-images en imagerie médicale.
En effet, le terme multi-images dans notre cas représente multi-séquence parce que nous travaillons
19

sur des IRM qui sont représentées avec plusieurs séquences (cf. Section 2). Dans ce contexte de
méthodologie, nous proposons une nouvelle approche innovante par consensus sur des descripteurs
et des séquences IRM qui permet d’apporter une solution à la fois pour la fusion de descripteurs et
pour la recherche multi-images pour la recherche de cas similaires des masses ovariennes.
20

4 Méthode proposée de recherche de cas similaires avec une
requête multi-séquences
4.1 Grandes étapes de la méthode
Comme nous l’avons vu dans la section précédente, notre méthode de recherche de cas
similaires prend en paramètre une requête multi-séquences et retourne un ensemble de cas similaires
trouvés dans la base de données (cf. Figure 5).
Voici les différentes étapes de la méthode :
Entrée : un cas requête composé de plusieurs images issues de différentes séquences
1. Annotation des lésions ovariennes avec les termes sémantiques prédéfinis et les coordon-
nées des ROIs ;
2. Indexation sur des ROIs : extraction des descripteurs sur des ROIs (sur les lésions ova-
riennes) ;
3. Recherche de séquences similaires ;
4. Fusion et agrégation des résultats obtenus pour la gestion multi-séquences ;
Sortie : des cas similaires composés de plusieurs séquences.
Les étapes 1 et 2 sont nécessaires pour les phases de l’indexation et de la recherche. Alors
que les étapes 3 et 4 concernent seulement la phase de recherche.
21

4 Méthode proposée de recherche de cas similaires avec une requête multi-séquence
1 - Annotation des lésions
de la requête
PACS
2 - Extraction des
caractéristiques de la requête
index
1 - Annotation des lésions
2 - Indexation sur des ROIs :
extraction des caractéristiques
3 - Recherche de
séquence similaires
4 - Fusion des résultats
Entrée : cas requête
Sortie : cas similaires
Figure 5 – Schéma général de notre approche
22

4.2 Annotation des images de la base
L’annotation des images est nécessaire pour la finalisation de notre base afin d’appliquer
notre méthode de recherche de cas. Nous utilisons la plate-forme Web pour l’imagerie quantitative
dans le flux de travail clinique, ePAD 1
, développée par le laboratoire Rubin Lab 2
de l’Université de
Stanford pour annoter les images de notre base. Cette plate-forme permet de visualiser et annoter
les images médicales selon un modèle de fichier XML d’annotation “Annotation and Image Markup”
(AIM) existant ou créé par l’utilisateur (cf. Figure 6).
L’annotation d’une image sur ePAD consiste à choisir une image d’une séquence d’un patient,
sur laquelle on visualise la lésion très clairement, à détourer cette lésion (ROI) et à choisir un
ensemble de termes sémantiques présents sur le modèle d’AIM.
Figure 6 – La plate-forme Web - ePAD
L’annotation est entourée en cyan et la ROI en vert
Une fois l’annotation de la base réalisée sur la plateforme ePAD, nous pourrons télécharger
1. https://epad.stanford.edu/
2. https://rubinlab.stanford.edu/
23

ces annotations dans un ﬁchier archivé contenant les annotations en format XML.
La Figure 7 est une présentation d’une annotation en format XML.
Figure 7 – Exemple de ﬁchier d’annotation en format XML généré par la plateforme ePAD
4.3 Indexation sur les ROIs : extraction des caractéristiques visuelles
Une fois que notre base est annotée, l’indexation consiste à extraire les caractéristiques
visuelles sur les régions d’intérêt (ROI). Le choix des descripteurs utilisés n’est pas trivial et est
fortement dépendant du type d’images employées et de la pathologie étudiée. Dans le cadre de
ces travaux nous avons choisi trois descripteurs particuliers : l’histogramme de niveaux de gris, les
motifs binaires locaux et la pyramide d’histogrammes de gradients orientés. Ces descripteurs ont
déjà montré leur intérêt dans l’article [47], dans lequel une application de CBIR sur des images
24

d’échographies de kystes ovariens basée sur des classiﬁeurs linéaires SVM est proposée.
4.3.1 Descripteur de couleur : histogramme de niveaux de gris
L’histogramme de couleur est une des caractéristiques visuelles les plus utilisées dans le
domaine de l’imagerie parce qu’il permet de décrire le contenu colorimétrique des images. Il est
robuste à l’orientation et ne dépend pas de la taille de l’image quand il est normalisé. Il peut être
utilisé pour les images en couleurs et en niveaux de gris. Notre base contient des images IRM en
niveaux de gris.
L’histogramme de niveaux de gris (Gray Level Histogram - GLH) représente la distribution
des valeurs de pixels selon leurs niveaux de gris dans l’image (cf. Figure 8).
Figure 8 – Représentation d’un histogramme de niveaux de gris d’une image
Dans notre cas, pour pouvoir comparer les GLH de toute la base avec les GLH des images
requêtes, nous avons normalisé nos histogrammes selon la taille des ROI.
4.3.2 Descripteur de texture : motifs binaires locaux
Les descripteurs de texture permettent de modéliser un arrangement spatial entre les couleurs
et les intensités apparentes sur l’image. Les motifs binaires locaux (Local Binary Pattern - LBP)
sont des caractéristiques visuelles de texture introduites dans les années 1990 pour représenter le
contraste spatialisé des images en niveaux de gris [19]. Leur principe est, à partir des voisins en 8
connexité d’un pixel, d’attribuer une valeur LBP au pixel en question (cf. Figure 9).
25

Figure 9 – Schéma de l’algorithme des motifs binaires locaux
source : wikipédia
Voici la formule pour obtenir la valeur LBP d’un pixel pc de coordonnées (xc, yc) en compa-
rant le niveau de gris du pixel central à celui de ses voisins pv :
LBP(xc, yc) =
7
n=0
H(pv − pc)2n
avec pc valeur du pixel central
et pv valeur du pixel voisin n
où H(lv − lc) =



1 si pv − pc ≥ 0
0 sinon
est la fonction de Heaviside
LBP est en eﬀet invariant pour les variations monotones de niveaux de gris [13], ce qui
en fait un descripteur de texture très utilisé pour la reconnaissance des formes (par exemple la
reconnaissance de visages [22]).
Nous avons décidé d’utiliser ce descripteur parce que, dans notre cas, les variations de niveaux
de gris sont négligeables sur les types simples de kystes ovariens présents dans notre base.
26

4.3.3 Descripteur de texture : pyramide d’histogrammes de gradients orientés
Les histogrammes de gradients orientés sont des histogrammes qui représentent la répartition
des intensités de gradients d’une image. En 2007, [3] introduit un nouveau descripteur qui s’appelle
pyramide d’histogrammes de gradients orientés (Pyramid of Histograms of Orientation Gradients -
PHOG). Il applique le principe d’histogrammes de gradients orientés en combinant les histogrammes
des différents niveaux de la pyramide spatiale (cf Figure 10).
Figure 10 – Représentation d’un pyramide d’histogrammes de gradient orienté
source : [3]
Le fait de combiner les histogrammes des différents niveaux de la pyramide spatiale permet
d’avoir des résultats issues des différents niveaux d’échelles d’une image.
4.3.4 Descripteur sémantique : termes sémantiques
Les recherches par métadonnées mentionnées dans les sections précédentes nous montrent
qu’elles sont utilisées avec des simples requêtes structurées (SQL). Néanmoins, nous utiliserons
les métadonnées de l’image comme un descripteur sémantique de la lésion, parce que, dans notre
cas, les métadonnées contiennent des termes sémantiques (TS) qui sont utilisés pour décrire les
caractéristiques visuelles tirées de l’image par le radiologue pendant l’annotation. En effet, dans
le cas étudié, les termes sémantiques ne sont pas considérés comme des métadonnées mais des
caractéristiques visuelles directement liées au contenu de l’image et à la lésion. Ces termes sont
27

stockés dans le fichier d’annotation AIM de l’image (cf. section 4.2) et le descripteur sémantique
est présenté par un ensemble TS.
4.3.5 Indexation sur la région d’intérêt
L’indexation est la première partie de notre algorithme. Cette étape est une étape prélimi-
naire qui ne se fait pas en temps réel : nous indexons une fois notre base et nous utilisons toujours
cette même indexation pour faire des recherches de cas similaires.
Cette indexation contiendra les métadonnées et les descripteurs (GLH, LBP, PHOG, TS)
extraits des images. Les valeurs de ces descripteurs sont alors stockées dans un fichier index où
chaque ligne représente les descripteurs d’une lésion dans une séquence particulière.
4.4 Recherche de cas similaires
Une fois que l’indexation est terminée, nous utilisons cet index pour réaliser notre recherche
d’ensemble d’images similaires, autrement dit recherche de cas similaires. Dans le cadre de ce stage,
nous avons proposé différents types d’approches pour effectuer cette recherche : des approches mono-
descripteur, multi-séquences et des approches multi-descripteurs, multi-séquences. Ces différentes
approches nous permettront d’étudier plusieurs stratégies de recherche multi-séquences.
4.4.1 Approche mono-descripteur, multi-séquences
L’approche mono-descripteur, multi-séquences, consiste à reconstruire des cas existants dans
la base et de calculer une distance de similarité pour chacun des descripteurs de l’index avec les
images requêtes (i.e. le cas requête). La figure 11 schématise cette approche.
La première étape est en effet le palier indispensable de notre méthode pour pouvoir travailler
sur des cas. Nous allons combiner les images de la base selon l’identifiant du patient. C’est-à-dire
que les images appartenant à un patient formeront un cas. Ces cas contiendront donc 3 ou 4 images
annotées de différentes séquences. Nous pouvons détecter à quel type de séquence ils appartiennent
grâce aux annotations, parce que l’information de la séquence est un des termes sémantiques.
Puis, nous accédons aux descripteurs extraits des ROIs des séquences de chaque cas grâce
à l’index et nous extrayons les mêmes descripteurs des ROIs des séquences de la requête. Nous
28

calculons ensuite la similarité des séquences entre elles grâce à une mesure de similarité. Enﬁn,
nous fusionnons ces mesures de similarité de chaque cas pour les diﬀérents descripteurs.
Sur la Figure 11 cette approche mono-descripteur est représentée par un descripteur Desf
(par exemple l’histogramme de niveaux de gris). La distance de similarité entre le Cas 1 et la requête
se fait au niveau de tous les séquences parce que tous les deux sont composés de tous les séquences,
c’est-à-dire ils n’ont pas de séquences manquante. Alors que le Cas 2 ne possède pas la séquence T1
FS, alors la distance de similarité est calculée seulement entre les séquences présentes dans les deux
cas : T2, T1 et T1 FS Gd. Une fois que les distances sont calculées pour chaque séquence présente
entre la requête et les cas, la moyenne des distances de similarité de toutes les séquences de tous
les cas présentera la distance de similarité totale entre la requête R et un Casn.
Ces mesures de similarité sont des distances calculées entre les histogrammes des descripteurs
extraits des ROIs de la base avec les mêmes descripteurs extraits des ROIs des images requêtes.
Par contre, nous calculons les distances uniquement entre les images appartenant au même type de
séquence : c’est-à-dire les T2 avec les T2, les T1 avec les T1 et ainsi de suite.
Pour obtenir cette distance de similarité, il existe plusieurs distances dans la littérature.
4.4.1.1 Distance Euclidienne
La distance Euclidienne est la distance directe minimale entre deux objets, p et q, qui se
trouvent dans un espace euclidien :
dE(p, q) = (xq − xp)2 + (yq − yp)2
Nous pouvons aussi utiliser cette distance pour calculer la similarité entre deux histo-
grammes, H et H , avec la formule suivante [11] :
dE(H, H ) =
N
i=1
(Hi − Hi)2
29

où Hi représente la ième
barre de l’histogramme H et Hi représente la ième
barre de l’histo-
gramme H
4.4.1.2 Distance de Manhattan
La distance de Manhattan entre deux points est la distance du trajet vertical et/ou horizontal
de longueur minimale entre ces deux points. Dans un espace à deux dimensions qui contient les
points p et q, la distance de Manhattan peut être représentée de la manière suivante :
dM (p, q) = |xq − xp| + |yq − yp|
Pour la comparaison d’histogrammes, cette valeur peut être utilisée pour faire une étude de
similarités [62]
dM (H, H ) =
N
i=1
|Hi − Hi|
4.4.1.3 Distance de Tanimoto
La distance de Tanimoto est une dérivée de la distance de Jaccard qui mesure la dissimilarité
entre deux ensembles.
Soit p et q deux points dans un espace à deux dimensions. La distance Jaccard entre ces
deux points est représenté par dj(p, q) et la distance Tanimoto par dt(p, q) :
dj(p, q) =
|p ∪ q| − |p ∩ q|
|p ∪ q|
30

dt(p, q) =
p · q
p 2 + q 2 − p · q
Requête
𝐷𝑒𝑠𝑓
PACS
. . .
Cas 1 Cas 2
𝐷𝑒𝑠𝑓
Distance 𝐷𝑒𝑠𝑓
entre Requête 𝑅
et Cas 1
Distance 𝐷𝑒𝑠𝑓
entre Requête
𝑅 et Cas 2
𝑑 𝑇2
𝐷𝑒𝑠 𝑓
(𝑅, 𝐶𝑎𝑠1)
𝑑 𝑇1
𝐷𝑒𝑠 𝑓
𝑑 𝑇1𝐹𝑆
𝐷𝑒𝑠 𝑓
𝑑 𝑇1𝐹𝑆𝐺𝑑
𝐷𝑒𝑠 𝑓
𝑑 𝑇2
𝐷𝑒𝑠 𝑓
𝑑 𝑇1
𝐷𝑒𝑠 𝑓
𝑑 𝑇1𝐹𝑆𝐺𝑑
𝐷𝑒𝑠 𝑓
Moyenne des distances
Rang Cas Distance
1
2
3
4
...
𝑑1
𝑑2
𝑑3
𝑑4
Résultat du
premier niveau
Figure 11 – Schéma de l’approche mono-descripteur, multi-séquences
31

4.4.2 Approches multi-descripteurs, multi-séquences
L’approche précédente ne comprend pas la fusion des caractéristiques quantitatives et séman-
tiques des recherches multi-séquences. Les approches multi-descripteurs, multi-séquences consistent
à agréger des séquences et des descripteurs. Autrement dit, notre contribution consiste à combiner
les résultats de recherche obtenus par les différentes caractéristiques visuelles et par termes séman-
tiques dans le but d’améliorer nos résultats. Pour cela, nous avons proposé différentes stratégies de
consensus pour fusionner nos différents résultats de recherche de cas similaires.
Pour une requête contenant 3 à 4 images d’un patient qui forment un cas, nous obtenons 4
ensembles différents de résultats par les différents descripteurs qu’on utilise : GLH, LBP, PHOG
et TS (cf. Figure 11). Ces 4 résultats sont considérés comme les résultats de recherche du pre-
mier niveau. C’est à partir de là que nous allons fusionner ces résultats pour faire une recherche
multi-séquences en combinant ces différents descripteurs et obtenir des résultats de deuxième, puis
troisième niveau avec différentes stratégies (cf. Figure 12).
4.4.2.1 Agrégation des informations multi-séquences en combinant les différents des-
cripteurs
Comme cela est présenté sur la Figure 12, les résultats du premier niveau présentent les pre-
miers résultats que nous avons obtenus avec l’approche mono-descripteur abordée dans la section
précédente 4.4.1 pour un descripteur précis. Pour cette approche multi-séquences, nous allons com-
biner les résultats obtenus par les différents descripteurs. Nous commençons donc par effectuer une
recherche mono-descripteur (cf. Section 4.4.2) pour chaque descripteur considéré. Nous obtenons 4
résultats de recherche du premier niveau. Nous proposons ensuite trois stratégies pour combiner les
différents descripteurs.
• Moyenne des distances de similarité :
Chaque résultat du premier niveau est classé par ordre croissant selon les distances de simi-
larité attribuées pour les cas existants dans la base selon le descripteur utilisé. Ces distances sont
obtenues par la mesure de similarité entre le cas requête et les cas de la base. Pour pouvoir comparer
ces distances, nous devons les normaliser. Après cela, nous avons pris la moyenne arithmétique et
la moyenne harmonique des distances normalisées par cas et obtenu de nouveaux scores pour ces
cas. Ce qui nous donne un résultat du deuxième niveau que vous pouvez voir en rouge sur la Figure
12.
32

Pour prendre les moyennes des distances de similarité, nous utilisons les formules suivantes :
Moyenne de distance arithmétique entre un requête R et un cas p :
distmoy_arit_dist(R, casp) =
distGLH(R, casp) + distLBP (R, casp) + distP HOG(R, casp) + distT S(R, casp)
nb_result
Moyenne de distance harmonique d’un casp :
distmoy_harm_dist(R, casp) =
nb_result
1
distGLH (R,casp) + 1
distR,LBP (casp) + 1
distR,P HOG(casp) + 1
distT S (R,casp)
• Moyenne des rangs :
Cependant, les distances de similarité calculées entre les diﬀérents types de descripteurs ne
sont pas forcément comparables donc nous avons proposé d’utiliser encore une fois nos 4 résultats de
premier niveau, mais cette fois-ci, nous ne nous intéressons non pas aux distances de similarité, mais
aux rangs des cas à travers les diﬀérents résultats. Ainsi, les formules que nous utilisons pour cette
stratégie restent les mêmes que les formules utilisées dans le moyennage des distances de similarité,
mais les rangs prennent les places des distances de similarité dans les séries de résultats ordonnés.
Moyenne de rang arithmétique entre un requête R et un cas p :
rangmoy_arit_rang(R, casp) =
rangGLH(R, casp) + rangLBP (R, casp) + rangP HOG(R, casp) + rangT S(R, casp)
nb_result
Moyenne de rang harmonique d’un casp :
rangmoy_harm_rang(R, casp) =
nb_result
1
rangGLH (R,casp) + 1
rangR,LBP (casp) + 1
rangR,P HOG(casp) + 1
rangT S (R,casp)
Cette stratégie qui nous donne encore un résultat du deuxième niveau est présentée en violet
sur la Figure 12 : nous prenons la moyenne des rangs issus de tous les résultats du premier niveau.
• Moyenne des rangs et des distances :
33

Cette dernière stratégie est une fusion des résultats non pas du premier niveau mais du
deuxième niveau. Autrement dit, nous utiliserons non pas les 4 résultats de base que nous avions
obtenus à partir des différents descripteurs, mais des résultats de nos deux stratégies de fusion
expliquées dans les sections précédentes. Par conséquent, nous obtiendrons des résultats du troisième
niveau (cf. Figure 12 en gris clair).
C’est en effet une autre stratégie de fusion dérivée des stratégies précédentes, parce que
nous combinons les distances de similarité et les rangs des résultats : nous prenons la moyenne
arithmétique et harmonique des rangs et des distances de similarité des résultats du deuxième
niveau. Cependant, comparer des rangs à des scores peut ne pas être très pertinent. C’est pour
cette raison que nous avons décidé de prendre aussi les moyennes arithmétiques et harmoniques des
rangs finaux et des rangs obtenus selon les scores finaux.
Sur la Figure 12, nous pouvons visualiser les résultats du troisième niveau. Notre premier
consensus est représenté en gris clair : nous prenons la moyenne entre les rangs moyennés obtenus à
partir du résultat du deuxième niveau “Moyenne des rangs” (en violet) et les distances moyennées
du “Moyenne des distances de similarité” (en rouge). Puis, notre deuxième consensus est représenté
en jaune : nous prenons la moyenne entre les rangs du résultat du deuxième niveau “Moyenne des
rangs” (en violet) et les rangs du “Moyenne des distances de similarité” (en rouge).
4.4.2.2 Agrégation des informations multi-descripteurs séquence par séquence
Pour cette deuxième stratégie d’agrégation, nous n’allons pas utiliser les résultats du premier
niveau. Nous avons décidé de ne pas combiner ensemble les distances de similarité de toutes les
séquences d’un cas pour un descripteur mais de traiter chaque séquence séparément (cf. Figure 13).
Nous allons utiliser encore les mêmes descripteurs et nous allons chercher des séquences similaires
dans la base. Autrement dit, les recherches prendront en compte la séquence à laquelle les images
de la base appartiennent et la recherche va être effectuée sur les images appartenant à la même
séquence. Au final, nous aurons encore une liste de résultats pour chaque séquence du cas requête.
Pour calculer la similarité afin de trouver ces listes de résultats, nous allons encore utiliser
les mêmes principes évoqués auparavant : moyenne des distances de similarité et moyenne des rangs
(cf. section 4.4.2). Mais cette fois-ci, nous allons prendre deux ensembles différents de résultats pour
appliquer ces calculs.
Dans un premier temps, nous allons prendre toutes les listes de résultats obtenus pour chacun
34

des descripteurs d’une séquence. C’est-à-dire que nous aurons nbsequence ×nbdescripteur listes : soient
16 listes (4 séquences x 4 descripteurs) si toutes les séquences sont présentes dans la requête et 12
(3 séquences x 4 descripteurs) s’il y a une séquence manquante. Puis, nous prendrons la moyenne
des rangs et des distances de similarité issues de ces listes.
La Figure 13 représente cette dernière approche que nous proposons. Dans un premier temps,
nous récupérons les distances de similarité pour chaque séquence séparément entre une requête R
et tous les cas de notre base, ce qui nous donne 16 ensembles de résultats pour un exemple. Notre
première stratégie est présentée en rouge avec un premier ensemble de résultats obtenus sur la
Figure 13 : nous prenons la moyenne des rangs des résultats appartenant à cet ensemble.
D’autre part, nous allons moyenner les nouveaux rangs obtenus pour chaque séquence. Nous
aurons donc nbsequence listes de résultats.
Nous prenons donc la moyenne des rangs de chaque ensemble de résultats appartenant aux
différentes séquences représentées sur la Figure 13. Ceci va nous donner 4 (nombre de séquence
présentes dans la requête de l’exemple) résultats. Enfin, la moyenne de ces résultats, représentée en
violet sur la figure 13, nous donne un rang final que nous pourrons utiliser pour faire un classement.
En conséquent, nous allons prendre soit la moyenne générale des rangs de toutes les listes
de toutes les séquences, soit la moyenne des rangs des moyennes des listes issues de chaque sé-
quence séparément. Finalement, nous allons procéder de même pour les moyennes des distances de
similarité.
35

4Méthodeproposéederecherchedecassimilairesavecunerequêtemulti-séquence
Requête
𝐺𝐿𝐻
PACS
. . .
𝐿𝐵𝑃
𝑃𝐻𝑂𝐺
𝑇𝑆 < 𝑥1, 𝑥2,.., 𝑥 𝑛> < 𝑥1, 𝑥2,.., 𝑥 𝑛> < 𝑥1, 𝑥2,.., 𝑥 𝑛> < 𝑥1, 𝑥2,.., 𝑥 𝑛>
Cas 1
Cas 2
𝐺𝐿𝐻
𝐿𝐵𝑃
𝑃𝐻𝑂𝐺
𝑇𝑆
𝐺𝐿𝐻
𝐿𝐵𝑃
𝑃𝐻𝑂𝐺
𝑇𝑆
Distance pour GLH entre
Requête 𝑅 et un cas
Distance pour LBP entre
Distance pour PHOG entre
Distance pour TS entre
Rang Cas Distance
1
2
3
...
𝑑1
𝑑2
𝑑3
Rang Cas Distance
1
2
3
...
𝑑1
𝑑2
𝑑3
Rang Cas Distance
1
2
3
...
𝑑1
𝑑2
𝑑3
Rang Cas Distance
1
2
3
...
𝑑1
𝑑2
𝑑3
Résultats du
premier niveau
Moyenne des rangs
Moyenne des distances
de similarité
Rang Cas Distance
1
2
3
...
𝑑1
𝑑2
𝑑3
Rang Cas Distance
1
2
3
...
𝑑1
𝑑2
𝑑3
Résultats du
deuxième niveau
Moyenne des rangs des
deux moyennes
Rang Cas Distance
1
2
3
...
𝑑1
𝑑2
𝑑3
Résultats du
troisième niveau
Rang Cas Distance
1
2
3
...
𝑑1
𝑑2
𝑑3
Moyenne des rangs
moyennés des distances
moyennées
Figure 12 – Schéma de l’approche multi-descripteurs, multi-séquences avec l’agrégation des informations multi-séquences en combinant les diﬀérents
descripteurs
36

4Méthodeproposéederecherchedecassimilairesavecunerequêtemulti-séquence
Requête
𝐺𝐿𝐻
𝐿𝐵𝑃
𝑃𝐻𝑂𝐺
𝑇𝑆 < 𝑥1, 𝑥2, . . , 𝑥 𝑛> < 𝑥1, 𝑥2, . . , 𝑥 𝑛> < 𝑥1, 𝑥2, . . , 𝑥 𝑛> < 𝑥1, 𝑥2, . . , 𝑥 𝑛>
PACS
. .
.
Cas 1
Cas 2
𝐺𝐿𝐻
𝐿𝐵𝑃
𝑃𝐻𝑂𝐺
𝑇𝑆
𝐺𝐿𝐻
𝐿𝐵𝑃
𝑃𝐻𝑂𝐺
𝑇𝑆
Distance pour PHOG
entre Requête 𝑅 et un cas
Rang Cas Distance
1
2
...
Cas 1
Cas 2
...
𝑑1
𝑑2
...
Rang Cas Distance
1
2
...
Cas 1
Cas 2
...
𝑑1
𝑑2
...
Rang Cas Distance
1
2
...
Cas 1
Cas 2
...
𝑑1
𝑑2
...
Rang Cas Distance
1
2
...
Cas 1
Cas 2
...
𝑑1
𝑑2
...
Distance pour PHOG
Rang Cas Distance
1
2
...
Cas 1
Cas 2
...
𝑑1
𝑑2
...
Rang Cas Distance
1
2
...
Cas 1
Cas 2
...
𝑑1
𝑑2
...
Rang Cas Distance
1
2
...
Cas 1
Cas 2
...
𝑑1
𝑑2
...
Rang Cas Distance
1
2
...
Cas 1
Cas 2
...
𝑑1
𝑑2
...
Distance pour PHOG
Rang Cas Distance
1
2
...
Cas 1
Cas 2
...
𝑑1
𝑑2
...
Rang Cas Distance
1
2
...
Cas 1
Cas 2
...
𝑑1
𝑑2
...
Rang Cas Distance
1
2
...
Cas 1
Cas 2
...
𝑑1
𝑑2
...
Rang Cas Distance
1
2
...
Cas 1
Cas 2
...
𝑑1
𝑑2
...
Distance pour PHOG
Rang Cas Distance
1
2
...
Cas 1
Cas 2
...
𝑑1
𝑑2
...
Rang Cas Distance
1
2
...
Cas 1
Cas 2
...
𝑑1
𝑑2
...
Rang Cas Distance
1
2
...
Cas 1
Cas 2
...
𝑑1
𝑑2
...
Rang Cas Distance
1
2
...
Cas 1
Cas 2
...
𝑑1
𝑑2
...
T2 T1 T1 FS T1 FS Gd
Moyenne générale de
touts les rangs
Moyenne des
moyennes des rangs
Rang Cas Distance
1
2
...
Cas 1
Cas 2
...
𝑑1
𝑑2
...
Rang Cas Distance
1
2
...
Cas 1
Cas 2
...
𝑑1
𝑑2
...
Rang Cas Distance
1
2
...
Cas 1
Cas 2
...
𝑑1
𝑑2
...
Rang Cas Distance
1
2
...
Cas 1
Cas 2
...
𝑑1
𝑑2
...
Moyenne des rangs issus
de la séquence T2
de la séquence T1
de la séquence T1 FS
de la séquence T1 FS Gd
Rang Cas Distance
1
2
3
...
𝑑1
𝑑2
𝑑3
Rang Cas Distance
1
2
3
...
𝑑1
𝑑2
𝑑3
Figure 13 – Schéma de l’approche multi-descripteurs, multi-séquences avec l’agrégation des informations multi-descripteurs séquence par séquence
37

5 Validation expérimentale
Pour évaluer l’intérêt de notre approche de recherche de cas similaires, nous avons appliqué
cette dernière sur les images médicales des masses ovariennes en format DICOM fournies par la
médecin radiologue de l’HEGP Laure Founier.
5.1 Implémentation
Pour l’annotation de notre base, nous utiliserons la plate-forme Web ePAD de l’université de
Stanford, comme expliqué dans la section précédente (cf. Figure 6). Pour cela, nous téléchargeons
nos images sur la plate-forme ePAD hébergée dans le serveur cloud de l’IDV. Nous créons un modèle
d’annotation contenant les termes sémantiques prédéfinis par le docteur Laure Fournier à l’aide du
logiciel AIM Template Builder 1
et nous annotons un cadre de chaque séquence d’un patient en
précisant bien la région d’intérêt. Les cadres sont choisis selon la qualité d’apparence de la lésion
dans l’ensemble de la séquence. A la fin, nous pourrons télécharger les images annotées pour avoir
la version finale de notre base d’images médicales de masses ovariennes.
Pour l’implémentation de notre méthode de CBIR, nous utiliserons une librairie de open-
source de Java, Lucene Image REtrieval 2
(LIRE). Cette librairie permet d’extraire des descripteurs
des images, de les indexer, de faire une requête simple sur ces image, et fournit une interface de
programmation pour faire tout ceci. Afin de pouvoir extraire des caractéristiques visuelles sur les
ROI, les descripteurs implémentés sur le projet LIRE ont été modifiés car l’implémentation de ces
derniers se focalisait sur toute l’image.
Dans un premier temps, nous avons implémenté un descripteur de couleur en niveaux de gris
GLH. Nous avons fait en sorte que ce descripteur prenne en compte la ROI si les coordonnées sont
présentes dans le fichier AIM de l’image en question (cf. Figure 7 pour voir un exemple de fichier
AIM). Puis, nous avons adapté le projet à faire des extractions sur la ROI pour les descripteurs de
texture LBP et PHOG que nous avons utilisés pour notre indexation. De plus, nous avons créé un
descripteur de termes sémantiques au projet (nous accéderons encore aux informations des TS sur
le fichier AIM de l’image).
Après avoir adapté les descripteurs selon nos besoins, nous avons indexé notre base d’images
selon ces informations. L’indexation du projet LIRE était déjà adaptée pour les images pour les
1. https://wiki.nci.nih.gov/display/AIM/AIM+Template+Builder+Documentation
2. http://www.lire-project.net/
38

5 Validation Expérimentale
descripteurs implémentés.
Les concepts fondamentaux dans Lucene sont index, document, champ et terme : un index
contient des documents, un document contient des champs, les champs représentent des séquences
nommées de termes (termes sémantiques) et enﬁn les termes sont des chaînes de caractères en octets
(cf. Figure 14). Dans notre cas, un document est associé à une image de la base et les tableaux 2
et 3 contiennent les champs et les termes associés à ces champs.
Figure 14 – Index de l’algorithme de Apache Lucene
Figure 15 – Index de la base de masses ovariennes
L’indexation consiste à extraire des caractéristiques visuelles sur les régions d’intérêt, qui sont
39

les masses ovariennes, des images DICOM et à binariser ces informations pour créer des documents.
Nous pouvons ajouter d’autres champs dans notre document. Nous avons besoin des champs qui
contiennent les informations du diagnostic du patient, de l’identifiant du patient et des termes
sémantiques (TS) qui sont attribués au fichier AIM de l’image concernée.
La visualisation de notre index pour une image est représentée sur la Figure 15.
Une fois que nous avons notre indexation sur les ROI de notre base annotée, nous avons créé
une autre branche dans le projet afin de faire des recherches non seulement sur une seule image
requête mais sur une séquence d’images en requête. La difficulté dans cela était de faire plusieurs
recherches et de les combiner.
Nous avons ici implémenté l’approche de CBIR proposée en section 4.
Pour visualiser les résultats, le projet LIRE fournit aussi une interface en Java. Vous pouvez
consulter une capture d’écran de l’interface pour une autre base que la nôtre sur la Figure 16.
Figure 16 – Interface Lucene avec l’exemple des lésions de l’abdomen
40

Par contre, cette interface n’était pas adaptée pour visualiser des recherches multi-images.
Puisque nous avions un temps limité, nous avons décidé de ne pas travailler sur cette interface pour
l’adapter à afficher des séquences d’image. Nous avons préféré générer des pages en format HTML
avec des classes de tests qui permettent de visualiser les résultats. Sur la Figure 17, nous pouvons
voir les résultats obtenus par le descripteur GLH pour le cas d’un endométriome et sur la Figure 18,
nous pouvons accéder aux résultats obtenus pour un tératome à partir des différentes stratégies de
fusion de caractéristiques visuelles. Enfin, sur la Figure 19, les résultats de notre dernière stratégie
sont présentés pour un cyst en requête.
Figure 17 – Résultats de GLH pour un endométriome présentés sur une page html
41

5ValidationExpérimentale
Figure 18 – Résultats des stratégies de fusion de caractéristiques pour un tératome présentés sur la page html
42

5ValidationExpérimentale
Figure 19 – Résultats des stratégies de fusion séquentielle de caractéristiques pour un cyst présentés sur la page html
43

Une fois que nous avons implémenté mes algorithmes, nous pouvons appliquer notre protocole
expérimental, que nous allons expliquer dans la section suivante, afin d’évaluer nos résultats.
5.2 Protocole expérimental
Les systèmes de recherche d’informations permettent de restituer des documents susceptibles
d’être pertinents par rapport aux besoins de l’utilisateur. Notre méthode présente aussi un système
de recherche d’informations dans le domaine de l’imagerie médicale : à partir d’un cas requête, nous
recherchons des cas similaires dans notre base. Finalement, nous disposons de plusieurs ensembles de
résultats issus de notre méthode. Afin d’évaluer ces résultats de recherche, il existe plusieurs mesures
de performances. Normalized Discounted Cumulative Gain (NDCG)[26] et précision/rappel [36] sont
les plus utilisées pour évaluer les systèmes de recherche d’informations.
La première méthode, NDCG nécessite que le médecin radiologue fournisse un résultat de
classement de référence pour chaque image requête potentielle. Malheureusement, cette méthode
est très compliquée et il faut beaucoup de temps pour que les radiologues puissent définir les clas-
sements : ils doivent évaluer manuellement toute la base selon différents critères. Conséquemment,
nous ne possédons pas ces classements de similarité et nous ne pouvons pas évaluer nos résultats
par cette méthode.
Pour cette raison, nous utiliserons une méthode alternative pour mesurer la performance de
nos résultats : la précision et le rappel. Ils sont calculés par les formules suivantes :
précision =
Nb. de cas pertinents retrouvés
Nb. total de cas retrouvés
rappel =
Nb. de cas pertinents retrouvés
Nb. total de cas pertinents dans la base
En d’autres termes, la précision sert à quantifier les cas sélectionnés qui sont pertinents et
le rappel est de quantifier les éléments pertinents qui sont sélectionnés.
44

Nous utilisons également le f-mesure (i.e. f-score) qui est la moyenne harmonique entre la
précision et le rappel :
f-mesure = 2 ·
précision · rappel
précision + rappel
Finalement, nous allons évaluer nos différentes stratégies abordées sur la section 4 avec la
mesure de performance précision/rappel à six. Autrement dit, nous allons considérer un à un tous les
25 cas de notre base que nous allons considérer comme requête pour évaluer les différents méthodes
de fusion et d’agrégation avec différents descripteurs et distances de similarité. Puisque nous n’avons
que six cas en intersection de nombre de différents types de kystes, nous allons fixer le nombre total
de cas retrouvé à six.
5.3 Analyse des résultats
5.3.1 Choix de la mesure de similarité sur les résultats mono-descripteur, multi-
séquences
Comme nous l’avons abordé dans les sections 4.4.1.1, 4.4.1.2 et 4.4.1.3, plusieurs mesures de
similarité existent pour calculer la similarité entre un cas requête et les cas de notre base. Afin de
choisir la distance la plus adaptée à notre recherche, il faut qu’on trouve la distance la plus adaptée
pour chaque descripteur qu’on utilise pour notre système. Pour cela, nous allons évaluer les résultats
du premier niveau issus de différents descripteurs par différentes distances de similarité présentées
auparavant. Ces évaluations consisteront à calculer la précision, rappel et f-mesure (expliqué dans
la section précédente 5.2) des listes de résultats.
• Choix de distance de similarité pour l’histogramme de niveaux de gris :
Pour l’histogramme de niveaux de gris, quand nous observons les valeurs d’évaluation pour
chaque type de kyste, nous constatons que dans tous les cas, c’est la distance Tanimoto qui donne
les meilleurs taux de précision, de rappel et de f-mesure (cf. Table 4).
Quand nous observons globalement les résultats comme le graphe sur la Figure 20 nous les
présente, nous pouvons dire que l’évaluation par les distances de Manhattan et Euclidienne, tout
45

en étant similaire, reste en dessous de l’évaluation par la distance de Tanimoto car la distance de
Tanimoto permet de prendre en compte les corrélations entre les bins des histogrammes.
TANIMOTO MANHATTAN EUCLIDIENNE
Précision Rappel F-mesure Précision Rappel F-mesure Précision Rappel F-mesure
Cyst (10 cas) 68,33% 45,56% 54,67% 38,33% 25,56% 30,67% 38,33% 25,56% 30,67%
Endométriome (8 cas) 64,58% 55,36% 59,62% 79,17% 67,86% 73,08% 79,17% 67,86% 73,08%
Tératome (7 cas) 64,58% 57,14% 57,14% 57,14% 57,14% 57,14% 57,14% 57,14% 57,14%
TOTAL 64,58% 52,69% 57,14% 58,21% 50,19% 53,63% 58,21% 50,19% 53,63%
Table 4 – Mesure de performance de GLH selon différentes distances de similarité
Figure 20 – Mesures de performance globale avec GLH
Finalement, nous décidons de fixer la distance de Tanimoto pour les recherches effectuées
avec les GLH.
• Choix de distance de similarité pour le motif de binaires locaux :
De la même manière, nous observons les valeurs d’évaluation pour chaque type de kyste
mais cette fois-ci pour le descripteur des motifs binaires locaux. Encore une fois, c’est la distance
de Tanimoto qui donne une meilleure précision pour chaque diagnostic (cf. Table 5).
46

Cyst (10 cas) 66,67% 44,44% 53,33% 58,33% 38,89% 46,67% 41,67% 27,78% 33,33%
Tératome (7 cas) 57,14% 57,14% 57,14% 50,00% 50,00% 50,00% 52,38% 52,38% 52,38%
TOTAL 53,08% 43,98% 47,72% 45,83% 37,96% 41,20% 42,46% 36,24% 38,83%
Table 5 – Mesure de performance de LBP selon différentes distances de similarité
Avec la représentation globale sur la figure 21, nous constatons qu’avec presque 10% d’écart,
la distance de Tanimoto présente une précision plus élevée que les distances de Manhattan et
Euclidienne.
Figure 21 – Mesures de performance globale avec LBP
Nous avons encore décidé d’utiliser par la suite la distance de Tanimoto pour les recherches
effectuées par les LBP.
• Choix de distance de similarité pour la pyramide des histogrammes de gradients
orientés :
Pour la pyramide des histogrammes de gradients orientés, le choix de distances n’était pas
évident. Quand nous avons observé les valeurs d’évaluation pour chaque type de kyste, nous avons
remarqué que pour les endométriomes et les tératomes, c’est encore la distance Tanimoto qui satis-
47

fait la précision alors que pour les kystes simples, c’est la distance Manhattan (cf. Table 6).
Cependant, notre base d’images contient majoritairement des cysts. Ceci explique le fait que
la distance de Manhattan garde l’ancienne précision sur la vue globale présentée sur la Figure 22.
Cyst (10 cas) 25,00% 16,67% 20,00% 66,67% 44,44% 53,33% 56,67% 37,78% 45,33%
Tératome (7 cas) 42,86% 42,86% 42,86% 30,95% 30,95% 30,95% 38,10% 38,10% 38,10%
TOTAL 40,67% 35,32% 37,62% 48,51% 38,82% 42,84% 46,87% 38,39% 41,91%
Table 6 – Mesure de performance de PHOG selon diﬀérentes distances de similarité
Figure 22 – Mesures de performance globale avec PHOG
Nous sommes ainsi restés sur le choix de la distance qui présente la meilleure précision sur la
totalité de notre base. C’est-à-dire que nous utiliserons la distance Manhattan pour les recherches
qui s’eﬀectueront avec les PHOG.
• Choix de distance de similarité pour les termes sémantiques :
Nos descripteurs de termes sémantiques sont représentés comme des ensembles de mots donc
on ne peut pas comparer par les distances de similarité de Tanimoto, de Manhattan ou Euclidienne
qui sont dédiées à comparer des vecteurs d’éléments. Nous utiliserons donc une distance ensembliste
48

d’intersection.
Ainsi, pour pouvoir mesurer la similarité entre le descripteur sémantique du cas requête avec
les descripteurs sémantiques des cas de la base, nous attribuons un score minimal pour le plus grand
nombre de TS similaires et un score maximal pour le petit nombre de TS similaires entre les images
requêtes et les images de la base.
Puisque nos termes sémantiques semblent corrélés avec le diagnostic des séquences, les me-
sures de performance représentées sur la Figure 23 donnent des résultats avec une pertinence maxi-
male.
Distance ensembliste d’intersection
Précision Rappel F-mesure
Cyst (10 cas) 100,00% 66,67% 72,00%
Endométriome (8 cas) 100,00% 85,71% 92,31%
Tératome (7 cas) 100,00% 100,00% 100,00%
TOTAL 100,00% 84,13% 88,10%
Table 7 – Mesure de performance de TS
Figure 23 – Mesures de performance globale avec TS
49

5.3.2 Mesures de performances des approches multi-descripteurs, multi-séquences
Nous allons maintenant comparer les mesures de performance de toutes les stratégies pré-
sentées dans la section 4.4.2 pour les deux approches multi-descripteurs, multi-séquences.
5.3.2.1 Mesure de performance des résultats de l’agrégation des informations multi-
séquences en combinant les différents descripteurs
Premièrement, nous allons mesurer la performance de notre approche dans laquelle nous
avons agrégé les informations multi-séquences issues de la combinaison entre les différents descrip-
teurs.
Le graphe présenté sur la Figure 24 nous illustre les mesures de performance liée à notre
approche multi-descripteurs, multi-séquences par l’agrégation des informations multi-séquences en
combinant les différents descripteurs. On constate tout d’abord que la performance des moyennes
arithmétiques est plus élevée que la performance des moyennes harmoniques pour chaque stratégie.
Ensuite, nous remarquons que la stratégie de la moyenne des rangs est d’environ 20% plus perfor-
mante que la moyenne des distances de similarité. Enfin, on peut voir qu’il n’y a pas trop d’intérêt à
fusionner les rangs à partir du classement des distances de similarité puisque les résultats de perfor-
mance restent toujours en dessous des performances obtenues en utilisant seulement le moyennage
des rangs.
Donc, selon les mesures de performances présentées sur ce graphe, nous pourrons dire que
la meilleure stratégie est de prendre la moyenne arithmétique des rangs.
50

Figure 24 – Mesures de performance globale de l’approche multi-descripteurs, multi-séquences —
agrégation des informations multi-séquences en combinant les diﬀérents descripteurs
5.3.2.2 Mesure de performance des résultats de l’agrégation des informations multi-
descripteurs séquence par séquence
Nous allons maintenant mesurer la performance de notre approche dans laquelle nous avons
agrégé les informations multi-descripteurs issues de chaque diﬀérente séquence. L’application de la
stratégie de la moyenne des distances a été abandonnée à cause de la faible performance observée.
Le graphe présenté sur la Figure 25 montre les résultats des mesures de performance issues
de cette deuxième approche multi-descripteurs, multi-séquences. De la même façon que la première
approche, nous apercevons pour cette deuxième approche que les moyennes harmoniques sont moins
performantes (environ de 5%) que les moyennes arithmétiques pour les deux stratégies (moyenne
générale de tous les rangs et moyenne des moyennes des rangs). Nous distinguons aussi un léger
écart d’environ 2% entre les deux stratégies : moyenne des moyennes des rangs et moyenne générale
de tous les rangs. Même si l’écart est très petit, il n’est pas négligeable.
Ainsi, selon les mesures de performance présentées sur ce graphe, nous pouvons dire que
la meilleure stratégie pour cette deuxième approche est de prendre la moyenne arithmétique des
51

moyennes des rangs.
Figure 25 – Mesures de performance globale de l’approche multi-descripteurs, multi-séquences —
agrégation des informations multi-descripteurs séquence par séquence
5.3.2.3 Comparaison des approches multi-descripteurs, multi-séquences
Nos deux approches multi-descripteurs, multi-séquences présentent des performances pro-
metteuses pour faire une recherche de cas similaires pour des masses ovariennes : nous obtenons
plus de 70% de précision pour certaines stratégies de consensus.
Nous avons voulu aussi comparer les différentes stratégies de ces deux approches. Le graphe
sur la Figure 26 illustre cette comparaison. La première approche est l’agrégation des informations
multi-séquences en combinant les différents descripteurs et la deuxième est l’agrégation des infor-
mations multi-descripteurs séquence par séquence. Nous avions vu précédemment que les meilleures
performances étaient obtenues au niveau de la stratégie sur les rangs des ensembles de résultats.
Donc, nous allons comparer les meilleures stratégies entre-elles.
Dans un premier temps, pour la première approche, nous apercevons encore une fois que la
moyenne des distances de similarité est très en dessous des stratégies des rangs des deux approches :
la différence est d’environ 30%.
52

LIPADE_Report

Recomendados

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados (20)

Destaque

Destaque (9)

Semelhante a LIPADE_Report

Semelhante a LIPADE_Report (20)

LIPADE_Report