RÉSUMÉ. Une grande partie des traces des utilisateurs exprimées par des signaux sociaux (ex. j’aime, +1, rating) sont attribuées aux ressources web. Ces signaux sont souvent exploités par les systèmes de RI comme des sources d’évidence additionnelles pour trier les résultats de recherche. Notre objectif dans cet article est d’étudier l’impact des nouveaux signaux sociaux, appelés Facebook reactions (j’adore, haha, grrr, wouah, triste) sur le tri de ces résultats. Ces réactions permettent aux utilisateurs d’exprimer des émotions plus nuancés par rapport aux signaux classiques (ex. like, share). Nous analysons tout d’abord ces réactions et montrons la manière dont les internautes les utilisent pour interagir avec les ressources (ex. posts, vidéo, etc). Ensuite, nous évaluons l’impact de ces réactions dans le tri des résultats de recherche en les comparant à un modèles de tri textuel et à un modèle qui prend en compte le signal j’aime. Ces caractéristiques sociales sont modélisées comme une probabilité a priori du document et elles sont intégrées dans un modèle de langue. Nous avons effectué une série d’expérimentations sur la collection INEX IMDb. Nos résultats révèlent que la prise en compte de ces signaux améliore significativement la qualité des résultats de recherche. ABSTRACT. A large amount of social feedback expressed by social signals (e.g. like, +1, rating) are assigned to web resources. These signals are often exploited as additional sources of evidence in search engines. Our objective in this paper is to study the impact of the new social signals, called Facebook reactions (love, haha, angry, wow, sad) in the retrieval. These reactions allow users to express more nuanced emotions compared to classic signals (e.g. like, share). First, we analyze these reactions and show how users use these signals to interact with resources (e.g. posts, video, etc). Second, we evaluate the impact of each such reaction in the retrieval, by comparing them to both the textual model without social features and the first classical signal (like-based model). These social features are modeled as document prior and are integrated into a language model. We conducted a series of experiments on INEX IMDb dataset. Our findings reveal that incorporating social features is a promising approach for improving the retrieval ranking performance.

1. Ismail Badache - Mohand Boughanem
Ismail.Badache@lsis.org
Mohand.Boughanem@irit.fr
Les Signaux Émotionnels
Quel impact sur la RI ?

2. 1 Introduction
2 Travaux connexes
3 Analyse des réactions sur Facebook
4 Modèle de RI basé sur les réactions
5 Conclusion

3. Introduction
Les signaux et le Web
3 / 18

4. Introduction
Les signaux émotionnels (Facebook Reactions)
300 milliards de réactions (24/02/2017), soit plus de 800
millions par jour.
La réaction j’adore est la plus populaire.
La majorité des réactions j’adore étaient durant Noël 2016.
Les pays où les réactions sont populaires : le Mexique, le Chili,
la Grèce, le Paraguay, les États-Unis (la France 14eme).
4 / 18

5. Introduction
Questions de recherche
Comment les utilisateurs utilisent-ils ces réactions pour
interagir avec les ressources web ?
Comment modéliser ces critères et les prendre en compte dans
un modèle de RI ?
Quel est l’impact de ces réactions sur les performances d’un
système de RI ?
5 / 18

6. Travaux connexes
Nos travaux antérieurs
Impact des signaux (ex. j’aime, partage, +1, etc) sur la RI.
Prise en compte individuelle des signaux.
Groupement des signaux sous forme de propriétés sociales
(popularité et réputation).
Temporalité des signaux (fraîcheur des signaux et âge de la
ressource).
Diversité et qualité des signaux dans une ressource.
Badache et Boughanem à : IIiX’14, ECIR’15, SIGIR’15 et CHIIR’17
6 / 18

7. Travaux connexes
État de l’art
Inagaki et al., 2010
Recency ranking : ClickBuzz (Intérêt du document au fil du temps)
Chelaru et al., 2013
Impact des signaux (j’aime, je n’aime pas, commentaire) sur
l’efficacité de la recherche sur YouTube.
Buijs et Spruit, 2014
Social Score Method basée sur plusieurs signaux et le TF-IDF
Zhang et al., 2016
learning-to-rank en exploitant les ratings, reviews et tags sur SBS
7 / 18

8. Analyse des réactions sur Facebook
Réactions dans les médias internationaux et les films
Réactions des utilisateurs sur 10 meilleurs films en 2016 et 4650
articles sur 10 médias.
8 / 18

9. Analyse des réactions sur Facebook
Exemple : réactions "haha" et "triste"
9 / 18

10. Analyse des réactions sur Facebook
Réactions des utilisateurs : l’attentat de Bruxelles
Analyse du premier reportage (article) publié par chaque média sur
l’attaque du 22 mars à Bruxelles.
10 / 18

11. Modèle de RI basé sur les réactions
Impact des réactions sociales en RI
Pertinence textuelle et probabilité a priori du document :
RSV (D, Q)
rank
= P(D) · RSVtextuel (Q, D) (1)
Estimation des probabilités a priori (réactions) :
P(Di ) =
rj ∈R
P(rj |Dr
i ) Où P(rj |Dr
i ) =
|rj (Di )|
|r•(Di )|
(2)
Les probabilités sont lissées en utilisant Dirichlet.
|rj (Di )| est le nombre de réactions de type rj sur le document
Di et |r•(Di )| le nombre total de réactions sur le document Di .
11 / 18

12. Modèle de RI basé sur les réactions
Évaluation expérimentale
Objectifs :
Étudier l’impact des réactions sociales sur la RI.
Corrélation entre la pertinence et les réactions.
Cadre d’expérimentation :
Collection IMDb (30 Requêtes, Qrels, 1.6 millions Documents).
1000 premiers documents retournés par chaque requête.
Collecter des réactions via l’API Facebook et le Parsing.
12 / 18

13. Modèle de RI basé sur les réactions
Réactions prises en compte individuellement
13 / 18

14. Modèle de RI basé sur les réactions
Impact des réactions groupées selon leur signification
14 / 18

15. Modèle de RI basé sur les réactions
Requêtes et réactions (positives et négatives)
15 / 18

16. Modèle de RI basé sur les réactions
Corrélation entre les réactions et la pertinence
16 / 18

17. Conclusion
Conclusion et perspectives
Contribution :
Analyse des réactions de Facebook un an après leur lancement.
Impact des signaux émotionnels sur la RI.
limites :
Simplicité de la modélisation des réactions.
Expérimentation sur IMDb : très peu de requêtes négatives qui
attirent des documents avec des réactions négatives.
Perspectives :
Étudier la correspondance entre les émotions des réactions et
les émotions exprimées dans les commentaires.
D’autres expérimentations sur d’autres collections standards.
Évaluer l’impact des réactions sur la détection de sentiments.
17 / 18