Cours sur les principes et les applications de l'approche actuarielle.

1. L’approche actuarielle dans la prise de décision
Vincent Berthet
Maître de conférences – Université de Lorraine
Janvier 2013

2. 1. La méthode actuarielle : généralités

3. Définition
•Dans son sens originel, la méthode actuarielle désigne une procédure utilisée par les compagnies d'assurance consistant à calculer différents indicateurs (taux, intérêt, rendement) sur la base de données statistiques prédictives (tables de mortalité, facteurs de risque, …)
ex: calculer un taux de remboursement d’un individu sur la base de son espérance de vie, son état de santé, son statut socio-économique, etc.
•Le métier d’actuaire :
“Le risque est intrinsèquement lié à la vie et aux activités humaines […]. De ce fait, les agents économiques s’efforcent d’identifier les risques auxquels ils sont soumis et de les mesurer.
L’actuaire est un spécialiste ou un ingénieur du risque, dont l'activité s’exerce principalement dans les domaines assurantiels et financiers.”
Site du Master actuariat de l’université Paris-Dauphine
1. La méthode actuarielle : généralités

4. Définition
•Au sens large, la méthode actuarielle désigne une méthode particulière de prédiction qui consiste à prédire des événements uniquement sur la base de formules objectives (ou mécaniques) (Grove, 2000)
•Toujours au sens large mais de façon plus précise, la méthode actuarielle désigne plus généralement un mode de prise de décision
décision portant sur un état existant : diagnostic
ex: décider si un patient est atteint ou non d’une maladie
décision portant sur un état futur : pronostic (prédiction)
ex: décider si un étudiant réussira ses études
•Remarque: le cas le plus fréquent est celui de la prédiction, c’est pour cette raison que l’on parle plus souvent de prédiction actuarielle que de méthode actuarielle (e.g. Meehl, 1954 ; Grove, 2000)
•Domaines concernés : santé, travail, éducation, justice, politique, …
1. La méthode actuarielle : généralités

5. Définition
•Schéma général du processus de prise de décision :
1. La méthode actuarielle : généralités
X1
X2
X3
Xn
…
P
prédicteurs
critère

6. Définition
•Schéma général du processus de prise de décision :
1. La méthode actuarielle : généralités
X1
X2
X3
Xn
…
P
prédicteurs
critère
. . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

7. Définition
•Schéma général du processus de prise de décision :
1. La méthode actuarielle : généralités
X1
X2
X3
Xn
…
P
prédicteurs
critère
. . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

8. Définition
•Meehl (1954) identifie deux dimensions fondamentales (orthogonales) du processus de prise de décision :
la nature des prédicteurs : qualitatifs vs. quantitatifs
la méthode de combinaison prédicteurs/critère : clinique vs. actuarielle
“I should distinguish first, as regards data, between psychometric and nonpsychometric kinds of information. As a completely different dichotomy (or continuum) I should distinguish as regards method between mechanical (or formal) methods of combining data and nonmechanical (or informal) methods (so-called judgmental, clinical, impressionistic, or subjective).”(Meehl, 1954/1996, p. 15)
1. La méthode actuarielle : généralités
Meehl, P. E. (1954). Clinical vs. statistical prediction: A theoretical analysis and a review of the evidence. Minneapolis: University of Minnesota Press.

9. Définition
•Meehl (1954) identifie deux dimensions fondamentales (orthogonales) du processus de prise de décision :
la nature des prédicteurs : qualitatifs vs. quantitatifs
la méthode de combinaison prédicteurs/critère : clinique vs. actuarielle
1. La méthode actuarielle : généralités
Nature des
Prédicteurs
Méthode de combinaison
Clinique
Actuarielle
Qualitatifs
Quantitatifs

10. Définition
•méthode clinique (experte) : utilisation du jugement subjectif (intuition, impression, expérience personnelle)
« étant donné ces informations, je pense que … »
ex: radiologiste posant un diagnostic sur la base de l’examen d’une série de radios
1. La méthode actuarielle : généralités
X1
X2
X3
Xn
…
C
prédicteurs/cues
critère
.
.
.
.
.
.
. . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
. . . . . .
jugement
valeurs prédites

11. Définition
•méthode actuarielle (mécanique) : utilisation d’une formule objective
formule statistique : analyse d’une base de données historiques qui contient pour chaque individu les informations relatives aux prédicteurs et au critère
1. La méthode actuarielle : généralités
X1
X2
X3
Xn
…
prédicteurs/cues
.
.
.
.
.
.
. . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
O
valeurs observées
. . . . . .
critère

12. Définition
•méthode actuarielle (mécanique) : utilisation d’une formule objective
régression linéaire : meilleure combinaison linéaire des prédicteurs qui minimise l’écart entre les valeurs prédites et observées du critère
1. La méthode actuarielle : généralités
X1
X2
X3
Xn
…
P
prédicteurs/cues
valeurs prédites
.
.
.
.
.
.
. . . . . .
.
.
.
.
.
.
. . . . . .
.
.
.
.
.
.
O
valeurs observées
.
.
.
.
.
.
critère

13. Définition
•méthode actuarielle (mécanique) : utilisation d’une formule objective
formule non statistique : pas d’analyse de base de données historiques ex: utilisation d’une combinaison linéaire des prédicteurs sans régression (choix arbitraire des pondérations)
•Caractéristique centrale : aucun jugement humain n’intervient dans la prise de décision
lorsqu’une décision est prise sur la base d’une formule, un novice (clerk) ou un ordinateur suffisent pour prendre la décision
•Remarque: la plupart du temps, les outils actuariels mettent en jeu une formule statistique. C’est pour cette raison que les expressions prédiction actuarielle et prédiction statistique sont souvent considérées comme synonymes (e.g. Meehl, 1954 ; Grove, 2000). On parle également de « règle de prédiction statistique » (statistical prediction rule)
1. La méthode actuarielle : généralités

14. Définition
•Dans son travail pionnier de 1954, Meehl souligne que c’est donc moins la nature des données (qualitatives vs. quantitatives) que la façon dont celles-ci sont traitées pour aboutir à la prédiction (clinique vs. mécanique) qui est déterminant pour la précision de la prédiction
des données exclusivement quantitatives peuvent être traitées de façon clinique
des données exclusivement qualitatives peuvent être traitées de façon actuarielle
une information issue d’une procédure actuarielle peut être utilisée d’une façon clinique
ex: l’échelle de névrosisme du NEO PI-R est un moyen actuariel pour diagnostiquer le degré de névrosisme d’un sujet (formule : addition des scores aux items). Le score d’un sujet à cette échelle peut être utilisé par un clinicien pour prédire de façon intuitive le risque de dépression du sujet
1. La méthode actuarielle : généralités

15. Approche contrastive
•La méthode actuarielle se présente comme une méthode de prise de décision alternative au jugement humain (méthode clinique)
Les études portant sur l’application de la méthode actuarielle dans divers domaines (ex : médical, judiciaire, psychologique) ont notamment suivi une approche contrastive qui consiste à comparer de façon systématique, pour une même décision/prédiction, la précision de la méthode clinique et celle de la méthode actuarielle
c’est une question empirique avant tout (pas théorique et encore moins idéologique) : approche data-driven
méthodologie générale :
–VI : méthode de décision/prédiction (clinique vs. actuarielle)
–VD : précision de la décision/prédiction
exemples de critères : récidive criminelle, réponse au traitement en psychothérapie, réussite professionnelle, satisfaction maritale
1. La méthode actuarielle : généralités

16. Approche contrastive
•Remarque: les véritables actuaires ignorent les travaux portant sur la méthode actuarielle prise au sens large
“You might be surprised to learn that actuarial methods have been in the middle of a heated debate on this topic for more than 60 years. Certainly few of us actuaries even know about this debate. Clinical psychologists have had a running debate about whether actuarial or clinical predictions are better. Paul Meehl first raised the issue in 1954, with the debate continuing into at least the 1990s […] Meehl’s primary contribution was the suggestion that there should be an experimental way to show the difference in efficacy between the two methods.
Crudely, you can characterize these three ways of thinking [heuristics, clinical, statistical] along a historical spectrum […]
Real actuaries, not the actuaries of the psychologists’ discussions, place our practice somewhere in the middle of these methods.” (Ingram, 2012, p.26-27)
1. La méthode actuarielle : généralités
Ingram, D. (2012). The Evolution of Thinking. The Actuary, 9, 25-28.

17. La philosophie actuarielle
•La méthode actuarielle est en fait la mise en oeuvre dans un cas particulier (décision/prédiction) d’une approche plus générale : l’approche evidence- based/data-driven
“In God we trust; all others must bring data.” W. Edwards Deming
approche favorisant la production et l’analyse de données, de preuves
cette approche s’oppose à l’approche basée sur le jugement et l’intuition (gut-feeling) : problématique experts vs. équations
1. La méthode actuarielle : généralités
Pour en savoir plus :
http://vincentberthet.com/medecine-au-baseball-triomphe-lapproche-evidence-based/

18. La philosophie actuarielle
L’Evidence-Based Medicine
•Cette approche est officiellement apparue au début des années 1990 dans le domaine médical : Evidence-Based Medicine (EBM)
« médecine fondée sur des preuves » ou « médecine factuelle »
son principal initiateur est Gordon Guyatt, médecin et professeur d’épidémiologie et biostatistiques à l’université McMaster (Ontario)
1. La méthode actuarielle : généralités
Guyatt, G., et al. (1992). Evidence-based medicine. A new approach to teaching the practice of medicine. The Journal of the American Medical Association, 268, 2420-2425.

19. La philosophie actuarielle
L’Evidence-Based Medicine
•Logique de l’EBM : appuyer les décisions médicales sur des données probantes (preuves) de façon systématique
“the conscientious, explicit and judicious use of current best evidence in making decisions about the care of individual patients.” (Sackett et al., 1996)
•L’EBM pose la question du rôle et de l’utilisation des statistiques en médecine
“The debate over EBM is in large part a debate about whether statistics should impact real-world treatment decisions.” (Ayres, 2007)
1. La méthode actuarielle : généralités

20. La philosophie actuarielle
L’Evidence-Based Medicine
Exemple 1
•En 1847, l’obstétricien hongrois Ignaz Semmelweis fait une observation particulière dans l’hôpital général de Vienne où il travaille : le taux de mortalité due à la fièvre puerpérale est largement plus élevé chez les femmes ayant accouché avec l’aide des médecins ou internes que chez celles dont l’accouchement a été pratiqué par des sages-femmes
Semmelweis constate que souvent, les médecins qui s’occupent d’un accouchement ont pratiqué des autopsies juste avant
il suppose que la fièvre puerpérale est une maladie contagieuse dont l’apparition est influencée par les substances provenant des autopsies
•Semmelweis fait instaurer une nouvelle pratique dans l’hôpital : les médecins doivent se laver les mains avec de l’eau de chaux chlorée avant d’examiner les femmes enceintes
le taux de mortalité des femmes ayant accouché passe de 18 % à 2.2 %
1. La méthode actuarielle : généralités

21. La philosophie actuarielle
L’Evidence-Based Medicine
Exemple 1
•En dépit de l’efficacité de la pratique mise en oeuvre (evidence), les travaux de Semmelweis ont fait l’objet de violentes attaques
les médecins pointaient du doigt l’absence d’explication scientifique reliant le fait de se laver les mains et la réduction de la mortalité
ils se plaignaient de la perte de temps que représentait le fait de se laver les mains plusieurs fois par jour
ils refusaient d’admettre l’idée qu’ils causer la mort de leurs patients
•Semmelweis a été mis à la porte de l’hôpital. Il a été placé dans un hôpital psychiatrique à la suite d’une dépression nerveuse. Il y est mort à 47 ans
1. La méthode actuarielle : généralités

22. La philosophie actuarielle
L’Evidence-Based Medicine
Exemple 2
•Diagnostic du risque d’infarctus : dans le service des urgences de certains hôpitaux américains est affiché sur un mur un arbre décisionnel permettant de classer les patients admis en urgence pour des douleurs thoraciques quant à leur risque d’infarctus
Arbre décisionnel : outil actuariel d’aide à la décision médicale
1. La méthode actuarielle : généralités
d’après Green & Mehr (1997)

23. La philosophie actuarielle
Experts vs. équations
•Un premier cas célèbre d’opposition entre l’approche evidence-based et l’approche experte renvoie aux travaux d’Orley Ashenfelter sur la prédiction de la valeur de millésimes de Bordeaux
économiste américain (Princeton) et amateur de vin
lorsqu’un amateur de vin achète une bouteille, il réalise un investissement. La question est moins « quelle est la valeur de cette bouteille aujourd’hui? » mais plutôt « quelle sera la valeur de cette bouteille dans X années? ». Cela peut être pour des raisons mercantiles ou pour son propre plaisir, auquel cas la question est : « combien de plaisir supplémentaire obtiendrai-je en reportant ma satisfaction immédiate? »
1. La méthode actuarielle : généralités

24. La philosophie actuarielle
Experts vs. équations
raisonnement d’Ashenfelter : ce sont les conditions météorologiques lors de la culture du raisin qui déterminent essentiellement la qualité d’un millésime de Bordeaux. Les étés chauds produisent un raisin mûr et un vin peu acide ; les années où la quantité de précipitation est faible donnent lieu à un raisin concentré et à un vin ayant du corps
modèle : analyse d’une base de données météorologiques de la région bordelaise entre 1952 et 1980 couplée aux prix de vente aux enchères de vins. Une analyse de régression dégage trois prédicteurs de la qualité d’un millésime de Bordeaux :
–la quantité de précipitation durant la saison hivernale
–la quantité de précipitation durant la récole
–la température moyenne durant la saison estivale
1. La méthode actuarielle : généralités
valeur vin = 12.145 + 0.00117*précipitation hivernale + 0.0614*température estivale – 0.00386*précipitation récolte

25. La philosophie actuarielle
Experts vs. équations
•Ces travaux d’Ashenfelter ont eu un certain retentissement (article dans le New York Times en 1990, “Wine Equation Puts Some Noses Out of Joint”) et a été très mal reçu de la part des experts du vin
revue britanique Wine : “the formula's self-evident silliness invites disrespect”, “somewhere between violent and hysterical”
Robert Parker, l’un des auteurs et spécialistes de vin les plus célèbres aux Etats-Unis : Ashenfelter est “an absolute total sham” son approche “is really a Neanderthal way of looking at wine. It's so absurd as to be laughable”, “is rather like a movie critic who never goes to see the movie but tells you how good it is based on the actors and the director” (voir le film, goûter le vin, voir et entendre le candidat)
Ashenfelter : “The livelihood of a lot of people depends on wine drinkers believing this equation won't work”, “They're annoyed because suddenly they're kind of obsolete”
1. La méthode actuarielle : généralités

26. La philosophie actuarielle
Experts vs. équations
•Un second cas célèbre d’opposition experts vs. équations renvoie aux récents travaux de Nate Silver sur la prédiction du résultat à l’élection présidentielle américaine de 2012
Silver : bloggeur (New York Times) et « statisticien » américain
il avait développé un algorithme qui agrège les données des différents sondages. Il prédisait que la victoire d’Obama sur Romney était très probable alors que la plupart des experts politiques (pundits) prédisaient une issue serrée
1. La méthode actuarielle : généralités

27. La philosophie actuarielle
Experts vs. équations
1. La méthode actuarielle : généralités
Joe Scarborough : "Too close to call."
Nate Silver : "It's numbers with their imperfections versus bullshit."

28. La philosophie actuarielle
Experts vs. équations
1. La méthode actuarielle : généralités

29. La philosophie actuarielle
Experts vs. équations
1. La méthode actuarielle : généralités
Nate Silver : "The Numbers Don't Lie ."

30. La philosophie actuarielle
Le phénomène Moneyball
•Au début des années 2000, le manager général d’un club de baseball de la ligue professionnelle américaine (Major League Baseball) a appliqué une forme de management qui est devenue le « benchmark » de l’approche evidence-based/data-driven/actuarielle : Moneyball
1. La méthode actuarielle : généralités
Sport : Billy Beane
Oakland Athletics
Livre : Michael Lewis
Moneyball
Révolution
Analytics
"When Data Guys
Triumph" (New York
Times, 2011)
Film : Brad Pitt
Moneyball

31. La philosophie actuarielle
Le phénomène Moneyball
•Lors de la saison 2002, le club des Oakland Athletics dispose du troisième plus petit budget salarial parmi les 30 clubs de la ligue professionnelle
1. La méthode actuarielle : généralités
Source : Wikipédia

32. La philosophie actuarielle
Le phénomène Moneyball
•Au début de la saison 2002, le club vient de perdre 3 de ses meilleurs joueurs partis dans des clubs plus riches (les New York Yankees, les Boston Red Sox, et les St. Louis Cardinals)
•Le manager du club, Billy Beane, conscient qu’il n’a pas les moyens financiers pour rivaliser avec les autres clubs dans le marché des joueurs, fait un choix managérial original : recruter des joueurs sur la base d’une analyse objective (statistique, evidence-based) de leurs performances plutôt que sur la base des opinions – subjectives – des professionnels du baseball (managers, coachs, joueurs, conseillers sportifs ou scouts)
•Le club termine la saison 2002 avec un excellent bilan :
premier de leur division (ouest) : 103 victoires, 59 défaites (63.6%) (le bilan des New York Yankees est 103 victoires, 58 défaites (64%)
record de la ligue de victoires consécutives : 20 (précédent record : 19)
1. La méthode actuarielle : généralités

33. La philosophie actuarielle
Le phénomène Moneyball
•Beane a révolutionné le management sportif des clubs de baseball professionnels en introduisant deux innovations managériales :
1. dans le recrutement des joueurs, évaluer un joueur davantage sur la base d’informations objectives (statistiques individuelles) pertinentes que sur la base des opinions subjectives des professionnels (experts)
il y a des informations, des régularités sur les joueurs qui échappent à l’oeil humain mais pas à l’analyse statistique
“One absolutely cannot tell, by watching, the difference between a .275 hitter and a .300 hitter. The difference between a good hitter and an average hitter is simply not visible—it’s a matter of record.” (James, Abstracts)
1. La méthode actuarielle : généralités

34. La philosophie actuarielle
Le phénomène Moneyball
les experts du baseball ont tendance à incorporer des informations non pertinentes pour former leurs jugements
ex: apparence physique (Beane : “We're not selling jeans here”)
–Beane ne rencontrait pas les joueurs candidats à un poste
–Goldin et Rouse (2000) : dans un recrutement de musiciens pour un orchestre symphonique, les femmes ont plus de chances d’être recrutées lorsque les juges ne voient pas les candidats jouer que lorsque qu’ils les voient
1. La méthode actuarielle : généralités

35. La philosophie actuarielle
Le phénomène Moneyball
Beane souligne en outre qu’il ne suffit pas d’évaluer les joueurs sur la base de leurs statistiques, il faut aussi et surtout prendre en compte des statistiques pertinentes
–pour cela, Beane s’est appuyé sur les travaux de Bill James
–James est un historien américain du baseball. A partir de 1977, il publie ses Baseball Abstracts dans lesquels il livre des analyses statistiques du jeu. Il utilise notamment les données statistiques de la Society for American Baseball Research (SABR), société créée en 1971 qui prend le baseball comme objet d’étude
–James a contribué à fonder la sabermétrie (terme qu’il a suggéré sur la base de l'acronyme SABR) qu’il définit comme « la recherche de la connaissance objective sur le baseball »
1. La méthode actuarielle : généralités

36. La philosophie actuarielle
Le phénomène Moneyball
–ex: avant Beane, la principale statistique utilisée pour évaluer un batteur (hitter) était la moyenne au bâton (batting average). James avait montré qu’en fait, le pourcentage de présences sur les buts (On-Base Percentage : OBP) est une bien meilleure mesure de la valeur d’un batteur
1. La méthode actuarielle : généralités

37. La philosophie actuarielle
Le phénomène Moneyball
évaluer les joueurs sur la base d’informations traduisant leur valeur réelle (statistiques) plutôt que sur des informations non pertinentes, permettait à Beane de repérer des joueurs sous-évalués et de les acquérir à un prix avantageux
–Beane avait ainsi identifié une inefficience dans le marché des joueurs et ses méthodes lui procuraient un avantage (edge) sur les autres équipes
“In short, Beane realized that the market for baseball players was inefficient because it was dominated by scouts making decisions based on intuition rather than objective, data-driven analyses. To borrow a phrase from the medical profession, you might say he took an “evidence-based” approach to player selection” (Guszcza & Lucker, 2009, p. 49)
1. La méthode actuarielle : généralités

38. La philosophie actuarielle
Le phénomène Moneyball
2. utiliser des modèles prédictifs de la performance des joueurs basés sur leurs statistiques individuelles
c’est cette seconde innovation qui correspond à l’application de la méthode actuarielle
ex: James avait défini une formule qui prédit de runs (action gagnante) qu’un batteur produira en fonction de son OBP
cette pratique managériale traduit l’approche gestionnaire de Beane : l’objectif est d’acheter des victoires, pour cela, il faut acheter des runs acheter un joueur revient à acheter une certaine quantité de runs
1. La méthode actuarielle : généralités

39. La philosophie actuarielle
Le phénomène Moneyball
•Remarque: l’originalité de la pratique managériale de Beane repose à la fois sur la nature des informations utilisées pour l’évaluation des joueurs et sur le traitement de ces informations pour prédire leur performance. Par conséquent, le phénomène Moneyball n’est pas un exemple d’application de la méthode actuarielle – considérée au sens large – à strictement parler
1. La méthode actuarielle : généralités

40. La philosophie actuarielle
Le phénomène Moneyball
•Le type de management instauré par Beane reposant sur une utilisation massive des statistiques s’est imposé au cours des années dans la ligue professionnelle en particulier et dans d’autres sports en général
ex: dans la première moitié de la saison NBA 2009-2010, les 15 équipes employant au moins un statisticien à plein temps ont remporté 59 % de leurs matchs alors que les 15 équipes n’employant aucun statisticien ont gagné 41 % de leurs matchs (Biderman, 2010)
–mais variable confondue : budget du club
“Today, eight years after Moneyball roared […] all 30 clubs incorporate statistical analysis in their baseball operations, with 15 to 20 of them relying on it heavily.” (Verducci, 2011)
“Moneyball is dead; long live Moneyball.” (Silver, 2012)
1. La méthode actuarielle : généralités

41. La philosophie actuarielle
Popularisation de l’approche evidence-based
•Deux best-sellers ont contribué à populariser l’approche evidence-based
1. La méthode actuarielle : généralités

42. La philosophie actuarielle
Popularisation de l’approche evidence-based
•Dans Freakonomics (2005), Levitt et Dubner décrivent un ensemble de situations concrètes où une approche evidence-based/data-driven permet de révéler un pattern ou de mieux comprendre le phénomène
plus de 4 million de copies vendues à la fin de l’année 2009
Steven Levitt : économiste américain, professeur à l'Université de Chicago. Intéressé plus par les méthodes (quantitatives) que par leur domaine d’application (économie) : “There is nothing we love more than finding things in data that no one else can see” (brochure de Greatest Good)
ex: il y a une corrélation négative entre la disponibilité de l’avortement à un moment donné et le taux de criminalité subséquent (hypothèse Donohue-Levitt), l’une des raisons étant que les enfants non désirés ont plus de chances de devenir des criminels ou délinquants
1. La méthode actuarielle : généralités

43. La philosophie actuarielle
Popularisation de l’approche evidence-based
•Dans Super Crunchers (2007), Ian Ayres (professeur d’économie à la Yale Law School) décrit également des exemples concrets d’application de l’approche evidence-based/data-driven
les deux méthodes dont Ayres donne des exemples d’application sont la régression (prédiction) et l’expérimentation (tester la causalité)
à l’origine, Ayres voulait intituler son livre The End of Intuition
le message du livre est que, à l’ère du Big Data, le rôle des analytics (outils statistiques) devient prépondérant (ex : Google)
1. La méthode actuarielle : généralités
Guszcza, J., & Lucker, J. (2009). Irrational Expectations. How statistical thinking can lead us to better decisions. Deloitte Review, 4, 45-59.
Davenport, T.H., & Patil, D.J. (2012). Data Scientist: The Sexiest Job of the 21st Century. Harvard Business Review, 90, 70-76.

44. 2. Méthode clinique vs. méthode actuarielle en psychologie

45. Etudes majeures
•Littérature relativement importante, 5 méta-analyses entre 1954 et 2006
Meehl (1954)
Sawyer (1966)
Sines (1971)
Grove et al. (2000)
Ægisdóttir et al. (2006)
2. Méthode clinique vs. méthode actuarielle en psychologie

46. Etudes majeures
Lundberg (1926, 1941)
2. Méthode clinique vs. méthode actuarielle en psychologie
Lundberg, G.A. (1926). Case work and the statistical method. Social Forces, 5, 61-65.
Lundberg, G. A. (1941) Case-studies vs. statistical methods—An issue based on misunderstanding. Sociometry, 4, 379-83.

47. Etudes majeures
Sarbin (1941, 1943, 1944)
2. Méthode clinique vs. méthode actuarielle en psychologie
Sarbin, T. R. (1941). Clinical psychology—Art or science? Psychometrika, 6, 391-400.
Sarbin, T. R. (1943). A contribution to the study of actuarial and individual methods of prediction. American Journal of Sociology, 48, 593–602.
Sarbin, T. R. (1944). The logic of prediction in psychology. Psychological Review, 51, 210-28.

48. Etudes majeures
Sarbin (1941, 1943, 1944)
•Sarbin (1943) formule explicitement la question de savoir laquelle des méthodes clinique et actuarielle est la méthode de décision/prédiction la plus précise
“The problem may be posed in a brief and simple manner: In any given predictive situation, which method is better—i.e., more accurate and more informative in a scientific way—that of the clinician or that of the actuary?” (Sarbin, 1943, p. 600)
•Il insiste sur la nécessité d’aborder cette question empiriquement
“Those who hold that the clinical case study method can do more than the statistical method must submit evidence” (Sarbin, 1943, p. 600)
2. Méthode clinique vs. méthode actuarielle en psychologie

49. Etudes majeures
Sarbin (1941, 1943, 1944)
•L’hypothèse de Sarbin est que l’activité prédictive du clinicien est fondamentalement similaire à la logique d’un outil actuariel
lorsqu’il fait une prédiction, le clinicien s’appuie sur une base de données stockée en mémoire qui comporte des informations sur des prédicteurs et sur le critère. Cette base de données est construite et actualisée au cours de la vie du clinicien
mais l’activité prédictive du clinicien est sujette à des limites :
–limitation de la taille de la base de données (mémoire)
–biais cognitifs dans la récupération et l’utilisation des données pour formuler une prédiction
par conséquent, Sarbin en arrive à la conclusion que les prédictions du clinicien ne peuvent pas, en principe, être plus précises que les prédictions actuarielles car celles-ci sont parfaitement consistantes contrairement aux premières
2. Méthode clinique vs. méthode actuarielle en psychologie

50. Etudes majeures
Sarbin (1941, 1943, 1944)
•Expérience de Sarbin (1943) :
prédiction de la réussite académique des étudiants : résultat au premier trimestre (honor-point ratio) d’étudiants en première année à l’Université du Minnesota (162 étudiants, 73 garçons et 89 filles)
prédiction actuarielle : valeurs prédites par une équation de régression à deux prédicteurs (le modèle avait été estimé sur un autre échantillon)
–rang percentile des résultats au lycée
–score au test d’aptitude pour l’admission à l’université
2. Méthode clinique vs. méthode actuarielle en psychologie

51. Etudes majeures
Sarbin (1941, 1943, 1944)
•Expérience de Sarbin (1943) :
prédiction clinique : valeurs d’une échelle en 8 points issues du jugement d’un conseiller du bureau de conseil et d’orientation des étudiants de l’université (5 conseillers dont 4 possédaient un doctorat et une expérience « considérable » dans le conseil aux étudiants)
pour établir leur prédiction pour chaque étudiant, les conseillers avaient accès à :
–les deux variables prises en compte dans la régression, PLUS :
–les notes d’un interviewer relatives à un entretien antérieur, les scores à un inventaire d’intérêts professionnels, les scores à un inventaire de personnalité, les scores à d’autres tests d’aptitudes, un formulaire d'enregistrement individuel de 8 pages rempli par l’étudiant, et un entretien avec l’étudiant avant le début des cours du premier trimestre
2. Méthode clinique vs. méthode actuarielle en psychologie

52. Etudes majeures
Sarbin (1941, 1943, 1944)
•Résultats :
corrélation résultats prédits/résultats observés :
considérée séparément pour les filles et pour les garçons, la différence de précision entre les deux méthodes n’est pas significative
lorsque les données sont agrégées sur le sexe, la méthode actuarielle est significativement plus précise que la méthode clinique
lorsque la prédiction clinique est ajoutée comme troisième prédicteur dans la régression, l’incrément du R multiple n’est pas significatif (.01 pour les garçons et .05 pour les filles)
2. Méthode clinique vs. méthode actuarielle en psychologie
Type de prédiction
Sexe des étudiants
Garçons
Filles
Clinique
.35
.69
Actuarielle
.45
.70

53. Etudes majeures
Sarbin (1941, 1943, 1944)
•Résultats :
lorsque le critère est dichotomisé (réussite vs. échec), la différence de précision entre les deux méthodes est quasiment significative pour les garçons, elle est significative pour les filles (prédiction actuarielle plus précise que prédiction clinique)
les prédictions cliniques surestiment la réussite des étudiants (« erreur de clémence »)
les deux prédicteurs du modèle actuariel corrèlent plus avec le jugement du conseiller (score à l’échelle en 8 points) qu’avec le critère : le conseiller surestime l’influence de ces deux variables sur la variance du critère
2. Méthode clinique vs. méthode actuarielle en psychologie

54. Etudes majeures
Burgess (1928)
•Prédiction de la récidive chez les délinquants : Burgess a construit une échelle comportant 21 prédicteurs sur la base de l’analyse d’un échantillon de 1000 sujets (détenus dans l’Illinois remis en liberté)
•Glaser (1954) a testé le modèle actuariel de Burgess (1928) sur un échantillon de 2600 détenus remis en liberté entre 1940 et 1949 : les scores à l’échelle de Burgess (méthode actuarielle) prédisent mieux la récidive que les résultats des expertises psychiatriques (méthode clinique)
2. Méthode clinique vs. méthode actuarielle en psychologie
Burgess, E. W. (1928). Factors determining success or failure on parole. In A. A. Bruce. The workings of the indeterminate sentence law and the parole system in Illinois (pp. 205-249). Springfield, IL: Illinois Committee on Indeterminate Law and Parole.
Glaser, D. (1954). A reconsideration of some parole prediction factors. American Sociological Review, 19, 335-341.

55. Etudes majeures
Meehl (1954)
•C’est cette publication (livre) qui a réellement jeté un pavé dans la mare. Meehl y apporte 4 contributions majeures (Grove, 2005)
1. Meehl distingue les deux dimensions fondamentales de la prédiction
2. Meehl défend l’idée que la comparaison méthode clinique/méthode actuarielle définit une véritable problématique de recherche nécessitant une investigation scientifique – au moins dans le domaine psychologique
ce faisant, il jette les bases de la « controverse »
cette problématique/controverse n’est pas une lubie intellectuelle, elle est au contraire inévitable dans le domaine de la prise de décision. En effet, dans une part importante de leur activité professionnelle, les psychologues formulent – de façon plus ou moins explicite – des prédictions, ex: « quelles sont les chances de ce patient de sortir de la dépression ? », « quelles sont les chances que ce délinquant récidive ? »
2. Méthode clinique vs. méthode actuarielle en psychologie

56. Etudes majeures
Meehl (1954)
3. Meehl analyse la méthode clinique et la méthode actuarielle à un niveau conceptuel
analyse conceptuelle de la méthode clinique : analyse des processus mentaux qui sous-tendent les décisions/prédictions du clinicien (Meehl, 1960)
à ce niveau conceptuel, l’analyse de Meehl ne désavantage pas la méthode clinique, au contraire. Sur les 10 chapitres du livre, on trouve notamment deux chapitres intitulés “The Special Powers of the Clinician” et “Remarks on Clinical Intuition”
2. Méthode clinique vs. méthode actuarielle en psychologie
Meehl, P. E. (1960). The cognitive activity of the clinician. American Psychologist, 15, 19- 27.

57. Etudes majeures
Meehl (1954)
Deux apports notables de cette analyse conceptuelle :
a. Meehl critique l’hypothèse de Sarbin selon laquelle, au mieux, le clinicien imite un outil actuariel. Selon Meehl, cette hypothèse consiste à dire que “the clinician is a second-rate substitute for a Hollerith machine” (Meehl, 1954, p. 76)
pour Sarbin, le format des prédictions du clinicien est du type : « cet étudiant a 1 chance sur 6 de réussir ses études à l’université ». Cette description du clinicien laisse penser que celui-ci fonctionne effectivement comme un outil actuariel
mais pour Meehl, les prédictions du clinicien ont un format différent qui comporte deux éléments : i) la prédiction proprement dite (« cet étudiant ne réussira pas ses études à l’université »), ii) le degré de certitude subjective dans la prédiction (« la probabilité que cette prédiction est correcte est de 5/6 »)
2. Méthode clinique vs. méthode actuarielle en psychologie

58. Etudes majeures
Meehl (1954)
Meehl critique l’hypothèse implicite dans la position de Sarbin selon laquelle il est possible d’évaluer la probabilité d’un événement unique
enfin, il propose une analogie pour illustrer le fait que, sur le principe, l’activité prédictive du clinicien peut ne pas se limiter uniquement à l’analyse d’une base de données stockée en mémoire
2. Méthode clinique vs. méthode actuarielle en psychologie

59. Etudes majeures
Meehl (1954)
Deux apports notables de cette analyse conceptuelle :
b. Meehl analyse une limite fondamentale de la méthode actuarielle : « le cas de la jambe cassée » (broken-leg case)
Considérons une personne qui va dans un cinéma donné tous les mardis soirs. Une règle actuarielle simple consiste à prédire que chaque mardi soir, la probabilité que cette personne se rende dans le cinéma en question est très élevée. Un lundi, la personne se casse la jambe. Dans ce cas précis, un humain peut ajuster son jugement en revoyant la probabilité à la baisse alors que le modèle actuariel continuera à faire la même prédiction (qui sera absurde en l’occurrence)
2. Méthode clinique vs. méthode actuarielle en psychologie

60. Etudes majeures
Meehl (1954)
Meehl défend l’idée que le cas de la jambe cassée ne remet pas en cause la validité de la méthode actuarielle :
le taux de base des jambes cassées est faible, donc ce genre de cas ne diminuent pas vraiment la précision de la prédiction actuarielle
en raison de leur rareté, on ne connaît pas bien l’influence des cas de jambe cassée sur le comportement en question
–dans l’exemple de la jambe cassée, on peut raisonnablement penser que l’occurrence de l’événement rare impacte fortement la probabilité du comportement en question
–mais ce n’est pas le cas la plupart du temps, de par le fait même ce genre d’événement est rare
–donc lorsqu’un clinicien pense être confronté à un cas de jambe cassée, il lui est en fait difficile de déterminer dans quelle mesure il s’agit d’un véritable cas de jambe cassée ou non
2. Méthode clinique vs. méthode actuarielle en psychologie

61. Etudes majeures
Meehl (1954)
4. Meehl passe en revue de façon exhaustive les études empiriques sur la question disponibles à l’époque et aboutit à la mise en évidence de la supériorité de la méthode actuarielle sur la méthode clinique
chapitre 8 du livre
“The assertion sometimes heard from clinicians that "naturally", clinical prediction, being based on "real understanding", is superior, is simply not justified by the facts.” (Meehl, 1954, p. 119)
2. Méthode clinique vs. méthode actuarielle en psychologie

62. Etudes majeures
Meehl (1954)
•Conclusion sur Meehl (1954) :
1. Ce travail a souvent été mal compris et mal interprété. Meehl s’explique sur à ce sujet dans la préface de l’édition de 1996 (derniers écrits de sur cette problématique). En effet, beaucoup de personnes qui ont lu ou entendu parler du livre :
n’ont retenu que le chapitre 8 et ont ainsi contribué à véhiculer l’idée que Meehl était un fervent défenseur de la méthode actuarielle et un fervent opposant à la méthode clinique
croient que Meehl défendait l’idée que les tests psychométriques prédisent mieux que les entretiens cliniques (alors que la distinction clinique/actuariel porte sur le mode de traitement des données, pas sur la nature de celles-ci
2. Méthode clinique vs. méthode actuarielle en psychologie

63. Etudes majeures
Meehl (1954)
En effet, des études comme celles de Sarbin (1943) peuvent donner à lieu à cette erreur d’interprétation car elles confondent presque ces deux variables :
prédiction actuarielle : données quantitatives, traitement actuariel
prédiction clinique : données quantitatives et données qualitatives, traitement clinique
En fait, Meehl (1954) avait repéré ce danger et suggéré de contrôler la nature des données pour ne pas qu’il y ait d’ambiguïté :
“The ideal design is one in which the same basic set of facts is subjected on the one hand to the skilled analysis of a trained clinician, and on the other hand is subjected to mechanical operations (table entry, multiplication by weights, or the like). The predictions arrived at by these two methods are then compared with respect to their success.” (Meehl, 1954/1996, p. 89-90)
2. Méthode clinique vs. méthode actuarielle en psychologie

64. Etudes majeures
Meehl (1954)
“Despite my long-term identification with the Minnesota Multiphasic Personality Inventory (MMPI), if I were asked to diagnose a mental patient and told that I could either have an MMPI profile or conduct a mental status examination, I would prefer the latter.” (Meehl, 1996, Preface, p. iii)
2. Ce travail a été visionnaire
“Clearly, Paul’s views of major issues in the clinical versus statistical prediction controversy changed little over the years. No great theoretical breakthroughs, radically improved prediction methods, or momentously different empirical outcomes emerged after 1954. However, this did not have the effect of making Meehl’s ideas "old hat" or reducing his contribution to an historical footnote. Indeed, to this day, applied and cognitive psychologists find his writings fresh, insightful, unusually clear and careful, and engagingly presented.” (Grove, 2005, p. 1241)
2. Méthode clinique vs. méthode actuarielle en psychologie

65. Etudes majeures
Goldberg (1965, 1968, 1970)
•Goldberg (1965) a construit un outil actuariel permettant de poser le diagnostic de sortie (diagnostic posé au moment du congé d'hôpital) de patients psychopathologiques (psychose vs. névrose) sur la base du MMPI
analyses statistiques de données comportant pour chaque sujet le diagnostic de sortie et les scores à 11 échelles du MMPI
le modèle actuariel (ayant la meilleure précision) établit le diagnostic sur la base d’une règle simple :
calculer : (somme scores à 3 échelles – somme scores à 2 échelles)
–si résultat < 45 : diagnostic = névrose
–si résultat ≥ 45 : diagnostic = psychose
« règle de Goldberg »
2. Méthode clinique vs. méthode actuarielle en psychologie
Goldberg, L. R. (1965). Diagnosticians vs. diagnostic signs: The diagnosis of psychosis vs. neurosis from the MMPI. Psychological Monographs: General and Applied, 79, 1-27.

66. Etudes majeures
Goldberg (1965, 1968, 1970)
•Goldberg (1965) a ensuite comparé la précision du diagnostic issu de la règle actuarielle à celle du diagnostic posé par 29 psychologues, 13 experts (praticiens PhD) et 16 novices (étudiants avancés en psychologie)
les psychologues devaient poser leur diagnostic sur la base des données MMPI des patients
la comparaison a été réalisée sur un nouvel échantillon de 861 sujets (les données provenant de 7 institutions différentes)
•Résultats :
précision moyenne de la règle actuarielle : 70% de diagnostics corrects
précision moyenne des psychologues : 62% de diagnostics corrects (moins bon psychologue : 50%, meilleur psychologue : 67%)
2. Méthode clinique vs. méthode actuarielle en psychologie

67. Etudes majeures
Goldberg (1965, 1968, 1970)
•Goldberg (1968) a testé l’effet d’un entraînement des psychologues sur la précision de leur diagnostic
les données pour l’entraînement consistaient en 300 profils MMPI avec pour chacun le diagnostic de sortie (valeur réelle du critère)
ces données permettaient aux psychologues d’avoir un feedback sur la précision de leur diagnostic
dans une condition, Goldberg a même fournit aux psychologues le résultat de la règle actuarielle pour chaque sujet (ils étaient informés de la précision de cette règle et étaient libres de l’utiliser à leur gré)
•Résultats : le diagnostic issu de la règle actuarielle reste plus précis que celui posé par les psychologues
2. Méthode clinique vs. méthode actuarielle en psychologie
Goldberg, L.R. (1968). Simple Models of Simple Process? Some Research on Clinical Judgments. American Psychologist, 23, 483-96.

68. Etudes majeures
Goldberg (1965, 1968, 1970)
•Goldberg (1970) a enfin montré que même un modèle du psychologue est plus précis que le psychologue lui-même dans les cas où le diagnostic issu du modèle du psychologue et celui issu du psychologue divergent
modèle du psychologue : régression des prédictions du psychologue sur les prédicteurs dont il dispose (judgmental bootstrapping)
résultat déjà observé dans d’autres domaines (ex : prédiction du volume des récoltes de maïs aux États-Unis au début du 20ème siècle)
•Ce résultat suggère que la consistance du fonctionnement des modèles est l’un des facteurs majeurs expliquant leur supériorité sur les experts
2. Méthode clinique vs. méthode actuarielle en psychologie
Goldberg, L. R. (1970). Man versus model of man: A rationale, plus some evidence, for a method of improving clinical inferences. Psychological Bulletin, 73, 422-432.

69. Etudes majeures
Dawes (1979)
•Lorsqu’on cherche à prédire un critère continu à partir de prédicteurs continus, les modèles linéaires statistiques (ou propres : les prédicteurs sont pondérés de façon à optimiser la relation entre les valeurs prédites et les valeurs observées) sont plus précis que le jugement clinique
•Dawes (1979) montre que dans ce cas précis, le jugement clinique est également inférieur à des modèles linéaires impropres dans lesquels la pondération des prédicteurs ne résulte pas d’une procédure d’optimisation (ex : les pondérations sont choisies de façon intuitive ou au hasard)
2. Méthode clinique vs. méthode actuarielle en psychologie
Dawes, R.M. (1979). The Robust Beauty of Improper Linear Models in Decision Making. American Psychologist, 34, 571-82.

70. Etudes majeures
Dawes (1979)
Exemple 1
•On cherche à prédire l’évaluation globale finale des étudiants diplômés par les enseignants (échelle en 5 points : 5 : exceptionnel, 4 : au-dessus de la moyenne, 3 : dans la moyenne, etc.)
prédiction clinique :
–prédicteur : évaluation des étudiants par le comité d’admission
–corrélation prédictions/observations : .19
modèle linéaire propre : régression multiple
–prédicteurs : GRE, GPA, niveau de sélectivité de l’établissement de premier cycle
–corrélation prédictions/observations : .38
modèle linéaire impropre : les prédicteurs sont équipondérés
–corrélation prédictions/observations : .48
2. Méthode clinique vs. méthode actuarielle en psychologie

71. Etudes majeures
Dawes (1979)
Exemple 2
•Au cours d’une discussion informelle, un ami de Dawes lui fait remarquer que son article sur la prédiction de la réussite académique des étudiants en psychologie intéressera certainement ses collègues universitaires mais peu le grand public. Il lui demande si, par exemple, il pourrait prédire le niveau de bonheur conjugal de son couple
à cette époque, le département de psychologie de l’université de Dawes mène des recherches sur comportement sexuel des personnes
ces recherches sont largement comportementales (ex : mesure de la fréquence des rapports sexuels) mais elles comportent aussi des mesures auto-rapportées (ex : mesure de la satisfaction maritale)
2. Méthode clinique vs. méthode actuarielle en psychologie

72. Etudes majeures
Dawes (1979)
Exemple 2
•Dawes à l’idée de tester un modèle linéaire impropre pour prédire le bonheur conjugal :
bonheur conjugal = fréquence des rapports sexuels – fréquence des disputes
•Etude sur 27 couples
l’un des deux membres du couples codes les observations relatives aux rapports sexuels et aux disputes, évaluation du bonheur conjugal sur une échelle en 7 points
corrélation entre la différence (rapports sexuels – disputes) et le bonheur conjugal : .40 (p < .05)
2. Méthode clinique vs. méthode actuarielle en psychologie

73. Etudes majeures
Dawes (1979)
Exemple 2
résultat répliqué par Edwards et Edwards (1977) et Thornton (1977)
Thornton (1977) obtient une corrélation de .81 mais le caractère élevé de cette corrélation est dû à une contamination du critère : les couples évaluaient leur bonheur conjugal après la période d’enregistrement de leurs rapports sexuels et disputes
(Thornton rapporte même qu’un participant de l’étude a décidé de divorcer après avoir réalisé que les relations avec son partenaire étaient davantage conflictuelles qu’amoureuses…)
•Dawes, Faust, et Meehl (1989) publient un article sur le sujet dans la revue Science
2. Méthode clinique vs. méthode actuarielle en psychologie
Dawes, R.M., Faust, D., & Meehl, P.E. (1989). Clinical versus actuarial judgment. Science, 243, 1668-1774.

74. Etudes majeures
Meehl (1986)
•Article écrit pour un symposium organisé à l’occasion du 40ème anniversaire de la publication du livre de 1954
•Meehl dresse le bilan des études sur la comparaison clinique/actuariel dans divers domaines et la conclusion qu’il tire est devenue célèbre :
“There is no controversy in social science which shows such a large body of quantitatively diverse studies coming out so uniformly in the same direction as this one. When you are pushing over 100 investigations, predicting everything from the outcome of football games to the diagnosis of liver disease, and when you can hardly come up with half a dozen studies showing even a weak tendency in favor of the clinician, it is time to draw a practical conclusion.” (Meehl, 1986, p. 372-373)
2. Méthode clinique vs. méthode actuarielle en psychologie
Meehl, P.E. (1986). Causes and effects of my disturbing little book. Journal of Personality Assessment, 50, 370–375.

75. Etudes majeures
Grove et al. (2000)
•Méta-analyse de 136 études
•Principales caractéristiques de la méta-analyse :
pour chaque étude, prise en compte des caractéristiques méthodologiques susceptibles d’influencer le résultat de la comparaison (ex : taille de l’échantillon, type de critère, nature des prédicteurs, cross-validation ou non de l’outil actuariel)
calcul systématique de la taille d’effet (ES : différence de précision entre la prédiction actuarielle et la prédiction clinique)
soit les deux méthodes devaient porter sur les mêmes participants (VI intra), soit l’assignement des participants dans les deux conditions devait être aléatoire (VI inter)
2. Méthode clinique vs. méthode actuarielle en psychologie
Grove, W.M., Zald, D.H., Lebow, B.S., Snitz, B.E., & Nelson, C. (2000). Clinical versus mechanical prediction: A meta-analysis. Psychological Assessment, 12, 19-30.

76. Etudes majeures
Grove et al. (2000)
•Principales caractéristiques de la méta-analyse :
critères pour l’inclusion d’une étude :
–relever des domaines de la psychologie ou de la médecine
–comparer la performance prédictive d’au moins un humain (expert, juge, clinicien, etc.) à celle d’au moins un outil actuariel (formule, algorithme, arbre décisionnel, etc.)
–le clinicien et l’outil actuariel devaient prédire un même critère, soit sur la base des mêmes prédicteurs, soit les prédicteurs utilisés par l’une des deux méthodes devaient être un sous-ensemble des prédicteurs utilisés par l’autre méthode
Remarque: dans les études retenues, la prédiction clinique s’appuyait sur au moins autant d’informations que la prédiction actuarielle
2. Méthode clinique vs. méthode actuarielle en psychologie

77. Etudes majeures
Grove et al. (2000)
•136 études remplissant ces critères sur 163 études présélectionnées
dans la plupart des études :
–les méthodes clinique et actuarielle étaient comparées sur plusieurs critères
–pour un même critère, plusieurs types de cliniciens (expérimentés vs. novices) et/ou plusieurs types d’outils actuariels (régression vs. combinaison linéaire sans pondération) étaient comparés
–pour chaque étude, Grove et al. (2000) ont analysé toutes les comparaisons clinique/actuarielle possibles (ex : l’étude de Goldberg (1965) donne lieu a 124 comparaisons)
2. Méthode clinique vs. méthode actuarielle en psychologie

78. Etudes majeures
Grove et al. (2000)
•136 études remplissant ces critères sur 163 études présélectionnées
chacune des études a donné lieu à un codage détaillé (ex : source de la publication, nature du critère, domaine du prédicteur, nature du prédicteur, niveau d’expérience professionnelle du clinicien, etc.) (un manuel de 25 pages décrit ce codage). Degré d’accord inter-juges élevé (.97) sur 14 études
la mesure de la précision des prédictions varie entre les études (corrélation, taux de vrais positifs, AUC) donc les ES bruts ne sont pas comparables
–transformation des ES bruts dans une métrique commune
–un ES positif traduit une supériorité de la prédiction actuarielle
ex: dans l’échelle des ES transformés, un ES de 0.1 représente une différence de 9%-10% dans le taux de vrais positifs, pour des prédictions dont la précision est intermédiaire (50%-75%)
2. Méthode clinique vs. méthode actuarielle en psychologie

79. Etudes majeures
Grove et al. (2000)
•Résultats :
les ES échelonnés vont de -0.30 à 0.74 (la moitié des ES se situent entre 0 et 0.2)
sur les 136 études :
–63 (46%) comportent des ES > 0.1 : avantage net de la méthode actuarielle
–65 (48%) comportent des ES entre 0 et 0.1 : égalité entre les deux méthodes
–8 (6%) comportent des ES < -0.1 : avantage net de la méthode clinique
2. Méthode clinique vs. méthode actuarielle en psychologie

80. Etudes majeures
Grove et al. (2000)
•Résultats :
la supériorité de méthode actuarielle tend à être plus importante lorsque le critère relève des domaines médical ou judiciaire
le fait que l’outil actuariel ait été cross-validé ou non n’influence pas la différence de précision entre les deux méthodes
le niveau de pratique et d’expérience du clinicien n’influence pas la différence de précision entre les deux méthodes
le fait que le clinicien dispose de plus d’informations (prédicteurs) que l’outil actuariel n’influence pas la différence de précision entre les deux méthodes
le fait que le clinicien dispose de données issues d’un entretien augmente la supériorité de la méthode actuarielle
l’utilisation de données issues de tests, questionnaires, ou observation n’influence pas la différence de précision entre les deux méthodes
2. Méthode clinique vs. méthode actuarielle en psychologie

81. Etudes majeures
Grove et al. (2000)
•Résultats :
Remarque: les deux derniers résultats ne signifient pas que les outils psychométriques produisent des prédictions plus précises que les entretiens cliniques
2. Méthode clinique vs. méthode actuarielle en psychologie

82. Etudes majeures
Grove et al. (2000)
•Conclusions :
“The trend in our data is so strong that we conjecture the following: There is no selection of studies, based on anything except study outcome itself, that will yield a conclusion directly contrary to ours.” (Grove et al., 2000, p.26)
les auteurs ne trouvent aucun élément méthodologique ou prédicteur favorisant la précision de la méthode clinique : au contraire, ils en trouvent un qui la dégrade : l’entretien
la méthode actuarielle est globalement plus précise que la méthode clinique, mais cet avantage n’est pas massif : dans approximativement la moitié des études (48%), les deux méthodes ont des précisions égales
2. Méthode clinique vs. méthode actuarielle en psychologie

83. Une troisième voie : combiner les deux méthodes ?
•Cette alternative consiste à fournir au clinicien l’information issue de l’outil actuariel
•Meehl et ses collaborateurs défendent l’idée que la méthode clinique et la méthode actuarielle sont mutuellement exclusives : on doit utiliser soit l’une soit l’autre mais pas les deux à la fois
dans le cas où l’on fournit au clinicien l’information issue de l’outil actuariel pour que celle-ci complémente son jugement, la méthode de décision reste clinique au final
comme le suggèrent Dawes et al. (1989) :
–si les deux méthodes concordent, il n’y a pas besoin de les combiner
–si les deux méthodes divergent, il faut choisir l’un ou l’autre
2. Méthode clinique vs. méthode actuarielle en psychologie

84. Une troisième voie : combiner les deux méthodes ?
•Certains chercheurs considèrent qu’il est évident que la meilleure solution est de combiner les deux méthodes. Du coup, opposer méthode actuarielle/méthode clinique est une fausse controverse
Zubin (1956) : “The distinction between actuarial and clinical prediction is heuristic rather than basic.” (p. 627)
mais Grove (2005) : “The point of view of which Zubin speaks is the advancement of our knowledge about the prediction of human behavior. But this is not the problem Meehl tried to solve; his problem was to pick the right tool for the practical task at hand.” (p. 1240)
2. Méthode clinique vs. méthode actuarielle en psychologie

85. Une troisième voie : combiner les deux méthodes ?
•Certains chercheurs considèrent qu’il est évident que la meilleure solution est de combiner les deux méthodes. Du coup, opposer méthode actuarielle/méthode clinique est une fausse controverse
Zubin (1956) : “the question of whether the actuarial approach is superior to the clinical is tantamount to asking whether the sperm is more important than the ovum” (Zubin, 1956, p. 627)
mais Grove (2005) : “When presented with a current need to make predictions for a series of cases, clinical and statistical prediction methods do not cooperate like a ratchet wrench and its socket set, let alone an ovum and a sperm. Instead, they compete like screwdriver and pry bar, as ways to open a can of paint.” (p. 1241)
2. Méthode clinique vs. méthode actuarielle en psychologie

86. Les raisons de la supériorité de la méthode actuarielle
•On identifie 3 facteurs principaux sous-jacents à la supériorité de la méthode actuarielle sur la méthode clinique
1. la connaissance des valeurs observées (réelles) du critère
souvent, le clinicien n’a pas connaissance de ces valeurs
–dans ce cas, celui-ci n’obtient pas de feedback sur la précision de ses prédictions/décisions (écart entre les valeurs prédites et les valeurs réelles du critère). Si la précision de ses prédictions est faible, il ne peut pas en être conscient et donc s’améliorer
ex: radiologistes vs. anesthésistes
(c’est probablement l’une des raisons pour lesquelles la précision des prédictions de psychologues expérimentés n’est pas beaucoup meilleure que celle des prédictions d’étudiants en psychologie)
–d’un autre point de vue, le clinicien ne peut pas dans ce cas apprendre la régularité reliant les prédicteurs au critère
2. Méthode clinique vs. méthode actuarielle en psychologie

87. Les raisons de la supériorité de la méthode actuarielle
2. Méthode clinique vs. méthode actuarielle en psychologie
X1
X2
X3
Xn
…
prédicteurs/cues
.
.
.
.
.
.
. . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
O
valeurs observées
. . . . . .
critère
régularité
•Une régularité relie un ensemble de prédicteurs et un critère :

88. Les raisons de la supériorité de la méthode actuarielle
2. Méthode clinique vs. méthode actuarielle en psychologie
X1
X2
X3
Xn
…
P
prédicteurs/cues
valeurs prédites
. . . . . .
.
.
.
.
.
.
. . . . . .
. . . . . .
.
.
.
.
.
.
O
valeurs observées
. . . . . .
critère
régularité
•Processus d’apprentissage de la régularité :

89. Les raisons de la supériorité de la méthode actuarielle
2. Méthode clinique vs. méthode actuarielle en psychologie
Test (prédicteur)
Maladie
Malade
Test négatif
15 15%
Test positif
85 85%
•On identifie 3 facteurs principaux sous-jacents à la supériorité de la méthode actuarielle sur la méthode clinique
1. la connaissance des valeurs observées (réelles) du critère
dans certains cas, le clinicien n’a connaissance que d’une partie de ces valeurs (échantillon asymétrique)
ex:
–un médecin côtoie plus de malades que de non malades : ici, il pourrait conclure qu’un test positif est un signe de la maladie
–mais pour pouvoir tirer une telle conclusion, il faut : a) les données relatives aux personnes non malade (= condition contrôle), b) les taux de base

90. Les raisons de la supériorité de la méthode actuarielle
•On identifie 3 facteurs principaux sous-jacents à la supériorité de la méthode actuarielle sur la méthode clinique
1. la connaissance des valeurs observées (réelles) du critère
dans certains cas, le clinicien n’a connaissance que d’une partie de ces valeurs (échantillon asymétrique)
ex:
2. Méthode clinique vs. méthode actuarielle en psychologie
Test (prédicteur)
Maladie
Malade
Non malade
Test négatif
15 15%
765 85%
Test positif
85 85%
135 15%

91. Les raisons de la supériorité de la méthode actuarielle
•On identifie 3 facteurs principaux sous-jacents à la supériorité de la méthode actuarielle sur la méthode clinique
1. la connaissance des valeurs observées (réelles) du critère
dans certains cas, le clinicien n’a connaissance que d’une partie de ces valeurs (échantillon asymétrique)
ex:
2. Méthode clinique vs. méthode actuarielle en psychologie
Test (prédicteur)
Maladie
Malade
Non malade
Test négatif
15 15%
765 15%
Test positif
85 85%
135 85%

92. Les raisons de la supériorité de la méthode actuarielle
•On identifie 3 facteurs principaux sous-jacents à la supériorité de la méthode actuarielle sur la méthode clinique
1. la connaissance des valeurs observées (réelles) du critère
dans certains cas, le clinicien n’a connaissance que d’une partie de ces valeurs (échantillon asymétrique)
ex:
2. Méthode clinique vs. méthode actuarielle en psychologie
Test (prédicteur)
Maladie
Malade
Non malade
Test négatif
15 15%
765 85%
Test positif
85 85%
135 15%

93. Les raisons de la supériorité de la méthode actuarielle
•On identifie 3 facteurs principaux sous-jacents à la supériorité de la méthode actuarielle sur la méthode clinique
1. la connaissance des valeurs observées (réelles) du critère
dans certains cas, le clinicien n’a connaissance que d’une partie de ces valeurs (échantillon asymétrique)
ex:
2. Méthode clinique vs. méthode actuarielle en psychologie
Test (prédicteur)
Maladie
Malade
Non malade
Test négatif
15 15%
765 85%
Test positif
85 85%
135 15%
100 10%
900 90%

94. Les raisons de la supériorité de la méthode actuarielle
•On identifie 3 facteurs principaux sous-jacents à la supériorité de la méthode actuarielle sur la méthode clinique
1. la connaissance des valeurs observées (réelles) du critère
dans certains cas, le clinicien n’a connaissance que d’une partie de ces valeurs (échantillon asymétrique)
ex:
2. Méthode clinique vs. méthode actuarielle en psychologie
Test (prédicteur)
Maladie
Malade
Non malade
Test négatif
15 15%
765 85%
Test positif
85 85%
135 15%
100 10%
900 90%
N = 1000

95. Les raisons de la supériorité de la méthode actuarielle
2. Méthode clinique vs. méthode actuarielle en psychologie
Test (prédicteur)
Maladie
Malade
Non malade
Test négatif
15 15%
765 85%
Test positif
85 85%
135 15%
100 10%
900 90%
N = 1000
•On identifie 3 facteurs principaux sous-jacents à la supériorité de la méthode actuarielle sur la méthode clinique
1. la connaissance des valeurs observées (réelles) du critère
dans certains cas, le clinicien n’a connaissance que d’une partie de ces valeurs (échantillon asymétrique)
ex:
–en raison des taux de base, un patient qui présente un test positif a plus de chances de ne pas être malade (61.4 %) que d’être malade (38.6 %) : le test a une valeur prédictive positive faible

96. Les raisons de la supériorité de la méthode actuarielle
2. Méthode clinique vs. méthode actuarielle en psychologie
•On identifie 3 facteurs principaux sous-jacents à la supériorité de la méthode actuarielle sur la méthode clinique
2. la combinaison des informations
en général, les experts sont bons pour sélectionner les prédicteurs (choisir quoi regarder) mais pas pour les combiner afin d’établir une décision/prédiction
ex: étude de Einhorn (1972) :
–3 médecins (dont un expert international) devaient coder les biopsies de 193 patients (maladie de Hodgkin) sur plusieurs dimensions et établir un jugement global sur l’état de la maladie
–ce jugement global ne prédit pas du tout le temps de survie du patient (corrélation pratiquement nulle)
–mais lorsqu’elles sont prises comme prédicteurs dans une régression multiple, les dimensions des biopsies choisies et codées par les médecins prédisent significativement le temps de survie

97. Les raisons de la supériorité de la méthode actuarielle
2. Méthode clinique vs. méthode actuarielle en psychologie
•On identifie 3 facteurs principaux sous-jacents à la supériorité de la méthode actuarielle sur la méthode clinique
2. la combinaison des informations
en particulier, lorsqu’ils prennent en compte des prédicteurs pertinents, les experts pondèrent mal ces variables
“Human judges are not merely worse than optimal regression equations; they are worse than almost any regression equation.” (Nisbett & Ross, 1980, p. 141)

98. Les raisons de la supériorité de la méthode actuarielle
2. Méthode clinique vs. méthode actuarielle en psychologie
•On identifie 3 facteurs principaux sous-jacents à la supériorité de la méthode actuarielle sur la méthode clinique
3. les biais cognitifs dans le jugement et le raisonnement
les prédictions/décisions des experts sont faillibles car les processus mentaux qui les sous-tendent peuvent être sujets à des biais cognitifs
travaux de Daniel Kahneman et Amos Tversky notamment

99. Les raisons de la supériorité de la méthode actuarielle
2. Méthode clinique vs. méthode actuarielle en psychologie
•On identifie 3 facteurs principaux sous-jacents à la supériorité de la méthode actuarielle sur la méthode clinique
3. les biais cognitifs dans le jugement et le raisonnement
biais de confiance subjective : « j’y crois donc c’est vrai »
–on dérive une prédiction sur la base d’un scénario dont on pense qu’il est vrai parce qu’il fait sens
–surgénéralisation de ses propres expériences personnelles (les gens ont tendance à penser que celles-ci sont typiques)
biais rétrospectif : croire que parce qu’on est capable d’expliquer le passé, on est capable de prédire le futur
biais de disponibilité : privilégier les informations les plus disponibles en mémoire

100. Les raisons de la supériorité de la méthode actuarielle
2. Méthode clinique vs. méthode actuarielle en psychologie
•On identifie 3 facteurs principaux sous-jacents à la supériorité de la méthode actuarielle sur la méthode clinique
3. les biais cognitifs dans le jugement et le raisonnement
“The problem is not that baseball professionals are stupid; it is that they are human. Like most people, including experts, they tend to rely on simple rules of thumb, on traditions, on habits, on what other experts seem to believe. Even when the stakes are high, rational behavior does not always emerge. It takes time and effort to switch from simple intuitions to careful assessments of evidence.” (Sunstein & Thaler, 2003)

101. L’évaluation actuarielle du risque de violence
2. Méthode clinique vs. méthode actuarielle en psychologie
•Sujet d’actualité et polémique
•Exemples récents :
affaire Laetitia Perrais (janvier 2011) : jeune fille de 18 ans violée et tuée par un récidiviste
–celui-ci avait été libéré en février 2010. Il possédait alors un casier judiciaire chargé de 13 condamnations dont le viol d’un co-détenu alors qu’il était mineur
–cette affaire a généré une vive opposition entre le Président de la République de l’époque (N. Sarkozy) et les magistrats
“Quand on laisse sortir de prison un individu comme le présumé coupable sans s'assurer qu'il sera suivi par un conseiller d'insertion, c'est une faute. Ceux qui ont couvert ou laissé faire cette faute seront sanctionnés, c'est la règle.”

102. L’évaluation actuarielle du risque de violence
2. Méthode clinique vs. méthode actuarielle en psychologie
•Un sujet d’actualité et polémique
•Exemples récents :
affaire Agnès Marin (novembre 2011) : collégienne de 13 ans violée puis tuée par un de ses camarades (récidiviste)
–celui-ci avait déjà effectué quatre mois de détention préventive dans le cadre d’une autre affaire de viol sur mineure

103. L’évaluation actuarielle du risque de violence
2. Méthode clinique vs. méthode actuarielle en psychologie
•Ces deux affaires récentes relance la question de l’évaluation du risque de récidive chez les criminels. Plusieurs professionnels (psychiatres, juristes) évoquent alors les outils actuariels d’évaluation de ce risque, largement utilisé au Canada et aux Etats-Unis

104. L’évaluation actuarielle du risque de violence
2. Méthode clinique vs. méthode actuarielle en psychologie
•LOI n° 2012-409 du 27 mars 2012 de programmation relative à l'exécution des peines (1) (JORF n°0075 du 28 mars 2012 page 5592) :
“Pour que l'évaluation de la dangerosité criminologique puisse progresser, il convient également d'engager une réflexion sur les outils et les méthodes à la disposition des praticiens. Si la méthode clinique, qui repose sur des entretiens avec la personne et son observation dans le cadre d'expertises psychiatriques, est aujourd'hui bien établie dans le cadre de l'évaluation de la dangerosité psychiatrique, la méthode actuarielle fondée sur des échelles de risques est, pour sa part, insuffisamment utilisée par l'institution judiciaire dans son ensemble. Très répandue dans les pays anglo-saxons, et en particulier, au Canada, cette méthode repose sur des tables actuarielles mettant en évidence les différents facteurs de récidive à partir d'études statistiques comparant des groupes de criminels récidivistes et de criminels d'occasion. Parce que la dangerosité criminologique ne se réduit pas à la seule dangerosité psychiatrique, il convient d'intégrer ces méthodes actuarielles dans les outils et méthodes permettant aux praticiens d'émettre des avis circonstanciés, fondés sur des critères précis.”

105. L’évaluation actuarielle du risque de violence
2. Méthode clinique vs. méthode actuarielle en psychologie
•Exemple d’outil actuariel évaluant le risque de violence : le Violence Risk Appraisal Guide (VRAG)
outil développé par Harris et al. (1993), Quinsey et al. (1998), Rice et Harris (1995)
échantillon d’origine : 618 hommes ayant séjourné dans une unité de soins aux détenus à la suite d’une infraction avec violence grave
critère : présence/absence de récidive (nouvelle inculpation pour actes violents) dans les 7 ans suivant la remise en liberté
prédicteurs : 12 variables sélectionnées sur 50 variables codées à partir des dossiers institutionnels des sujets (variables objectives et variables psychologiques, ex : diagnostic de schizophrénie)
calcul d’un score dichotomisé en faible vs. élevé

106. L’évaluation actuarielle du risque de violence
2. Méthode clinique vs. méthode actuarielle en psychologie
•Exemple d’outil actuariel évaluant le risque de violence : le Violence Risk Appraisal Guide (VRAG)
résultats :
–valeur prédictive positive du score : 55% (115/209)
–valeur prédictive négative du score : 81.4% (333/409)
Score (prédicteur)
Récidive (critère)
Oui
Non
Faible
76
333
409
Elevé
115
94
209
191
427
N = 618

107. La révolution actuarielle est-elle en cours ?
Conclusion
•Meehl est décédé en 2003, année de la publication de Moneyball
le livre a été reviewé en 2003 dans The New Republic par deux proches collaborateurs de Khaneman Thaler et Sunstein (“Who's on First”)
Le 7 décembre 2011, Michael Lewis a écrit un article dans Vanity Fair sur Kahneman et le rôle décisif de ses travaux dans l’avènement du phénomène Moneyball (“The King of Human Error”)
•Explosion de l’approche evidence-based/data-driven/statistique

108. Quand la méthode actuarielle est-elle appliquée ?
Conclusion
•La méthode actuarielle est appliquée lorsqu’il y a une recherche explicite de « performance » (chiffrée) dominée par un critère pragmatique
mettre en oeuvre des solutions objectivement efficaces
ex:
–assurance (domaine d’origine de la méthode actuarielle)
–compétition sportive professionnelle (Moneyball)
–évaluation du risque de récidive chez les délinquants (Sarkozy en 2005 : réduction de la délinquance, diagnostic précoce du trouble de la conduite)
•La méthode actuarielle est moins appliquée lorsque la recherche de performance est modérée par un critère idéologique
on préfèrera une certaine solution à une autre solution pourtant plus efficace objectivement mais moins acceptable idéologiquement

109. Les limites de la méthode actuarielle
Conclusion
•Validité générale : un outil actuariel peut être valide sur un certain groupe mais pas sur un autre
•Caractère statique de la prédiction (broken leg case)
les modèles actuariels sont valables lorsque l’environnement est stable (les relations prédicteurs/critère ne bougent pas)
c’est l’une des principales raison pour militer en faveur de la complémentarité entre méthode actuarielle et méthode clinique
•Les bénéfices relatifs à l’utilisation des outils actuariels sont peut être compensés par les coûts liés à leur construction et leur actualisation
•Une base de données historiques n’est pas toujours disponible pour permettre la construction d’un modèle statistique prédictif

110. Les limites de la méthode actuarielle
Conclusion
•Globalement, la précision des outils actuariels (taille d’effet) reste relativement faible
“This resistance is best expressed by a dean considering the graduate admissions who wrote, "The correlation of the linear composite with future faculty ratings is only .4, whereas that of the admissions committee's judgment correlates .2. Twice nothing is nothing".” (Dawes, 1979, p.580)

111. Les limites de la méthode actuarielle
Conclusion
•Globalement, la précision des outils actuariels (taille d’effet) reste relativement faible
“Intellectually, I find it somewhat remarkable that we are able to predict even 16% of the variance. But I believe that my own emotional response is indicative of those of my colleagues who simply assume that the future is more predictable. I want it to be predictable, especially when the aspect of it that I want to predict is important to me. This desire, I suggest, translates itself into an implicit assumption that the future is in fact highly predictable, and it would then logically follow that if something is not a very good predictor, something else might do better (although it is never correct to argue that it necessarily will). Statistical prediction, because it includes the specification (usually a low correlation coefficient) of exactly how poorly we can predict, bluntly strikes us with the fact that life is not all that predictable. Unsystematic clinical prediction (or "postdiction"), in contrast, allows us the comforting illusion that life is in fact predictable and that we can predict it.” (Dawes, 1979, p.580)

112. Les obstacles à la méthode actuarielle
Conclusion
•Obstacles psychologiques
•Grove et Meehl (1996) ont listé 17 raisons invoquées par les cliniciens à l’encontre de l’utilisation d’outils actuariels dans le domaine psychiatrique
ex: croire qu’un contre-exemple invalide une régularité statistique (« je connais un fumeur qui a vécu jusqu’à 90 ans sans cancer »)
•Un moyen de sensibiliser les experts à l’approche actuarielle : leur demander de garder une trace de leurs décisions/prédictions et leur fournir systématiquement les valeurs observées du critère pour les confronter à la précision réelle de leurs décisions/prédictions
“A good prophylactic for clinical psychologists basing resistance to actuarial prediction on such instances would be to keep careful records of their own predictions about their own patients—prospective records not subject to hindsight. Such records could make all instances of successful and unsuccessful prediction equally available for impact […].” (Dawes, 1979, p. 579)

113. Les obstacles à la méthode actuarielle
Conclusion
•Obstacles idéologiques/culturels
l’approche actuarielle n’est pas dans la culture française
Interview de Kahneman à France Inter le 27/10/2012 par Alexandra Bensaid : « C’est un ouvrage décidemment dérangeant sur la vacuité de nos expertises quand il ne s’agit pas de la dangerosité de nos décisions. Vous en arrivez à une conclusion, Daniel Kahneman, vous écrivez : "chaque fois qu’il est possible de remplacer le jugement humain par une formule, nous devrions au moins l’envisager". Mais c’est ça, c’est terrifiant ! »

114. Les obstacles à la méthode actuarielle
Conclusion
•Obstacles idéologiques/culturels
acceptabilité de la méthode, sentiment de déshumanisation
“When I was at the Los Angeles Renaissance Fair last summer, I overhead a young woman complain that it was "horribly unfair" that she had been rejected by the Psychology Department at the University of California, Santa Barbara, on the basis of mere numbers, without even an interview. "How can they possibly tell what I'm like?" The answer is that they can't. Nor could they with an interview (Kelly, 1954). Nevertheless, many people maintain that making a crucial social choice without an interview is dehumanizing.” (Dawes, 1979, p.580)