Thomas Klein, Teamleiter Database Marketing & Customer Intelligence, Miles & More GmbH
Alexander Funkner, Manager Database Marketing, Miles & More GmbH
Das Ziel einer Direktmarketingkampagne ist es Kunden durch gezielte individuelle Ansprache von einem Produkt zu überzeugen und zusätzlichen Absatz zu generieren. Der Erfolg einer Kampagne lässt sich demnach nicht an der reinen Response Rate messen, sondern am unmittelbar durch das Mailing bedingten inkrementellen Zusatzeffekt, dem erzielten Uplift im Vergleich zwischen einer Mailing- und Kontrollgruppe. Es besteht folglich ein Unterschied zwischen Kunden die voraussichtlich kaufen, wenn sie eine Kampagne erhalten und Kunden die ausschließlich dann kaufen, wenn sie eine Kampagne erhalten. Uplift-Modeling ermöglicht es diesen Einfluss eines Mailings auf das individuelle Kundenverhalten zu prognostizieren und so gezielt die Kundengruppe zu identifizieren, bei denen ein Mailing einen stark positiven Effekt auf die Kaufentscheidung hat. Thomas Klein und Alexander Funkner präsentieren am Beispiel der Lufthansa Miles & More Credit Card wie mittels Uplift-Modeling Kosten sowie unnötige Kundenkontakte bei der Neukundenakquise reduziert und der Uplift von Direktmarketingkampagnen um bis zu Faktor 3 gesteigert werden konnten. Anhand der Fallstudie demonstrieren sie, welche methodischen Ansätze in der praktischen Anwendung erfolgreich getestet und implementiert wurden.
Der Einsatz von Uplift-Modeling am Beispiel der Lufthansa Miles & More Credit Card
1. Predictive Analytics World Berlin, 03.11.2014
Fallstudie Miles & More Uplift-Modelling
Seite 0
Der Einsatz von Uplift-Modeling
Am Beispiel der Lufthansa Miles & More Credit Card
2. Predictive Analytics World Berlin, 03.11.2014
Fallstudie Miles & More Uplift-Modelling
Seite 1
Agenda
Einführung in das Thema Uplift-Modelling2
Kurzer Überblick zu Miles & More und der Miles & More Kreditkarte1
Fazit & Ausblick4
3 Fallstudie zur Lufthansa Miles & More Kreditkarte
Mögliche methodische Modellierungs-Ansätze
Herausforderungen beim von uns gewählten Ansatz
Ergebnisse des Uplift-Modells
3. Predictive Analytics World Berlin, 03.11.2014
Fallstudie Miles & More Uplift-Modelling
Seite 2
Agenda
Einführung in das Thema Uplift-Modelling2
Kurzer Überblick zu Miles & More und der Miles & More Kreditkarte1
Fazit & Ausblick4
3 Fallstudie zur Lufthansa Miles & More Kreditkarte
Mögliche methodische Modellierungs-Ansätze
Herausforderungen beim von uns gewählten Ansatz
Ergebnisse des Uplift-Modells
4. Predictive Analytics World Berlin, 03.11.2014
Fallstudie Miles & More Uplift-Modelling
Seite 3
Miles & More ist mit über 27 Millionen Teilnehmern Europas größtes
Vielfliegerprogramm
Das Vielfliegerprogramm von
Lufthansa und 8 weiteren Airlines.
1993 mit sieben Partnern aus
Hotellerie und Autovermietung
gestartet.
Heute können Teilnehmer bei über
350 Partnerunternehmen aus
zahlreichen Branchen Meilen
sammeln oder für Flugprämientickets
und Upgrades, Reise-, Sach- und
Erlebnisprämien einlösen.
Die Miles & More GmbH betreibt als
100% Tochtergesellschaft der
Deutschen Lufthansa AG das
Vielfliegerprogramm und steuert das
gesamte Prämiengeschäft.
5. Predictive Analytics World Berlin, 03.11.2014
Fallstudie Miles & More Uplift-Modelling
Seite 4
Die Miles & More Credit Card ist mit mehr als 600.000 Inhabern
eines der erfolgreichsten Kreditkartenportfolien in Deutschland.
Gleichzeitig Kreditkarte und Miles & More
Servicekarte.
Als Credit Card White, Blue oder Gold mit
jeweils unterschiedlichen Zusatzleistungen
erhältlich.
Inhaber erhalten für jeden mit ihrer Credit
Card getätigten Umsatz Prämienmeilen
gutgeschrieben.
Als sogenannte Co-Branding-Kreditkarte in
Kooperation mit der Deutschen Kreditbank
AG (DKB) und MasterCard herausgegeben.
6. Predictive Analytics World Berlin, 03.11.2014
Fallstudie Miles & More Uplift-Modelling
Seite 5
Agenda
Einführung in das Thema Uplift-Modelling2
Kurzer Überblick zu Miles & More und der Miles & More Kreditkarte1
Fazit & Ausblick4
3 Fallstudie zur Lufthansa Miles & More Kreditkarte
Mögliche methodische Modellierungs-Ansätze
Herausforderungen beim von uns gewählten Ansatz
Ergebnisse des Uplift-Modells
7. Predictive Analytics World Berlin, 03.11.2014
Fallstudie Miles & More Uplift-Modelling
Seite 6
Warum brauchen wir Predictive Analytics im Direktmarketing?
8. Predictive Analytics World Berlin, 03.11.2014
Fallstudie Miles & More Uplift-Modelling
Seite 7
Was ist das Ziel einer Direktmarketingkampagne?
Kunden durch gezielte individuelle
Ansprache von einem Produkt
überzeugen.
Maximale zusätzliche Umsätze zu
möglichst geringen Kosten.
Die Kaufentscheidung des Kunden
positiv beeinflussen.
Nachfrage stimulieren und
zusätzlichen (inkrementellen)
Absatz generieren.
9. Predictive Analytics World Berlin, 03.11.2014
Fallstudie Miles & More Uplift-Modelling
Seite 8
Wie messen wir den Erfolg einer Kampagne?
Conversion Rate
Mailing
Control
Uplift
Den Erfolg nicht nur messen, sondern gezielt maximieren!
Mittels Kontrollgruppe lässt sich der Erfolg nur im Nachhinein messen.
Herausforderungen
10. Predictive Analytics World Berlin, 03.11.2014
Fallstudie Miles & More Uplift-Modelling
Seite 9
Wie reagieren unterschiedliche Kundensegmente auf ein Mailing?
Persuadables
Sleeping
Dogs
Sure
Things
Lost
Causes
Ja
Kaufentscheidung
mit Mailing
Kaufentscheidung
ohne Mailing
Nein
Nein
Ja
?
?
11. Predictive Analytics World Berlin, 03.11.2014
Fallstudie Miles & More Uplift-Modelling
Seite 10
Welches Kundensegment eignet sich am besten als Zielgruppe?
KumulierteinkrementelleErlöse
Immovables
Lost Causes
&
Sure Things
Persuadables Sleeping
Dogs
Größe der Zielgruppe0% 100%
Im Segment der „Persuadables“ hat
das Mailing einen positiven Einfluss
auf die Kaufentscheidung,...
…während investiertes
Marketingbudget bei den
„Immovables“ keinen zusätzlichen
Ertrag bringt…
…und sich bei den „Sleeping Dogs“
sogar kontraproduktiv auswirkt!
12. Predictive Analytics World Berlin, 03.11.2014
Fallstudie Miles & More Uplift-Modelling
Seite 11
Warum kein klassisches Response-Modell zur
Zielgruppenselektion?
Kaufwahrscheinlichkeit
mitMailing
Kaufwahrscheinlichkeit
ohne Mailing
0% 100%
100%
Sleeping
Dogs
Persuadables
Lost
Causes
Sure
Things
Selektierte Zielgruppe nach
Response-Score
Daten aus
Testkampagne
Kontroll-
gruppe
Mailing
gruppe
Modell
𝑃 𝑇1
𝑌 𝑋) binäres Response Modell
Response-Modelling
13. Predictive Analytics World Berlin, 03.11.2014
Fallstudie Miles & More Uplift-Modelling
Seite 12
Ein Uplift-Modell prognostiziert direkt den Einfluss eines Mailings
auf das individuelle Kundenverhalten.
Daten aus
Testkampagne
Modell
Uplift-Modelling
Kontroll-
gruppe
Mailing
gruppe
Beim Uplift-Modelling werden
zusätzlich zur Mailingruppe auch die
Daten der Kontrollgruppe bei der
Modellerstellung berücksichtigt.
Für zukünftige Aktionen kann so die
Kundengruppe identifizieren werden,
bei der ein Mailing einen positiven
Effekt auf die Kaufentscheidung hat.
14. Predictive Analytics World Berlin, 03.11.2014
Fallstudie Miles & More Uplift-Modelling
Seite 13
Agenda
Einführung in das Thema Uplift-Modelling2
Kurzer Überblick zu Miles & More und der Miles & More Kreditkarte1
Fazit & Ausblick4
3 Fallstudie zur Lufthansa Miles & More Kreditkarte
Mögliche methodische Modellierungs-Ansätze
Herausforderungen beim von uns gewählten Ansatz
Ergebnisse des Uplift-Modells
15. Predictive Analytics World Berlin, 03.11.2014
Fallstudie Miles & More Uplift-Modelling
Seite 14
𝑃 𝑇1
𝑌 𝑋) − 𝑃 𝑇0
𝑌 𝑋) zwei Modelle für P(Y)
Mögliche methodische Modellierungs-Ansätze
Definitionen
𝑌 ∈ {0,1} Zielvariable
𝑇 ∈ {0,1} Maßnahme
𝑋 ≔ (𝑋1, … , 𝑋 𝑚 ) Erklärende Variablen
𝑓(𝑌, 𝑇) ≔
1, falls 𝑇 = 1 und 𝑌 = 1
1, falls 𝑇 = 0 und 𝑌 = 0
0 sonst
𝑃 𝑌 | 𝑋, 𝑇 = 1 − 𝑃 𝑌 | 𝑋, 𝑇 = 0 ein Modell mit Wechselwirkungen für P(Y)
2 𝑃 𝒇 𝒀, 𝑻 | 𝑋 − 1 ein Modell für 𝑃(𝑓) (Jaskowski, Jaroszewicz, 2012)
UPLIFT =
16. Predictive Analytics World Berlin, 03.11.2014
Fallstudie Miles & More Uplift-Modelling
Seite 15
Mögliche methodische Modellierungs-Ansätze
Modellierung von 𝒇(𝒀, 𝑻)
Vorteile bei Modellierung von 𝒇(𝒀, 𝑻)
Zielvariable 𝑓(𝑌, 𝑇) ist binär und direkt mit dem gesuchten Uplift verknüpft
Klassische Modellierung mit gängigen Verfahren
Variablenauswahl wird vereinfacht
Bei Verwendung der logistischen Regression zur Modellierung von 𝑓 𝑌, 𝑇 ist die
Interpretation der Modellvariablen (Einflussrichtung / Einflussgewicht) möglich
Herausforderungen
Erfüllung der Bedingung 𝑃 𝑇 = 1 = 𝑃(𝑇 = 0) und sogar 𝑃 𝑇 = 1 | 𝑋 = 𝑃 𝑇 = 0 𝑋)
Signifikanztests bei der Auswahl von erklärenden Variablen (WALD-Test)
17. Predictive Analytics World Berlin, 03.11.2014
Fallstudie Miles & More Uplift-Modelling
Seite 16
UPLIFT 𝑋1= Frauen = 2 ∗ 𝑃 𝑓 𝑌, 𝑇 | 𝑋1 − 1 = 2 ∗
6+ 24−5
50
− 1 = 2 ∗ 0,5 − 1 = 𝟎
Herausforderungen beim von uns gewählten Ansatz
Erfüllung der Bedingung 𝑷 𝑻 = 𝟏 | 𝑿 = 𝑷 𝑻 = 𝟎 𝑿)
Was passiert, wenn 𝑃 𝑇 = 1 | 𝑋 = 𝑃 𝑇 = 0 𝑋) NICHT erfüllt ist?
↯
UPLIFT 𝑋1= Frauen = 𝑃 𝑇1
𝑌 𝑋1) − 𝑃𝑇0
𝑌 𝑋1) = 0,23 − 0,21 = 𝟎, 𝟎𝟐
Mailing (T=1)
26 Frauen + 24 Männer
Kein Mailing (T=0)
24 Frauen + 26 Männer
50 Frauen + 50 Männer = 100 Kunden
6 Frauen mit Y=1 5 Frauen mit Y=1
𝑃(𝑌 = 1) = 𝟎, 𝟐𝟑 𝑃(𝑌 = 1) = 𝟎, 𝟐𝟏
UPLIFT = 𝟎 ist offensichtlich falsch (oder nicht genau genug)
18. Predictive Analytics World Berlin, 03.11.2014
Fallstudie Miles & More Uplift-Modelling
Seite 17
UPLIFT 𝑋1= Frauen = 2 ∗ 𝑃 𝑓 𝑌, 𝑇 | 𝑋1 − 1 = 2
𝟔+ 𝟐𝟒∗𝒈−𝟓∗𝒈
𝟐𝟔+𝟐𝟒∗𝒈
− 1 = 2 ∗ 0,51 − 1 = 𝟎, 𝟎𝟐
Herausforderungen beim von uns gewählten Ansatz
Erfüllung der Bedingung
Was tun, damit 𝑃 𝑇 = 1 | 𝑋 = 𝑃 𝑇 = 0 𝑋) erfüllt ist?
↯
UPLIFT 𝑋1= Frauen = 𝑃 𝑇1
𝑌 𝑋1) − 𝑃𝑇0
𝑌 𝑋1) = 0,23 − 0,21 = 𝟎, 𝟎𝟐
26 Frauen 24 Frauen * 𝑔
Gewichtung einer der Gruppen: 𝑔 𝑋1, … , 𝑋 𝑚 =
#(𝑇=1|𝑋1,…,𝑋 𝑚)
#(𝑇=0|𝑋1,…,𝑋 𝑚)
; hier: 𝑔 𝑋1 = Frauen =
26
24
6 Frauen mit Y=1 5 *𝑔 Frauen mit Y=1
𝑃(𝑌 = 1) = 𝟎, 𝟐𝟑 𝑃(𝑌 = 1) = 𝟎, 𝟐𝟏
UPLIFT = 𝟎,02
19. Predictive Analytics World Berlin, 03.11.2014
Fallstudie Miles & More Uplift-Modelling
Seite 18
ΔUPLIFT = UPLIFT(Mann) − UPLIFT(Frau) =
= 2 ∗ 𝑃 𝑓|Mann − 1 − 2 ∗ 𝑃 𝑓|Frau − 1 = 2 ∗ Δ𝑃 𝑓
Herausforderungen beim von uns gewählten Ansatz
Variablensuche – statistische Absicherung
ΔUPLIFT=0,06
Δ𝑃 𝑓 =
ΔUPLIFT
2
Mögliche Folge: kein signifikanter Einfluss der erklärenden Variable auf 𝑃(𝑓)
Lösung
Erhöhung der Anzahl von Beobachtungen (z.B. durch Gewichtung)
Manuelle Auswahl der Prädiktoren mithilfe von univariaten Analysen
Δ𝑃 𝑓 =0,03
0,50
Mann
Frau
0,54
0,51
𝑷 𝒇
Mann
Frau
0,02
0,00
0,08
UPLIFT
20. Predictive Analytics World Berlin, 03.11.2014
Fallstudie Miles & More Uplift-Modelling
Seite 19
Ergebnisse des Uplift-Modells
Hinführung - Relativer UPLIFT
Mann
Frau
0,02
0,08
UPLIFT
0,05 (Ø)
1 (Basis)
Relativer UPLIFT
1,6
0,4
Der relative UPLIFT ermöglicht eine bessere Vergleichbarkeit zwischen verschiedenen Kampagnen
21. Predictive Analytics World Berlin, 03.11.2014
Fallstudie Miles & More Uplift-Modelling
Seite 20
Ergebnisse des Uplift-Modells
Hinführung - Gruppierung der Prognosewerte
Kunde UPLIFT-Prognose Gruppe
ID1 2.6
ID2 2.4
⁞ ⁞
ID09 1.2
ID10 1.1
⁞ ⁞ ⁞
ID90 0.2
⁞ ⁞
ID100 0.1
10%
10%
Eine Gruppierung der Kunden nach Prognosewerten ermöglicht eine Validierung des Modells
Gruppenmittelwert der UPLIFT-Prognose vs. tatsächlich gemessener Gruppen-UPLIFT
22. Predictive Analytics World Berlin, 03.11.2014
Fallstudie Miles & More Uplift-Modelling
Seite 21
Ergebnisse des Uplift-Modells
Validierung mit der Entwicklungsstichprobe (Q1 2013)
23. Predictive Analytics World Berlin, 03.11.2014
Fallstudie Miles & More Uplift-Modelling
Seite 22
Tatsächlicher Uplift (relativ)
Ergebnisse des Uplift-Modells
Validierung Out-Of-Time (Q2 2013)
24. Predictive Analytics World Berlin, 03.11.2014
Fallstudie Miles & More Uplift-Modelling
Seite 23
Ergebnisse des Uplift-Modells
Validierung Out-Of-Time (Q2 2013)
Tatsächlicher Uplift (relativ)
25. Predictive Analytics World Berlin, 03.11.2014
Fallstudie Miles & More Uplift-Modelling
Seite 24
Ergebnisse des Uplift-Modells
Validierung Out-Of-Time (Q2 2013)
26. Predictive Analytics World Berlin, 03.11.2014
Fallstudie Miles & More Uplift-Modelling
Seite 25
Ergebnisse des Uplift-Modells
Validierung Out-Of-Time (Q2 2013)
27. Predictive Analytics World Berlin, 03.11.2014
Fallstudie Miles & More Uplift-Modelling
Seite 26
Agenda
Einführung in das Thema Uplift Modeling2
Kurzer Überblick zu Miles & More und der Miles & More Kreditkarte1
Fazit & Ausblick4
3 Fallstudie zur Lufthansa Miles & More Kreditkarte
Mögliche methodische Modellierungs-Ansätze
Herausforderungen beim von uns gewählten Ansatz
Ergebnisse des Uplift-Modells
28. Predictive Analytics World Berlin, 03.11.2014
Fallstudie Miles & More Uplift-Modelling
Seite 27
Rekalibrierung / Neuentwicklung des Modells aufgrund veränderter
Rahmenbedingungen (Relaunch des Kreditkarten-Portfolios).
Stärkerer Fokus auf die Auswahl erklärender Variablen (Feature Engineering /
Feature Selection)
Erweiterung des Modells zur Prognose von optimalem Produktangebot (White,
Blue, Gold) und Kommunikationskanal (E-Mail, Post).
Test mehrerer Modelle (alternativer Verfahren zur logistischen Regression).
Fazit & Ausblick
29. Predictive Analytics World Berlin, 03.11.2014
Fallstudie Miles & More Uplift-Modelling
Seite 28
Noch Fragen?
Neuentwicklung wegen Änderung der Rahmenbedingungen
Mehr Fokus auf die Suche nach erklärenden Variablen
30. Predictive Analytics World Berlin, 03.11.2014
Fallstudie Miles & More Uplift-Modelling
Seite 29
Radcliffe, N.: Generating Incremental Sales - Maximizing the incremental
impact of cross-selling. Stochastic Solutions Limited, 2007
Siegel, E.: Predictive Analytics – The power to predict who will click, lie, buy or
die. Wiley, 2013 (Ch. 7)
Jaskowski, M. and Jaroszewicz, S.: Uplift modeling for clinical trial data. ICML
2012 Workshop on Clinical Data Analysis, Edinburgh, Scotland, UK, 2012.
Literatur / Quellen