O slideshow foi denunciado.
Utilizamos seu perfil e dados de atividades no LinkedIn para personalizar e exibir anúncios mais relevantes. Altere suas preferências de anúncios quando desejar.
User’s Sequential Behavior Modeling
How we used in Cathay Financial Holdings
Speaker: Ta-Chun Su
Agenda
01 The importance of Sequential Behavior Information
✦ Behavior
✦ Sequence
02 NLP: World of word embedding
04 Case-...
Agenda
02 NLP: World of word embedding
04 Case- CIP
✦ Advanced Preprocessing- How we define “word”
✦ Modeling
✦ Preprocessi...
什麼是⾏為序列
Timeline
2018-10-30 20:38
在 MOMO 消費 195 元
2019-08-07 17:45
進線客服: 信⽤卡異常
2019-08-07 08:41
在 Uber 消費 185 元
2019-08-07...
跨集團產品推薦 數位資料
客服進線
風險預警
電商
物流
什麼場景需要⾏為序列
…
…
模型訓練⽅式
男 20 是 … 2 0 1 … 1 … 熱拿鐵
男 21 否 … 4 2 1 … 1 … 茶葉蛋
女 22 是 … 0 1 1 … 1 … 茶葉蛋
女 35 是 … 1 1 0 … 0 … 85度c
性別 年紀
商品的歷史兌換次...
歷史訊息彙總類變數
1. 易造成維度過⾼問題
2. 看不出: ⾏為(商品)之間的關聯性
3. 看不出: ⽤⼾⾏為序列間的關聯性
1-of-N Encoding問題
⾏為之間的關聯性
Timeline
⼩韓
⼩芬
⾏為之間的關聯性
Timeline
⼩韓
⼩芬
2019-08-07 18:31
⾏為之間的關聯性
Timeline
⼩韓
⼩芬
2019-08-07 19:022019-08-07 18:31
⾏為之間的關聯性
Timeline
⼩韓
⼩芬
2019-08-07 22:012019-08-07 19:022019-08-07 18:31
⾏為之間的關聯性
Timeline
⼩韓
⼩芬
2019-08-07 22:012019-08-07 19:022019-08-07 18:31
2019-08-07 17:41
⾏為之間的關聯性
Timeline
⼩韓
⼩芬
2019-08-07 22:012019-08-07 19:022019-08-07 18:31
2019-08-07 18:532019-08-07 17:41
⾏為之間的關聯性
Timeline
⼩韓
⼩芬
2019-08-07 22:012019-08-07 19:022019-08-07 18:31
2019-08-07 18:53 2019-08-07 21:552019-08-07 17:41
⾏為之間的關聯性
Timeline
⼩韓
⼩芬
2019-08-07 22:012019-08-07 19:022019-08-07 18:31
2019-08-07 18:53 2019-08-07 21:552019-08-07 17:41
⼩韓
⾏為序列間的關聯性: 以⾏動⽀付為例
1/29 1/311/301/30
收到轉帳款項
收到轉帳款項修改帳⼾資訊更改⽤⼾⼤頭貼 轉出款項
Timeline
⼩呱
⼩韓
⾏為序列間的關聯性: 以⾏動⽀付為例
1/29 1/311/301/30
收到轉帳款項
收到轉帳款項修改帳⼾資訊更改⽤⼾⼤頭貼 轉出款項
Timeline
⼩呱
⾏為序列很重要
⾏為序列很重要
如何萃取⾏為意義
Agenda
01 The importance of Sequential Information
✦ Behavior
✦ Sequence
02 NLP: World of word embedding
04 Case- CIP
✦ Ad...
[1, 0, 0, 0, 0, 0, 0, …, 0]
[0, 1, 0, 0, 0, 0, 0, …, 0]
[0, 0, 1, 0, 0, 0, 0, …, 0]
[0, 0, 0, 1, 0, 0, 0, …, 0]
[0, 0, 0, ...
[1, 0, 0, 0, 0, 0, 0, …, 0]
[0, 1, 0, 0, 0, 0, 0, …, 0]
[0, 0, 1, 0, 0, 0, 0, …, 0]
[0, 0, 0, 1, 0, 0, 0, …, 0]
[0, 0, 0, ...
Hottest Pre-trained
Embedding Method
BERT ELMO
XLNETMT − DNN
Word2Vec
ERNIE
Hottest Pre-trained
Embedding Method
BERT ELMO
XLNETMT − DNN
Word2Vec
ERNIE
Word2Vec
Word2Vec
Word2Vec
Pre-trained
Word Embedding
1. Word Vector
+ Visualization
2. Modeling
Convolutional Neural Networks for Sentence Classification
Word embedding 應⽤
1. Word Vector
+ Visualization
2. Modeling
Convolutional Neural Networks for Sentence Classification
Word embedding 應⽤
Agenda
01 The importance of Sequential Information
✦ Behavior
✦ Sequence
02 NLP: World of word embedding
04 Case- CIP
✦ Ad...
⼀篇⽂章
韓國 氣象廳 表⽰ , 康芮
在 沖繩 東南⽅ 1080 公⾥
附近 海上 , 以 時速 20
公⾥ 的 速度 , 往 ⻄北
偏⻄ ⽅向 移動
⼀連串的序列⾏為
點擊商品茶葉蛋
點擊商品紅茶拿鐵
我要兌換紅茶拿鐵
我要送禮紅茶拿鐵
19
韓國 氣象廳 表⽰ , 康芮
在 沖繩 東南⽅ 1080 公⾥
附近 海上 , 以 時速 20
公⾥ 的 速度 , 往 ⻄北
偏⻄ ⽅向 移動
點擊商品茶葉蛋
點擊商品紅茶拿鐵
我要兌換紅茶拿鐵
我要送禮紅茶拿鐵
⼀篇⽂章 ⼀連串的序列⾏為
19
韓國 氣象廳 表⽰ , 康芮
在 沖繩 東南⽅ 1080 公⾥
附近 海上 , 以 時速 20
公⾥ 的 速度 , 往 ⻄北
偏⻄ ⽅向 移動
點擊商品茶葉蛋
點擊商品紅茶拿鐵
我要兌換紅茶拿鐵
我要送禮紅茶拿鐵
透過前後⽂,
描述詞語間...
19
韓國 氣象廳 表⽰ , 康芮
在 沖繩 東南⽅ 1080 公⾥
附近 海上 , 以 時速 20
公⾥ 的 速度 , 往 ⻄北
偏⻄ ⽅向 移動
點擊商品茶葉蛋
點擊商品紅茶拿鐵
我要兌換紅茶拿鐵
我要送禮紅茶拿鐵
透過前後⽂,
描述詞語間...
如何⽤在推薦系統
如何⽤在推薦系統
⾸先要知道怎麼把⾏為定義成⽂字
紅茶
紅茶 茶葉蛋
紅茶
85度c
50元飲料任選
85度c
50元飲料任選
熱拿鐵
熱拿鐵
Haagen-dazs
迷我杯
原燒套餐券
茶葉蛋熱拿鐵
養樂多
紅茶
熱拿鐵
定義⽂本
Timeline
Corpus
紅茶
紅茶 茶葉蛋
紅茶
85度c
50元飲料任選
85度c
50元飲料任選
熱拿鐵
熱拿鐵
Haagen-dazs
迷我杯
原燒套餐券
茶葉蛋熱拿鐵
養樂多
紅茶
熱拿鐵
Item Sequences
定義⽂本
Corpus
Visualization
MR2V
Dimensions
(4 dim)
Item
Vectors
[ [
[ [
[ [
[ [
全國電⼦
森森百貨
頂好超市
燦坤3c
中杯拿鐵
⼤杯紅茶拿鐵
冰淇淋單球
⿊咖啡
摩絲漢堡
台灣⾃來⽔⽔費
...
Agenda
01 The importance of Sequential Information
✦ Behavior
✦ Sequence
02 NLP: World of word embedding
04 Case- CIP
✦ Ad...
Problem of Word2vec
Apple
The Rock
Same meaning in different context
Contexualized Word Embeddings
Hey ELMo, What’s the embedding
of the word “apple”?
Okay. I mean: “I have an apple”
There ar...
Agenda
01 The importance of Sequential Information
✦ Behavior
✦ Sequence
02 NLP: World of word embedding
04 Case- CIP
✦ Ad...
預測目的
幫助客服專員解決服務的三個痛點
客戶問題描述不清
繁雜問題常進線客服
客戶進線缺乏耐心
客戶不熟銀行業務易誤用詞彙
應對複雜的熱門商品
93% 進線客服為信用卡業務
客戶最為關心信用卡帳務
通話服務及時間壓力
法規: 80 % 進線須...
2018-10-30 20:38
在 MOMO 消費 195 元
2019-08-07 17:45
進線客服: 信⽤卡異常
2019-08-07 08:41
在 新光三越 消費 104 元
2019-08-07 16:39
在星巴克信義店消費授...
⾦控客⼾歷程
Reactive ETL
響應式資料處理流服務
ML Serving
將機器學習流程拆成微服務
HIPPO Manager
部署、控制與監控服務
Data Serving
即時傳達智能資料
訊息與資料交換的 Mailbox
2018-06-22 13:57:12
在信義分⾏開立台幣存款帳⼾
2018-06-11 20:38:07
在 ATM 從台幣存款帳
⼾提款 3,000 元
2018-06-13 15:19:28
透過業務⼈員詢問防癌保險的投保資訊
2018-...
如何⽤在客服進線
⾸先要知道怎麼把⾏為定義成⽂字
千千萬萬種⾏為
2018-10-30 20:38
在 MOMO 消費 195 元
2019-08-07 17:45
進線客服: 信⽤卡異常
2019-08-07 08:41
在 Uber 消費 185 元
2019-08-07 16:39
在星...
Initialized Word Embedding
Dimemb
Word Vector
0.12 0.32 0.67 0.71 0.54 0.23
0.11 0.67 0.91 0.25 0.12
0.42 0.54 0.44 0.11 0...
如果有N筆⾏為,N筆⽂字向量是好的嗎
Case1
Dimemb
Word Vector
0.12 0.32 0.67 0.71 0.54 0.23
0.11 0.67 0.91 0.25 0.12
0.42 0.54 0.44 0.11 0.87 0.24 0.32
0.34 0....
Case1
Dimemb
Word Vector
0.12 0.32 0.67 0.71 0.54 0.23
0.11 0.67 0.91 0.25 0.12
0.42 0.54 0.44 0.11 0.87 0.24 0.32
0.34 0....
Case2
Dimemb
Word Vector
0.12 0.32 0.67 0.71 0.54 0.23
0.11 0.67 0.91 0.25 0.12
0.42 0.54 0.44 0.11 0.87 0.24 0.32
0.34 0....
怎麼把⾏為定義成好的⽂字
如何定義⽂字
在 MOMO 消費 195 元
在 Uber 消費 185 元
在星巴克信義店授權失敗
在新光三越消費 184 元
在好市多消費 2145 元
在 MOMO 消費 299 元
在新光三越消費 499元
官網瀏覽長榮機票
在全家繳信...
如何定義⽂字
在 MOMO 消費 195 元
在 Uber 消費 185 元
在星巴克信義店授權失敗
在新光三越消費 184 元
在好市多消費 2145 元
在 MOMO 消費 299 元
在新光三越消費 499元
官網瀏覽長榮機票
在全家繳信...
如何定義⽂字
在 MOMO 消費 195 元
在 Uber 消費 185 元
在星巴克信義店授權失敗
在新光三越消費 184 元
在好市多消費 2145 元
在 MOMO 消費 299 元
在新光三越消費 499元
官網瀏覽長榮機票
在全家繳信...
如何定義⽂字
信⽤卡刷卡
信⽤卡刷卡
信⽤卡刷卡
信⽤卡刷卡
信⽤卡刷卡
信⽤卡刷卡
信⽤卡刷卡
官網瀏覽
信⽤卡帳單
顆粒度重整-3
在 MOMO 消費 195 元
在 Uber 消費 185 元
在星巴克信義店授權失敗
在新光三越消費 18...
授權
授權是否成功
授權回應敘述
拒絕原因敘述
是否沖正
原始幣別
店家所在國家
折台幣⾦額
授權型態
是否實體卡片⽀付
信⽤卡正附卡
卡種, 卡等
帳單
上期是否繳清
是否⾃動扣繳
本期應繳總額
最低應繳⾦額
預借現⾦
循環利息
繳款
繳款通...
授權
授權結果
拒絕原因
原始幣別
店家的國家
折台幣⾦額
⼿機⽀付
實體卡片
卡種
卡等
event
twd_amt_
flag
txn_au_re
sp_desc
txn_decli
ne_desc
txn_curre
ncy_code
me...
User Behavior Table
A95276897788609
A95276897788609
A95276897788609
A95276897788609
A95276897788609
A95276897788609
Recalibrated Behavior Vector
Dimemb
Word Vector
0.12 0.32 0.71 0.54 0.23
0.11 0.91 0.12
0.42 0.44 0.24 0.32
0.34 0.22 0.54...
1. Word Vector
+ Visualization
2. Modeling
Convolutional Neural Networks for Sentence Classification
Word embedding 應⽤
1. Word Vector
+ Visualization
2. Modeling
Convolutional Neural Networks for Sentence Classification
Word embedding 應⽤
Agenda
01 The importance of Sequential Information
✦ Behavior
✦ Sequence
02 NLP: World of word embedding
04 Case- CIP
✦ Ad...
2019/10/01
01 02 03 04 01 02 03 04 05 06 07 08 09
Day
Hour
⽤KOKO COMBO卡在PCHOME消費18650元
2018/10/01 02:03 - 信⽤卡交易
⾦融
⾏為
⽤Cos...
模型輸入
x1 x2 xn
2019-08-07 17:45
進線客服: 信⽤卡異常
2019-08-07 08:41
在 Uber 消費3位數
2019-08-07 16:39
在星巴克信義店消費
授權失敗
2018-10-12 15:19
...
Attention Model
Fig. from HuggingFace DeepMoji model
進線問題 *24
xAgg x1 x2 x3 xN…
Attention Model
Fig. from HuggingFace DeepMoji model
進線問題 *24
xAgg x1 x2 x3 xN…
Attention Score
a1 = 0.7 a2 = 0.2 a3 = 0.1
信⽤卡授權, 授權結果
拒絕原因, 原始幣別
店家的國家, 折台幣⾦額
⼿機⽀付, 實體卡片
卡種,卡等
信⽤卡帳單, 應繳總額,
最低應繳⾦額, 上期是否繳...
Attention Score
a1 = 0.7 a2 = 0.2 a3 = 0.1
信⽤卡授權, 授權結果
拒絕原因, 原始幣別
店家的國家, 折台幣⾦額
⼿機⽀付, 實體卡片
卡種,卡等
信⽤卡帳單, 應繳總額,
最低應繳⾦額, 上期是否繳...
模型成效
AUC
模型成效
AUC
In Progress
Self Attention
Fig. from Jay Alammar
Streaming Framework
Applications
…
Anything related to Sequence
ALPHA Chatbot MyRewards Recommender System Fraud Detection
結論
Sequential behavior is all you need
User's sequential behavior-逢甲資料科學大講堂
Próximos SlideShares
Carregando em…5
×

User's sequential behavior-逢甲資料科學大講堂

We reshaped user's behavior into a word, transformed past sequential behavior into a sentence, and applied Natural Language Processing(NLP) model. Results showed that the application of NLP on user's sequntial behavior was successful.

  • Seja o primeiro a comentar

User's sequential behavior-逢甲資料科學大講堂

  1. 1. User’s Sequential Behavior Modeling How we used in Cathay Financial Holdings Speaker: Ta-Chun Su
  2. 2. Agenda 01 The importance of Sequential Behavior Information ✦ Behavior ✦ Sequence 02 NLP: World of word embedding 04 Case- CIP ✦ Advanced Preprocessing- How we define “word” ✦ Modeling ✦ Preprocessing- How we define “word” 03 Case- MyRewards ✦ Embedding- Better representations of a word ✦ Application- 1. Visualization 2. Modeling ✦ Problem
  3. 3. Agenda 02 NLP: World of word embedding 04 Case- CIP ✦ Advanced Preprocessing- How we define “word” ✦ Modeling ✦ Preprocessing- How we define “word” 03 Case- MyRewards ✦ Embedding- Better representations of a word 01 The importance of Sequential Behavior Information ✦ Application- 1. Visualization 2. Modeling ✦ Behavior ✦ Sequence ✦ Problem
  4. 4. 什麼是⾏為序列 Timeline 2018-10-30 20:38 在 MOMO 消費 195 元 2019-08-07 17:45 進線客服: 信⽤卡異常 2019-08-07 08:41 在 Uber 消費 185 元 2019-08-07 16:39 在星巴克信義店消費 授權失敗 2018-04-30 12:11 客訴網路當機 2018-01-23 15:11 官網購買長榮機票 2017-9-23 01:42 官網點擊長榮機票 2017-9-25 17:24 官網點擊長榮機票
  5. 5. 跨集團產品推薦 數位資料 客服進線 風險預警 電商 物流 什麼場景需要⾏為序列 … …
  6. 6. 模型訓練⽅式 男 20 是 … 2 0 1 … 1 … 熱拿鐵 男 21 否 … 4 2 1 … 1 … 茶葉蛋 女 22 是 … 0 1 1 … 1 … 茶葉蛋 女 35 是 … 1 1 0 … 0 … 85度c 性別 年紀 商品的歷史兌換次數 (one-hot encoding) Y… 茶葉蛋熱拿鐵 冰拿鐵養樂多 過去N天 是否兌換
  7. 7. 歷史訊息彙總類變數 1. 易造成維度過⾼問題 2. 看不出: ⾏為(商品)之間的關聯性 3. 看不出: ⽤⼾⾏為序列間的關聯性 1-of-N Encoding問題
  8. 8. ⾏為之間的關聯性 Timeline ⼩韓 ⼩芬
  9. 9. ⾏為之間的關聯性 Timeline ⼩韓 ⼩芬 2019-08-07 18:31
  10. 10. ⾏為之間的關聯性 Timeline ⼩韓 ⼩芬 2019-08-07 19:022019-08-07 18:31
  11. 11. ⾏為之間的關聯性 Timeline ⼩韓 ⼩芬 2019-08-07 22:012019-08-07 19:022019-08-07 18:31
  12. 12. ⾏為之間的關聯性 Timeline ⼩韓 ⼩芬 2019-08-07 22:012019-08-07 19:022019-08-07 18:31 2019-08-07 17:41
  13. 13. ⾏為之間的關聯性 Timeline ⼩韓 ⼩芬 2019-08-07 22:012019-08-07 19:022019-08-07 18:31 2019-08-07 18:532019-08-07 17:41
  14. 14. ⾏為之間的關聯性 Timeline ⼩韓 ⼩芬 2019-08-07 22:012019-08-07 19:022019-08-07 18:31 2019-08-07 18:53 2019-08-07 21:552019-08-07 17:41
  15. 15. ⾏為之間的關聯性 Timeline ⼩韓 ⼩芬 2019-08-07 22:012019-08-07 19:022019-08-07 18:31 2019-08-07 18:53 2019-08-07 21:552019-08-07 17:41
  16. 16. ⼩韓 ⾏為序列間的關聯性: 以⾏動⽀付為例 1/29 1/311/301/30 收到轉帳款項 收到轉帳款項修改帳⼾資訊更改⽤⼾⼤頭貼 轉出款項 Timeline ⼩呱
  17. 17. ⼩韓 ⾏為序列間的關聯性: 以⾏動⽀付為例 1/29 1/311/301/30 收到轉帳款項 收到轉帳款項修改帳⼾資訊更改⽤⼾⼤頭貼 轉出款項 Timeline ⼩呱
  18. 18. ⾏為序列很重要
  19. 19. ⾏為序列很重要 如何萃取⾏為意義
  20. 20. Agenda 01 The importance of Sequential Information ✦ Behavior ✦ Sequence 02 NLP: World of word embedding 04 Case- CIP ✦ Advanced Preprocessing- How we define “word” ✦ Modeling ✦ Preprocessing- How we define “word” 03 Case- MyRewards ✦ Embedding- Better representations of a word ✦ Application- 1. Visualization 2. Modeling ✦ Problem
  21. 21. [1, 0, 0, 0, 0, 0, 0, …, 0] [0, 1, 0, 0, 0, 0, 0, …, 0] [0, 0, 1, 0, 0, 0, 0, …, 0] [0, 0, 0, 1, 0, 0, 0, …, 0] [0, 0, 0, 0, 1, 0, 0, …, 0] catapple wordv 過去:定義⽂字向量
  22. 22. [1, 0, 0, 0, 0, 0, 0, …, 0] [0, 1, 0, 0, 0, 0, 0, …, 0] [0, 0, 1, 0, 0, 0, 0, …, 0] [0, 0, 0, 1, 0, 0, 0, …, 0] [0, 0, 0, 0, 1, 0, 0, …, 0] catapple wordv 過去:定義⽂字向量 現在:Word Embedding
  23. 23. Hottest Pre-trained Embedding Method BERT ELMO XLNETMT − DNN Word2Vec ERNIE
  24. 24. Hottest Pre-trained Embedding Method BERT ELMO XLNETMT − DNN Word2Vec ERNIE
  25. 25. Word2Vec
  26. 26. Word2Vec
  27. 27. Word2Vec
  28. 28. Pre-trained Word Embedding
  29. 29. 1. Word Vector + Visualization 2. Modeling Convolutional Neural Networks for Sentence Classification Word embedding 應⽤
  30. 30. 1. Word Vector + Visualization 2. Modeling Convolutional Neural Networks for Sentence Classification Word embedding 應⽤
  31. 31. Agenda 01 The importance of Sequential Information ✦ Behavior ✦ Sequence 02 NLP: World of word embedding 04 Case- CIP ✦ Advanced Preprocessing- How we define “word” ✦ Modeling ✦ Preprocessing- How we define “word” ✦ Problem 03 Case- MyRewards ✦ Embedding- Better representations of a word ✦ Application- 1. Visualization 2. Modeling
  32. 32. ⼀篇⽂章 韓國 氣象廳 表⽰ , 康芮 在 沖繩 東南⽅ 1080 公⾥ 附近 海上 , 以 時速 20 公⾥ 的 速度 , 往 ⻄北 偏⻄ ⽅向 移動 ⼀連串的序列⾏為 點擊商品茶葉蛋 點擊商品紅茶拿鐵 我要兌換紅茶拿鐵 我要送禮紅茶拿鐵
  33. 33. 19 韓國 氣象廳 表⽰ , 康芮 在 沖繩 東南⽅ 1080 公⾥ 附近 海上 , 以 時速 20 公⾥ 的 速度 , 往 ⻄北 偏⻄ ⽅向 移動 點擊商品茶葉蛋 點擊商品紅茶拿鐵 我要兌換紅茶拿鐵 我要送禮紅茶拿鐵 ⼀篇⽂章 ⼀連串的序列⾏為
  34. 34. 19 韓國 氣象廳 表⽰ , 康芮 在 沖繩 東南⽅ 1080 公⾥ 附近 海上 , 以 時速 20 公⾥ 的 速度 , 往 ⻄北 偏⻄ ⽅向 移動 點擊商品茶葉蛋 點擊商品紅茶拿鐵 我要兌換紅茶拿鐵 我要送禮紅茶拿鐵 透過前後⽂, 描述詞語間的關聯性: Word Embedding ⼀篇⽂章 ⼀連串的序列⾏為
  35. 35. 19 韓國 氣象廳 表⽰ , 康芮 在 沖繩 東南⽅ 1080 公⾥ 附近 海上 , 以 時速 20 公⾥ 的 速度 , 往 ⻄北 偏⻄ ⽅向 移動 點擊商品茶葉蛋 點擊商品紅茶拿鐵 我要兌換紅茶拿鐵 我要送禮紅茶拿鐵 透過前後⽂, 描述詞語間的關聯性: Word Embedding 透過前後⾏為, 描述⾏為間的關聯性: Behavior Embedding ⼀篇⽂章 ⼀連串的序列⾏為
  36. 36. 如何⽤在推薦系統
  37. 37. 如何⽤在推薦系統 ⾸先要知道怎麼把⾏為定義成⽂字
  38. 38. 紅茶 紅茶 茶葉蛋 紅茶 85度c 50元飲料任選 85度c 50元飲料任選 熱拿鐵 熱拿鐵 Haagen-dazs 迷我杯 原燒套餐券 茶葉蛋熱拿鐵 養樂多 紅茶 熱拿鐵 定義⽂本 Timeline Corpus
  39. 39. 紅茶 紅茶 茶葉蛋 紅茶 85度c 50元飲料任選 85度c 50元飲料任選 熱拿鐵 熱拿鐵 Haagen-dazs 迷我杯 原燒套餐券 茶葉蛋熱拿鐵 養樂多 紅茶 熱拿鐵 Item Sequences 定義⽂本 Corpus
  40. 40. Visualization MR2V Dimensions (4 dim) Item Vectors [ [ [ [ [ [ [ [ 全國電⼦ 森森百貨 頂好超市 燦坤3c 中杯拿鐵 ⼤杯紅茶拿鐵 冰淇淋單球 ⿊咖啡 摩絲漢堡 台灣⾃來⽔⽔費 北市⾃來⽔⽔費 中華電信 台灣⼤哥⼤ 漢神巨蛋 中友百貨 Corpus Item embedding
  41. 41. Agenda 01 The importance of Sequential Information ✦ Behavior ✦ Sequence 02 NLP: World of word embedding 04 Case- CIP ✦ Advanced Preprocessing- How we define “word” ✦ Modeling ✦ Preprocessing- How we define “word” ✦ Problem 03 Case- MyRewards ✦ Embedding- Better representations of a word ✦ Application- 1. Visualization 2. Modeling
  42. 42. Problem of Word2vec Apple The Rock Same meaning in different context
  43. 43. Contexualized Word Embeddings Hey ELMo, What’s the embedding of the word “apple”? Okay. I mean: “I have an apple” There are multiple possible embeddings! Use it in a sentence. Chatbot
  44. 44. Agenda 01 The importance of Sequential Information ✦ Behavior ✦ Sequence 02 NLP: World of word embedding 04 Case- CIP ✦ Advanced Preprocessing- How we define “word” ✦ Modeling ✦ Preprocessing- How we define “word” 03 Case- MyRewards ✦ Embedding- Better representations of a word ✦ Application- 1. Visualization 2. Modeling ✦ Problem
  45. 45. 預測目的 幫助客服專員解決服務的三個痛點 客戶問題描述不清 繁雜問題常進線客服 客戶進線缺乏耐心 客戶不熟銀行業務易誤用詞彙 應對複雜的熱門商品 93% 進線客服為信用卡業務 客戶最為關心信用卡帳務 通話服務及時間壓力 法規: 80 % 進線須於 30 秒內接起 時常要安撫客戶情緒 員工流動率高、培訓成本增
  46. 46. 2018-10-30 20:38 在 MOMO 消費 195 元 2019-08-07 17:45 進線客服: 信⽤卡異常 2019-08-07 08:41 在 新光三越 消費 104 元 2019-08-07 16:39 在星巴克信義店消費授權失敗 2018-10-18 20:38 進線客服申請信⽤卡掛失 2018-10-12 15:19 信⽤卡開卡 2018-10-01 18:41 在好市多消費 2145 元 2018-10-02 09:23 在新光三越消費 184 元 假設:有因有果
  47. 47. ⾦控客⼾歷程
  48. 48. Reactive ETL 響應式資料處理流服務 ML Serving 將機器學習流程拆成微服務 HIPPO Manager 部署、控制與監控服務 Data Serving 即時傳達智能資料 訊息與資料交換的 Mailbox
  49. 49. 2018-06-22 13:57:12 在信義分⾏開立台幣存款帳⼾ 2018-06-11 20:38:07 在 ATM 從台幣存款帳 ⼾提款 3,000 元 2018-06-13 15:19:28 透過業務⼈員詢問防癌保險的投保資訊 2018-06-05 09:23:58 進線客服中⼼申請信⽤卡掛失 2018-06-18 10:38:40 ⽤樹精靈買進國泰⾦股票 55,100 元 建立以客⼾為中⼼的 歷程資料
  50. 50. 如何⽤在客服進線 ⾸先要知道怎麼把⾏為定義成⽂字
  51. 51. 千千萬萬種⾏為 2018-10-30 20:38 在 MOMO 消費 195 元 2019-08-07 17:45 進線客服: 信⽤卡異常 2019-08-07 08:41 在 Uber 消費 185 元 2019-08-07 16:39 在星巴克信義店消費 授權失敗 2018-10-18 20:38 在新光三越消費 184 元 2018-10-12 15:19 KOKO信⽤卡開卡 2018-10-01 18:41 在好市多消費 2145 元 2018-10-02 09:23 信義分⾏ATM提款777元 … 2018-04-30 12:11 台幣存款99元 2018-01-23 15:11 在新光三越消費499元 2017-9-23 01:42 官網瀏覽長榮機票 2017-9-25 17:24 在全家繳信⽤卡帳單200元 Timeline
  52. 52. Initialized Word Embedding Dimemb Word Vector 0.12 0.32 0.67 0.71 0.54 0.23 0.11 0.67 0.91 0.25 0.12 0.42 0.54 0.44 0.11 0.87 0.24 0.32 0.34 0.22 0.35 0.54 0.11 0.56 0.11 0.58 0.23 -0.12 0.91 0.22 0.24 0.34 0.34 0.39 0.31 0.69 0.67 0.56 0.56 0.55 0.91 … 0.23 0.54 0.93 0.23 0.56 0.67 0.51 0.22 0.68 0.67 0.77 0.91 0.34 在 MOMO 消費 195 元 在 Uber 消費 185 元 在星巴克信義店授權失敗 在新光三越消費 184 元 在好市多消費 2145 元 … 在 MOMO 消費 299 元 在新光三越消費 499元 官網瀏覽長榮機票 在全家繳信⽤卡帳單200元 [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ 1010 × Dimemb /per month
  53. 53. 如果有N筆⾏為,N筆⽂字向量是好的嗎
  54. 54. Case1 Dimemb Word Vector 0.12 0.32 0.67 0.71 0.54 0.23 0.11 0.67 0.91 0.25 0.12 0.42 0.54 0.44 0.11 0.87 0.24 0.32 0.34 0.22 0.35 0.54 0.11 0.56 0.11 0.58 0.23 -0.12 0.91 0.22 0.24 0.34 0.34 0.39 0.31 0.69 0.67 0.56 0.56 0.55 0.91 … 0.23 0.54 0.93 0.23 0.56 0.67 0.51 0.22 0.68 0.67 0.77 0.91 0.34 在 MOMO 消費 195 元 在 Uber 消費 185 元 在星巴克信義店授權失敗 在新光三越消費 184 元 在好市多消費 2145 元 … 在 MOMO 消費 299 元 在新光三越消費 499元 官網瀏覽長榮機票 在全家繳信⽤卡帳單200元 [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [
  55. 55. Case1 Dimemb Word Vector 0.12 0.32 0.67 0.71 0.54 0.23 0.11 0.67 0.91 0.25 0.12 0.42 0.54 0.44 0.11 0.87 0.24 0.32 0.34 0.22 0.35 0.54 0.11 0.56 0.11 0.58 0.23 -0.12 0.91 0.22 0.24 0.34 0.34 0.39 0.31 0.69 0.67 0.56 0.56 0.55 0.91 … 0.23 0.54 0.93 0.23 0.56 0.67 0.51 0.22 0.68 0.67 0.77 0.91 0.34 在 MOMO 消費 195 元 在 Uber 消費 185 元 在星巴克信義店授權失敗 在新光三越消費 184 元 在好市多消費 2145 元 … 在 MOMO 消費 299 元 在新光三越消費 499元 官網瀏覽長榮機票 在全家繳信⽤卡帳單200元 [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [
  56. 56. Case2 Dimemb Word Vector 0.12 0.32 0.67 0.71 0.54 0.23 0.11 0.67 0.91 0.25 0.12 0.42 0.54 0.44 0.11 0.87 0.24 0.32 0.34 0.22 0.35 0.54 0.11 0.56 0.11 0.58 0.23 -0.12 0.91 0.22 0.24 0.34 0.34 0.39 0.31 0.69 0.67 0.56 0.56 0.55 0.91 … 0.23 0.54 0.93 0.23 0.56 0.67 0.51 0.22 0.68 0.67 0.77 0.91 0.34 台灣銀⾏提款199 元 國泰世華銀⾏提款199元 富邦銀⾏提款199元 ⽟⼭銀⾏提款199元 … ⼟地銀⾏提款199 元 台新銀⾏提款199元 華南銀⾏提款199 元 花旗銀⾏提款199 元 [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ 王道銀⾏提款199元
  57. 57. 怎麼把⾏為定義成好的⽂字
  58. 58. 如何定義⽂字 在 MOMO 消費 195 元 在 Uber 消費 185 元 在星巴克信義店授權失敗 在新光三越消費 184 元 在好市多消費 2145 元 在 MOMO 消費 299 元 在新光三越消費 499元 官網瀏覽長榮機票 在全家繳信⽤卡帳單200元 2019-08-07 08:41 2019-08-07 08:41 2019-08-07 08:41 2019-08-07 08:41 2019-08-07 08:41 2019-08-07 08:41 2019-08-07 08:41 2019-08-07 08:41 2019-08-07 08:41 在 其他 消費 3位數 在 Uber 消費 3位數 在星巴克授權失敗 在新光三越消費 3位數 在好市多消費 4位數 在 其他 消費 3位數 在新光三越消費 3位數 官網瀏覽長榮機票 在全家繳帳單3位數 原⾏為歷程表⽰ 顆粒度重整-1 顆粒度重整-2 在 MOMO 消費 3位數 在 Uber 消費 3位數 在星巴克信義店授權失敗 在新光三越消費 3位數 在好市多消費 4位數 在 MOMO 消費 3位數 在新光三越消費 3位數 官網瀏覽長榮機票 在全家繳信⽤卡帳單3位數
  59. 59. 如何定義⽂字 在 MOMO 消費 195 元 在 Uber 消費 185 元 在星巴克信義店授權失敗 在新光三越消費 184 元 在好市多消費 2145 元 在 MOMO 消費 299 元 在新光三越消費 499元 官網瀏覽長榮機票 在全家繳信⽤卡帳單200元 2019-08-07 08:41 2019-08-07 08:41 2019-08-07 08:41 2019-08-07 08:41 2019-08-07 08:41 2019-08-07 08:41 2019-08-07 08:41 2019-08-07 08:41 2019-08-07 08:41 在 其他 消費 3位數 在 Uber 消費 3位數 在星巴克授權失敗 在新光三越消費 3位數 在好市多消費 4位數 在 其他 消費 3位數 在新光三越消費 3位數 官網瀏覽長榮機票 在全家繳帳單3位數 原⾏為歷程表⽰ 顆粒度重整-1 顆粒度重整-2 在 MOMO 消費 3位數 在 Uber 消費 3位數 在星巴克信義店授權失敗 在新光三越消費 3位數 在好市多消費 4位數 在 MOMO 消費 3位數 在新光三越消費 3位數 官網瀏覽長榮機票 在全家繳信⽤卡帳單3位數
  60. 60. 如何定義⽂字 在 MOMO 消費 195 元 在 Uber 消費 185 元 在星巴克信義店授權失敗 在新光三越消費 184 元 在好市多消費 2145 元 在 MOMO 消費 299 元 在新光三越消費 499元 官網瀏覽長榮機票 在全家繳信⽤卡帳單200元 2019-08-07 08:41 2019-08-07 08:41 2019-08-07 08:41 2019-08-07 08:41 2019-08-07 08:41 2019-08-07 08:41 2019-08-07 08:41 2019-08-07 08:41 2019-08-07 08:41 在 其他 消費 3位數 在 Uber 消費 3位數 在星巴克授權失敗 在新光三越消費 3位數 在好市多消費 4位數 在 其他 消費 3位數 在新光三越消費 3位數 官網瀏覽長榮機票 在全家繳帳單3位數 原⾏為歷程表⽰ 顆粒度重整-1 顆粒度重整-2 在 MOMO 消費 3位數 在 Uber 消費 3位數 在星巴克信義店授權失敗 在新光三越消費 3位數 在好市多消費 4位數 在 MOMO 消費 3位數 在新光三越消費 3位數 官網瀏覽長榮機票 在全家繳信⽤卡帳單3位數
  61. 61. 如何定義⽂字 信⽤卡刷卡 信⽤卡刷卡 信⽤卡刷卡 信⽤卡刷卡 信⽤卡刷卡 信⽤卡刷卡 信⽤卡刷卡 官網瀏覽 信⽤卡帳單 顆粒度重整-3 在 MOMO 消費 195 元 在 Uber 消費 185 元 在星巴克信義店授權失敗 在新光三越消費 184 元 在好市多消費 2145 元 在 MOMO 消費 299 元 在新光三越消費 499元 官網瀏覽長榮機票 在全家繳信⽤卡帳單200元 在 其他 消費 3位數 在 Uber 消費 3位數 在星巴克授權失敗 在新光三越消費 3位數 在好市多消費 4位數 在 其他 消費 3位數 在新光三越消費 3位數 官網瀏覽長榮機票 在全家繳帳單3位數 原⾏為歷程表⽰ 顆粒度重整-1 顆粒度重整-2 在 MOMO 消費 3位數 在 Uber 消費 3位數 在星巴克信義店授權失敗 在新光三越消費 3位數 在好市多消費 4位數 在 MOMO 消費 3位數 在新光三越消費 3位數 官網瀏覽長榮機票 在全家繳信⽤卡帳單3位數
  62. 62. 授權 授權是否成功 授權回應敘述 拒絕原因敘述 是否沖正 原始幣別 店家所在國家 折台幣⾦額 授權型態 是否實體卡片⽀付 信⽤卡正附卡 卡種, 卡等 帳單 上期是否繳清 是否⾃動扣繳 本期應繳總額 最低應繳⾦額 預借現⾦ 循環利息 繳款 繳款通路店家 是否為⾃動扣繳 折台幣⾦額 該期繳款第幾次 逾期繳款天數 flag 是否逾期繳款 進件 交易型態 申請書類型 進件通路 進件敘述 是否申請附卡 是否申請商務卡 是否申請 combo 正卡 是否申請 combo 附卡 領卡⽅式 申辦電⼦帳單 指定⾃動扣繳銀⾏ 電話照會原因 信⽤卡年費 信⽤卡類 信⽤卡別 開卡 開卡通路 發卡原因 活動登錄 登錄通路別 登錄專案描述 紅利異動 交易型態 紅利種類 兌換管道 交易描述 異動點數(+)(-) 是否有⾃付⾦額 現⾦回饋新增 請款 交易型態 原始幣別 店家所在國家 折台幣⾦額 MCC 敘述 信⽤卡正附卡 卡種, 卡等 包含分期前單筆消費 客⼾歷程資料: 調整⾏為顆粒度
  63. 63. 授權 授權結果 拒絕原因 原始幣別 店家的國家 折台幣⾦額 ⼿機⽀付 實體卡片 卡種 卡等 event twd_amt_ flag txn_au_re sp_desc txn_decli ne_desc txn_curre ncy_code merchant_l ocation_co untry_code card_type card_level payment _desc is_physi cal_card event_p ercent creditcard_autho rization positive-4- digits Approved Not Declined TWD TW 9.Costco聯名卡 ⼀般卡 Normal TRUE 10.24% creditcard_autho rization positive-4- digits Approved Not Declined TWD TW 13.台塑聯名卡 ⼀般卡 Normal TRUE 7.45% creditcard_autho rization positive-3- digits Approved Not Declined TWD TW 9.Costco聯名卡 ⼀般卡 Normal TRUE 6.85% creditcard_autho rization positive-4- digits Approved Not Declined TWD TW 1.Bank Card ⼀般卡 Normal TRUE 3.91% creditcard_autho rization positive-3- digits Approved Not Declined TWD TW 1.Bank Card ⼀般卡 Normal TRUE 3.62% 客⼾歷程資料: 調整⾏為顆粒度 A95276897788609 A95276897788609 A95276897788609
  64. 64. User Behavior Table A95276897788609 A95276897788609 A95276897788609 A95276897788609 A95276897788609 A95276897788609
  65. 65. Recalibrated Behavior Vector Dimemb Word Vector 0.12 0.32 0.71 0.54 0.23 0.11 0.91 0.12 0.42 0.44 0.24 0.32 0.34 0.22 0.54 0.11 0.56 -0.12 0.91 0.22 0.24 0.34 0.39 0.31 0.69 [ [ [ [ [ [ [ [ [ [ [ [ 4 × 104 × Dimemb/per month
  66. 66. 1. Word Vector + Visualization 2. Modeling Convolutional Neural Networks for Sentence Classification Word embedding 應⽤
  67. 67. 1. Word Vector + Visualization 2. Modeling Convolutional Neural Networks for Sentence Classification Word embedding 應⽤
  68. 68. Agenda 01 The importance of Sequential Information ✦ Behavior ✦ Sequence 02 NLP: World of word embedding 04 Case- CIP ✦ Advanced Preprocessing- How we define “word” ✦ Modeling ✦ Preprocessing- How we define “word” 03 Case- MyRewards ✦ Embedding- Better representations of a word ✦ Application- 1. Visualization 2. Modeling ✦ Problem
  69. 69. 2019/10/01 01 02 03 04 01 02 03 04 05 06 07 08 09 Day Hour ⽤KOKO COMBO卡在PCHOME消費18650元 2018/10/01 02:03 - 信⽤卡交易 ⾦融 ⾏為 ⽤Costco聯名卡在好市多內湖店消費2145元 2018/10/03 00:48 - 信⽤卡交易 ⾦融 ⾏為 CTI CTI CTI ⽤台塑聯名卡在新店加油站消費487元 2018/10/01 04:48 - 信⽤卡交易 ⾦融 ⾏為 2018-10-01 08:58 在其他商家消費3位數 2016-9-23 01:42 官網瀏覽機票 2018-9-25 17:24 在全家繳信⽤卡帳單3位數 … 2018-10-01 03:51 在其他商家消費3位數 2017-9-25 17:24 在MOMO消費5位數 … … 2017-9-25 17:24 在YAHOO消費5位數 定義模型訓練⽅式 過去⼀個⽉內⾏為
  70. 70. 模型輸入 x1 x2 xn 2019-08-07 17:45 進線客服: 信⽤卡異常 2019-08-07 08:41 在 Uber 消費3位數 2019-08-07 16:39 在星巴克信義店消費 授權失敗 2018-10-12 15:19 信⽤卡開卡 2018-10-01 18:41 在好市多消費4位數 2018-10-02 09:23 進線客服申請信⽤卡掛失 … 2018-01-23 15:11 在新光三越消費3位數 2017-9-23 01:42 官網瀏覽長榮機票 2017-9-25 17:24 在全家繳信⽤卡帳單3位數 … 下⼀通進線問題
  71. 71. Attention Model Fig. from HuggingFace DeepMoji model 進線問題 *24 xAgg x1 x2 x3 xN…
  72. 72. Attention Model Fig. from HuggingFace DeepMoji model 進線問題 *24 xAgg x1 x2 x3 xN…
  73. 73. Attention Score a1 = 0.7 a2 = 0.2 a3 = 0.1 信⽤卡授權, 授權結果 拒絕原因, 原始幣別 店家的國家, 折台幣⾦額 ⼿機⽀付, 實體卡片 卡種,卡等 信⽤卡帳單, 應繳總額, 最低應繳⾦額, 上期是否繳清 循 環利息, 預借現⾦, 是否⾃動扣繳, 繳款截⽌⽇ 交易型態, 紅利種類 兌換管道, 異動點數/⾥程 預借現⾦
  74. 74. Attention Score a1 = 0.7 a2 = 0.2 a3 = 0.1 信⽤卡授權, 授權結果 拒絕原因, 原始幣別 店家的國家, 折台幣⾦額 ⼿機⽀付, 實體卡片 卡種,卡等 信⽤卡帳單, 應繳總額, 最低應繳⾦額, 上期是否繳清 循 環利息, 預借現⾦, 是否⾃動扣繳, 繳款截⽌⽇ 交易型態, 紅利種類 兌換管道, 異動點數/⾥程 預借現⾦
  75. 75. 模型成效 AUC
  76. 76. 模型成效 AUC
  77. 77. In Progress
  78. 78. Self Attention Fig. from Jay Alammar
  79. 79. Streaming Framework
  80. 80. Applications … Anything related to Sequence ALPHA Chatbot MyRewards Recommender System Fraud Detection
  81. 81. 結論 Sequential behavior is all you need

×