Recomendados
Mais conteúdo relacionado
Semelhante a Transfer learning@r语言大会2.0 发布版
Semelhante a Transfer learning@r语言大会2.0 发布版 (20)
Transfer learning@r语言大会2.0 发布版
- 2. 个人简介：jhuangpku.github.io library(wordcloud) wordcloud(blog$word, blog$freq, random.order=F, color=pal)
- 3. 主要内容 业务问题 解决方案 学术界方案 Data-level transfer Parameter-level transfer 应用效果&Future Work 广告时间----WE ARE HIRING
- 5. 怎么预估点击率 数据/样本 一个广告的一次展现 特征 ID类特征 泛化特征 统计特征 …. 模型 LR->GBDT->DNN
- 6. 怎么预估点击率-LR 数据集 1 0 0 … 1 0 0 … 0 1 0 … 0 0 0 … 0 0 0 … 0 1 0 … 0 0 1 … 1 0 1 0 0 0 0 Target y X1 X2 X3 X4 X5 X6 X7 0 0 0 … 1 0 0 … 1 0 0 … 0 1 0 … 0 0 0 … 0 1 0 … 0 0 1 … 。。 query 广告ID Y=1 Y=0 ||||),,(min 1 wCywXl m i iii 距离分界面越远，loss越小 ))),(1log()1(),(log(),,( wXhywXhyywXl iiiiiii )exp(1 1 ),( i ti Xw wXh )exp(1 1 )|1(P i ti Xw Xy 点击率学习目标：给定样本，y=1的概率 0 0 1 … ？Xn 0 0 1 …
- 9. Data-Level Source Target Data-level 基本假设：S上的data经过合理 的变化，可以变成T上的data 核心&问题：data相似度的衡量 Ps(x,y) ->Pt(x,y) 代表方法： Instance base Feature base x1 三维示例 x1 x2 问题：X2!=0的由于数据少，未观测到 x1 x2 真实T分布 x1 x2 相似变换 x2 w降低 W增加 观测S分布 观测T分布 调整后S分布
- 10. Data-Level Source Target Data-level 基本假设：S上的data经过合理 的变化，可以变成T上的data 核心&问题：data相似度的衡量 Ps(x,y) ->Pt(x,y) 代表方法： Instance base Feature base 现实是 噪音！ 噪音！！ 噪音！！！
- 11. Parameter-Level Parameter-level 基本假设：S上的权重和T上的权 值有”相似性” 核心&问题：权值相似度的衡量 该度量方法表现为一个约束 代表方法： parameter base W1 W2 W3 W3’ W4 W4’ W5 W5’ Common source target ||||)()( 2 1 )()( ''' wwCwwLwwLwwwLwf SSTSS T SS target上的拟合 正则 新权值在Source的数据上的loss近似模拟 另一种观点：bayes LR 提供的是先验 :source上的权重 :target上的权重 Sw wwS Sw
- 12. Parameter revisited Parameter-level W1 W2 W3 W3’ W4 W4’ W5 W5’ Common source target 近似实现common-part和individual-part的方法： Step1：在source上的训练只训练“可迁移”的特征—common-part Step2：在target上把所有特征带进去训练 效果：common-part变动较少，individual-part变动较多 Common-part的业务含义，不同query在不同卡片的weight近似一致 ||||)()( 2 1 )()( ''' wwCwwLwwLwwwLwf SSTSS T SS
- 13. 应用效果&Future Work 应用效果 Future Work 数据：Source，target的选择 特征：可迁移特征的选择（单slot在S上训练T上校验） 模型：multi-task / GBDT增量 项目 线下auc 线上ctr 医疗知心中间页找医院TL模型 +0.8% 2.08% 教育知心无线找课程TL模型 +5%+ 7.52%