1. 当当网打造个性化推荐&精准营销
当当网打造个性化推荐&
生态系统
傅强 当当网 高级开发总监
揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！

2. 引言
a)当当网是一家B2C电商网站。电商网站的本质是商务，商
务的核心支柱之一是营销。通过技术手段提升营销效果将是
电商网站核心竞争力之一，国外亚马逊就是成功的范例
b)我们启动此案例要达成的目标正是通过个性化推荐 &精准
营销这个渠道，让技术创造价值
c) 亲历个性化推荐&精准营销生态系统逐步演化的过程
揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！

3. ROI
仅一支几十人的技术团队，推荐产品日均对销售贡
献，甚至抵得上一些事业部销售贡献50%
2012年下半年，个性化推荐&精准营销系统对当当
网销售贡献占比提高50%
揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！

4. 从亚马逊说起
揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！

5. 实践
揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！

6. 1000万用
1000万用
实践 100万图书
100万图书 户
双核
2G-4G内存
G-4G内存
32位
解决方案
50-200G磁盘
0-200G磁盘
• 多步骤处理：内存有限，不得不分批分块计算
• 只计算3-6个月：一方面降低计算量，另一方面
计算3-6
3-6个月：一方面降低计算量，另一方面
数据较新，让用户最新的群体行为有机会影响推
荐效果基本信息
荐效果基本信息
• 剪枝：去除脏数据噪声、低频低销量冷门商品、
高频畅销商品
• 稀疏矩阵的高压缩比的存储与支持高效查询仍然
是问题
揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！

7. 实践
P100 C001 C004 C008 C162 C589 C798
C001 C004 C008
P006 P001 P004 高压缩比的
稀疏矩阵的高压缩比的
P100 P005 P009 存储 支持高效查询
存储与支持高效查询
P168 P100 P100 解决方案
P457 P457 P235 • 倒排索引
P688 P688 • 内存映射
P889
空间：几十G -> 几百M
时间：处理全量数据2小时以内
揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！

8. 实践 – 单细胞时代的商品推荐系统
买了还买
看了还看 算
商品 法
商业数据 支
持
商品推荐 ：
协
同
用户行为 过
访问
滤
订单
揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！

9. 实践 – 2009年外部因素
揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！

10. 实践
访问 买了还买
点击 看了还看
订单 浏览推荐
运营报告
收藏 相似顾客
网页分析
评论
算
法
流量分析 个性化推荐 支
持
流量数据 用户行为
商业数据
商品
揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！

11. 问题
分库分表
横切纵切
任务拆分
……
Job Job Job
MYSQL MYSQL MYSQL ？
揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！

12. 实践 – 忽如一夜春风来
2009、2010互联网各种新技术层出不穷： hadoop、erlang、
hadoop、erlang、
gearman等等。这些新技术新思想不断对现有系统产生影响，并
促成现有系统不断发展。精准营销生态系统进入新阶段。
Hadoop
乃 神器也！
揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！

13. 实践
A的频率
B的频率
Jobs
AB的频率
Hadoop
揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！

14. 实践
推荐/协同过滤
Non-distributed recommenders:
Taste(UserCF, ItemCF,
SlopeOne)
Distributed Recommenders:
ItemCF
Hadoop
揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！

15. 启示
推广新技术
从推广新技术
推广新技术的维度来看—面向新技术布道者
持续不断关注互联网最新技术，大胆尝试用新技术解决问题
通过解决老板的痛点，或让老板看到解决痛点的希望，老板会高高兴兴
帮我们推广新技术
新架构、新技术的选型需要符合产品战略、技术战略
2010.12上市
关注用户网站行为
Hadoop
精细化运营
揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！

16. 实践 商品 访问 买了还买 Cookies
收订 点击 看了还看 &
运营报告 出库 订单 浏览推荐 实时推荐
网页分析 -进- 收藏 相似顾客
转化分析 -销- 评论
流量分析 -存-
个性化推荐
商业数据 算
法
流量分析 支
持
用户行为
Hadoop / hbase / hive Mahout / R
揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！

17. 问题
？？
？ ？
揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！

18. 实践 姓名：程序猿
性别：男 爱好：女
居住地：北京回龙观
行业：互联网
网购时间：22点-凌晨2点
身材：腹围 > 臀围 > 胸围
终端：chrome / Andriod
标签云：架构、高性能计算
、分布式存储、重构、大
数据处理、数据挖掘、
用户行为数据库 MSUP☺
揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！

19. 实践
算法的力量
SVM
揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！

20. 实践 商品 访问 买了还买 Cookies
收订 点击 看了还看 &
运营报告 出库 订单 浏览推荐 实时推荐
网页分析 -进- 收藏 相似顾客
转化分析 -销- 评论
流量分析 -存-
个性化推荐
商业数据 算
法
流量分析 ID 支
性 持
别
用户行为 用户profile 爱
好
标
签
Hadoop / hbase / hive Mahout / R
揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！

21. 问题 商品 访问 买了还买 Cookies
收订 点击 看了还看 &
运营报告 出库 订单 浏览推荐 实时推荐
网页分析 -进- 收藏 相似顾客
转化分析 -销- 评论
流量分析 -存-
？
个性化推荐
商业数据 算
法
流量分析 ID 支
性 持
别
用户行为 用户profile 爱
好
标
签
Hadoop / hbase / hive Mahout / R
揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！

22. 实践
最会被男性 最会被女性
购买的图 购买的图
书分类 书分类
当当男很多在IT圈 当当女重口味，
偏爱惊悚推理小
说
当当好妈妈望
子成龙
当当男疼爱女
友，送手链
揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！

23. 实践 运营报告 访问 买了还买 算
网页分析 点击 看了还看 法
商品 转化分析 订单 浏览推荐 支
收订 流量分析 收藏 相似顾客 持
出库 评论
-进-
-销-
-存- 流量分析
个性化推荐
Cookies
商业数据
&
用户行为 ID 用户profile 实时推荐
性
别
爱
数据报表 用户 - 数据集市 好
历 标
史 签
Hadoop / hbase / hive Mahout / R
揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！

24. 问题 – 2011
？
揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！

25. 实践 实时
实时统计分析
实时
实时推荐的核心存储
实时
实时收集用户行为&
数据传输
揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！

26. 实践
揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！

27. 启示
从战略&产品&技术的维度来看—面向产品经理、业务架构师
& &
从分解公司层面的战略做起，推倒出业务发展战略的制定
把业务发展战略想清楚，才能有清晰的产品战略
产品战略决定了架构设计&技术战略
惨烈的B2C竞争环境
顾客体验年
充分利用流量价值 实时
网站体验&精细化运营
揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！

28. 实践 – 推荐算法的趋势
个性化
推荐
揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！

29. 启示
实战经验
从实战经验
实战经验总结的维度来看—面向电商&营销&推荐圈子的同学们
推荐系统的体会是优化产品设计真的比优
化算法来的直接
相比高精尖的算法，推荐系统更需要高质
量的数据；数据质量提高了，即使是最常
用的协同过滤算法也有很好的效果
2011推荐系统论坛 ---
揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！

30. 实
实
实践 运营报告 时 访问 买了还买 时 算
网页分析 采 点击 看了还看 推 法
转化分析 集 订单 浏览推荐 荐 支
商品 流量分析 实 收藏 相似顾客 持
收订 时 评论
出库 传
-进- 输
-销- 流量分析 实 实
个性化推荐
-存- 时 时 实
分 计 时
析 算 存
储
商业数据
用户行为 ID 用户profile
性
别
数据报表 爱
用户 - 数据集市 好
历 标
Mahout / R
史 签
redis mongodb
Hadoop / hbase / hive / zookeeper
kafka Storm
揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！

31. 实
实
实践 1.4
人群提取 运营报告 时 访问 买了还买 时 算
促销手段 网页分析 采 点击 看了还看 推 法
效果评估 转化分析 集 订单 浏览推荐 荐 支
数据报表 流量分析 实 收藏 相似顾客 持
时 评论
传
输
营销工具 流量分析 实 实 效
个性化推荐
时 时 实 果
分 计 时 评
析 算 存 测
邮件
储
短信 商业数据
用户行为 ID 用户profile
商品 性 作
收订 别 弊
出库 爱 防
-进- 好 范
用户 - 数据集市 历 Mahout / R
-销- 标
-存- 史 签
redis mongodb
Hadoop / hbase / hive / zookeeper
kafka Storm
揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！

32. 实
实
实践 1.4
人群提取 运营报告 时 访问 买了还买 时 算
促销手段 网页分析 采 点击 看了还看 推 法
效果评估 转化分析 集 订单 浏览推荐 荐 支
数据报表 流量分析 实 收藏 相似顾客 持
时 评论
传
输
营销工具 流量分析 实 实 效
个性化推荐
时 时 实 果
分 计 时 评
析 算 存 测
邮件
储
短信 商业数据
用户行为 ID 用户profile
商品 性 作
收订 别 弊
出库 爱 防
-进- 好 范
用户 - 数据集市 历 Mahout / R
-销- 标
-存- 史 签
redis mongodb
Hadoop / hbase / hive / zookeeper
kafka Storm
揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！

33. 启示
在一个完整生态系统
中，每个物种之间相互
支持、相互影响
成熟的生态系统也需要
不断从外界吸纳新物
种，不断进化
新物种更需要在生态系
统中创造价值
揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！

34. 2012-12-20