#LAMP人#第14期《海量数据挖掘与应用 – e淘专场》 之 《大型互联网广告应用系统架构》

1. 大型互联网广告应用系统架构

2. 第14期：
《海量数据挖掘与应用 》- e淘专场
www.LAMPER.cn
http://weibo.com/lampercn

3. 大纲
• 一、介绍
• 二、高并发应用系统
• 三、海量数据存储系统
• 四、中间件应用
• 五、广告系统运维和监控

4. 背景介绍
• 广告产品
– 淘宝直通车，一淘直通车
– 钻石展位
– Tanx
– 淘宠（阿里妈妈）

5. 直通车整体架构
• 业务系统
– 广告主自助系统
– CRM
– 実核系统
– 数据同步
– 开放API
• 广告引擎
– 搜索
– 非搜索
• 数据平台，计算平台和算法
• 防作弊和点击结算

10. 高并发应用系统
• 每天亿级的API调用
淘宠API
• 几十万广告主使用
直通车API • 直通车已开放上百个API供合作代理商使用
• 历史报表数据查询和下载
报表API • 实时报表数据开放

11. 业务系统架构
Tengine (Nginx) Tengine (Nginx) Tengine (Nginx)
+ + +
Tomcat Tomcat Tomcat
JDBC HSF
Se ssio n
Tair 集群
用户库 HSF Service
Oracle Provider
事务型关系数据库 消息队列
Redis Redis
Oracle Oracle Oracle Master Slave

12. 海量数据存储系统
• Oracle：核心广告数据
• HDFS：日志，报表计算数据
• OceanBase：大宠户用户报表数据，实时报表数据
• Mysql：用户报表数据
• MongoDB: 用户操作日志
• Redis：消息队列数据
• Tair：Session数据，Online应用数据缓存
• TFS：图片，下载文件

13. 中间件应用
• HSF
– 远程服务调用
– 软负载均衡
• TDDL
– 透明数据库切分
– 读写分离
– 数据复制（非对称）
• Notify
– 保证通知的消息中间件（MQ）
• Meta
– 保证分区时序的持久化消息队列
• Diamond
– 静态配置中心服务
• Time Tunnel 3
– 日志收集

14. 广告系统运维和监控
黄金眼
• 实时监控（分钟级）广告位消耗
系统监控
• PE监控工具: tsar, nagios
监控门户
• 哈勃应用系统监控

15. Q&A
谢谢!