{5月17日语音讲座vol.53}老彭: 金山云数据运营架构变迁 http://bbs.code.ijinshan.com/thread-1954-1-1.html

1. Infoc的演变
Infoc的演变
金山网络 云安全 彭仁诚

2. 什么是infoc？
什么是infoc
infoc？
• 哪个功能用户最喜欢？
• 每个功能给用户带来的作
用如何？
• 用户是如何选择的？

3. 系统需求

4. 基本设计1.0
基本设计
设计1.0

5. 详细架构1.0
详细架构1.0

6. Infoc1.0的优缺点
Infoc1.0的优缺点
• 优点
– 通用方案，适于快速搭建
– 所有统计基于原始数据，适用于各种变化的统计需求
• 缺点
– 上报数据使用字符串，通过base64加密�明文、上报流量大
– 对需求没有分级处理
– 采用nginx日志方式，客户端并不能知道数据是否真正上报成功
– 日志从外网拉到内网，下拉数据量过大，加上互联互通问题会导致数据下拉难以
保证
– Hadoop集群中导入数据比较慢
– 每增加一个埋点，就需要新写解析程序
– 依赖hadoop+hive，需要对其了解比较深
– 系统对数据埋点操作不可控，任何人都可能在客户端增加埋点，然后让服务端进
行解析
– 埋点信息修改时，需要修改解析脚本来向前兼容

7. 详细架构2.0
详细架构2.0

8. Infoc2.0的优缺点
Infoc2.0的优缺点
• 缺点
– 编码量相对大
• 优点
– 埋点接入使用字符串，上报使用二进制数据�保密性好、上报流量小
– 对需求进行分优先级处理，重要数据埋点从物理机器上分离，而系统不需要变化
– 数据格式在infoc系统内部实现流转，外部不需要了解细节
– 每个机房先对各自的数据进行统计，然后下拉到内网进行合并处理，下拉数据量
变小，系统更加稳定，而且数据统计更快速
– 解析引擎和统计引擎根据格式文件和配置文件对上报的数据进行解析和统计，新
增加一个埋点时，只需要进行简单的界面配置即可，不需要其他任何修改
– 增加埋点时需要进行配置和审核，从流程上解决埋点失控状态
– Infoc系统内对上报数据量进行百分比控制，避免了大量数据上报导致产品和系统
不稳定的状况
8

9. 一些原则
• 不同业务时期，不同架构
• 尽量少依赖不够了解的系统
• 应用离数据更近
• 服务分级
• 让整个系统运行时变化最少
• 将机房、网络等实际限制作为现实条件

10. 感谢观赏!
感谢观赏!
简单、简单、再简单