刘昌钰：阿里大数据应用平台

刘昌钰：阿里大数据应用平台
阿里大数据应用平台刘昌钰 @淘铁燕 2013-11-29
Agenda • 自我介绍 • 阿里数据平台 • 大数据应用平台 • 挑战与未来
自我介绍 – 刘昌钰 • 阿里巴巴数据平台架构师 • 擅长大系统架构设计 – – – – – – 腾讯TBOSS支付结算平台财付通业务平台腾讯海量数仓TDW1.0 淘宝网交易平台淘数据平台阿里大数据应用平台 • @淘铁燕 3
使命：数据给力商业 • 数据平台：数据+云计算 • 围绕数据的“存通用” ，大规模降低数据使用门槛 • 越关联越有价值，越用越有价值 5
大数据业务 6
大数据业务数据业务云梯1 Hadoop 云梯2 ODPS飞天 Galaxy Garuda Hbase OceanBase 计算平台 7
大数据业务数据业务 TCIF ODS 地理服务数据服务数据同步数据开发调度生产元数据数据质量应用平台云梯1 Hadoop 云梯2 ODPS飞天 Galaxy Garuda Hbase OceanBase 计算平台 8
大数据应用平台 • 数据导入 • 数据开发 • 数据生产 • 数据回流 • 元数据中心 • 数据质量中心
数据同步系统结构工作流调度数据同步中心应用非结构化数据源结构化数据源对内数据支撑：商业智能与决策支持数据导入非结构化数据实时流式同步结构化数据实时流式同步结构化数据离线同步实时计算流式数据计算框架离线数据计算框架 MySQL Cluster HBase 搜索引擎分布式资源池数据中心中间层应用服务器中间件服务产品运营分析系统运维对外数据产品: 数据披露数据产品
日志实时采集 TimeTunel BI报表 Tail file 日志 router broker Tail file 日志 Tail file broker hbase broker broker 日志 manager monitor 数据源业务监控云梯2 量子统计数据魔方 broker hbase broker broker hbase Tail file 云梯1 broker broker 日志 df sw rit er broker 月光宝盒 storm 生意参谋 galaxy 阿里金融 zookeeper 采集阿拉丁 TT 云计算实时计算数据产品 12
TT 日志实时采集日采集40T 峰值1GB/S
结构化数据导入：DataX • 统一数据交换协议 • 插件化开发 Mysql Oracle 云梯1 Hadoop 云梯2 ODPS飞天
大表的实时增量拉取 BI报表日志 Tail file router broker broker ocean base broker hbase broker mysql oracle manager monitor Db sync df sw rit er 云梯1 业务监控云梯2 量子统计 broker 数据魔方 broker hbase broker broker hbase broker broker 月光宝盒 storm 生意参谋 galaxy 阿里金融 zookeeper 数据源采集阿拉丁 TT 云计算实时计算数据产品 15
数据开发
开发环境隔离浏览器数据开发云集成开发环境（WEB SDK）设计器/编辑器代码仓库运行调试环境测试环境自动化测试元数据中心发布管理生命周期管理持续集成项目管理集成运维环境仸务监控数据质量监控 DEV sandbox QA sandbox 仸务调度系统仸务调度系统 PRODUCT sandbox 仸务调度系统数据同步数据同步数据同步计算网关同步网关计算网关同步网关计算网关计算计算计算存储存储存储同步网关图例物理部署接口测试接口运维接口 18
数据生产（调度）
多实例多周期调度日常周期调度实例：2013-11-28 • 基于数据血缘的DAG调度 A B • 日调度、小时调度、月调度 D G C E H F I J 20
调度跨天依赖多实例冲突检测跨天依赖日常周期调度实例：2013-11-27 日常周期调度实例：2013-11-28 A B D G A E H B C F I D J G C E H F I J 21
Mosad生产护航 22
数据开发平台架构开发平台用户权限中心监控告警代码管理平台 DAG管理 DAG引擎执行插件离线计云梯一算集群 ODPS 队列调度状态管理日志管理流式计 Galaxy 算集群生命周期管理冷数据中心执行服务运行资源管理周边系统元数据调度服务资源管理引擎执行引擎发布平台 IDE 调度引擎运维平台用户第三方系统同步中心代码管理实时计 Garuda 算集群数据地图
数据生产规模 • 调度仸务数：数万 • 总job数：数十万 • 总执行总时间：万小时 • 逻辑存储：百PB 日增百TB 24
DataX 异构数据同步 Hive Server • 仸意数据源互通 • 日传输量在 20TB Oracle Server Mysql Server Tair 同步总线 ODPS HBas e File OSS Server OB Server Ocean Base Http Http Server Hbase Server Hive Oracle Mysql ODPS Server • 统一数据交换协议 • 插件化开发 Tair Server OTS Server OTS Disk Sql Server
挑战-支持海量数据同步 DataX分布式 Master Slave 启动子仸务数据流向 S M 数据源 S S M S 数据源 S S S S S M S
挑战 – 海量数据回流生产系统预sharding 离线同步中心直达存储 partition 存储 Server partition DataX 存储 Server partition DataX 存储 Server partition DataX partition DataX 存储 Server partition DataX 存储 Server partition 海量数据 DataX DataX 存储 Server 路由层存储 Server ODPSOTS 80亿条记录 2个小时传输完毕
元数据中心业务线（商业智能、小微金融等）开放API 事件订阅/通知元数据中心图搜索元数据服务元数据资源库元数据驱动事件中心事件订阅 /通知 ODPS 驱动 Hive 驱动 ...... 元数据及血缘关系同步中心 DataX 数据系统 TT DT ODPS 云梯1 ...... HBase,OTS...30
元数据中心 Servic e iDB 云梯1 odps alipay hadoop Garuda OTS HBase myfox OceanBase 日志 hive脚本 odps脚本 DataX DT Task TT DBSync 质量安全生产计量 API Hadoop 数据字典 App iSearch 全文检索名称、标签、分类等系统、包、数据表、字段、分区等 Neo4j 数据地图血缘表级、字段级、分区级血缘追溯、影响分析等 Garuda 数据特征 Dashboard 数据量、访问热度、标签及用户行为等指标体系，统计分析，监控预警
元数据中心应用
数据地图
数据地图
数据质量中心天枢天网 DQC SDK 元数据中心 USER(用户) DQC Web App DQC Service 监控告警中心样本采集 DQC CENTER 云梯1 云梯2 实时(流式)
DQC流程调度 2. SDK 触发检验请求 1. 规则配置 4. 返回检验结果 5. 调度根据检验决定是否阻断子 DQC SERVICE 用户 3. 样本采集云梯1 | 云梯2 | 流式样本采集
挑战与未来 • • • • • • 稳定性效率对外开放数据质量可管理性易用门槛 39
例子：同步中心 • • • • DataX迁移Dbsync：效率对接MC和iDB：变更透明稳定性同步接入DQC：数据质量服务化：接入门槛 40
Thanks！最复杂的大数据应用场景等你来挑战自己 http://www.alidata.org/ @淘铁燕 tieyan.lcy@taobao.com

Check these out next

刘昌钰：阿里大数据应用平台

Recomendados

Mais conteúdo relacionado

Apresentações para você(20)

Similar a 刘昌钰：阿里大数据应用平台(20)

Mais de hdhappy001(20)

Último(20)

刘昌钰：阿里大数据应用平台