淘宝数据库架构演进历程

淘宝数据库架构演进历程丹臣 / 赵林数据架构师 2010-12-12

提纲 ,[object Object],[object Object],[object Object],[object Object],[object Object]

淘宝数据库发展三阶段

SQL 语句变化 ,[object Object],[object Object],[object Object],[object Object]

淘宝电子商务网站的特点 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

不同的时期，不同的策略 ,[object Object],[object Object],[object Object],[object Object],[object Object]

数据库里的数据第一，二阶段的单台数据库里，用户，商品，交易等数据都在一起，存在许多的关联查询，应用完全耦合用户商品交易评价收藏

连接数问题 Oracle 数据库 ,[object Object],[object Object],[object Object],小型机的内存有限，发现了 Oracle 数据库有连接数瓶颈， 5000 个以后相当吃力。

中心化，服务化 ,[object Object]

HSF 的诞生 ,[object Object],A 服务 B 服务 HSF

数据垂直化 ,[object Object],[object Object],[object Object],[object Object],用户商品交易评价

问题 ,[object Object],[object Object],[object Object],[object Object],[object Object]

一台高端存储的处理能力 480 块盘的 hdisk ， max IOPS 6w 注意应用可以接受的 IO response time, 以及 IOPS 点。比如 3w IOPS 以上，会达到 20ms 以上

数据库架构发展新思路 ,[object Object]

异构的读写分离 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

构建数据查询的高速公路 ,[object Object]

跨不过去的坎 ,[object Object],[object Object],[object Object],[object Object]

大数据量核心业务数据迁移思路 ,[object Object],[object Object],[object Object],[object Object]

数据库系统余量 ,[object Object],[object Object],[object Object],[object Object]

数据生命周期之历史迁移 Data Online Data History Data ,[object Object]

在线与历史应用分离 Online Data Database History Data Database Online Application History Application 数据迁移程序 ,[object Object],[object Object],[object Object]

商品访问框架主键查询卖家查询淘宝商品的几个主要的查询： a. 主键查询通过分布式数据库，以及分布式缓存系统解决 b. 卖家商品管理类查询，这一类的查询数据量大，并且还有 like 查询的需求，通过实时搜索解决商品分布式缓存分布式数据库实时搜索注：考虑不同的读载体的技术实现，性能，成本

用户 ,[object Object],用户信息用户主信息用户信息扩展 ,[object Object],[object Object]

过度中心化用户中心 Tair 分布式缓存商品中心交易中心评价中心 ,[object Object],[object Object]

用户中心中的读写分离用户中心 Tair 分布式缓存商品中心交易中心评价中心 ,[object Object],在其它中心中内置可以访问 tair 的客户端，大部份的读不需要经过用户中心，直接读 tair ，写需要经过用户中心。

交易的读写分离框架 ,[object Object]

一些难题 ,[object Object],[object Object],[object Object]

光棍节大促活动前，经过了充分的准备与系统评估工作： CDN 面临的压力最大，预估流量将会达到 280G 左右，准备了各个层面的系统降级方案。

一个小意外 ,[object Object]

MySQL 源代码研究 ,[object Object],[object Object],[object Object]

MySQL 源代码研究 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

MySQL Binlog 解析数据复制中心 ,[object Object]

MySQL Binlog 解析数据复制中心 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

异地多数据中心的数据同步杭州青岛 other

异地多数据中心的数据同步 ,[object Object]

淘宝自主数据库 Oceanbase ,[object Object],[object Object],[object Object],[object Object]

总结 ,[object Object],[object Object],[object Object],[object Object]

Follow me ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

淘宝数据库架构演进历程

Recomendados

Recomendados

Mais conteúdo relacionado

Destaque

Destaque (20)

Semelhante a 淘宝数据库架构演进历程

Semelhante a 淘宝数据库架构演进历程 (20)

Mais de zhaolinjnu

Mais de zhaolinjnu (6)

淘宝数据库架构演进历程

Notas do Editor