Submit Search
Upload
淘宝主备数据库自动切换
•
22 likes
•
2,750 views
M
mysqlops
Follow
淘宝,主备,数据库,自动,切换,阿里巴巴,taobao,alibaba,mysql,zookeeper,分布式,一致性,linuc,pc,服务器,MTBF
Read less
Read more
Technology
Report
Share
Report
Share
1 of 34
Recommended
主库自动切换 V2.0
主库自动切换 V2.0
jinqing zhu
Mesos intro
Mesos intro
dennis zhuang
lua & ngx_lua 的介绍与应用
lua & ngx_lua 的介绍与应用
hugo
基于OpenResty的百万级长连接推送
基于OpenResty的百万级长连接推送
OpenRestyCon
基于MHA的MySQL高可用方案
基于MHA的MySQL高可用方案
Louis liu
RxJS 6 新手入門
RxJS 6 新手入門
Will Huang
Golang 高性能实战
Golang 高性能实战
rfyiamcool
Database.Cache&Buffer&Lock
Database.Cache&Buffer&Lock
Lixun Peng
Recommended
主库自动切换 V2.0
主库自动切换 V2.0
jinqing zhu
Mesos intro
Mesos intro
dennis zhuang
lua & ngx_lua 的介绍与应用
lua & ngx_lua 的介绍与应用
hugo
基于OpenResty的百万级长连接推送
基于OpenResty的百万级长连接推送
OpenRestyCon
基于MHA的MySQL高可用方案
基于MHA的MySQL高可用方案
Louis liu
RxJS 6 新手入門
RxJS 6 新手入門
Will Huang
Golang 高性能实战
Golang 高性能实战
rfyiamcool
Database.Cache&Buffer&Lock
Database.Cache&Buffer&Lock
Lixun Peng
一个 Mongodb command 的前世今生
一个 Mongodb command 的前世今生
dennis zhuang
Golang advance
Golang advance
rfyiamcool
Track2 -刘继伟--openstack in gamewave
Track2 -刘继伟--openstack in gamewave
OpenCity Community
对MySQL的一些改进想法和实现
对MySQL的一些改进想法和实现
Lixun Peng
Mysql展示功能与源码对应
Mysql展示功能与源码对应
zhaolinjnu
Mvcc (oracle, innodb, postgres)
Mvcc (oracle, innodb, postgres)
frogd
聊聊我接触的集群管理
聊聊我接触的集群管理
rfyiamcool
開發人員必須知道的 Kubernetes 核心技術 - Kubernetes Summit 2018
開發人員必須知道的 Kubernetes 核心技術 - Kubernetes Summit 2018
Will Huang
MySQL多机房容灾设计(with Multi-Master)
MySQL多机房容灾设计(with Multi-Master)
Lixun Peng
QCon - 一次 Clojure Web 编程实战
QCon - 一次 Clojure Web 编程实战
dennis zhuang
Ceph in UnitedStack
Ceph in UnitedStack
Rongze Zhu
线上问题排查交流
线上问题排查交流
Edward Lee
云端的数据库
云端的数据库
thinkinlamp
使用 C#/Razor 開發互動式 WebAssembly 網站 (Modern Web 2018)
使用 C#/Razor 開發互動式 WebAssembly 網站 (Modern Web 2018)
Will Huang
My sql 5.6新特性深入剖析——innodb引擎
My sql 5.6新特性深入剖析——innodb引擎
frogd
MySQL压力测试经验
MySQL压力测试经验
Jinrong Ye
Openstack nova
Openstack nova
Yong Luo
Design realization and application of RBD NBD - Wang Li
Design realization and application of RBD NBD - Wang Li
Ceph Community
数据库内核分享——第一期
数据库内核分享——第一期
frogd
Openstack neutron 原理详解
Openstack neutron 原理详解
Yong Luo
MySQL自动切换设计与实现
MySQL自动切换设计与实现
orczhou
Nosql三步曲
Nosql三步曲
84zhu
More Related Content
What's hot
一个 Mongodb command 的前世今生
一个 Mongodb command 的前世今生
dennis zhuang
Golang advance
Golang advance
rfyiamcool
Track2 -刘继伟--openstack in gamewave
Track2 -刘继伟--openstack in gamewave
OpenCity Community
对MySQL的一些改进想法和实现
对MySQL的一些改进想法和实现
Lixun Peng
Mysql展示功能与源码对应
Mysql展示功能与源码对应
zhaolinjnu
Mvcc (oracle, innodb, postgres)
Mvcc (oracle, innodb, postgres)
frogd
聊聊我接触的集群管理
聊聊我接触的集群管理
rfyiamcool
開發人員必須知道的 Kubernetes 核心技術 - Kubernetes Summit 2018
開發人員必須知道的 Kubernetes 核心技術 - Kubernetes Summit 2018
Will Huang
MySQL多机房容灾设计(with Multi-Master)
MySQL多机房容灾设计(with Multi-Master)
Lixun Peng
QCon - 一次 Clojure Web 编程实战
QCon - 一次 Clojure Web 编程实战
dennis zhuang
Ceph in UnitedStack
Ceph in UnitedStack
Rongze Zhu
线上问题排查交流
线上问题排查交流
Edward Lee
云端的数据库
云端的数据库
thinkinlamp
使用 C#/Razor 開發互動式 WebAssembly 網站 (Modern Web 2018)
使用 C#/Razor 開發互動式 WebAssembly 網站 (Modern Web 2018)
Will Huang
My sql 5.6新特性深入剖析——innodb引擎
My sql 5.6新特性深入剖析——innodb引擎
frogd
MySQL压力测试经验
MySQL压力测试经验
Jinrong Ye
Openstack nova
Openstack nova
Yong Luo
Design realization and application of RBD NBD - Wang Li
Design realization and application of RBD NBD - Wang Li
Ceph Community
数据库内核分享——第一期
数据库内核分享——第一期
frogd
Openstack neutron 原理详解
Openstack neutron 原理详解
Yong Luo
What's hot
(20)
一个 Mongodb command 的前世今生
一个 Mongodb command 的前世今生
Golang advance
Golang advance
Track2 -刘继伟--openstack in gamewave
Track2 -刘继伟--openstack in gamewave
对MySQL的一些改进想法和实现
对MySQL的一些改进想法和实现
Mysql展示功能与源码对应
Mysql展示功能与源码对应
Mvcc (oracle, innodb, postgres)
Mvcc (oracle, innodb, postgres)
聊聊我接触的集群管理
聊聊我接触的集群管理
開發人員必須知道的 Kubernetes 核心技術 - Kubernetes Summit 2018
開發人員必須知道的 Kubernetes 核心技術 - Kubernetes Summit 2018
MySQL多机房容灾设计(with Multi-Master)
MySQL多机房容灾设计(with Multi-Master)
QCon - 一次 Clojure Web 编程实战
QCon - 一次 Clojure Web 编程实战
Ceph in UnitedStack
Ceph in UnitedStack
线上问题排查交流
线上问题排查交流
云端的数据库
云端的数据库
使用 C#/Razor 開發互動式 WebAssembly 網站 (Modern Web 2018)
使用 C#/Razor 開發互動式 WebAssembly 網站 (Modern Web 2018)
My sql 5.6新特性深入剖析——innodb引擎
My sql 5.6新特性深入剖析——innodb引擎
MySQL压力测试经验
MySQL压力测试经验
Openstack nova
Openstack nova
Design realization and application of RBD NBD - Wang Li
Design realization and application of RBD NBD - Wang Li
数据库内核分享——第一期
数据库内核分享——第一期
Openstack neutron 原理详解
Openstack neutron 原理详解
Similar to 淘宝主备数据库自动切换
MySQL自动切换设计与实现
MySQL自动切换设计与实现
orczhou
Nosql三步曲
Nosql三步曲
84zhu
ElasticSearch Training#2 (advanced concepts)-ESCC#1
ElasticSearch Training#2 (advanced concepts)-ESCC#1
medcl
基于MySQL开放复制协议的同步扩展
基于MySQL开放复制协议的同步扩展
Sky Jian
Bypat博客出品-服务器运维集群方法总结2
Bypat博客出品-服务器运维集群方法总结2
redhat9
Bypat博客出品-服务器运维集群方法总结3
Bypat博客出品-服务器运维集群方法总结3
redhat9
Bypat博客出品-服务器运维集群方法总结
Bypat博客出品-服务器运维集群方法总结
redhat9
豆瓣网技术架构变迁
豆瓣网技术架构变迁
reinhardx
Split lock
Split lock
yang peng
Hacking Nginx at Taobao
Hacking Nginx at Taobao
Joshua Zhu
MongoDB at Qihoo 360
MongoDB at Qihoo 360
MongoDB
Kvmopt osforce
Kvmopt osforce
meecheng
深入Docker的资源管理
深入Docker的资源管理
SpeedyCloud
Databases on AWS
Databases on AWS
Chien Chung Shen
从林书豪到全明星 - 虎扑网技术架构如何化解流量高峰
从林书豪到全明星 - 虎扑网技术架构如何化解流量高峰
Scourgen Hong
Notes of jcip
Notes of jcip
Dai Jun
Linux system security
Linux system security
Kenny (netman)
分布式缓存与队列
分布式缓存与队列
XiaoJun Hong
浅谈 My sql 性能调优
浅谈 My sql 性能调优
thinkinlamp
MySQL应用优化实践
MySQL应用优化实践
mysqlops
Similar to 淘宝主备数据库自动切换
(20)
MySQL自动切换设计与实现
MySQL自动切换设计与实现
Nosql三步曲
Nosql三步曲
ElasticSearch Training#2 (advanced concepts)-ESCC#1
ElasticSearch Training#2 (advanced concepts)-ESCC#1
基于MySQL开放复制协议的同步扩展
基于MySQL开放复制协议的同步扩展
Bypat博客出品-服务器运维集群方法总结2
Bypat博客出品-服务器运维集群方法总结2
Bypat博客出品-服务器运维集群方法总结3
Bypat博客出品-服务器运维集群方法总结3
Bypat博客出品-服务器运维集群方法总结
Bypat博客出品-服务器运维集群方法总结
豆瓣网技术架构变迁
豆瓣网技术架构变迁
Split lock
Split lock
Hacking Nginx at Taobao
Hacking Nginx at Taobao
MongoDB at Qihoo 360
MongoDB at Qihoo 360
Kvmopt osforce
Kvmopt osforce
深入Docker的资源管理
深入Docker的资源管理
Databases on AWS
Databases on AWS
从林书豪到全明星 - 虎扑网技术架构如何化解流量高峰
从林书豪到全明星 - 虎扑网技术架构如何化解流量高峰
Notes of jcip
Notes of jcip
Linux system security
Linux system security
分布式缓存与队列
分布式缓存与队列
浅谈 My sql 性能调优
浅谈 My sql 性能调优
MySQL应用优化实践
MySQL应用优化实践
More from mysqlops
The simplethebeautiful
The simplethebeautiful
mysqlops
Oracle数据库分析函数详解
Oracle数据库分析函数详解
mysqlops
Percona Live 2012PPT:mysql-security-privileges-and-user-management
Percona Live 2012PPT:mysql-security-privileges-and-user-management
mysqlops
Percona Live 2012PPT: introduction-to-mysql-replication
Percona Live 2012PPT: introduction-to-mysql-replication
mysqlops
Percona Live 2012PPT: MySQL Cluster And NDB Cluster
Percona Live 2012PPT: MySQL Cluster And NDB Cluster
mysqlops
Percona Live 2012PPT: MySQL Query optimization
Percona Live 2012PPT: MySQL Query optimization
mysqlops
Pldc2012 innodb architecture and internals
Pldc2012 innodb architecture and internals
mysqlops
DBA新人的述职报告
DBA新人的述职报告
mysqlops
分布式爬虫
分布式爬虫
mysqlops
eBay EDW元数据管理及应用
eBay EDW元数据管理及应用
mysqlops
基于协程的网络开发框架的设计与实现
基于协程的网络开发框架的设计与实现
mysqlops
eBay基于Hadoop平台的用户邮件数据分析
eBay基于Hadoop平台的用户邮件数据分析
mysqlops
对MySQL DBA的一些思考
对MySQL DBA的一些思考
mysqlops
QQ聊天系统后台架构的演化与启示
QQ聊天系统后台架构的演化与启示
mysqlops
腾讯即时聊天IM1.4亿在线背后的故事
腾讯即时聊天IM1.4亿在线背后的故事
mysqlops
分布式存储与TDDL
分布式存储与TDDL
mysqlops
MySQL数据库生产环境维护
MySQL数据库生产环境维护
mysqlops
Memcached
Memcached
mysqlops
DevOPS
DevOPS
mysqlops
MySQL数据库开发的三十六条军规
MySQL数据库开发的三十六条军规
mysqlops
More from mysqlops
(20)
The simplethebeautiful
The simplethebeautiful
Oracle数据库分析函数详解
Oracle数据库分析函数详解
Percona Live 2012PPT:mysql-security-privileges-and-user-management
Percona Live 2012PPT:mysql-security-privileges-and-user-management
Percona Live 2012PPT: introduction-to-mysql-replication
Percona Live 2012PPT: introduction-to-mysql-replication
Percona Live 2012PPT: MySQL Cluster And NDB Cluster
Percona Live 2012PPT: MySQL Cluster And NDB Cluster
Percona Live 2012PPT: MySQL Query optimization
Percona Live 2012PPT: MySQL Query optimization
Pldc2012 innodb architecture and internals
Pldc2012 innodb architecture and internals
DBA新人的述职报告
DBA新人的述职报告
分布式爬虫
分布式爬虫
eBay EDW元数据管理及应用
eBay EDW元数据管理及应用
基于协程的网络开发框架的设计与实现
基于协程的网络开发框架的设计与实现
eBay基于Hadoop平台的用户邮件数据分析
eBay基于Hadoop平台的用户邮件数据分析
对MySQL DBA的一些思考
对MySQL DBA的一些思考
QQ聊天系统后台架构的演化与启示
QQ聊天系统后台架构的演化与启示
腾讯即时聊天IM1.4亿在线背后的故事
腾讯即时聊天IM1.4亿在线背后的故事
分布式存储与TDDL
分布式存储与TDDL
MySQL数据库生产环境维护
MySQL数据库生产环境维护
Memcached
Memcached
DevOPS
DevOPS
MySQL数据库开发的三十六条军规
MySQL数据库开发的三十六条军规
淘宝主备数据库自动切换
1.
主库自动切换“漂移” ——基于zookeeper分布式选举和一致性保证
朱金清 (穆公)
2.
大纲 •
背景 • 基于zk的分布式选举 • 切换的数据一致性保证 • zk的监控 • 效果页面 • 总结
3.
背景 • 互联网应用以普通的PC服务器为主 • 免费的开源软件:
Linux平台、mysql • 分布式系统的本质困难 – Partial failure 部分故障 • 如果要么一个都不坏,要么全坏,那处理简单多了 • 无法及时准确定位出故障的原因
4.
背景-可靠性衡量 • 可靠性指标MTBF
– Mean Time between failures • 1million hours的含义 – 10,000台服务器同时运行100小时就会坏一台 • 服务器主要部件MTBF – 主板、CPU、硬盘 1million hours (厂家标称值) – 内存 4million hours(8根内存 ~ 1million hours) • 整体的MTBF~1million/4=250000h~1万天 – 年故障率约2%-4% Ref URL: 分布式系统的工程化开发方法http://wenku.baidu.com/view/7943585c3b3567ec102d8a0f.html
5.
背景—mysql切换 • mysql的replication部署 • master挂了,如何?
– 需根据IO/SQL的binlog位置 – 因此,数据库的leader election是有状态的分布式 选举,不像分布式中由其它任何一台就可以替代(如 hbase中的HMaster) • 着重问题: – 新主库的选举 / 应用程序感知 – 选举完后各个数据的一致性保证
6.
相关工作 • Master采用虚IP的方式
– 前提:备库与主库在同一网段 – 阿里云的云聊PHPWind [1] – 腾讯的CDB[2] • DB对外的接口是DNS – 优势:备库与主库可以在不同机房 – 阿里云在考虑的自动切换 – 缺点:受限于DNS,若DNS故障,服务不可用 – [1] http://app.phpwind.com/ – [2] http://wiki.opensns.qq.com/wiki/CDB
7.
分布式系统常用方法 • Paxos:一半机器存活即可 • 实践中,常用master
+ lease来提高效率 • 分布式系统协调服务 – Chubby (Google: Bigtable, MapReduce) – Zookeeper (Yahoo!: hbase, hadoop子项目) • [1] The Chubby lock service for loosely-coupled distributed systems (google论文) • [2] http://nosql-wiki.org/wiki/bin/view/Main/ThePartTimeParliament • [3] http://hadoop.apache.org/zookeeper • [4] PaxosLease: PaxosLease: Diskless Paxos for Leases
8.
我们的方式:漂移 •
拆分成很多套数据库 • Master(read-only)-Master-slave • 数据库中间层部署在程序端,配置推送 • 采用IP的方式 • 优势 – 备库与主库可以在不同机房 – 不受限于DNS – 全页面操作 – 人工情况下可以将 主库切往任何备库
9.
大纲 •
背景 • 基于zk的分布式选举 • 切换的数据一致性保证 • zk的监控 • 效果页面 • 总结
10.
zk介绍 • Yahoo!参考Chubby开发的分布式协调服务
– Chubby采用Paxos算法 – zk采用zab协议,基于TCP来保证消息有序性 • 服务器端Java实现,客户端目前支持Perl,Python,Java, C等编程语言(有第三方PHP) • 我们的系统(漂移):C++ / PHP
11.
zookeeper的配置 • Stand-alone模式 &
Cluster模式 – 有三种端口配置 • 客户端通信端口 • 服务器通信端口 • 服务器选举端口 • 超时设置(2~20倍限制) – zk服务器之间的超时 • initLimit (连接+同步) • syncLimit (同步) – 客户端程序与zk的超时 • zookeeper_init(host, wacher, int recv_timeout …);
12.
主库切换逻辑
watcher /lock 事件 • 主库切换选举 – 每个mysql的客户端对应一个节点 /x-0001 – 主库对应的节点为第一个节点 /x-0002 – 若主库挂了,节点消失 – 发起选举,只有一个节点获得lock /x-0003 即成为新主库 watcher 事件
13.
部署场景 • 可靠的zk集群保障
– zk机器可靠性可以保障 – 半数以上机器存活即可 – 稳定的第三方 • 场景:有三个机房 – zk部署在三个机房 – mysql:3,4,6 – mysql:agent=1:1
14.
主库切换的触发条件 •
agent异常 – a1:agent异常退出 – a2:agent与mysql的通信异常 – a3:agent与zk之间的网络异常 – a4:机器死机 • mysql数据库 – m1:访问异常 – m2:机器死机(同a4) – m3:机器的网络异常(同a3) – m4:所在的整个机房down掉
15.
主库切换的触发条件-agent •
a1:异常退出 – 要求在recv_timeout的时间内可重启 – 否则将会进行切换 • 需要记住client端的session • 否则进行自动recover • 无法设置read-only,需第三方 • a2:与mysql的通信异常 – 与mysql进行读写测试 – 重试机制,重试次数、间隔可控制 – 若mysql正常,通信问题可以忽略(同一台机器)
16.
主库切换的触发条件-agent(2) • a3:与zk之间的网络异常(设置read-only)
– 通过超时来控制,大于recv_timeout则切换 – 由于session的绑定无法恢复, 需进行切换 • a4:机器死机(设置read-only) – agent与zk的通信中断 – 在大于recv_timeout之后 进行自动切换
17.
主库切换的触发条件-mysql • m1:访问异常
• 定期进行读写(设置read-only) – 主库:插入时间戳(可重试,重试间隔可设置) » 若mysql连接被kill掉,重新创建连接 – 从库:读取时间戳(同上) – 若异常,认为mysql挂断,进行切换 • m2:机器死机(同a4) • m3:机器的网络异常(同a3) • m4:所在的整个机房down掉 • zookeeper也挂掉,被踢出集群 • 类似于mysql机器与majority隔离 发起自动切换
18.
故障测试—影响写入时间 • 1. 超时设置4秒钟 •
影响写入的时间为4-5秒钟。
19.
故障测试—mysql挂掉 • 按照设置的检测超时来定(即为影响写入
的时间)
20.
故障测试—watch事件的迁移 • zk集群上结点各有watch事件 • Client
A注册上来后watch比如在zk的M上 – 如上图的,***00031结点 • 将zk的M进行shutdown • 再进行主库切换,发现Client A成为主库 – Watch照样生效,即watch可以在zk间无缝迁移
21.
故障测试—agent的自动重启 • agent的退出某种程度代表了主库的退出 –
1. 自动重启agent (需要将session保持到本地) – [REF: hadoop the definitive guide chapter 13]
22.
大纲 •
背景 • 基于zk的分布式选举 • 切换的数据一致性保证 • zk的监控 • 效果页面 • 总结
23.
数据可能丢失的地方 • 挂掉的master的binlog能否获取到 • Slave机器上的relay-log损坏
REF : http://code.google.com/p/mysql-master-ha/
24.
数据可能丢失的地方-Cont. • binlog能否获取到
– ssh获取直接获取 – 否则,semi-replication • DBA自己开发的ESR – 采用DRC: • DBA自己开发的类IO线程的模块 • Slave机器上的relay-log损坏 • Slave的relay-log损坏 – 判断Exec和Read的pos – 若无法相等说明可能有丢失
25.
大纲 •
背景 • 基于zk的分布式选举 • 切换的数据一致性保证 • zk的监控 • 效果页面 • 总结
26.
官方支持的监控 • 4-letter monitoring
(mntr) • jmx监控 URL: http://zookeeper.apache.org/doc/r3.3.3/zookeeperJMX.html
27.
4-letter monitoring • 版本3.3.3需要添加patch-744方可(ant编译) •
版本3.4自动支持(另外,3.4引入observer) • mntr监控
28.
Ganglia监控
29.
Nagios监控 • http://10.256.31.61/nagios/
30.
大纲 •
背景 • 基于zk的分布式选举 • 切换的数据一致性保证 • zk的监控 • 效果页面 • 总结
31.
漂移切换界面
32.
大纲 •
背景 • 基于zk的分布式选举 • 切换的数据一致性保证 • zk的监控 • 效果页面 • 总结
33.
总结 • 主从库构成分布式环境,但是有状态 –
确保agent可重启,可以任意次重启 – 但是有超时限制 • 主库切换逻辑可以通过zookeeper实现 – 锁的升级实现 • read-only的设置显得尤为重要, • 故障切换 + APP切换
34.
Q&A 微博: http://www.weibo.com/suinking Email: mugong.zjq@taobao.com 关注方向: mysql、hbase、HDFS