淘宝数据产品的分布式MySQL集群的扩容原理，怎么让40台mysql互联互通，进行数据的随时迁移。

1. MyFOX技术第二讲 扩容与数据迁移 朋春 @我是aleafs

2. 回顾

4. 数据离线批量写入

5. 透明的数据查询代理

7. 路由表 …,cid=2 KEY: thedate=20110811,cid=1 … node path modtime hittime … dbname.t_1 dbname.t_2 dbname.t_2 节点2 节点1

8. 装完数据 UPDATE ... SETmodtime = NOW() WHERE ... modtime: 每条路由对应的分片的数据更新时间

9. 路由访问 SELECT node, path, modtimeFROM ... WHERE ... modtime: if (force_load ||!cache || modtime > cache.savetime) { // load data from mysql }

10. 同时… if (rand(1,100) <= 10) { } UPDATE ... SEThittime= NOW()WHERE ... Why we use “rand” here？ NOT ONLY... BUT ALSO...

11. 决策 SELECT node, path FROM ... WHEREhittime < ’30天前 ’ ANDisarchive = 0

12. @letonlife: “…搬运工伤不起”

13. 工作队列 SELECT ... FROMtask_queque WHEREtask_flag = FLAG_WAITANDtrytimes < 3 ORDER BY priority ASC, trytimesASC, ABS(task_position – AGENT_POSITION) ASC, autokidASC

14. 实施 scp (*.MYI, *.MYD) MySQL MySQL MySQL MySQL MySQL MySQL LOAD SELECT 脚本部署在DB上，有安全隐患 APP APP 两次落地，两次网络传输

15. Federated “The FEDERATED storage engine is available beginning with MySQL 5.0.3. It is a storage engine that accesses data in tables of remote databases rather than in local tables.” http://dev.mysql.com/doc/refman/5.0/en/federated-storage-engine.html

16. CREATE TABLE dbname.t_2_fed ( ... ) ENGINE = FEDERATED br />CONNECTION=‘mysql://user:pass@172.1.1.1/dbname/t_2’ dbname.t_2_fed dbname.t_2 dbname.t_2 172.1.1.1 172.1.1.2 INSERT INTO dbname.t_2 SELECT * FROM dbname.t_2_fed

17. 真相总是在背后 如何选择一台“最优”的机器作为源表来复制呢？ dbname.t_2 dbname.t_2

18. 例如： var task = { “path” : “dim_category_arch_0.t_92d_1”, “from” : “1,2,3,4,5,6,7,8”, “save” : “17,18,19,20”, }

20. 172.002.001.001

21. 172.001.003.002

23. 低碳

24. 稳定

25. 安全

26. 同机房

27. 同机柜

28. 同交换机IP地址“体现”物理部署

31. 卸磨杀驴 /* 数据搬完第二天：*/ DROP TABLE IF EXISTS dbname.t_2/* ON NODE 2 */ Why NOT “right now”？

32. 小结

36. 每个chunk跨机房三份冗余

37. 如果宕机，立即复制

39. Thanks @我是aleafs pengchun@taobao.com