Enviar pesquisa
Carregar
淘宝Ocean base云存储实践 2011架构师大会
•
Transferir como PPTX, PDF
•
9 gostaram
•
1,112 visualizações
K
knuthocean
Seguir
Denunciar
Compartilhar
Denunciar
Compartilhar
1 de 18
Baixar agora
Recomendados
oceanbase.淘宝.云存储,实践,nosql,数据库,存储
Oceanbase-淘宝云存储实践
Oceanbase-淘宝云存储实践
mysqlops
Ocean base --千亿级海量数据库-lamper_日照
Ocean base --千亿级海量数据库-lamper_日照
knuthocean
jie's
Cassandra Technical and history overview
Cassandra Technical and history overview
Xu Wang
Ocean base 千亿级海量数据库-日照
Ocean base 千亿级海量数据库-日照
Ocean base 千亿级海量数据库-日照
Shaoning Pan
um-talk
um-talk
Yan Zhang
Downloaded from CSDN download channel.
张铁安:Feed系统架构浅析
张铁安:Feed系统架构浅析
Leechael
網路課程心得整理
現代資料庫
現代資料庫
Jasper Chen
淘宝分布式数据处理实践
淘宝分布式数据处理实践
isnull
Recomendados
oceanbase.淘宝.云存储,实践,nosql,数据库,存储
Oceanbase-淘宝云存储实践
Oceanbase-淘宝云存储实践
mysqlops
Ocean base --千亿级海量数据库-lamper_日照
Ocean base --千亿级海量数据库-lamper_日照
knuthocean
jie's
Cassandra Technical and history overview
Cassandra Technical and history overview
Xu Wang
Ocean base 千亿级海量数据库-日照
Ocean base 千亿级海量数据库-日照
Ocean base 千亿级海量数据库-日照
Shaoning Pan
um-talk
um-talk
Yan Zhang
Downloaded from CSDN download channel.
张铁安:Feed系统架构浅析
张铁安:Feed系统架构浅析
Leechael
網路課程心得整理
現代資料庫
現代資料庫
Jasper Chen
淘宝分布式数据处理实践
淘宝分布式数据处理实践
isnull
Big Data, NoSQL, and MongoDB
Big Data, NoSQL, and MongoDB
Monster Supreme
介绍在性能、实时数据流、存储扩展性以及feed展示方面的架构设计。
大数据时代feed架构 (ArchSummit Beijing 2014)
大数据时代feed架构 (ArchSummit Beijing 2014)
Tim Y
my working summary as data platform & application leader at vipshop
唯品会大数据实践 Sacc pub
唯品会大数据实践 Sacc pub
Chao Zhu
构建可扩展的微博架构 qcon beijing 2010
Build scalable microblog qcon beijing 2010
Build scalable microblog qcon beijing 2010
Tim Y
在厦门爱特咖啡分享的新浪微博Feed服务架构
新浪微博Feed服务架构
新浪微博Feed服务架构
XiaoJun Hong
05 杨志丰
05 杨志丰
锐 张
高并发服务端架构 常用分布式存储比较 分析需求,做好平衡 如何做到RAS(可靠,可用,可扩展); 利用硬件,分级存储
浅析分布式存储架构—设计自己的存储- 58同城徐振华
浅析分布式存储架构—设计自己的存储- 58同城徐振华
zhuozhe
Distributed key value store, memcachedb, tokyo tyrant, redis performance, dynamo. 分布式key value store漫谈, memcachedb, tokyo tyrant, redis性能比较
分布式Key Value Store漫谈
分布式Key Value Store漫谈
Tim Y
Redis的一点想法 - 杨海潮
Redis的一点想法 - 杨海潮
Redis的一点想法 - 杨海潮
Shaoning Pan
difere ntes preguntas y respuestas con referencia a lo que es computacion y
Cuestionario de Computacion
Cuestionario de Computacion
julissa bailon
9th month dia
9th month dia
evcsike
30 ngay
30 ngay
tran ly
Your fm magazine #45
Your fm magazine #45
Universal Media Group (UMG)
поиск деловых контактов
SaEx
SaEx
club-inno
fotos fecha 2
Presentación1
Presentación1
gambetadbarrio
Operadores
Operadores
Lauriita23
Famous Sights of Isfahan 2
Famous Sights of Isfahan 2
AaronSey
Atividade 3 exercicio - aquecimento global
Exercicio sobre o assunto Aquecimento Global
Exercicio sobre o assunto Aquecimento Global
Polo UAB de Alagoinhas
Prospettiva1
Prospettiva1
annalisalu
บท4
บท4
โทโม๊ะจัง นานะ
BE GOING TO
BE GOING TO
JORGE VIVEROS
comprender los problemas sociales tales como la pobreza, la desnutrición, el desempleo, etc., es muy importante.
La pobreza en mexico
La pobreza en mexico
Euler Ruiz
Mais conteúdo relacionado
Mais procurados
Big Data, NoSQL, and MongoDB
Big Data, NoSQL, and MongoDB
Monster Supreme
介绍在性能、实时数据流、存储扩展性以及feed展示方面的架构设计。
大数据时代feed架构 (ArchSummit Beijing 2014)
大数据时代feed架构 (ArchSummit Beijing 2014)
Tim Y
my working summary as data platform & application leader at vipshop
唯品会大数据实践 Sacc pub
唯品会大数据实践 Sacc pub
Chao Zhu
构建可扩展的微博架构 qcon beijing 2010
Build scalable microblog qcon beijing 2010
Build scalable microblog qcon beijing 2010
Tim Y
在厦门爱特咖啡分享的新浪微博Feed服务架构
新浪微博Feed服务架构
新浪微博Feed服务架构
XiaoJun Hong
05 杨志丰
05 杨志丰
锐 张
高并发服务端架构 常用分布式存储比较 分析需求,做好平衡 如何做到RAS(可靠,可用,可扩展); 利用硬件,分级存储
浅析分布式存储架构—设计自己的存储- 58同城徐振华
浅析分布式存储架构—设计自己的存储- 58同城徐振华
zhuozhe
Distributed key value store, memcachedb, tokyo tyrant, redis performance, dynamo. 分布式key value store漫谈, memcachedb, tokyo tyrant, redis性能比较
分布式Key Value Store漫谈
分布式Key Value Store漫谈
Tim Y
Redis的一点想法 - 杨海潮
Redis的一点想法 - 杨海潮
Redis的一点想法 - 杨海潮
Shaoning Pan
Mais procurados
(9)
Big Data, NoSQL, and MongoDB
Big Data, NoSQL, and MongoDB
大数据时代feed架构 (ArchSummit Beijing 2014)
大数据时代feed架构 (ArchSummit Beijing 2014)
唯品会大数据实践 Sacc pub
唯品会大数据实践 Sacc pub
Build scalable microblog qcon beijing 2010
Build scalable microblog qcon beijing 2010
新浪微博Feed服务架构
新浪微博Feed服务架构
05 杨志丰
05 杨志丰
浅析分布式存储架构—设计自己的存储- 58同城徐振华
浅析分布式存储架构—设计自己的存储- 58同城徐振华
分布式Key Value Store漫谈
分布式Key Value Store漫谈
Redis的一点想法 - 杨海潮
Redis的一点想法 - 杨海潮
Destaque
difere ntes preguntas y respuestas con referencia a lo que es computacion y
Cuestionario de Computacion
Cuestionario de Computacion
julissa bailon
9th month dia
9th month dia
evcsike
30 ngay
30 ngay
tran ly
Your fm magazine #45
Your fm magazine #45
Universal Media Group (UMG)
поиск деловых контактов
SaEx
SaEx
club-inno
fotos fecha 2
Presentación1
Presentación1
gambetadbarrio
Operadores
Operadores
Lauriita23
Famous Sights of Isfahan 2
Famous Sights of Isfahan 2
AaronSey
Atividade 3 exercicio - aquecimento global
Exercicio sobre o assunto Aquecimento Global
Exercicio sobre o assunto Aquecimento Global
Polo UAB de Alagoinhas
Prospettiva1
Prospettiva1
annalisalu
บท4
บท4
โทโม๊ะจัง นานะ
BE GOING TO
BE GOING TO
JORGE VIVEROS
comprender los problemas sociales tales como la pobreza, la desnutrición, el desempleo, etc., es muy importante.
La pobreza en mexico
La pobreza en mexico
Euler Ruiz
C strutturale
C strutturale
Matteo Castioni
Ktvonbangdtnganhan
Ktvonbangdtnganhan
TRAN009102128
propuesta de evaluaciòn- decreto 1290.
Propuesta Evaluacion O Decreto 1290[1][1]
Propuesta Evaluacion O Decreto 1290[1][1]
guest0f296b
Sayad el gazal
Sayad el gazal
Sayadelgazal
Wk hoofdstuk 31
Wk hoofdstuk 31
aphroditje
Planejamento bimestral apostila positivo 9º ano 4ºBimestre
9ºano 3ºbimestre Matemática
9ºano 3ºbimestre Matemática
Fernanda Ribeiro
Ser arcoverdense é massa
Ser arcoverdense é massa
Orlando Limeira
Destaque
(20)
Cuestionario de Computacion
Cuestionario de Computacion
9th month dia
9th month dia
30 ngay
30 ngay
Your fm magazine #45
Your fm magazine #45
SaEx
SaEx
Presentación1
Presentación1
Operadores
Operadores
Famous Sights of Isfahan 2
Famous Sights of Isfahan 2
Exercicio sobre o assunto Aquecimento Global
Exercicio sobre o assunto Aquecimento Global
Prospettiva1
Prospettiva1
บท4
บท4
BE GOING TO
BE GOING TO
La pobreza en mexico
La pobreza en mexico
C strutturale
C strutturale
Ktvonbangdtnganhan
Ktvonbangdtnganhan
Propuesta Evaluacion O Decreto 1290[1][1]
Propuesta Evaluacion O Decreto 1290[1][1]
Sayad el gazal
Sayad el gazal
Wk hoofdstuk 31
Wk hoofdstuk 31
9ºano 3ºbimestre Matemática
9ºano 3ºbimestre Matemática
Ser arcoverdense é massa
Ser arcoverdense é massa
Semelhante a 淘宝Ocean base云存储实践 2011架构师大会
BDTC 2013 Beijing China
查礼 -大数据技术如何用于传统信息系统
查礼 -大数据技术如何用于传统信息系统
hdhappy001
No sql带来了什么 孙立
No sql带来了什么 孙立
No sql带来了什么 孙立
Shaoning Pan
110412 mongodb介紹以及在水银中的应用 * 讲者:温铭+金浩+王斌 * 时间:19:00-20:00 * 地点:金山大厦12F大会议室 * 列席:面向安全平台组,同时欢迎对交流内容感兴趣的其他同事出席
110412 kningsoft-mongo db-intro-usage-in-mercury
110412 kningsoft-mongo db-intro-usage-in-mercury
Zoom Quiet
大型网站架构的发展
大型网站架构的发展
drewz lin
大型网站架构的发展
大型网站架构的发展
Hesey
Ocean base海量结构化数据存储系统 hadoop in china
Ocean base海量结构化数据存储系统 hadoop in china
knuthocean
Mysql HandleSocket技术在SNS Feed存储中的应用
Mysql HandleSocket技术在SNS Feed存储中的应用
Mysql HandleSocket技术在SNS Feed存储中的应用
iammutex
基于MySQL开放复制协议的同步扩展
基于MySQL开放复制协议的同步扩展
Sky Jian
从NoSQL产品的选型,到对选出来的产品(Redis)进行了解,最后使用该产品(Redis),就好像“海选”-->“相亲"-->“结婚”的过程。
Nosql三步曲
Nosql三步曲
84zhu
Aapache mesos 论文介绍
Mesos intro
Mesos intro
dennis zhuang
What's Data ? What's DAL ? DAL 中的不变、变化 ? 电商网站 DAL 特点 (SoC) .NET 世界 ORM 现状
浅谈电商网站数据访问层(DAL)与 ORM 之适用性
浅谈电商网站数据访问层(DAL)与 ORM 之适用性
Xuefeng Zhang
大规模数据处理
大规模数据处理
Kay Yan
大规模数据处理
大规模数据处理
airsex
20141128(刘胜)UTC2014分布式和云服务的思考与实践——支付清算行业分布式架构的探索
20141128(刘胜)UTC2014分布式和云服务的思考与实践——支付清算行业分布式架构的探索
20141128(刘胜)UTC2014分布式和云服务的思考与实践——支付清算行业分布式架构的探索
liu sheng
Tup2 人人网张铁安
Tup2 人人网张铁安
yongboy
人人网技术经理张铁安 Feed系统结构浅析
人人网技术经理张铁安 Feed系统结构浅析
isnull
大规模,社区,构建,百度,贴吧,实践,技术,分布式,baidu
大规模社区构建 百度贴吧的实践
大规模社区构建 百度贴吧的实践
mysqlops
分布式Key-value漫谈
分布式Key-value漫谈
lovingprince58
浅谈 My sql 性能调优
浅谈 My sql 性能调优
thinkinlamp
MySQL 应用优化实践
MySQL应用优化实践
MySQL应用优化实践
mysqlops
Semelhante a 淘宝Ocean base云存储实践 2011架构师大会
(20)
查礼 -大数据技术如何用于传统信息系统
查礼 -大数据技术如何用于传统信息系统
No sql带来了什么 孙立
No sql带来了什么 孙立
110412 kningsoft-mongo db-intro-usage-in-mercury
110412 kningsoft-mongo db-intro-usage-in-mercury
大型网站架构的发展
大型网站架构的发展
大型网站架构的发展
大型网站架构的发展
Ocean base海量结构化数据存储系统 hadoop in china
Ocean base海量结构化数据存储系统 hadoop in china
Mysql HandleSocket技术在SNS Feed存储中的应用
Mysql HandleSocket技术在SNS Feed存储中的应用
基于MySQL开放复制协议的同步扩展
基于MySQL开放复制协议的同步扩展
Nosql三步曲
Nosql三步曲
Mesos intro
Mesos intro
浅谈电商网站数据访问层(DAL)与 ORM 之适用性
浅谈电商网站数据访问层(DAL)与 ORM 之适用性
大规模数据处理
大规模数据处理
大规模数据处理
大规模数据处理
20141128(刘胜)UTC2014分布式和云服务的思考与实践——支付清算行业分布式架构的探索
20141128(刘胜)UTC2014分布式和云服务的思考与实践——支付清算行业分布式架构的探索
Tup2 人人网张铁安
Tup2 人人网张铁安
人人网技术经理张铁安 Feed系统结构浅析
人人网技术经理张铁安 Feed系统结构浅析
大规模社区构建 百度贴吧的实践
大规模社区构建 百度贴吧的实践
分布式Key-value漫谈
分布式Key-value漫谈
浅谈 My sql 性能调优
浅谈 My sql 性能调优
MySQL应用优化实践
MySQL应用优化实践
淘宝Ocean base云存储实践 2011架构师大会
1.
OceanBase淘宝云存储实践 2011.9 rizhao.ych@taobao.com
1
2.
3.
时效性:秒级,有时可折衷到分钟级
4.
性能高
5.
OLTP:几十万QPS,几万TPS
6.
OLAP:支持千万行记录实时计算
7.
易用性:支持类SQL使用方式2
8.
9.
分布式方案
10.
类Dynamo方案(Cassandra):弱一致性,关注度越来越低
11.
类Bigtable方案(HBase)
12.
功能支持弱,缺乏事务,跨机房,宕机恢复等各种问题;
13.
线下增量计算及分析型应用
14.
NOSQL与SQL融合方案(Google Megastore):不开源
15.
“拿来主义”不能完全满足真实需求3
16.
17.
海量数据的事务;
18.
大表Join问题;
19.
更好的大数据量OLTP解决方案
20.
低成本,高性能
21.
可扩展,舍弃无用的SQL功能;
22.
支持千万级海量数据的实时OLAP分析
23.
存储服务化4
24.
25.
将机器分成group,每个group内的机器存放的数据完全相同
26.
问题:数据迁移量太大,group内部增加副本做不到自动化;
27.
假设服务数据量1TB,内部传输带宽限制20MB/s,增加副本的时间为1TB / 20MB/s
= 50000s,大约10几个小时;
28.
迁移过程中机器再次出现故障怎么办?5
29.
30.
在线存储特点:数据量大但最近一段时间修改数据量不大
31.
静态数据和动态数据分离
32.
动态数据不断地合并到静态数据
33.
静态数据:数据量大,一般采用SAS存储;
34.
动态数据:数据量小,一般采用内存或者SSD服务;6
35.
36.
动态数据服务器UpdateServer:主+备,实时修改(内存+SSD)
37.
静态数据服务器ChunkServer:多台,B+树数据节点(磁盘或SSD)
38.
查询合并服务器MergeServer:多台,静态动态数据合并…7
39.
40.
数据模型类似关系型数据库
41.
强一致性
42.
支持跨行跨表事务
43.
高效Join
44.
可扩展性:支持动态增减机器,无需分库分表;
45.
可靠性高,机器宕机秒级恢复;
46.
自动负载均衡;
47.
采用Copy-on-write技术,单写多读不加锁,性能好;
48.
支持Online schema change;8
49.
50.
收藏表保存收藏信息条目,40亿+
51.
商品表保存收藏的宝贝详细信息,4亿+
52.
收藏夹展示:收藏表和商品表两张大表join
53.
收藏夹挑战
54.
一个用户可以收藏数千商品
55.
一件商品可被数十万用户收藏
56.
商品的属性实时变化
57.
单次查询响应时间<50ms
58.
实验效果
59.
Mysql 16 *
2减少为Oceanbase 12 + 2
60.
Load值更低,短期无扩容需求;
61.
平均响应时间 <50ms9
62.
63.
随机读性能好 (Intel SSD:3~4万IOPS
vs SAS磁盘:180 IOPS)
64.
顺序写性较很好(~100MB/s),随机写性能差
65.
SSD ¥20/GB
vs SAS ¥3/GB
66.
67.
多线程收发包
68.
千兆网卡:50万/s
69.
万兆网卡:500万/s,780MB/s10
70.
71.
主机房写节点将操作日志同步到备机房
72.
客户端配置多个机房地址,发生切换后自动轮询
73.
机房内自动切换,跨机房人工脚本切换
74.
暂不依赖类Paxos锁服务
75.
二期方案
76.
支持按比例将流量切分到多个机房11
77.
78.
MongoDB => Oceanbase
79.
5个集群,单UPS一天写入500G
80.
逐步上线中,目前单UPS写入接近200GB;
81.
量子统计:千万条数据的实时统计
82.
统计三个月数据,最大用户每天数据量10~20W条
83.
OLAP分布式统计功能开发中,预计年底部分上线
84.
SNS feed index:Cassandra
=> Oceanbase
85.
店铺装修
86.
TODO。。。12
87.
88.
如何支持动态创建/删除分布式索引?
89.
查询操作如何智能地选择索引?
90.
SQL支持
91.
支持where, having, group
by, order by, limit, offset
92.
支持IF语句;
93.
支持IN, 比较运算,四则运算
94.
不支持嵌套查询,外键约束等;13
95.
96.
每天几百GB到TB写数据量,总数据量百TB级别
97.
单UPS,支持跨行跨表事务
98.
UPS单机性能持续优化,探索更好的UPS硬件
99.
更多SQL功能支持,支持简单的SQL优化
100.
相当于廉价的Oracle + 小型机
+ EMC共享存储方案
101.
存储服务化:支持多UPS
102.
将数据划分为多个entity group,entity group内部强一致性,entity
group之间最终一致性14
103.
104.
105.
支持按列存储;(Done)
106.
压缩算法研究;
107.
OLAP算法优化探索,如top N,distinct近似算法15
108.
109.
只有心态开放,才能发展得更好
110.
原版,无删减
111.
系统发展中,很简陋但将持续改进
112.
开源地址:http://code.taobao.org/project/view/587/16
113.
114.
平台需求来源于业务需求提取
115.
避免过度设计
116.
重视测试
117.
测试资源严重不足
118.
单元测试 + 代码Review
119.
开发执行模块级压力测试,测试执行系统级测试
120.
开发编写并执行测试用例,测试专注测试工具自动化
121.
成败在于细节
122.
数据拷贝:Direct IO,权衡接口模块化与性能
123.
内存分配:内存池,线程缓存
124.
锁:线程缓存,减少Cache锁冲突,copy-on-write数据结构
125.
上下文切换:替换传统的任务队列模型17
126.
杨传辉(日照) rizhao.ych@taobao.com 新浪微博:淘宝日照
个人博客:http://nosqlnotes.net 18 谢谢
Baixar agora