SlideShare uma empresa Scribd logo
1 de 3
InnoDB 引擎数据表压缩特性测试
2012 年 3 月 29 日
14:00
一、前言
Innodb Plugin 引擎开始引入多种格式的行存储机制,目前支持:Antelope、Barracuda 两种。
其中 Barracuda 兼容 Antelope 格式。
另外,Innodb plugin 还支持行数据压缩特性,不过前提是采用 Barracuda 行存储格式。
表空间启用压缩的前提是 innodb 表空间文件存储格式修改成:Barracuda,需要修改 2 个选项:
innodb_file_format = "Barracuda"
innodb_file_format_max = "Barracuda"
下面是对比测试结果
二、表空间压缩比
1. 天龙数据表压缩比
2.1 t_achievement 表
压缩之前
-rw-rw---- 1mysqlmysql 19038208 Mar 21 13:59 t_achievement.ibd(18.1G)
压缩之后
-rw-rw---- 1 mysqlmysql 9.2G Mar 21 19:11 t_achievement.ibd
相差:12414976 ~= 12124 MB ~= 11.83 Gb,节约 49.32%
2.2 t_ability 表
压缩前
-rw-rw---- 1 mysqlmysql 1.1G Mar 21 13:51 tlbbdb/t_ability.ibd
压缩后
-rw-rw---- 1 mysqlmysql 404M Mar 28 09:59 tlbbdb/t_ability.ibd
相差:1.1G - 404Mb ~= 696MB,节约 63.27%
2.3 t_char_3 表
压缩前
-rw-rw---- 1mysqlmysql 16195584 Mar 21 14:25 t_char_3.ibd(15.4G)
压缩后
-rw-rw---- 1mysqlmysql 8130560 Mar 28 10:49 t_char_3.ibd(7.7G)
相差:16195584-8130560 = 8065024 ~= 7G,节约 49.79%
2. tpcc 测试库
数据表 压缩前(单位:字节) 压缩后(单位:字节) 减少字节数 节约比
warehoused 192 128 64 33.33%
districtd 9216 5120 4096 44.44%
itemd 17408 11264 6144 35.29%
new_ordersd 397312 155648 241664 60.82%
ordersd 2957312 786432 2170880 73.41%
historyd 4694016 1347584 3346432 71.29%
customerd 20619264 12881920 7737344 37.52%
stockd 35737600 23801856 11935744 33.40%
order_lined 43991040 15740928 28250112 64.22%
全库
109603176 59028260 50574916 46.14%
三、tpcc 对比测试
1. 非压缩表
4212.650 TpmC
4203.600 TpmC
2. 压缩表
428.983 TpmC
663.017 TpmC
707.883 TpmC
707.183 TpmC
四、测试导出
1. 非压缩
timemysqldump tpcc1000 | gzip> tpcc1000.sql.gz
real 148m22.614s
user 148m56.915s
sys 3m33.802s
2. 压缩表
timemysqldump tpcc1000_compress | gzip> tpcc1000_compress.sql.gz
real 129m42.541s
user 149m12.407s
sys 3m44.835s
五、测试导入
1. 非压缩表
1.1 并发导入
开始:2012-04-01 23:43:03.777173866 +0800
结束:2012-04-02 03:21:05.003590866 +0800
耗时:03:38:02
2. 压缩表
1.1 并发导入
开始: 2012-04-01 23:40:34.289173866 +0800
结束:2012-04-03 11:06:44.740992866 +0800
耗时:35:26:10
六、结论
从测试结果来看,InnoDB 引擎的压缩特色效果不错,压缩完后快和 MyISAM 引擎差不多了。
不过压缩后事务并发性能下降非常严重,从这个角度来看,它适合用于对压缩比较高、但对
并发事务要求不高的场景,
例如一些 CPU 性能较高,同时又需要读大量数据的场景,适用范围有限。

Mais conteúdo relacionado

Mais procurados

淘宝软件基础设施构建实践
淘宝软件基础设施构建实践淘宝软件基础设施构建实践
淘宝软件基础设施构建实践
Wensong Zhang
 
淘宝商品库MySQL优化实践
淘宝商品库MySQL优化实践淘宝商品库MySQL优化实践
淘宝商品库MySQL优化实践
Feng Yu
 
Oracle 数据库一体机ODA X5-2 产品介绍.PDF
Oracle 数据库一体机ODA X5-2 产品介绍.PDFOracle 数据库一体机ODA X5-2 产品介绍.PDF
Oracle 数据库一体机ODA X5-2 产品介绍.PDF
Ethan M. Liu
 
分区表基础知识培训
分区表基础知识培训分区表基础知识培训
分区表基础知识培训
maclean liu
 
海量日志分析系统实践,Dba
海量日志分析系统实践,Dba海量日志分析系统实践,Dba
海量日志分析系统实践,Dba
Cevin Cheung
 

Mais procurados (19)

淘宝软件基础设施构建实践
淘宝软件基础设施构建实践淘宝软件基础设施构建实践
淘宝软件基础设施构建实践
 
Flash存储设备在淘宝的应用实践
Flash存储设备在淘宝的应用实践Flash存储设备在淘宝的应用实践
Flash存储设备在淘宝的应用实践
 
利用新硬件提升数据库性能
利用新硬件提升数据库性能利用新硬件提升数据库性能
利用新硬件提升数据库性能
 
Sth About SSD
Sth About SSDSth About SSD
Sth About SSD
 
mysql总结
mysql总结mysql总结
mysql总结
 
淘宝商品库MySQL优化实践
淘宝商品库MySQL优化实践淘宝商品库MySQL优化实践
淘宝商品库MySQL优化实践
 
了解Oracle critical patch update
了解Oracle critical patch update了解Oracle critical patch update
了解Oracle critical patch update
 
Oracle 数据库一体机ODA X5-2 产品介绍.PDF
Oracle 数据库一体机ODA X5-2 产品介绍.PDFOracle 数据库一体机ODA X5-2 产品介绍.PDF
Oracle 数据库一体机ODA X5-2 产品介绍.PDF
 
TomCat迁移步骤简述以及案例
TomCat迁移步骤简述以及案例TomCat迁移步骤简述以及案例
TomCat迁移步骤简述以及案例
 
IoTDB OptimizeAndCaseStudy
IoTDB OptimizeAndCaseStudyIoTDB OptimizeAndCaseStudy
IoTDB OptimizeAndCaseStudy
 
Mysql企业备份发展及实践
Mysql企业备份发展及实践Mysql企业备份发展及实践
Mysql企业备份发展及实践
 
Oracle10g Rac Configuration For Linux X86
Oracle10g Rac Configuration For Linux X86Oracle10g Rac Configuration For Linux X86
Oracle10g Rac Configuration For Linux X86
 
MySQL数据库生产环境维护
MySQL数据库生产环境维护MySQL数据库生产环境维护
MySQL数据库生产环境维护
 
分区表基础知识培训
分区表基础知识培训分区表基础知识培训
分区表基础知识培训
 
MySQL调优
MySQL调优MySQL调优
MySQL调优
 
网站存储经验谈pdf
网站存储经验谈pdf网站存储经验谈pdf
网站存储经验谈pdf
 
海量日志分析系统实践,Dba
海量日志分析系统实践,Dba海量日志分析系统实践,Dba
海量日志分析系统实践,Dba
 
IoTDB Ops
IoTDB OpsIoTDB Ops
IoTDB Ops
 
Hic2011
Hic2011Hic2011
Hic2011
 

Destaque

MiAEYC Conference 2011 in Dearborn, MI
MiAEYC Conference 2011 in Dearborn, MI MiAEYC Conference 2011 in Dearborn, MI
MiAEYC Conference 2011 in Dearborn, MI
Early On Michigan
 
Niepowtarzalna lekcja prehistorii nauczyciele i dyrekcja
Niepowtarzalna lekcja prehistorii   nauczyciele i dyrekcjaNiepowtarzalna lekcja prehistorii   nauczyciele i dyrekcja
Niepowtarzalna lekcja prehistorii nauczyciele i dyrekcja
skony71
 
Helping Young People Succeed 2007
Helping Young People Succeed 2007Helping Young People Succeed 2007
Helping Young People Succeed 2007
Early On Michigan
 
Simposium Hortikultura & Umbi Umbian Kadin
Simposium Hortikultura & Umbi Umbian  KadinSimposium Hortikultura & Umbi Umbian  Kadin
Simposium Hortikultura & Umbi Umbian Kadin
Bio Perforasi
 
Historia De Engormix2
Historia De Engormix2Historia De Engormix2
Historia De Engormix2
Engormix.com
 
MJH STaR Chart
MJH STaR ChartMJH STaR Chart
MJH STaR Chart
constance
 
CreditRiskMonitor Brochure
CreditRiskMonitor BrochureCreditRiskMonitor Brochure
CreditRiskMonitor Brochure
kmacdonald2
 
Miaeyc early childhood_march_2011
Miaeyc early childhood_march_2011Miaeyc early childhood_march_2011
Miaeyc early childhood_march_2011
Early On Michigan
 

Destaque (20)

Bunch General
Bunch GeneralBunch General
Bunch General
 
MiAEYC Conference 2011 in Dearborn, MI
MiAEYC Conference 2011 in Dearborn, MI MiAEYC Conference 2011 in Dearborn, MI
MiAEYC Conference 2011 in Dearborn, MI
 
New Year...New Charms
New Year...New CharmsNew Year...New Charms
New Year...New Charms
 
Niepowtarzalna lekcja prehistorii nauczyciele i dyrekcja
Niepowtarzalna lekcja prehistorii   nauczyciele i dyrekcjaNiepowtarzalna lekcja prehistorii   nauczyciele i dyrekcja
Niepowtarzalna lekcja prehistorii nauczyciele i dyrekcja
 
Estratègies per publicar
Estratègies per publicarEstratègies per publicar
Estratègies per publicar
 
2015 Early On Conference Brochure
2015 Early On Conference Brochure2015 Early On Conference Brochure
2015 Early On Conference Brochure
 
Acollida: serveis de la Biblioteca ETSAV
Acollida: serveis de la Biblioteca ETSAVAcollida: serveis de la Biblioteca ETSAV
Acollida: serveis de la Biblioteca ETSAV
 
Special Education Mandated from Birth
Special Education Mandated from BirthSpecial Education Mandated from Birth
Special Education Mandated from Birth
 
Helping Young People Succeed 2007
Helping Young People Succeed 2007Helping Young People Succeed 2007
Helping Young People Succeed 2007
 
MARSE April 2009
MARSE April 2009MARSE April 2009
MARSE April 2009
 
Physician's Guide for Early On Michigan
Physician's Guide for Early On Michigan Physician's Guide for Early On Michigan
Physician's Guide for Early On Michigan
 
Simposium Hortikultura & Umbi Umbian Kadin
Simposium Hortikultura & Umbi Umbian  KadinSimposium Hortikultura & Umbi Umbian  Kadin
Simposium Hortikultura & Umbi Umbian Kadin
 
Historia De Engormix2
Historia De Engormix2Historia De Engormix2
Historia De Engormix2
 
Mediator training
Mediator trainingMediator training
Mediator training
 
Prezentacja Foresight 2
Prezentacja Foresight 2Prezentacja Foresight 2
Prezentacja Foresight 2
 
MJH STaR Chart
MJH STaR ChartMJH STaR Chart
MJH STaR Chart
 
Michigan Collaborative Conf. 2011 - Presentation
Michigan Collaborative Conf. 2011 - Presentation Michigan Collaborative Conf. 2011 - Presentation
Michigan Collaborative Conf. 2011 - Presentation
 
CreditRiskMonitor Brochure
CreditRiskMonitor BrochureCreditRiskMonitor Brochure
CreditRiskMonitor Brochure
 
Joe Greaney 4.03.2011
Joe Greaney 4.03.2011Joe Greaney 4.03.2011
Joe Greaney 4.03.2011
 
Miaeyc early childhood_march_2011
Miaeyc early childhood_march_2011Miaeyc early childhood_march_2011
Miaeyc early childhood_march_2011
 

Semelhante a InnoDB引擎数据表压缩特性测试 - 20120329

Mongo简介
Mongo简介Mongo简介
Mongo简介
wuda0112
 
对MySQL应用的一些总结
对MySQL应用的一些总结对MySQL应用的一些总结
对MySQL应用的一些总结
Lixun Peng
 
性能优化
性能优化性能优化
性能优化
Lu Wei
 
rebar erlang 2
rebar erlang 2rebar erlang 2
rebar erlang 2
致远 郑
 
大话Ssd(淘宝核心系统数据库组 褚霸)
大话Ssd(淘宝核心系统数据库组 褚霸)大话Ssd(淘宝核心系统数据库组 褚霸)
大话Ssd(淘宝核心系统数据库组 褚霸)
crazyshell
 
Hadoop基线选定
Hadoop基线选定Hadoop基线选定
Hadoop基线选定
baggioss
 

Semelhante a InnoDB引擎数据表压缩特性测试 - 20120329 (20)

My sql 5.6新特性深入剖析——innodb引擎
My sql 5.6新特性深入剖析——innodb引擎My sql 5.6新特性深入剖析——innodb引擎
My sql 5.6新特性深入剖析——innodb引擎
 
Mysql体系结构及原理(innodb)公开版
Mysql体系结构及原理(innodb)公开版Mysql体系结构及原理(innodb)公开版
Mysql体系结构及原理(innodb)公开版
 
Mongo简介
Mongo简介Mongo简介
Mongo简介
 
Oda安装 恢复步骤
Oda安装 恢复步骤Oda安装 恢复步骤
Oda安装 恢复步骤
 
数据库内核分享第二期(Inno db 日志 回滚段 & 崩溃恢复实现详解)
数据库内核分享第二期(Inno db 日志 回滚段 & 崩溃恢复实现详解)数据库内核分享第二期(Inno db 日志 回滚段 & 崩溃恢复实现详解)
数据库内核分享第二期(Inno db 日志 回滚段 & 崩溃恢复实现详解)
 
对MySQL应用的一些总结
对MySQL应用的一些总结对MySQL应用的一些总结
对MySQL应用的一些总结
 
分布式索引构建
分布式索引构建分布式索引构建
分布式索引构建
 
善用 MySQL 及 PostgreSQL - RDBMS 的逆襲 - part1
善用 MySQL 及 PostgreSQL - RDBMS 的逆襲 - part1善用 MySQL 及 PostgreSQL - RDBMS 的逆襲 - part1
善用 MySQL 及 PostgreSQL - RDBMS 的逆襲 - part1
 
11/7王團研究室—SATA 6Gb/s大解密
11/7王團研究室—SATA 6Gb/s大解密11/7王團研究室—SATA 6Gb/s大解密
11/7王團研究室—SATA 6Gb/s大解密
 
性能优化
性能优化性能优化
性能优化
 
Dbabc.net 利用heartbeat + drbd搭建my sql高可用环境
Dbabc.net 利用heartbeat + drbd搭建my sql高可用环境Dbabc.net 利用heartbeat + drbd搭建my sql高可用环境
Dbabc.net 利用heartbeat + drbd搭建my sql高可用环境
 
Ibatis技术讲座
Ibatis技术讲座Ibatis技术讲座
Ibatis技术讲座
 
淘宝Java中间件之路 it168
淘宝Java中间件之路 it168淘宝Java中间件之路 it168
淘宝Java中间件之路 it168
 
rebar erlang 2
rebar erlang 2rebar erlang 2
rebar erlang 2
 
大话Ssd(淘宝核心系统数据库组 褚霸)
大话Ssd(淘宝核心系统数据库组 褚霸)大话Ssd(淘宝核心系统数据库组 褚霸)
大话Ssd(淘宝核心系统数据库组 褚霸)
 
Refactoring
RefactoringRefactoring
Refactoring
 
Hadoop基线选定
Hadoop基线选定Hadoop基线选定
Hadoop基线选定
 
开源应用日志收集系统
开源应用日志收集系统开源应用日志收集系统
开源应用日志收集系统
 
Bluemix Node-Red Part II
Bluemix Node-Red Part IIBluemix Node-Red Part II
Bluemix Node-Red Part II
 
Hadoop开发者入门专刊
Hadoop开发者入门专刊Hadoop开发者入门专刊
Hadoop开发者入门专刊
 

Mais de Jinrong Ye

Cgroup lxc在17173 iaas应用池中应用
Cgroup lxc在17173 iaas应用池中应用Cgroup lxc在17173 iaas应用池中应用
Cgroup lxc在17173 iaas应用池中应用
Jinrong Ye
 

Mais de Jinrong Ye (20)

为什么学习MySQL-20220530.pdf
为什么学习MySQL-20220530.pdf为什么学习MySQL-20220530.pdf
为什么学习MySQL-20220530.pdf
 
如何针对业务做DB优化
如何针对业务做DB优化如何针对业务做DB优化
如何针对业务做DB优化
 
程序猿都该知道的MySQL秘籍
程序猿都该知道的MySQL秘籍程序猿都该知道的MySQL秘籍
程序猿都该知道的MySQL秘籍
 
MySQL运维那些事
MySQL运维那些事MySQL运维那些事
MySQL运维那些事
 
高效Linux SA
高效Linux SA高效Linux SA
高效Linux SA
 
MySQL设计、优化、运维
MySQL设计、优化、运维MySQL设计、优化、运维
MySQL设计、优化、运维
 
我们的MySQL
我们的MySQL我们的MySQL
我们的MySQL
 
MySQL数据库设计、优化
MySQL数据库设计、优化MySQL数据库设计、优化
MySQL数据库设计、优化
 
MySQL技术分享:一步到位实现mysql优化
MySQL技术分享:一步到位实现mysql优化MySQL技术分享:一步到位实现mysql优化
MySQL技术分享:一步到位实现mysql优化
 
MySQL压力测试经验
MySQL压力测试经验MySQL压力测试经验
MySQL压力测试经验
 
Cgroup lxc在17173 iaas应用池中应用
Cgroup lxc在17173 iaas应用池中应用Cgroup lxc在17173 iaas应用池中应用
Cgroup lxc在17173 iaas应用池中应用
 
Tpcc mysql使用手册 - 20120329
Tpcc mysql使用手册 - 20120329Tpcc mysql使用手册 - 20120329
Tpcc mysql使用手册 - 20120329
 
MySQL 6.0 下的cluster + replicate - 20080220
MySQL 6.0 下的cluster + replicate - 20080220MySQL 6.0 下的cluster + replicate - 20080220
MySQL 6.0 下的cluster + replicate - 20080220
 
ibbackup vs mysqldump对比测试 - 20080718
ibbackup vs mysqldump对比测试 - 20080718ibbackup vs mysqldump对比测试 - 20080718
ibbackup vs mysqldump对比测试 - 20080718
 
Xtrabackup工具使用简介 - 20110427
Xtrabackup工具使用简介 - 20110427Xtrabackup工具使用简介 - 20110427
Xtrabackup工具使用简介 - 20110427
 
Handler socket测试报告 - 20110422
Handler socket测试报告 - 20110422Handler socket测试报告 - 20110422
Handler socket测试报告 - 20110422
 
mysql cluster测试记录 - 20120905
mysql cluster测试记录 - 20120905mysql cluster测试记录 - 20120905
mysql cluster测试记录 - 20120905
 
dell服务器raid冷迁移方法
dell服务器raid冷迁移方法dell服务器raid冷迁移方法
dell服务器raid冷迁移方法
 
Hp dl380 g7测试结果报告 - 20100823
Hp dl380 g7测试结果报告 - 20100823Hp dl380 g7测试结果报告 - 20100823
Hp dl380 g7测试结果报告 - 20100823
 
PC服务器阵列卡管理简易手册 叶金荣@CYOU-20121223
PC服务器阵列卡管理简易手册 叶金荣@CYOU-20121223PC服务器阵列卡管理简易手册 叶金荣@CYOU-20121223
PC服务器阵列卡管理简易手册 叶金荣@CYOU-20121223
 

InnoDB引擎数据表压缩特性测试 - 20120329

  • 1. InnoDB 引擎数据表压缩特性测试 2012 年 3 月 29 日 14:00 一、前言 Innodb Plugin 引擎开始引入多种格式的行存储机制,目前支持:Antelope、Barracuda 两种。 其中 Barracuda 兼容 Antelope 格式。 另外,Innodb plugin 还支持行数据压缩特性,不过前提是采用 Barracuda 行存储格式。 表空间启用压缩的前提是 innodb 表空间文件存储格式修改成:Barracuda,需要修改 2 个选项: innodb_file_format = "Barracuda" innodb_file_format_max = "Barracuda" 下面是对比测试结果 二、表空间压缩比 1. 天龙数据表压缩比 2.1 t_achievement 表 压缩之前 -rw-rw---- 1mysqlmysql 19038208 Mar 21 13:59 t_achievement.ibd(18.1G) 压缩之后 -rw-rw---- 1 mysqlmysql 9.2G Mar 21 19:11 t_achievement.ibd 相差:12414976 ~= 12124 MB ~= 11.83 Gb,节约 49.32% 2.2 t_ability 表 压缩前 -rw-rw---- 1 mysqlmysql 1.1G Mar 21 13:51 tlbbdb/t_ability.ibd 压缩后 -rw-rw---- 1 mysqlmysql 404M Mar 28 09:59 tlbbdb/t_ability.ibd 相差:1.1G - 404Mb ~= 696MB,节约 63.27% 2.3 t_char_3 表 压缩前 -rw-rw---- 1mysqlmysql 16195584 Mar 21 14:25 t_char_3.ibd(15.4G) 压缩后 -rw-rw---- 1mysqlmysql 8130560 Mar 28 10:49 t_char_3.ibd(7.7G) 相差:16195584-8130560 = 8065024 ~= 7G,节约 49.79% 2. tpcc 测试库 数据表 压缩前(单位:字节) 压缩后(单位:字节) 减少字节数 节约比 warehoused 192 128 64 33.33% districtd 9216 5120 4096 44.44% itemd 17408 11264 6144 35.29% new_ordersd 397312 155648 241664 60.82%
  • 2. ordersd 2957312 786432 2170880 73.41% historyd 4694016 1347584 3346432 71.29% customerd 20619264 12881920 7737344 37.52% stockd 35737600 23801856 11935744 33.40% order_lined 43991040 15740928 28250112 64.22% 全库 109603176 59028260 50574916 46.14% 三、tpcc 对比测试 1. 非压缩表 4212.650 TpmC 4203.600 TpmC 2. 压缩表 428.983 TpmC 663.017 TpmC 707.883 TpmC 707.183 TpmC 四、测试导出 1. 非压缩 timemysqldump tpcc1000 | gzip> tpcc1000.sql.gz real 148m22.614s user 148m56.915s sys 3m33.802s 2. 压缩表 timemysqldump tpcc1000_compress | gzip> tpcc1000_compress.sql.gz real 129m42.541s user 149m12.407s sys 3m44.835s 五、测试导入 1. 非压缩表 1.1 并发导入 开始:2012-04-01 23:43:03.777173866 +0800 结束:2012-04-02 03:21:05.003590866 +0800 耗时:03:38:02 2. 压缩表 1.1 并发导入 开始: 2012-04-01 23:40:34.289173866 +0800 结束:2012-04-03 11:06:44.740992866 +0800 耗时:35:26:10 六、结论
  • 3. 从测试结果来看,InnoDB 引擎的压缩特色效果不错,压缩完后快和 MyISAM 引擎差不多了。 不过压缩后事务并发性能下降非常严重,从这个角度来看,它适合用于对压缩比较高、但对 并发事务要求不高的场景, 例如一些 CPU 性能较高,同时又需要读大量数据的场景,适用范围有限。