第1页
大规模 ext4 文件系统 部署的收获和挑战
马涛 淘宝网高级技术专家
马涛 淘宝网高级技术专家
第2页
我们的现状
议程
为什么选择 Ext4
大规模 ext4 的部署问题和挑战
我们与社区的合作
对未来 ext4 新特性的展望
议程
为什么选择 Ext4
大规模 ext4 的部署问题和挑战
我们与社区的合作
对未来 ext4 新特性的展望
第3页
我们的现状
3.7 亿注册用户 6000 万固定用户访问 在线商品超过 8 亿件 平均每分钟出售商品 4.8 万件 截止 2010 年单日交易峰值 19.5 亿元
3.7 亿注册用户 6000 万固定用户访问 在线商品超过 8 亿件 平均每分钟出售商品 4.8 万件 截止 2010 年单日交易峰值 19.5 亿元
第4页
为什么选择 ext4
与现有系统的兼容，运维以及切换成本低 ext4 被社区以及主流发行厂商支持 开发时间较长，相对成熟 ext4 的一些新特性
与现有系统的兼容，运维以及切换成本低 ext4 被社区以及主流发行厂商支持 开发时间较长，相对成熟 ext4 的一些新特性
第5页
extent
ext4 的新特性
no-journal
Mballoc and delay allocation
large volume and file size support, fallocate etc.
ext4 的新特性
no-journal
Mballoc and delay allocation
large volume and file size support, fallocate etc.
第6页
ext4 与 ext2 的对比测试
大文件的创建删除
随机读写
目录树文件随机访问
测试用例： http://code.taobao.org/p/dirbench/
大文件的创建删除
随机读写
目录树文件随机访问
测试用例： http://code.taobao.org/p/dirbench/
第7页
大文件创建
文件系 统 Ext2
Ext4 Ext2
Ext4
文件大小 创建命令
下层存储介
质
140GB
dd if=/dev/zero
15KRPM
of=/mnt/img \
SAS 6Gps
bs=4096 count=36700160
140GB falloc –p /mnt/img –o 0 –l 15KRPM
140g
SAS 6Gps
140GB
dd if=/dev/zero
Intel X25-M
of=/mnt/img \
bs=4096 count=36700160
140GB falloc –p /mnt/img –o 0 –l Intel X25-M 140g
消耗时间 15m22.850s
0m0.136s 35m4.727s
0m0.089s
文件系 统 Ext2
Ext4 Ext2
Ext4
文件大小 创建命令
下层存储介
质
140GB
dd if=/dev/zero
15KRPM
of=/mnt/img \
SAS 6Gps
bs=4096 count=36700160
140GB falloc –p /mnt/img –o 0 –l 15KRPM
140g
SAS 6Gps
140GB
dd if=/dev/zero
Intel X25-M
of=/mnt/img \
bs=4096 count=36700160
140GB falloc –p /mnt/img –o 0 –l Intel X25-M 140g
消耗时间 15m22.850s
0m0.136s 35m4.727s
0m0.089s
第8页
大文件删除
文件 系统 Ext2
文件大 删除命令 小 140GB rm /mnt/img
Ext4 140GB rm /mnt/img
Ext2 140GB rm /mnt/img
Ext4 140GB rm /mnt/img
下层存
储介质
15KRPM SAS 6Gps
时间 1m28.686s
15KRPM 0m4.313s SAS 6Gps
Intel X25-M 0m8.978s
Intel X25-M 0m2.595s
文件 系统 Ext2
文件大 删除命令 小 140GB rm /mnt/img
Ext4 140GB rm /mnt/img
Ext2 140GB rm /mnt/img
Ext4 140GB rm /mnt/img
下层存
储介质
15KRPM SAS 6Gps
时间 1m28.686s
15KRPM 0m4.313s SAS 6Gps
Intel X25-M 0m8.978s
Intel X25-M 0m2.595s
第9页
大文件随机访问
文件系 统 Ext2
Ext4
Ext2
Ext4
Ext2 Ext4 Ext2 Ext4
文件大 小 140G
140G
140G
140G
140G 140G 140G 140G
IO 类型
direct IO 读
direct IO 读
direct IO 写
direct IO 写
direct IO 读 direct IO 读 direct IO 写 direct IO 写
IO 大小 存储介质
时间
512KB
512KB
512KB
512KB
512KB 512KB 512KB 512KB
15KRPM SAS 6Gbps
15KRPM SAS 6Gbps
15KRPM SAS 6Gbps
15KRPM SAS 6Gbps
Intel X-25M
Intel X-25M
Intel X-25M
Intel X-25M
2m1.529s
1m43.647s
2m7.389s
1m41.701s
0m39.412s 0m0.977s 1m12.680s 1m26.927s
文件系 统 Ext2
Ext4
Ext2
Ext4
Ext2 Ext4 Ext2 Ext4
文件大 小 140G
140G
140G
140G
140G 140G 140G 140G
IO 类型
direct IO 读
direct IO 读
direct IO 写
direct IO 写
direct IO 读 direct IO 读 direct IO 写 direct IO 写
IO 大小 存储介质
时间
512KB
512KB
512KB
512KB
512KB 512KB 512KB 512KB
15KRPM SAS 6Gbps
15KRPM SAS 6Gbps
15KRPM SAS 6Gbps
15KRPM SAS 6Gbps
Intel X-25M
Intel X-25M
Intel X-25M
Intel X-25M
2m1.529s
1m43.647s
2m7.389s
1m41.701s
0m39.412s 0m0.977s 1m12.680s 1m26.927s
第10页
目录树随机访问
文件系统 Ext2 Ext4 Ext2 Ext4 Ext2 Ext4 Ext2 Ext4 Ext2 Ext4 Ext2 Ext4
文件 IO 操作 创建 创建 创建 创建 读取 读取 读取 读取 更新 更新 更新 更新
存储介质
时间
15KRPM SAS 6Gbps 13m52.492s
15KRPM SAS 6Gbps 10m29.626s
Intel X25-M
24m35.620s
Intel X25-M
15m50.266s
15KRPM SAS 6Gbps 4m31.463s
15KRPM SAS 6Gbps 2m53.712s
Intel X25-M
2m32.163s
Intel X25-M
1m39.319s
15KRPM SAS 6Gbps 11m43.514s
15KRPM SAS 6Gbps 6m38.789s
Intel X25-M
33m8.519s
Intel X25-M
15m46.342s
文件系统 Ext2 Ext4 Ext2 Ext4 Ext2 Ext4 Ext2 Ext4 Ext2 Ext4 Ext2 Ext4
文件 IO 操作 创建 创建 创建 创建 读取 读取 读取 读取 更新 更新 更新 更新
存储介质
时间
15KRPM SAS 6Gbps 13m52.492s
15KRPM SAS 6Gbps 10m29.626s
Intel X25-M
24m35.620s
Intel X25-M
15m50.266s
15KRPM SAS 6Gbps 4m31.463s
15KRPM SAS 6Gbps 2m53.712s
Intel X25-M
2m32.163s
Intel X25-M
1m39.319s
15KRPM SAS 6Gbps 11m43.514s
15KRPM SAS 6Gbps 6m38.789s
Intel X25-M
33m8.519s
Intel X25-M
15m46.342s
第11页
大规模 ext4 部署
cdn 系统 hadoop 集群 云计算平台 其他一些淘宝业务
cdn 系统 hadoop 集群 云计算平台 其他一些淘宝业务
第12页
我们遇到的问题与挑战
ext2 向 ext4 的数据迁移 ext4 不同特性的选择 针对 hadoop 应用的优化 针对 cdn 系统的优化 针对 ssd 的优化
ext2 向 ext4 的数据迁移 ext4 不同特性的选择 针对 hadoop 应用的优化 针对 cdn 系统的优化 针对 ssd 的优化
第13页
ext4 新特性的展望
snapshot checksum bigalloc inline data
snapshot checksum bigalloc inline data
第14页
Q&A