AirJD 焦点
AirJD

没有录音文件
00:00/00:00
加收藏

大规模ext4文件系统部署的收获和挑战 by 马涛@淘宝

发布者 linux
发布于 1432254426435  浏览 5506 关键词 DevOps, Linux 
分享到

第1页

大规模 ext4 文件系统 部署的收获和挑战

马涛 淘宝网高级技术专家



第2页

我们的现状



议程



为什么选择 Ext4



大规模 ext4 的部署问题和挑战



我们与社区的合作



对未来 ext4 新特性的展望



第3页

我们的现状

3.7 亿注册用户 6000 万固定用户访问 在线商品超过 8 亿件 平均每分钟出售商品 4.8 万件 截止 2010 年单日交易峰值 19.5 亿元



第4页

为什么选择 ext4

与现有系统的兼容,运维以及切换成本低 ext4 被社区以及主流发行厂商支持 开发时间较长,相对成熟 ext4 的一些新特性



第5页

extent



ext4 的新特性



no-journal



Mballoc and delay allocation



large volume and file size support, fallocate etc.



第6页

ext4 与 ext2 的对比测试

大文件的创建删除

随机读写

目录树文件随机访问

测试用例: http://code.taobao.org/p/dirbench/



第7页

大文件创建



文件系 统 Ext2

Ext4 Ext2

Ext4



文件大小 创建命令



下层存储介







140GB



dd if=/dev/zero



15KRPM



of=/mnt/img \



SAS 6Gps



bs=4096 count=36700160



140GB falloc –p /mnt/img –o 0 –l 15KRPM



140g



SAS 6Gps



140GB



dd if=/dev/zero



Intel X25-M



of=/mnt/img \



bs=4096 count=36700160



140GB falloc –p /mnt/img –o 0 –l Intel X25-M 140g



消耗时间 15m22.850s

0m0.136s 35m4.727s

0m0.089s



第8页

大文件删除



文件 系统 Ext2



文件大 删除命令 小 140GB rm /mnt/img



Ext4 140GB rm /mnt/img



Ext2 140GB rm /mnt/img



Ext4 140GB rm /mnt/img



下层存

储介质

15KRPM SAS 6Gps



时间 1m28.686s



15KRPM 0m4.313s SAS 6Gps



Intel X25-M 0m8.978s



Intel X25-M 0m2.595s



第9页

大文件随机访问



文件系 统 Ext2

Ext4

Ext2

Ext4

Ext2 Ext4 Ext2 Ext4



文件大 小 140G

140G

140G

140G

140G 140G 140G 140G



IO 类型

direct IO 读

direct IO 读

direct IO 写

direct IO 写

direct IO 读 direct IO 读 direct IO 写 direct IO 写



IO 大小 存储介质



时间



512KB

512KB

512KB

512KB

512KB 512KB 512KB 512KB



15KRPM SAS 6Gbps

15KRPM SAS 6Gbps

15KRPM SAS 6Gbps

15KRPM SAS 6Gbps

Intel X-25M

Intel X-25M

Intel X-25M

Intel X-25M



2m1.529s

1m43.647s

2m7.389s

1m41.701s

0m39.412s 0m0.977s 1m12.680s 1m26.927s



第10页

目录树随机访问



文件系统 Ext2 Ext4 Ext2 Ext4 Ext2 Ext4 Ext2 Ext4 Ext2 Ext4 Ext2 Ext4



文件 IO 操作 创建 创建 创建 创建 读取 读取 读取 读取 更新 更新 更新 更新



存储介质



时间



15KRPM SAS 6Gbps 13m52.492s



15KRPM SAS 6Gbps 10m29.626s



Intel X25-M



24m35.620s



Intel X25-M



15m50.266s



15KRPM SAS 6Gbps 4m31.463s



15KRPM SAS 6Gbps 2m53.712s



Intel X25-M



2m32.163s



Intel X25-M



1m39.319s



15KRPM SAS 6Gbps 11m43.514s



15KRPM SAS 6Gbps 6m38.789s



Intel X25-M



33m8.519s



Intel X25-M



15m46.342s



第11页

大规模 ext4 部署

cdn 系统 hadoop 集群 云计算平台 其他一些淘宝业务



第12页

我们遇到的问题与挑战

ext2 向 ext4 的数据迁移 ext4 不同特性的选择 针对 hadoop 应用的优化 针对 cdn 系统的优化 针对 ssd 的优化



第13页

ext4 新特性的展望

snapshot checksum bigalloc inline data



第14页

Q&A



支持文件格式:*.pdf
上传最后阶段需要进行在线转换,可能需要1~2分钟,请耐心等待。