Hadoop-HDFS文件块大小的设置

文件分块

HDFS中文件在物理上分块存储
Hadoop2.x版本中默认文件块为: 128M
通过hdfs参数: dfs.blocksize 设置

文件块大小设置

(1)寻址时间:10ms
(2)传输时间:寻址时间为传输时间1%为最佳状态
因此: 传输时间 = 10ms / 0.01 = 1s
(3)目前磁盘普遍传输速率: 100Mb/s (适合文件块:128M)
(4)固态硬盘(适合文件块:256M 甚至 512M)
固态硬盘不同品牌型号之间,平均大约在150~300M每秒。
最高可达500MB/s
结论:HDFS块大小设置主要取决于磁盘传输速率

太大太小的问题

(1)HDFS块设置太小,会增加寻址时间,程序一直在找块的位置。
(2)HDFS块设置太大,磁盘传输时间明细大于寻址时间,处理数据非常慢。

上一篇:Hadoop-NameNode内存预估


下一篇:数据中台-数据仓库、数据湖、数据中台的区别