文件分块
HDFS中文件在物理上分块存储
Hadoop2.x版本中默认文件块为: 128M
通过hdfs参数: dfs.blocksize 设置
文件块大小设置
(1)寻址时间:10ms
(2)传输时间:寻址时间为传输时间1%为最佳状态
因此: 传输时间 = 10ms / 0.01 = 1s
(3)目前磁盘普遍传输速率: 100Mb/s (适合文件块:128M)
(4)固态硬盘(适合文件块:256M 甚至 512M)
固态硬盘不同品牌型号之间,平均大约在150~300M每秒。
最高可达500MB/s
结论:HDFS块大小设置主要取决于磁盘传输速率
太大太小的问题
(1)HDFS块设置太小,会增加寻址时间,程序一直在找块的位置。
(2)HDFS块设置太大,磁盘传输时间明细大于寻址时间,处理数据非常慢。