简介
定义：
HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。
HDFS的使用场景：适合一次写入，多次读出的场景。一个文件经过创建、写入和关闭之后就不需要改变。
优点：
- 高容错性
- 数据自动保存多个副本,通过增加副本的形式,提高容错性
- 某一个副本丢失以后,他可以自动恢复
- 适合处理大数据
- 数据规模:GB,TB,PB
- 文件规模:处理百万规模以上的文件数量
- 可构建在廉价机器上,通过多副本机制,提高可靠性
缺点:
- 不适合低延时的数据访问，比如毫秒级的数据存储
- 对大量小文件进行存储很低效
- 存储大量的小文件，会占用NameNode大量的内存来存储文件目录和块信息，但NameNode的内存是有限的
- 小文件的寻址时间会超出读取时间，违反了HDFS的设计目标
- 不支持并发写入、文件的随机修改
- 一个文件只能有一个写，不允许多个线程同时写
- 仅支持数据append，不支持文件的svjixqg
组成架构
文件块大小
- 块设置太小，会增加寻址时间，程序一直在找块的开始位置
- 设置太大，从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间，导致程序在处理这块数据时会非常慢。
HDFS块的大小设置主要取决于磁盘传输速度