HDFS文件块大小

HDFS中的文件块大小在物理上是分块(Block)存储的,块的大小可通过配置参数规定,中小型公司一般是128M,稍大型公司是256M.

HDFS-shell相关操作

1.启动集群
sbin/start-dfs.sh sbin/start-yarn.sh
2.上传
(1).从本地剪切粘贴到HDFS (粘贴后本地无此文件)

(2).从本地文件系统中拷贝文件到HDFS路径去(粘贴后本地仍有此文件)

(3).追加一个文件到已经存在的文件末尾

3.下载
(1).从HDFS拷贝到本地

(2).1也可用get,更加方便简洁

4.HDFS直接操作
(1).显示目录信息

(2).显示文件内容

(3).修改文件所属权限

(4).创建路径

(5).从HDFS的一个路径拷贝到HDFS的另一个路径

(6).在HDFS目录中移动文件

(7).显示一个文件的末尾1kb的数据

(8).删除文件或文件夹

之递归删除

(9).统计文件夹的大小信息

(10).设置HDFS中文件的副本数量

可在红色下划线位置手动删除

HDFS读数据流程