HDFS常用Shell fs命令
-
统一格式
hadoop command [genericOptions] [commandOption]
fs 命令
hadoop fs [genericOptions] [commandOption]
查看信息命令
-
hadoop fs -ls <path>显示指定的文件的详细信息 -
hadoop fs -ls -R <path>ls 命令的递归版本 -
hadoop fs -ls [-d][-R] <path(路径)>-d：返回路径 -R：显示子目录信息 -
hadoop fs -cat <path>将指定的文件的内容输出到标准输出 （stdout） -
hadoop fs -stat [format] <path>以指定的格式返回指定的文件的相关信息，当不指定 format 时，返回文件 的创建日期 -
hadoop fs -tail [-f] <path>将指定的文件最后1KB的内容输出到标准输出(stdout)上,-f选项用于持续监测新添加到文件中的内容 -
hadoop fs -du <path>显示指定的文件或文件夹中所有文件的大小 -
hadoop fs -test -[ezd] <path>检查指定的文件或文件夹的相关信息，不同选项的作用如下 - -e 检查文件是否存在，如果存在返回0，否则返回1
- -z检查文件是否是0字节，如果是返回0，否则返回1
- -d如果路径是个目录，返回1，否则返回0
修改文件属性
-
hadoop fs -chgrp [-R] group <path>将指定的文件所属的组改为group 使用-R对 指定的文件夹内的文件进行递归操作，只适用于超级用户 -
hadoop fs -chown [-R] [owner] [: [group]] <path>改变指定文件的所有者 -R用于递归改变文件夹的文件所有者，只适用于超级用户 -
hadoop fs -chmod [-R] <mode> <path>将指定的文件权限更改为 ,适用于超级用户和文件所有者 -
hadoop fs -setrep [-R] <path>改变指定的文件的副本系数，-R选项用于递归改变目录下所有文件的副本系数
创建命令
-
hadoop fs -touchz <path>创建一个指定的空文件 -
hadoop fs -mkdir [-p] <paths>创建指定的一个或多个文件夹，-p选项用于递归创建子文件夹，即父目录不存在，先创建父目录，最后创建新的子目录
上传命令
-
hadoop fs -copyFromLocal <localsrc(源文件)> <dst(目标文件)>将本地源文件复制（上传）到hdfs服务器路径 指定的文件或文件夹中 -
hadoop fs -put <localsrc> <dst>从本地文件系统中复制指定的单个或多个源文件到 指定的hdfs服务器系统中，也支持从标准输入（stdin）中读取输入并写入目标文件系统 -
hadoop fs -moveFromLocal <localsrc> <dst>与put 命令功能相同，但是文件上传结束后会从本地文件系统中删除指定的文件
文件本地移动复制命令
-
hadoop fs cp <src> <dst>将文件从源路径（文件）复制到目标路径（文件） -
hadoop fs -mv <src> <dest>将文件从源路径（文件）移动到目标路径（文件）
下载文件命令
-
hadoop fs -copyToLocal [-ignorecrc] [-crc] <target> <localdst>将目标文件复制到本地文件或文件夹 中，可用 -ignorecrc 选项复制 CRC校验失败的文件，使用-crc 选项复制文件以及CRC信息 -
hadoop fs -get [ignorecrc] -[crc] <src> <localdst>复制指定的文件到本地文件系统 指定的文件或文件夹 -
hadoop fs -getmerge [-nl] <src1,src2...> <localdst>对指定的源目录中的所有文件进行合并，写入（下载）到 指定的本地文件位置；-nl是可选的，用于指定在每个文件结尾添加一个换行符 -
hadoop fs -test <path>将指定的文件输出为文本格式，文件的格式也允许是zip和TextRecordInputStream
删除命令
-
hadoop fs -rm <path>删除指定的文件，只删除非空目录和文件 -
hadoop fs -rm -rf <path>删除指定的文件夹及其下的所有文件，-r选项表示递归删除子目录，f表示强制删除不需要询问 -
hadoop fs -expunge清空回收站
追加文件命令
-
hadoop fs -appendToFile <localfile> <target(hdfs服务器中文件位置)>将键盘输入内容追加到文件尾：用"-"代替本地文件名例如hadoop fs -appendToFile - /BigData2019/temp/a.txt，表示从键盘输入，Ctrl+C结束输入