一、环境搭建
1. 下载安装配置
2. Hadoop配置信息
1)${HADOOP_HOME}/libexec:存储hadoop的默认环境变量信息
(1)hadoop-config.sh
(2)hdfs-config.sh
(3)mapred-config.sh
(4)yarn-config.sh
(5)httpfs-config.sh & kms-config.sh
2)${HADOOP_HOME}/etc/hadoop:搭建环境时配置的环境变量信息
(1)hadoop-env.sh
(2)mapred-env.sh
(3)yarn-env.sh
(4)httpfs-env.sh & kms-env.sh
3)${HADOOP_HOME}/share/hadoop:hadoop相关依赖包信息,包括各个模块依赖的其他第三方jar等信息
二、Hadoop Shell命令
1. 启动命令
位于sbin目录下。
1)httpfs.sh命令
启动/停止webhdfs
参数: debug, start, stop
(1)查看
curl -i "http://beifeng-hadoop-02:14000/webhdfs/v1?op=LISTSTATUS&user.name=beifeng"
(2)创建目录
curl -i -X PUT "http://beifeng-hadoop-02:14000/webhdfs/v1/user/beifeng/httpfs?op=MKDIRS&user.name=beifeng"
(3)上传文件
curl -i -X PUT "http://beifeng-hadoop-02:14000/webhdfs/v1/user/beifeng/httpfs/abc.txt?op=CREATE&user.name=beifeng" curl -i -H "content-type:application/octet-stream" -X PUT -T ./kafka-start.log "http://beifeng-hadoop-02:14000/webhdfs/v1/user/beifeng/httpfs/abc.txt?op=CREATE&user.name=beifeng&data=true"
(4)打开文件
curl -i "http://beifeng-hadoop-02:14000/webhdfs/v1/user/beifeng/httpfs/abc.txt?op=OPEN&user.name=beifeng"
(5)删除文件
curl -i -X DELETE "http://beifeng-hadoop-02:14000/webhdfs/v1/user/beifeng/httpfs/abc.txt?op=DELETE&user.name=beifeng"
2)hadoop-daemon.sh
3)hadoop-daemons.sh
hadoop-daemons.sh是在hadoop-daemon.sh的基础上,通知其他机器执行命令,也就是说hadoop-daemon.sh只对一台机器起作用,但是hadoop-daemons.sh会对多台机器起作用
4)yarn-daemon.sh
5)start-dfs.sh
启动所有节点的hdfs相关服务进程
hadoop-daomons.sh脚本启动:namenode,datanode,secondarynamenode,journalnode,zkfc
6)stop-dfs
7)start-yarn.sh
yarn-daemons.sh脚本启动:resourcemanager,nodemanager
8)stop-yarn.sh
9)mr-jobhistory-daemon.sh
启动/停止当前节点的mapred相关服务
10)其他命令
kms.sh
refresh-namenode.sh
slaves.sh
start/stop-secure-dns.sh
start/stop-balance.sh
start/stop-all.sh
2. 控制/操作命令(hfds + mapred + yarn)
位于bin目录下。