启动Hadoop
当完成所有的必要配置后,将HADOOP_CONF_DIR目录中的所有配置文件复制到所有机器,建议将HDFS和YARN后台进程一不同的用户身份运行,比如运行HDFS进程们的用户为hdfs,运行YARN进程们的用户为yarn。
启动Hadoop会同时启动 HDFS 和 YARN 相关进程.
一、启动HDFS
使用hdfs身份登录运行
1、首次使用HDFS,需要先格式化,格式化的目的是写入文件系统,就像我们格式化硬盘一样,可以把所有运行HDFS进程的节点看作一个大的磁盘,格式化的目的就是向这个达磁盘写入文件系统,告诉集群如何管理文件,其中包括每个文件分片的大小等。
格式化命令如下:
[hdfs]$ $HADOOP_PREFIX/bin/hdfs namenode -format <cluster_name>
2、启动 HDFS NameNode 进程
[hdfs]$ $HADOOP_PREFIX/sbin/hadoop-daemon.sh --config $HADOOP_CONF_DIR --script hdfs start namenode
3、启动 HDFS DataNode 进程,每一个DataNode节点都要运行
[hdfs]$ $HADOOP_PREFIX/sbin/hadoop-daemons.sh --config $HADOOP_CONF_DIR --script hdfs start datanode
注:如果 etc/hadoop/slaves 和 ssh可信连接(无密码访问) 都配置了,那启动所有的HDFS进程只需执行下面脚本:
[hdfs]$ $HADOOP_PREFIX/sbin/start-dfs.sh
二、启动YARN
使用yarn、mapred用户登录
1、在ResourceManager节点启动YARN:
[yarn]$ $HADOOP_YARN_HOME/sbin/yarn-daemon.sh --config $HADOOP_CONF_DIR start resourcemanager
2、启动NodeManager,每一个NodeManager都要运行
[yarn]$ $HADOOP_YARN_HOME/sbin/yarn-daemons.sh --config $HADOOP_CONF_DIR start nodemanager
3、启动 standalone WebAppProxy server,如果有多台WebAppProxy server(用来实现负载均衡),逐个启动
[yarn]$ $HADOOP_YARN_HOME/sbin/yarn-daemon.sh --config $HADOOP_CONF_DIR start proxyserver
注:如果 etc/hadoop/slaves 和 ssh可信连接(无密码访问) 都配置了,那启动所有的YARN进程只需执行下面脚本:
[yarn]$ $HADOOP_PREFIX/sbin/start-yarn.sh
4、启动MapReduce JobHistory Server,使用mapred用户登录
[mapred]$ $HADOOP_PREFIX/sbin/mr-jobhistory-daemon.sh --config $HADOOP_CONF_DIR start historyserver
停止Hadoop
一、停止HDFS
使用hdfs用户登录
1、关闭NameNode进程
[hdfs]$ $HADOOP_PREFIX/sbin/hadoop-daemon.sh --config $HADOOP_CONF_DIR --script hdfs stop namenode
2、在每一个DataNode节点关闭DataNode进程
[hdfs]$ $HADOOP_PREFIX/sbin/hadoop-daemons.sh --config $HADOOP_CONF_DIR --script hdfs stop datanode
注:如果 etc/hadoop/slaves 和 ssh可信连接(无密码访问) 都配置了,那启动所有的HDFS进程只需执行下面脚本:
[hdfs]$ $HADOOP_PREFIX/sbin/stop-dfs.sh
二、停止YARN
使用yarn用户登录
1、停止ResourceManager
[yarn]$ $HADOOP_YARN_HOME/sbin/yarn-daemon.sh --config $HADOOP_CONF_DIR stop resourcemanager
2、停止NodeManager,每一个NodeManager节点都要运行
[yarn]$ $HADOOP_YARN_HOME/sbin/yarn-daemons.sh --config $HADOOP_CONF_DIR stop nodemanager
注:如果 etc/hadoop/slaves 和 ssh可信连接(无密码访问) 都配置了,那启动所有的HDFS进程只需执行下面脚本
[yarn]$ $HADOOP_PREFIX/sbin/stop-yarn.sh
3、停止WebAppProxy server,如果多个WebAppProxy server,逐个停止
[yarn]$ $HADOOP_YARN_HOME/sbin/yarn-daemon.sh --config $HADOOP_CONF_DIR stop proxyserver
4、停止MapReduce JobHistory Server,使用mapred用户登录
[mapred]$ $HADOOP_PREFIX/sbin/mr-jobhistory-daemon.sh --config $HADOOP_CONF_DIR stop historyserver
Web 访问接口
Daemon | Web Interface | Notes |
---|---|---|
NameNode | http://nn_host:port/ | Default HTTP port is 50070. |
ResourceManager | http://rm_host:port/ | Default HTTP port is 8088. |
MapReduce JobHistory Server | http://jhs_host:port/ | Default HTTP port is 19888. |