Hadoop:操作 Hadoop Cluster

启动Hadoop

当完成所有的必要配置后,将HADOOP_CONF_DIR目录中的所有配置文件复制到所有机器,建议将HDFS和YARN后台进程一不同的用户身份运行,比如运行HDFS进程们的用户为hdfs,运行YARN进程们的用户为yarn。

启动Hadoop会同时启动 HDFS 和 YARN 相关进程.

一、启动HDFS

使用hdfs身份登录运行

1、首次使用HDFS,需要先格式化,格式化的目的是写入文件系统,就像我们格式化硬盘一样,可以把所有运行HDFS进程的节点看作一个大的磁盘,格式化的目的就是向这个达磁盘写入文件系统,告诉集群如何管理文件,其中包括每个文件分片的大小等。

格式化命令如下:

[hdfs]$ $HADOOP_PREFIX/bin/hdfs namenode -format <cluster_name>

2、启动 HDFS NameNode 进程

[hdfs]$ $HADOOP_PREFIX/sbin/hadoop-daemon.sh --config $HADOOP_CONF_DIR --script hdfs start namenode

3、启动 HDFS DataNode 进程,每一个DataNode节点都要运行

[hdfs]$ $HADOOP_PREFIX/sbin/hadoop-daemons.sh --config $HADOOP_CONF_DIR --script hdfs start datanode

注:如果 etc/hadoop/slaves 和 ssh可信连接(无密码访问) 都配置了,那启动所有的HDFS进程只需执行下面脚本:

[hdfs]$ $HADOOP_PREFIX/sbin/start-dfs.sh

二、启动YARN

使用yarn、mapred用户登录

1、在ResourceManager节点启动YARN:

[yarn]$ $HADOOP_YARN_HOME/sbin/yarn-daemon.sh --config $HADOOP_CONF_DIR start resourcemanager

2、启动NodeManager,每一个NodeManager都要运行

[yarn]$ $HADOOP_YARN_HOME/sbin/yarn-daemons.sh --config $HADOOP_CONF_DIR start nodemanager

3、启动 standalone WebAppProxy server,如果有多台WebAppProxy server(用来实现负载均衡),逐个启动

[yarn]$ $HADOOP_YARN_HOME/sbin/yarn-daemon.sh --config $HADOOP_CONF_DIR start proxyserver

注:如果 etc/hadoop/slaves 和 ssh可信连接(无密码访问) 都配置了,那启动所有的YARN进程只需执行下面脚本:

[yarn]$ $HADOOP_PREFIX/sbin/start-yarn.sh

4、启动MapReduce JobHistory Server,使用mapred用户登录

[mapred]$ $HADOOP_PREFIX/sbin/mr-jobhistory-daemon.sh --config $HADOOP_CONF_DIR start historyserver

停止Hadoop

一、停止HDFS

使用hdfs用户登录

1、关闭NameNode进程

[hdfs]$ $HADOOP_PREFIX/sbin/hadoop-daemon.sh --config $HADOOP_CONF_DIR --script hdfs stop namenode

2、在每一个DataNode节点关闭DataNode进程

[hdfs]$ $HADOOP_PREFIX/sbin/hadoop-daemons.sh --config $HADOOP_CONF_DIR --script hdfs stop datanode

注:如果 etc/hadoop/slaves 和 ssh可信连接(无密码访问) 都配置了,那启动所有的HDFS进程只需执行下面脚本:

[hdfs]$ $HADOOP_PREFIX/sbin/stop-dfs.sh

二、停止YARN

使用yarn用户登录

1、停止ResourceManager

[yarn]$ $HADOOP_YARN_HOME/sbin/yarn-daemon.sh --config $HADOOP_CONF_DIR stop resourcemanager

2、停止NodeManager,每一个NodeManager节点都要运行

[yarn]$ $HADOOP_YARN_HOME/sbin/yarn-daemons.sh --config $HADOOP_CONF_DIR stop nodemanager

注:如果 etc/hadoop/slaves 和 ssh可信连接(无密码访问) 都配置了,那启动所有的HDFS进程只需执行下面脚本

[yarn]$ $HADOOP_PREFIX/sbin/stop-yarn.sh

3、停止WebAppProxy server,如果多个WebAppProxy server,逐个停止

[yarn]$ $HADOOP_YARN_HOME/sbin/yarn-daemon.sh --config $HADOOP_CONF_DIR stop proxyserver

4、停止MapReduce JobHistory Server,使用mapred用户登录

[mapred]$ $HADOOP_PREFIX/sbin/mr-jobhistory-daemon.sh --config $HADOOP_CONF_DIR stop historyserver

Web 访问接口

 Daemon Web Interface Notes
NameNode http://nn_host:port/ Default HTTP port is 50070.
ResourceManager http://rm_host:port/ Default HTTP port is 8088.
MapReduce JobHistory Server http://jhs_host:port/ Default HTTP port is 19888.
上一篇:ignite和springboot结合无法启动问题


下一篇:[C++]虚函数-同名访问