hdfs web_ui深入讲解、服务启动日志分析、NN SNN关系

hdfs启动顺序:

     1、namenode

      2、datenode

     3、secondnamenode        

     4、yarn

webui: 

          默认为50070端口,dfsheath

    ui内容讲解:

          ClusterID: namenode格式化时生成的(hdfs namenode -format)

          BlockpoolID:数据块池

           (为了federation 和内存管理使用。)

          

     namenode Journal status:

         就是edit日志

     namenode storage:     

          镜像文件存储信息

     

               

          

          

     

启动日志文件目录 $HADOOP_HOME/logs:

      x.log: 通过log4j记录,记录大部分应用程序的日志信息

      x.out  记录标准输出和标准错误日志,少量记录

日志文件的命名规则:

     [  框架名称- 用户名- 进程名- 主机名--日志格式后缀 ]




Secondary namenode:

        1、客户端对hdfs的操作会记录到edits文件中, 即journal 。

        2、namenode 内存中的内容为 fsimage+edits

        3、 namenode 的fsimage和edite文件定时合并后,同步到secondary namenode上。

     


上一篇:centos6.2 64 部署docker


下一篇:python 列表生成式、生成器、迭代器、yield