hadoop学习笔记（五）hadoop伪分布式集群的搭建

2023-01-05 19:32:03

本文原创，如需转载，请注明作者和原文链接

1、集群搭建的前期准备见搭建分布式hadoop环境的前期准备---需要检查的几个点

2、解压tar.gz包

[root@node01 ~]# cd software/

[root@node01 software]# ll

总用量

-rw-r--r--  root root  2月    hadoop-2.6..tar.gz

[root@node01 software]# tar xf hadoop-2.6..tar.gz  -C /opt/sxt/

[root@node01 software]# cd /opt/sxt/

[root@node01 sxt]# ll

总用量

drwxr-xr-x  root root  5月    hadoop-2.6.

3、HADOOP_HOME环境变量的配置

[root@node01 hadoop-2.6.]# vi + /etc/profile

结果如图

配置完毕之后，要重新的去读取一下这个文件

[root@node01 hadoop-2.6.]# source /etc/profile

4、java环境变量配置文件的配置

转到目录，注意点：hadoop启动的时候只会去加载这个目录下的配置文件，如果这个目录下有其他的文件夹的话，没有影响

JAVA_HOME的环境变量的二次设置（原因：因为你启动集群的时候的话，你如果不在这个hadoop的文件下设置某些项的话，他会去找你默认本地的java的配置路径，他会找Local ，但是由于是集群启动，根本没有Local这一说，所以你要在一些配置文件中去配置java的路径，让之启动的时候能够找到，如果你不二次配置的话，可能会出现 java command not found）

　　　　配置1: hadoop-env.sh 如果你是只是安装HDFS的话，只改这个配置文件就可以了，但是如果之后会用到mapreduce、yarn等，也需要第二三步的配置

[root@node01 hadoop]# vi hadoop-env.sh

　　　　配置2： mapred-env.sh

[root@node01 hadoop]# vi mapred-env.sh

　　　　配置3： yarn-env.sh

[root@node01 hadoop]# vi yarn-env.sh

结果

5　　　hadoop的结点及副本配置文件配置

参考hadoop官网即可

Pseudo-Distributed Operation

Hadoop can also be run on a single-node in a pseudo-distributed mode where each Hadoop daemon runs in a separate Java process.

Configuration

Use the following:

etc/hadoop/core-site.xml:

-------------------------------------------------------------------------

<configuration>

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://localhost:9000</value>

    </property>

</configuration>

etc/hadoop/hdfs-site.xml:

<configuration>

    <property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

</configuration>

　　配置1：core.env.xml

[root@node01 hadoop]# vi core-site.xml

　配置2：

[root@node01 hadoop]# vi hdfs-site.xml

6、第五步配置的是NameNode的配置，这里需要去配置DataNode和SecondaryNameNode了

　　　　配置DataNode：slaves

[root@node01 hadoop]# vi slaves

　　　　配置第二主节点：默认是配置在 hdfs-site.xml 中的 ,第二个dfs.namenode.secondary.http-adress中的值：是第二主节点在的ip和以及端口号

7、更改主结点，从结点的数据的存储位置。因为不更改的话默认是一个临时的文件夹，这样的话，系统可能不会经过你的允许就会删除这个文件！！

[root@node01 hadoop]# vi core-site.xml

从此所有的配置完成，但是仍需要格式化namenode，生成fsimage文件

8、生成fsimage文件

　　格式化之前：

格式化命令

[root@node01 hadoop]# hdfs namenode -format  #就是为了生成一个fsimage文件

格式化完成

出现

// :: INFO common.Storage: Storage directory /var/sxt/hadoop/pseudo/dfs/name has been successfully formatted.

代表格式化成功

格式化之后，会生成一个目录和一些文件name .内容包括唯一ID、镜像文件等，(特别需要注意的是这个文件所在的位置自己在core-site.xml配置的属性hadoop.tmp.dir的值中设置的),而且在格式化主结点完毕之后。只会生成主结点的数据文件name，，对于从结点和第二主结点的数据文件(data、secondaryNameNode)是当集群启动的时候才会产生的

如下图：

　　其中包含：fsimage镜像文件，如sfiamge_00000000000

　　　　　　　　clusterID:集群的唯一标识的ID 这个ID是供集群使用的，集群中的每一个结点都有这样的一个集群ID，而且是一样的，如果不一样的话，就不代表是隶属于一个集群了，特别的需要注意的是：对于集群之前的namenode格式化,只能进行一次，因为进行多次的话，会导致每次都会产生一个新的clusterID，只是主结点的clusterID变了而其他的结点的并没有变，这样的话会导致整个集群启动的时候，一部分启动不起来，只要是集群ID不一样的，就不会启动，这就是多次格式化产生的问题！！！！

注意：格式化的时候只会产生一个主结点的数据文件夹,name，具体的DataNode和第二主结点的文件夹是在启动集群的时候才会产生的！！！！

到此为止，所有的配置完成，可以启动集群了

启动集群

[root@node01 hadoop-2.6.]# start-dfs.sh

遇见的问题

hadoop伪分布式集群启动出现错误[root@node01 hadoop-2.6.5]# start-dfs.sh
Starting namenodes on [node01] The authenticity of host 'node01 (::1)' can't be established.
 ECDSA key fingerprint is SHA256:hCsbjhUULX1rayvyVwh4EVZzIh49utgmghXRynCvVDE. ECDSA key fing

自己不知道是什么问题，jps进程查询也只有DataNode和SecondaryNameNode两个，没有主结点进程，之后从新的启动了一些集群，就有nameNode进程了，

如果有大佬知道的话，还请下方评论，告诉小白我哦，谢谢啦。

下面是第二次启动的时候并没有关闭第一次启动的集群出现的问题：让我们先关闭DataNode和secondaryNamenode两个结点

启动完毕之后，再次转到hadoop.tmp.dir的值指向的那个目录，就会多data和secondaryNameNode两个文件夹了，这分别是针对从结点和第二主节点的文件夹，具体看下图效果

特别需要注意的是：所有的结点的clusterID的值都应该是一样的，因为隶属于同一个集群。因为所有的结点都属于同一个集群，所以才会在集群启动的时候每个结点以不同的进程进行显示

具体的从结点中有无数据可以从下面的目录中来看

[root@node01 dfs]# cd data/   #这里的data代表的是从结点

[root@node01 data]# ll

总用量

drwxr-xr-x  root root  9月   : current

[root@node01 data]# cd current/

[root@node01 current]# ll

总用量

drwx------ 4 root root  72 9月  20 14:23 BP-782039128-127.0.0.1-1568949808230

-rw-r--r--  root root  9月   : VERSION

[root@node01 current]# cd B*

[root@node01 BP--127.0.0.1-]# ll

总用量

drwxr-xr-x  root root  9月   : current

-rw-r--r--  root root   9月   : dncp_block_verification.log.curr

drwxr-xr-x  root root   9月   : tmp

[root@node01 BP--127.0.0.1-]# cd current/

[root@node01 current]# ll

总用量

-rw-r--r--  root root   9月   : dfsUsed

drwxr-xr-x 2 root root   6 9月  20 14:23 finalized

drwxr-xr-x  root root    9月   : rbw

-rw-r--r--  root root  9月   : VERSION

[root@node01 current]# cd finalized/

[root@node01 finalized]# ll

总用量 0

[root@node01 finalized]# pwd

/var/sxt/hadoop/pseudo/dfs/data/current/BP--127.0.0.1-/current/finalized

　一般的集群还会提供一个可视化的管理界面：浏览器访问我们的集群中的HDFS系统的话，默认的浏览器访问集群的端口是50070，而不是9000,9000是结点之间通信的端口

通过浏览器访问自己的集群：http://结点的ip地址或者别名:50070/ 如：http://192.168.27.102:50070/

结果界面

下面来查看自己的集群中的内容：但是还没向集群中上传文件，如果想要上传文件的话，需要先在nameNode的位置创建一个存放数据文件块的路径

未创建之前，从浏览器中存储的内容为空

创建的过程

[root@node01 sbin]# hdfs dfs -mkdir -p /user/root

如果不清楚hdfs的命令的话：可以用命令查询

见下面

之后的结果

最后就可以向自己搭建起来的集群中上传数据文件了

上传命令语法

#上传文件

[root@node01 software]# ll
总用量 179292
-rw-r--r-- 1 root root 183594876 2月 26 2019 hadoop-2.6.5.tar.gz
[root@node01 software]# hdfs dfs -put hadoop-2.6.5.tar.gz /user/root

成功

注意点：具体上传的这个文件不是整个的存储的，而是以块的形式存储的，这次上传文件总的大小是175M，所以会分成两块，一个默认的是128M，另一个是175-128M

块0

块1

控制台查看，块的存储形式

drwxr-xr-x  root root  9月   : pseudo

[root@node01 hadoop]# cd pseudo/

[root@node01 pseudo]# ll

总用量

drwxr-xr-x  root root  9月   : dfs

[root@node01 pseudo]# cd dfs/

[root@node01 dfs]# ll

总用量

drwx------  root root  9月   : data

drwxr-xr-x  root root  9月   : name

drwxr-xr-x  root root  9月   : namesecondary

[root@node01 dfs]# cd data/

[root@node01 data]# ll

总用量

drwxr-xr-x  root root  9月   : current

-rw-r--r--  root root  9月   : in_use.lock

[root@node01 data]# cd current/

[root@node01 current]# ll

总用量

drwx------  root root  9月   : BP--127.0.0.1-

-rw-r--r--  root root  9月   : VERSION

[root@node01 current]# cd B*

[root@node01 BP--127.0.0.1-]# ll

总用量

drwxr-xr-x  root root   9月   : current

-rw-r--r--  root root    9月   : dncp_block_verification.log.curr

-rw-r--r--  root root  9月   : dncp_block_verification.log.prev

drwxr-xr-x  root root    9月   : tmp

[root@node01 BP--127.0.0.1-]# cd current/

[root@node01 current]# ll

总用量

-rw-r--r--  root root   9月   : dfsUsed

drwxr-xr-x  root root   9月   : finalized

drwxr-xr-x  root root    9月   : rbw

-rw-r--r--  root root  9月   : VERSION

[root@node01 current]# cd finalized/

[root@node01 finalized]# ll

总用量

drwxr-xr-x  root root  9月   : subdir0

[root@node01 finalized]# cd subdir0/

[root@node01 subdir0]# ll

总用量

drwxr-xr-x  root root  9月   : subdir0

[root@node01 subdir0]# cd subdir0/

[root@node01 subdir0]# ll

总用量
-rw-r--r-- 1 root root 134217728 9月  20 15:57 blk_1073741825

-rw-r--r-- 1 root root   1048583 9月  20 15:57 blk_1073741825_1001.meta

-rw-r--r-- 1 root root  49377148 9月  20 15:57 blk_1073741826

-rw-r--r-- 1 root root    385767 9月  20 15:57 blk_1073741826_1002.meta

[root@node01 subdir0]# pwd

/var/sxt/hadoop/pseudo/dfs/data/current/BP--127.0.0.1-/current/finalized/subdir0/subdir0

[root@node01 subdir0]# pwd

/var/sxt/hadoop/pseudo/dfs/data/current/BP-782039128-127.0.0.1-1568949808230/current/finalized/subdir0/subdir0

其中的 blk_1073741825 块就是我们的block0 blk_1073741826 是block1， blk_1073741825_1001.meta和 blk_1073741826_1002.meta 是两个块的元数据信息，用于验证块的完整性用的

至此，整个伪分布式集群的搭建完成！！！

码农公寓

相关文章