Hadoop3.1.4伪分布配置

ref:

Hadoop3.1.3安装教程_单机/伪分布式配置_Hadoop3.1.3/Ubuntu18.04(16.04)

Tips:

在配置伪分布式Hadoop前,需要创建hadoop用户、安装java环境等,详情可以参考上述厦大的教程或者单机Hadoop2.6.5的安装与使用

下载安装Hadoop3.1.4


Hadoop3.1.4伪分布配置

Hadoop3.1.4伪分布配置

修改配置文件 core-site.xml

Tips:使用管理员权限修改改文件,否则无法保存

Hadoop3.1.4伪分布配置

修改后的结果如下:

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

Hadoop3.1.4伪分布配置

修改hdfs-site.xml

Hadoop3.1.4伪分布配置

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>
</configuration>

Hadoop3.1.4伪分布配置

执行 NameNode 格式化

Tips:若直接使用./bin/hdfs namenode -format可能会出现 permission denied的报错,在前面加上sudo即可

Hadoop3.1.4伪分布配置

返回以下结果代表成功:

Hadoop3.1.4伪分布配置

如果在这一步时提示 Error: JAVA_HOME is not set and could not be found. 的错误,则查看/usr/local/hadoop/etc/hadoop/hadoop-env.sh文件

Hadoop3.1.4伪分布配置

并在文件中加入以下语句(jdk版本需根据自己安装的版本定义)

Hadoop3.1.4伪分布配置

开启 NameNode 和 DataNode 守护进程

Tips:若运行时出现以下报错,则是log文件权限不够,修改文件权限即可

Hadoop3.1.4伪分布配置

修改文件权限:

Hadoop3.1.4伪分布配置

修改后即可成功启动

Hadoop3.1.4伪分布配置

若修改文件权限后出现localhost: ERROR: Cannot set priority of datanode process xxxx错误,则需要修改.bashrc文件中的配置或者将/bin/hdfs里的文件修改

具体修改内容可以查看

https://*.com/questions/51357594/localhost-error-cannot-set-priority-of-datanode-process-2984/51365083

https://blog.csdn.net/qq_37494825/article/details/90232203

Hadoop3.1.4伪分布配置

若出现如下SSH提示,输入yes即可

Hadoop3.1.4伪分布配置

启动后,可以使用jps检验是否成功启动

Hadoop3.1.4伪分布配置

hadoop的运行实例也可以参考http://dblab.xmu.edu.cn/blog/2441-2/,即博文最上方的链接

个人运行结果:

Hadoop3.1.4伪分布配置

Tips:如果在运行过程中出现No such file or directory的报错,只需要在input或output前加上/user/hadoop即可

Hadoop3.1.4伪分布配置

 

上一篇:不用 :show-overflow-tooltip=“true”,element-UI table文字超出*行,隐藏多余文字,移入显示tips


下一篇:C++宏定义小tips