ref:
Hadoop3.1.3安装教程_单机/伪分布式配置_Hadoop3.1.3/Ubuntu18.04(16.04)
Tips:
在配置伪分布式Hadoop前,需要创建hadoop用户、安装java环境等,详情可以参考上述厦大的教程或者单机Hadoop2.6.5的安装与使用
下载安装Hadoop3.1.4
Hadoop3.1.4伪分布配置
修改配置文件 core-site.xml
Tips:使用管理员权限修改改文件,否则无法保存
修改后的结果如下:
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
修改hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
</configuration>
执行 NameNode 格式化
Tips:若直接使用./bin/hdfs namenode -format可能会出现 permission denied的报错,在前面加上sudo即可
返回以下结果代表成功:
如果在这一步时提示 Error: JAVA_HOME is not set and could not be found. 的错误,则查看/usr/local/hadoop/etc/hadoop/hadoop-env.sh文件
并在文件中加入以下语句(jdk版本需根据自己安装的版本定义)
开启 NameNode 和 DataNode 守护进程
Tips:若运行时出现以下报错,则是log文件权限不够,修改文件权限即可
修改文件权限:
修改后即可成功启动
若修改文件权限后出现localhost: ERROR: Cannot set priority of datanode process xxxx错误,则需要修改.bashrc文件中的配置或者将/bin/hdfs里的文件修改
具体修改内容可以查看
或
https://blog.csdn.net/qq_37494825/article/details/90232203
若出现如下SSH提示,输入yes即可
启动后,可以使用jps检验是否成功启动
hadoop的运行实例也可以参考http://dblab.xmu.edu.cn/blog/2441-2/,即博文最上方的链接
个人运行结果:
Tips:如果在运行过程中出现No such file or directory的报错,只需要在input或output前加上/user/hadoop即可