记录一次hadoop安装过程
虚拟机的配置
首先我们需要先装好一个虚拟机，我这使用的是Ubuntu18.04版本，安装好后是英文界面，可以按照以下方法更换为中文界面
1.首先我们需要下载jdk
打开火狐，切换成百度，搜索jdk，进入官网下载
我们下载这个版本
2.接下来下载hadoop2.7.3版本（其余版本同样，这里使用2.7.3版本进行演示）
选择这个
点击下载，下载完成后可以在下载文档中查看到这两个包
接下来 我们进行配置，首先我们先下载一个vim编辑器（好用而已，别的能用也行）
右击打开终端（如下图所示）
sudo apt-get install vim
然后系统会自动安装好vim
接下来是 java环境变量配置
1.将下载好的 jdk包解压缩到一个自己创建的文件夹中（像这样）
（首先我在主目录创建usr>java>jdk1.8.0_261）
2.使用如下命令
sudo vim /etc/profile
打开文件后按 i 键进入插入模式
来到最后一行添加以下代码
推荐使用绝对路径（我这相对路径报错 路径可在jdk文件属性中查看）
export JAVA_HOME=/home/master/usr/java/jdk1.8.0_261 export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:$PATH
添加完毕后按esc进入命令模式 按:wq 回车（文件保存并退出）
然后执行如下代码
source /etc/profile
查看java是否安装成功
java -version
二、配置ssh免密登录
一般来说新配置的虚拟机没有安装ssh
# 查看ssh安装包情况 dpkg -l | grep ssh # 查看是否启动ssh服务 ps -e | grep ssh
如果没有安装的话执行如下命令
sudo apt-get install openssh-server
安装完成后
ssh -keygen -t rsa
按两到三次回车直到显示$可以输命令了
然后输入如下命令
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
配置成功 以后就可以免密码登录
三、配置hadoop
首先将hadoop压缩包解压至自己想放入的文件夹
usr>hadoop (此处我修改了文件名称 去掉了后面的版本号)
进入usr文件打开终端 授予权限
sudo chown -R master ./hadoop
打开配置文件
sudo vim /etc/profile
添加如下代码（相当于覆盖之前java环境配置）
export JAVA_HOME=/home/master/usr/java/jdk1.8.0_261 export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:${HADOOP_HOME}/bin:$PATH export HADOOP_HOME=/home/master/usr/hadoop
然后:wq 保存退出
source /etc/profile
测试
hadoop version
如下图所示
三、伪分布式安装
在hadoop>etc>hadoop中找到 core-site.xml 和 hdfs-site.xml 和 hadoop-env.sh 三个文件
找到后直接双击打开（以下代码中的路径请按照自己路径进行修改 其中 tmp文件夹没有没关系按代码复制上去）
在core-site.xml中插入如下代码
<configuration> <property> <name>hadoop.tmp.dir</name> <value>file:/home/master/usr/hadoop/tmp</value> <description>Abase for other temporary directories.</description> </property> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration>
在 hdfs-site.xml 中插入如下代码
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/home/master/usr/hadoop/tmp/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/home/master/usr/hadoop/tmp/dfs/data</value> </property> </configuration>
在 hadoop-env.sh 中修改 JAVA_HOME的路径
像这样 修改为自己路径
保存退出
最后
配置完成后在 /home/master/usr/hadoop (注意是自己的hadoop目录) 下使用以下命令 执行format命令，格式化名称节点
./bin/hdfs namenode -format
如果成功会在后面看见 has been successfully formatted 字样
开启hdfs： /home/master/usr/hadoop (注意是自己的hadoop目录)
./sbin/start-dfs.sh
输入 jps 查看 如果 datanode和namenode出现表示成功
在浏览器中输入http://localhost:50070 查看 如下 则成功