这里的安装是在Linux系统上安装的
参考博客 ：
https://blog.csdn.net/cafebar123/article/details/73500014
https://blog.csdn.net/bingduanlbd/article/details/51874195
1.安装Java
首先要确认安装了Java，用命令确定安装了Java。
java -version
如果没有安装Java，请自行百度安装配置Java
2.在Linux下创建一个用户给Hadoop使用
sudo adduser hadoop
这里创建了一个叫hadoop的用户
3.给账号添加sudo权限
sudo usermod -G sudo hadoop
4.切换Linux账号到hadoop
su hadoop
5.配置SSH无密码登录
首先生成公私密钥对：
ssh-keygen -t rsa
指定key pair的存放位置，回车默认存放于/home/hadoop/.ssh/id_rsa
输入passphrase，这里直接回车，为空，确保无密码可登陆。
拷贝生成的公钥到授权key文件（authorized_keys)
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
6.改变key权限为拥有者可读可写（0600） ：
chmod ~/.ssh/authorized_keys
chomod命令参考：
chmod file – owner can read and write chmod file – owner can read, write and execute chmod file – all can read and write chmod file – all can read, write and execute
测试是否成功：
ssh localhost
7.下载hadoop到用户（hadoop用户）的根目录下
注意，需要下载最新的版本可以到https://hadoop.apache.org/官网下载，点击Download-进入下载页面，选择Binary download项下的包下载。
8.下载完成后，解压包
tar -zxvf 最新的hadoop包名
9.重命名一下（当然也可以忽略）
mv hadoop- hadoop
（最好做个关联ln -s hadoop-2.6.0 hadoop）
10.配置环境变量
vim ~/.bashrc
export JAVA_HOME=/usr/java/jdk1.7.0_79/ export HADOOP_HOME=/home/hadoop/hadoop export HADOOP_INSTALL=$HADOOP_HOME export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
11.让环境变量生效
source ~/.bashrc
12.配置Hadoop
cd到/home/hadoop/hadoop-2.8.5/etc下,使用下面的命令编辑 core-site.xml 文件。
vim core-site.xml
在<configuration>里添加下面的内容：
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
13.配置HDFS
vim hdfs-site.xml
在<configuration>里添加下面的内容：
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>file:///home/hadoop/hadoopdata/hdfs/namenode</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>file:///home/hadoop/hadoopdata/hdfs/datanode</value>
</property>
</configuration>
14.配置MapReduce
vim mapred-site.xml
跟上面一样添加下面的内容
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
15.配置YARM：
vim yarn-site.xml
跟上面一样添加下面的内容
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
16.启动集群，格式化HDFS,
使用之前，需要先格式化Hadoop文件系统
hdfs namenode -format
当然，如果你没有配环境，也可以直接到指定目录启动命令
cd /home/hadoop/hadoop-2.8.5
./bin/hdfs namenode -format
17.启动HDFS和YARN
cd $HADOOP_HOME/sbin
当然你也可以直接进入对应目录下，输入命令
启动文件系统：
start-dfs.sh
这里写图片描述
启动YARN：
start-yarn.sh
查看状态
查看HDFS状态，浏览器访问： http://localhost:50070
查看second namenode:
http://localhost:50090
查看DataNode:
http://localhost:50075/
http://localhost:50075/dataNodeHome.jsp
简单使用Hadoop：
使用HDFS
在HDFS创建两个目录：
hdfs dfs -mkdir /user
hdfs dfs -mkdir /user/hadoop
上传：
hdfs dfs -put /opt/modules/elasticsearch-2.3.1/logs logs
从管理界面可以看到：
运行MapReduce作业
提交一个MapReduce作业：
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar grep logs output 'dfs[a-z.]+'
可以从YARN应用的界面查看作业情况 http://localhost:8088