Appache hadoop
版本：2.77 jdk:1.8 系统：centos7
注意不要在root下解压，要单独建一个用户安装hadoop及其组件。
一、先查看系统是否有自带j
#dk: rpm -qa|grep java
通常是如下4个包：
rpm -e --nodeps java-1.8.0-openjdk-1.8.0.131-11.b12.el7.x86_64
rpm -e --nodeps java-1.7.0-openjdk-1.7.0.141-2.6.10.5.el7.x86_64
rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.131-11.b12.el7.x86_64
rpm -e --nodeps java-1.7.0-openjdk-headless-1.8.0.131-11.b12.el7.x86_64
步骤三：验证一下是还有jdk
#rpm -qa|grep java
#rpm -qa | grep jdk
#rpm -qa | grep gc
#java -version
没有内容证明已经卸载干净了
二、安装jkd&hadoop：创建hadoop安装目录：mkdir /soft
在soft下：
tar –zxvf jdk-7u80-linux-x64.tar.gz
tar -xzvf hadoop-2.7.3.tar.gz
建立符号链接：
ln –s jkd文件名 jdk
ln –s hadoop-2.7.3 hadoop
配置hadoop&jdk环境变量：
su root
vi /etc/profile
使环境变量即刻生效
source /etc/profile
回到hadoop用户，进入任意目录下,测试是否ok
java –version
hadoop version
配置hadoop：
伪分布模式：
编辑：core-site.xml
<?xml version="1.0"?>
<!-- core-site.xml -->
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost/</value>
</property>
</configuration>
编辑：httpfs-site.xml
<?xml version="1.0"?>
<!-- hdfs-site.xml -->
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
编辑：mapred-site.xml (框架)–是由mapred-site.xml.template拷贝过来的模板
cp mapred-site.xml.template mapred-site.xml
<?xml version="1.0"?>
<!-- mapred-site.xml -->
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
编辑：yarn-site.xml（底层）
<?xml version="1.0"?>
<!-- yarn-site.xml -->
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>localhost</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
配置SSH:
- 查看系统是否有安装的ssh包
yum list installed | grep ssh
如果没有要自行安装ssh
- 检查是否启动了sshd进程：ps –Af | grep sshd
- 在client侧生产公私密匙对：ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
- 追加公钥到~/.ssh/authorized_keys文件中(文件名、位置固定)
cd ~/.ssh
cat id_rsa.pub >> authorized_keys
- 修改authorized_keys的权限为644：chmod 644 authoried_keys
- 测试： ssh localhost