hadoop环境搭建-伪分布模式

Appache hadoop

版本:2.77   jdk:1.8  系统:centos7

注意不要在root下解压,要单独建一个用户安装hadoop及其组件。

一、先查看系统是否有自带j

  #dk: rpm -qa|grep java

  通常是如下4个包:

  rpm -e --nodeps java-1.8.0-openjdk-1.8.0.131-11.b12.el7.x86_64

  rpm -e --nodeps java-1.7.0-openjdk-1.7.0.141-2.6.10.5.el7.x86_64

  rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.131-11.b12.el7.x86_64

  rpm -e --nodeps java-1.7.0-openjdk-headless-1.8.0.131-11.b12.el7.x86_64

步骤三:验证一下是还有jdk

  #rpm -qa|grep java

  #rpm -qa | grep jdk

  #rpm -qa | grep gc

  #java -version

  没有内容证明已经卸载干净了

二、安装jkd&hadoop:创建hadoop安装目录:mkdir /soft

  在soft下:

  tar –zxvf jdk-7u80-linux-x64.tar.gz

  tar -xzvf hadoop-2.7.3.tar.gz

  建立符号链接:

  ln –s jkd文件名 jdk

  ln –s hadoop-2.7.3 hadoop

  配置hadoop&jdk环境变量:

  su root

  vi /etc/profile

  hadoop环境搭建-伪分布模式

  使环境变量即刻生效

  source /etc/profile

  回到hadoop用户,进入任意目录下,测试是否ok

  java –version

   hadoop环境搭建-伪分布模式

  hadoop version

   hadoop环境搭建-伪分布模式

配置hadoop:

伪分布模式:

hadoop环境搭建-伪分布模式

编辑:core-site.xml

<?xml version="1.0"?>

<!-- core-site.xml -->

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://localhost/</value>

</property>

</configuration>

hadoop环境搭建-伪分布模式

编辑:httpfs-site.xml

<?xml version="1.0"?>

<!-- hdfs-site.xml -->

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

</configuration>

hadoop环境搭建-伪分布模式

编辑:mapred-site.xml (框架)–是由mapred-site.xml.template拷贝过来的模板

cp mapred-site.xml.template mapred-site.xml

<?xml version="1.0"?>

<!-- mapred-site.xml -->

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

hadoop环境搭建-伪分布模式

编辑:yarn-site.xml(底层)

<?xml version="1.0"?>

<!-- yarn-site.xml -->

<configuration>

<property>

<name>yarn.resourcemanager.hostname</name>

<value>localhost</value>

</property>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

</configuration>

hadoop环境搭建-伪分布模式

配置SSH:

  1. 查看系统是否有安装的ssh包

yum list installed | grep ssh

hadoop环境搭建-伪分布模式

如果没有要自行安装ssh

  1. 检查是否启动了sshd进程:ps –Af | grep sshd

hadoop环境搭建-伪分布模式

  1. 在client侧生产公私密匙对:ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
  2. 追加公钥到~/.ssh/authorized_keys文件中(文件名、位置固定)

cd ~/.ssh

cat id_rsa.pub >> authorized_keys

  1. 修改authorized_keys的权限为644:chmod 644 authoried_keys
  2. 测试: ssh localhost

hadoop环境搭建-伪分布模式

上一篇:RabbitMQ c#版实现(转)


下一篇:Oracle DB管理内存