Apache Hadoop集群离线安装部署(一)——Hadoop(HDFS、YARN、MR)安装

虽然我已经装了个Cloudera的CDH集群(教程详见:http://www.cnblogs.com/pojishou/p/6267616.html),但实在太吃内存了,而且给定的组件版本是不可选的,如果只是为了研究研究技术,而且是单机,内存较小的情况下,还是建议安装Apache的原生的集群拿来玩,生产上自然是Cloudera的集群,除非有十分强大的运维。

我这次配了3台虚拟机节点。各给了4G,要是宿主机内存就8G的,可以搞3台2G,应该也是ok的。

Apache Hadoop集群离线安装部署(一)——Hadoop(HDFS、YARN、MR)安装:http://www.cnblogs.com/pojishou/p/6366542.html

Apache Hadoop集群离线安装部署(二)——Spark-2.1.0 on Yarn安装:http://www.cnblogs.com/pojishou/p/6366570.html

Apache Hadoop集群离线安装部署(三)——Hbase安装:http://www.cnblogs.com/pojishou/p/6366806.html

〇、安装文件准备

Hadoop 2.7.3:http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz

一、虚拟机准备

设置ip地址,hosts,ssh免密登录,scp,sudo,关闭防火墙,yum,ntp时间同步 略。

Java安装 略。

参考:http://www.cnblogs.com/pojishou/p/6267616.html

二、Hadoop安装

1、解压

tar -zxvf hadoop-2.7..tar.gz -C /opt/program/
ln -s /opt/hadoop-2.7. /opt/hadoop

2、修改配置文件

(1)、hadoop-env.sh

vi /opt/hadoop/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/opt/java

(2)、core-site.xml

vi /opt/hadoop/etc/hadoop/core-site.xml

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://node00:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop/tmp</value>
</property>
</configuration>

(3)、hdfs-site.xml

vi /opt/hadoop/etc/hadoop/hdfs-site.xml

<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>/opt/hadoop/data/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/opt/hadoop/data/data</value>
</property> <property>
<name>dfs.replication</name>
<value>3</value>
</property> <property>
<name>dfs.secondary.http.address</name>
<value>node00:50090</value>
</property>
</configuration>

(4)、mapred-site.xml

vi /opt/hadoop/etc/hadoop/mapred-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

(5)、yarn-site.xml

vi /opt/hadoop/etc/hadoop/yarn-site.xml

<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>node00</value>
</property> <property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

(6)、slaves

node01
node02

3、初始化HDFS

/opt/hadoop/bin/hadoop namenode -format

4、启动集群

/opt/hadoop/sbin/start-all.sh

5、测试

/opt/hadoop/bin/hadoop jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7..jar pi  

求出pi就ok了

上一篇:个人永久性免费-Excel催化剂功能第90波-xml与json数据结构转换表格结构


下一篇:web标准化设计:常用的CSS命名规则手册