hadoop入门-在windows上安装,测试hadoop

上一篇简单叙述了怎么样在windows上编译hadoop,接着上一篇,这篇叙述怎么样安装hadoop并进行简单的验证安装是否正确。编译的机器与安装的机器分开。

我编译的机器是windows7,安装的机器是windows 2008 r2.

第一步:编译完之后,会在target目录下生成hadoop-2.2.0.tar.gz文件,将该文件解压到一个目录下面,然后将整个目录拷贝到目标机器上,尽量选择简单的目录,比如e:\hd

第二步:添加HADOOP_HOME到系统环境变量里,值为e:\hd.并将%HADOOP_HOME%\bin 添加到path里面。

第三步:配置hadoop

1.修改core_site.xml文件

<configuration>
   <property>
      <name>fs.defaultFS</name>
      <value>hdfs://localhost:9000</value>
   </property>
</configuration>

2.修改hdfs-site.xml文件

<configuration>
   <property>
      <name>dfs.replication</name>
      <value>1</value>
   </property>
   <property>
      <name>dfs.namenode.name.dir</name>
      <value>file:/hdp/data/dfs/namenode</value>
   </property>
   <property>
      <name>dfs.datanode.data.dir</name>
      <value>file:/hdp/data/dfs/datanode</value>
   </property>
</configuration>
3.修改yarn-site.xml文件

<configuration>
<property>
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce_shuffle</value>
</property>
<property>
   <name>
      yarn.nodemanager.aux-services.mapreduce_shuffle.class
   </name>
   <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
4.修改mapred-site.xml文件

<configuration>
    <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
    </property>
</configuration>
第四步:准备hadoop cluster

执行

cd c:/%HADOOP_HOME%/bin
hdfs namenode -format

说明:如果提示JAVA_HOME没有设置或者设置不对,请安装jdk,最好将jdk安装在没有空格的路径里,然后设置JAVA_HOME系统变量。

第五步:启动HDFS

执行

cd c:/%HADOOP_HOME%/sbin
start-dfs
第六步:启动yarn

执行命令:

cd c:/%HADOOP_HOME%/sbin
start-yarn

第七步:验证hadoop cluster是否工作

访问http://localhost:8042http://localhost:50070

第八步:测试cluster

执行

hadoop dfs -mkdir /test

以及

hadoop dfs -ls /




hadoop入门-在windows上安装,测试hadoop

上一篇:C# - DynamicObject with Dynamic


下一篇:vs 2019使用码云 gitee