HDFS基础配置

HADOOP-3.1.0-----HDFS基础配置

执行步骤:(1)配置集群(2)启动、测试集群增、删、查(3)执行wordcount案例

一、配置集群

  1.在 hadoop-env.sh配置文件添加 jdk绝对路径  export JAVA_HOME=/opt/module/jdk1.8.0_181

    配置文件位置:/opt/module/hadoop-3.1.0/etc/hadoop/ ,hadoop安装路径下,后文不再叙述。

  2.配置 core-site.xml

    <!-- 指定HDFS中NameNode的地址-->
    <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
    </property>

    <!-- 指定hadoop运行时产生文件的存储目录-->
    <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/module/hadoop-2.7.2/data/tmp</value>
    </property>

   3.配置hdfs.site.xml

    <!-- 指定HDFS副本的数量-->
    <property>
    <name>dfs.replication</name>
    <value>1</value>
    </property>

   4.配置ssh免密登录

    https://www.cnblogs.com/jin-nuo/p/9430066.html

 二、启动集群

    1.格式化NameNode(第一次启动时格式化,以后就不要总格式化,频繁格式化会造成namenode_id和datanode_id不一致)

      bin/hdfs namenode -format

    2.启动NameNode和DataNode

      hdfs --daemon start namenode

      hdfs --daemon start datanode

    3.jps+回车  查看是否启动

     web端查看HDFS文件系统http://ip:9870/

      3.0之前版本端口:50070

三、测试案例

    1.在hdfs文件系统上创建一个input文件夹
     hdfs dfs -mkdir -p /user/atguigu/input

    2.将测试文件内容上传到文件系统上

      hdfs dfs -put wcinput/wc.input /user/atguigu/input/

    3.查看上传的文件是否正确
      hdfs dfs -ls /user/atguigu/input/
      hdfs dfs -cat /user/atguigu/ input/wc.input

      4.运行mapreduce程序
      hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/atguigu/input/ /user/atguigu/output

    5.查看输出结果
      hdfs dfs -cat /user/atguigu/output/*

    6.将测试文件内容下载到本地
      hadoop fs -get /user/atguigu/ output/part-r-00000 ./wcoutput/
    7.删除输出结果
      hdfs dfs -rm -r /user/atguigu/output

上一篇:构建ASP.NET MVC4+EF5+EasyUI+Unity2.x注入的后台管理系统(15)-权限管理系统准备


下一篇:python 基础篇 14 程程器表达式 内置函数