《OD大数据实战》HDFS入门实例

一、环境搭建

1.  下载安装配置

《OD大数据实战》Hadoop伪分布式环境搭建

2. Hadoop配置信息

1)${HADOOP_HOME}/libexec:存储hadoop的默认环境变量信息

(1)hadoop-config.sh

(2)hdfs-config.sh

(3)mapred-config.sh

(4)yarn-config.sh

(5)httpfs-config.sh & kms-config.sh

2)${HADOOP_HOME}/etc/hadoop:搭建环境时配置的环境变量信息

(1)hadoop-env.sh

(2)mapred-env.sh

(3)yarn-env.sh

(4)httpfs-env.sh & kms-env.sh

3)${HADOOP_HOME}/share/hadoop:hadoop相关依赖包信息,包括各个模块依赖的其他第三方jar等信息

二、Hadoop Shell命令

1. 启动命令

位于sbin目录下。

1)httpfs.sh命令

启动/停止webhdfs

参数: debug, start, stop

(1)查看

curl -i "http://beifeng-hadoop-02:14000/webhdfs/v1?op=LISTSTATUS&user.name=beifeng"

(2)创建目录

curl -i -X PUT "http://beifeng-hadoop-02:14000/webhdfs/v1/user/beifeng/httpfs?op=MKDIRS&user.name=beifeng"

(3)上传文件

curl -i -X PUT "http://beifeng-hadoop-02:14000/webhdfs/v1/user/beifeng/httpfs/abc.txt?op=CREATE&user.name=beifeng"

curl -i -H "content-type:application/octet-stream" -X PUT -T ./kafka-start.log "http://beifeng-hadoop-02:14000/webhdfs/v1/user/beifeng/httpfs/abc.txt?op=CREATE&user.name=beifeng&data=true" 

(4)打开文件

curl -i "http://beifeng-hadoop-02:14000/webhdfs/v1/user/beifeng/httpfs/abc.txt?op=OPEN&user.name=beifeng"

(5)删除文件

curl -i -X DELETE "http://beifeng-hadoop-02:14000/webhdfs/v1/user/beifeng/httpfs/abc.txt?op=DELETE&user.name=beifeng" 

2)hadoop-daemon.sh

3)hadoop-daemons.sh

hadoop-daemons.sh是在hadoop-daemon.sh的基础上,通知其他机器执行命令,也就是说hadoop-daemon.sh只对一台机器起作用,但是hadoop-daemons.sh会对多台机器起作用

4)yarn-daemon.sh

5)start-dfs.sh

启动所有节点的hdfs相关服务进程

hadoop-daomons.sh脚本启动:namenode,datanode,secondarynamenode,journalnode,zkfc

6)stop-dfs

7)start-yarn.sh

yarn-daemons.sh脚本启动:resourcemanager,nodemanager

8)stop-yarn.sh

9)mr-jobhistory-daemon.sh

启动/停止当前节点的mapred相关服务

10)其他命令

kms.sh

refresh-namenode.sh

slaves.sh

start/stop-secure-dns.sh

start/stop-balance.sh

start/stop-all.sh

2. 控制/操作命令(hfds + mapred + yarn)

位于bin目录下。

上一篇:Freemaker:操作集合


下一篇:Connect() 2016 大会的主题 ---微软大法好