HDFS文件和HIVE表的一些操作

1. hadoop fs -ls  可以查看HDFS文件

后面不加目录参数的话,默认当前用户的目录。/user/当前用户

$ hadoop fs -ls
16/05/19 10:40:10 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Found 3 items
drwxr-xr-x - yy yy 0 2016-04-24 08:00 .Trash
drwx------ - yy yy 0 2016-05-06 06:00 .staging
drwxr-xr-x - yy yy 0 2016-05-06 06:00 oozie-oozi

也可以加目录,显示指定目录的HDFS文件。

$ hadoop fs -ls /user/yy
16/05/19 10:44:07 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Found 3 items
drwxr-xr-x - yy yy 0 2016-04-24 08:00 /user/yy/.Trash
drwx------ - yy yy 0 2016-05-06 06:00 /user/yy/.staging
drwxr-xr-x - yy yy 0 2016-05-06 06:00 /user/yy/oozie-oozi

2. hadoop fs -mkdir 可以创建文件夹

$ hadoop fs -mkdir upload 

hadoop fs –rmr  可以删除文件夹/文件

3. hadoop fs -put 可以上传本机的HDFS文件

hadoop fs -put  pc/*  upload

hadoop fs -get 可以把HDFS的文件下载到本机

hadoop fs -put   upload/collect_20160518.txt   /home/yy

4. hadoop fs -cat 可以读取HDFS文件

$ hadoop fs  -cat  upload/collect_20160515.txt|head -10

5. HDFS 和hive表

external 外部分区表:

1)HDFS文件,要按分区存储,比如下面,分区为dt,对应的是2016-05-19下面的文件。

/user/yy/upload/wireless/2016-05-19

2)创建external表指向该存储(分区的上一层)

drop table if exists external_weblog_wireless;
create external table external_weblog_wireless
(
thedate string,
time_stamp string,
url_title string
)
partitioned by (dt string)
row format delimited fields terminated by ','
stored as textfile location '/user/yy/upload/wireless/';

3)添加新分区,指向分区目录

alter table external_weblog_wireless add partition (dt='2016-05-19') location '/user/yy/upload/wireless/2016-05-19';

4) 这种外部表分区存储,很适合增量数据。

external外部非分区表:

直接指向存储的最终location,建表即生成了数据表。

drop table if exists external_weblog_wireless;
create external table external_weblog_wireless
(
thedate string,
time_stamp string,
url_title string
)
partitioned by (dt string)
row format delimited fields terminated by ','
stored as textfile location '/user/yy/upload/wireless/2016-05-19';

6. hive 表导出(待补充)

注意:

  1. hadoop fs 和hdfs dfs 作用一样。都可以在本机上查看HDFS文件。
  2. HDFS下的文件可以压缩存储,这样能够减少表查询时对Hadoop集群的IO。

压缩可以按正常的linux压缩,比如 tar -zvcf,.tar.gz

也可以按hadoop的格式压缩。

压缩后,跟普通文件一样上传即可。

3. 常用的几个查询tips

查看分区: show partitions 表名;

查看创表语句:show create table 表名;

7. 提交MAPREDUCE JOB

原则上说,Hadoop所有的MapReduce Job都是一个jar包。

运行一个/home/admin/hadoop/job.jar的MapReduce Job

  1. 进入HADOOP_HOME目录。
  2. 执行sh bin/hadoop jar /home/admin/hadoop/job.jar [jobMainClass] [jobArgs]

8. 杀死某个正在运行的JOB

假设Job_Id为:job_201005310937_0053

  1. 进入HADOOP_HOME目录。
  2. 执行sh bin/hadoop job -kill job_201005310937_0053
上一篇:iOS “请在微信客户端打开链接” UIWebview加载H5页面携带session、cookie、User-Agent信息 设置cookie、清除cookie、设置User-Agent


下一篇:entrySet用法 以及遍历map的用法