Hive_分区排序(Distribute By)

hive的分区排序

需求:对插入的数据分组,并且排序

案例实操:

(1)先按照部门编号分区,再按照员工编号降序排序。

hive (default)> set mapreduce.job.reduces=3;
hive (default)> insert overwrite local directory /opt/module/datas/distribute-result select * from emp distribute by deptno sort by empno desc;

注意:

1.distribute by的分区规则是根据分区字段的hash码与reduce的个数进行模除后,余数相同的分到一个区。

2.Hive要求DISTRIBUTE BY语句要写在SORT BY语句之前。

Hive_分区排序(Distribute By)

上一篇:Java中对象的内存剖析


下一篇:【C语言】第4章 选择结构程序设计