动态分区插入可以基于查询语句分出出要插入的分区名称。比如,下面向分区表插入数据的SQL:
insert into table chavin.emp_pat partition(dname,loc)
select e.empno,e.ename,e.job,e.mgr,e.hiredate,e.sal,e.comm,e.deptno,d.dname,d.loc
from dept d join emp e on d.deptno=e.deptno;
hive会根据select字段的最后两个字段确定分区字段的值(上面sql中即根据d.dname,d.loc的值确定partition(dname,loc)中dname和loc的值),分区字段值的确定是根据位置而不是根据内容确定的,这点尤其需要注意。当然,对于多分区表的插入,可以混合使用静态分区和动态分区的方法,并且静态分区字段必须出现在动态分区字段之前,如下:
insert into table chavin.emp_pat partition(dname=' NEW YORK',loc)
select e.empno,e.ename,e.job,e.mgr,e.hiredate,e.sal,e.comm,e.deptno,d.dname,d.loc
from dept d join emp e on d.deptno=e.deptno
where d.dname=' NEW YORK';
针对于hive 0.13.1版本,动态分区插入默认是开启的,但是默认是以strict模式执行。在strict模式下,要求至少有一个分区字段是静态分区字段。
hive动态分区插入的一些属性如下:
hive (chavin)> set hive.exec.dynamic.partition;
hive.exec.dynamic.partition=true
--true表示开启动态分区插入功能。
hive (chavin)> set hive.exec.dynamic.partition.mode;
hive.exec.dynamic.partition.mode=strict
--设置为nonstrict模式,表示所有分区都可以是动态分区字段。
hive (chavin)> set hive.exec.max.dynamic.partitions.pernode;
hive.exec.max.dynamic.partitions.pernode=100
--每个mapper或reduce任务可以创建的最大分区数,如果mapper或reduce任务创建了比这个值大的分区数,则抛出致命错误。
hive (chavin)> set hive.exec.max.dynamic.partitions;
hive.exec.max.dynamic.partitions=1000
--一个动态分区创建语句可以创建的最大动态分区数,如果创建数量超过这个值,则抛出致命错误。
hive (chavin)> set hive.exec.max.created.files;
hive.exec.max.created.files=100000
--全局可以创建的最大文件个数,有一个全局hadoop计数器会跟踪记录创建的文件数,如果超过了限制值则抛出致命错误信息。
hive (chavin)> set dfs.datanode.max.xcievers;
dfs.datanode.max.xcievers=4096
--datanode参数,配置在hdfs-site.xml中,表示一次可以打开的最大文件个数。
如下是动态分区插入的一个小例子:
1)创建分区表:
create table chavin.EMP_pat
(
EMPNO int,
ENAME string,
JOB string,
MGR int,
HIREDATE string,
SAL float,
COMM float,
DEPTNO int
) partitioned by(dname string,loc string)
row format delimited fields terminated by '\t';
2)设置动态分区参数,向分区表插入数据:
set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;
set hive.exec.max.dynamic.partitions.pernode=100;
insert into table chavin.emp_pat partition(dname,loc)
select e.empno,e.ename,e.job,e.mgr,e.hiredate,e.sal,e.comm,e.deptno,d.dname,d.loc
from dept d join emp e on d.deptno=e.deptno;