类似订单数据之类的表,因为有状态要更新,比如订单状态,物流状态之类的,
这样就需要同步很久之前的数据,目前我的订单表是更新前面100天的数据。
hive中操作是先删除前面100个分区的数据,然后重新动态分区100天的数据。
1、alter table 表名 drop partition(日期字段>='2017-01-01')
2. INSERT OVERWRITE TABLE 表名 partition(日期) 查询的最后一个字段作为动态分区字段
动态分区记得设置
SET hive.exec.dynamic.partition=true;
SET hive.exec.dynamic.partition.mode=nonstrict;