在使用 CDH 6.0.X 的版本还是自带的是 Spark2.2 的版本，2.2 版本的 Spark 使用 saveAsTable 如果使用overWrite PartitionBy 的功能会有和 hive 行为不一致的地方。
比如我们目前有两个分区 2019-03-22 和 2019-03-23 两个分区，现在我们使用 saveAsTable 想覆盖其中一天的分区，结果却是将整个所有分区遮盖了。重建了整个目录，这明显不是我们想要的到的结果。
好在 spark 在 2.3 版本中已经修复了这个问题，如果遇到的同学直接升级 cdh 的版本到 6.1.x 那么将会获得 spark2.4 ，就可以解决这个问题。但是由于升级集群需要牵扯到的精力的确还是太多，成本太高。所以我还是选择另外一个办法来解决这个问题，使用 hive 的语法来 overwrite 分区。
Hive 的分区有两种情况：
静态分区 - 我们提供一个分区列表，由 Hive 根据这个列表值进行分区
动态分区 - 我们提供一个列，让其值变成分区的值，比如上面提到的日期。
来看个例子
DROP TABLE IF EXISTS stats;
CREATE EXTERNAL TABLE stats (
ad STRING,
impressions INT,
clicks INT
) PARTITIONED BY (country STRING, year INT, month INT, day INT)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
LINES TERMINATED BY '\n';
MSCK REPAIR TABLE stats;
-- Specify static partitions
INSERT OVERWRITE TABLE stats
PARTITION(country = 'US', year = 2017, month = 3, day = 1)
SELECT ad, SUM(impressions), SUM(clicks)
FROM impression_logs
WHERE log_day = 1
GROUP BY ad;
-- Load data into partitions dynamically
SET hive.exec.dynamic.partition = true;
SET hive.exec.dynamic.partition.mode = nonstrict;
INSERT OVERWRITE TABLE stats
PARTITION(country = 'US', year = 2017, month = 3, day)
SELECT ad, SUM(impressions), SUM(clicks), log_day as day
FROM impression_logs
GROUP BY ad;
第二个插入操作指定使用 log_day 来作为动态 partition 的一部分。可以实现无数个分区，而第一种插入只能被归类为一种分区。
最后我们可以让 spark 来直接使用 sql 将数据写入到表中以达到我们的目的。
static partitions
self.ss.sql("""
INSERT OVERWRITE TABLE analytics_db.alpha_md_day_dump_users
PARTITION(the_day='{}')
SELECT *
FROM _md_day_dump_users
""".format(st))
---------------------------------------------------------------
dynamic partitions
self.ss.sql("""
INSERT OVERWRITE TABLE analytics_db.alpha_md_day_dump_users
PARTITION(the_day=the_day)
SELECT the_day, xx, xx, xx
FROM _md_day_dump_users
""")
如果生成小文件过多我们可以在写入之前操纵 df进行一次 repartitions。
Reference:
https://medium.com/a-muggles-pensieve/writing-into-dynamic-partitions-using-spark-2e2b818a007a Writing Into Dynamic Partitions Using Spark
https://issues.apache.org/jira/browse/SPARK-20236 Overwrite a partitioned data source table should only overwrite related partitions