PostgreSQL 并行计算解说之6 - parallel CREATE MATERIALIZED VIEW

2022-05-30 14:13:32

背景

PostgreSQL 11 优化器已经支持了非常多场合的并行。简单估计，已支持27余种场景的并行计算。

parallel seq scan            
            
parallel index scan            
            
parallel index only scan            
            
parallel bitmap scan            
            
parallel filter            
        
parallel hash agg        
        
parallel group agg        
            
parallel cte            
            
parallel subquery            
            
parallel create table            
            
parallel create index            
            
parallel select into            
            
parallel CREATE MATERIALIZED VIEW            
            
parallel 排序 : gather merge             
            
parallel nestloop join            
            
parallel hash join            
            
parallel merge join            
            
parallel 自定义并行聚合            
            
parallel 自定义并行UDF            
            
parallel append            
            
parallel union            
            
parallel fdw table scan            
            
parallel partition join            
            
parallel partition agg            
            
parallel gather            
            
parallel rc 并行            
            
parallel rr 并行            
            
parallel GPU 并行            
            
parallel unlogged table

接下来进行一一介绍。

关键知识请先自行了解：

1、优化器自动并行度算法 CBO

《PostgreSQL 9.6 并行计算优化器算法浅析》

《PostgreSQL 11 并行计算算法，参数，强制并行度设置》

parallel CREATE MATERIALIZED VIEW

并行创建物化视图

数据量：10亿。

场景	数据量	关闭并行	开启并行	并行度	开启并行性能提升倍数
CREATE MATERIALIZED VIEW	10 亿	54.7 秒	2 秒	30	27.35 倍

1、关闭并行，耗时： 54.7 秒。

drop table tbl_test;    
    
postgres=# explain create materialized view tbl_test as select * from table1 where i<>1;  
                         QUERY PLAN                            
-------------------------------------------------------------  
 Seq Scan on table1  (cost=0.00..16924779.80 rows=1 width=2)  
   Filter: (i <> 1)  
(2 rows)  
  
postgres=# create unlogged table tbl_test as select * from table1 where i<>1;  
SELECT 0  
Time: 54714.511 ms (00:54.715)

2、开启并行，耗时： 2 秒。

drop materialized view tbl_test;    
    
postgres=# explain create materialized view tbl_test as select * from table1 where i<>1;  
                                QUERY PLAN                                   
---------------------------------------------------------------------------  
 Gather  (cost=0.00..4841445.69 rows=1 width=2)  
   Workers Planned: 30  
   ->  Parallel Seq Scan on table1  (cost=0.00..4841445.69 rows=1 width=2)  
         Filter: (i <> 1)  
(4 rows)  
  
postgres=# create materialized view tbl_test as select * from table1 where i<>1;  
SELECT 0  
Time: 2037.379 ms (00:02.037)

注意CREATE MATERIALIZED VIEW的insert是非并行的(即Gather是单进程)，QUERY是并行的。

所以并行与非并行的性能差异只体现在QUERY部分，INSERT部分实际上没有差异。

其他知识

1、优化器自动并行度算法 CBO

《PostgreSQL 9.6 并行计算优化器算法浅析》

《PostgreSQL 11 并行计算算法，参数，强制并行度设置》

2、function, op 识别是否支持parallel

postgres=# select proparallel,proname from pg_proc;            
 proparallel |                   proname                                
-------------+----------------------------------------------            
 s           | boolin            
 s           | boolout            
 s           | byteain            
 s           | byteaout

3、subquery mapreduce unlogged table

对于一些情况，如果期望简化优化器对非常非常复杂的SQL并行优化的负担，可以自己将SQL拆成几段，中间结果使用unlogged table保存，类似mapreduce的思想。unlogged table同样支持parallel 计算。

4、vacuum，垃圾回收并行。

5、dblink 异步调用并行

《PostgreSQL VOPS 向量计算 + DBLINK异步并行 - 单实例 10亿聚合计算跑进2秒》

《PostgreSQL 相似搜索分布式架构设计与实践 - dblink异步调用与多机并行(远程游标+记录 UDF实例)》

《PostgreSQL dblink异步调用实现并行hash分片JOIN - 含数据交、并、差提速案例 - 含dblink VS pg 11 parallel hash join VS pg 11 智能分区JOIN》

暂时不允许并行的场景(将来PG会继续扩大支持范围)：

1、修改行，锁行，除了create table as , select into, create mview这几个可以使用并行。

2、query 会被中断时，例如cursor , loop in PL/SQL ，因为涉及到中间处理，所以不建议开启并行。

3、paralle unsafe udf ，这种UDF不会并行

4、嵌套并行(udf (内部query并行))，外部调用这个UDF的SQL不会并行。（主要是防止large parallel workers ）