PASS
spark中repartition什么分区最合适
1.节点*每台核数
2.hdfs块数/128
3.goal文件切片那边 分区数接近2000,写2000
如果核数少,task数用2到3倍,文件朵的更碎,有效利用核资源
2 300 ~ 1000 节点*每台核数
太大了,>2000,写2000
2024-02-12 16:57:40
PASS
spark中repartition什么分区最合适
1.节点*每台核数
2.hdfs块数/128
3.goal文件切片那边 分区数接近2000,写2000
如果核数少,task数用2到3倍,文件朵的更碎,有效利用核资源
2 300 ~ 1000 节点*每台核数
太大了,>2000,写2000