MapReduce模型中数据关联使用or语句导致计算效率低下

MapReduce计算模型中,如果两个数据集的关联,并不是通过数据集的一个唯一键和另一个数据集的一个唯一键关联,那么会导致大量数据分发到一个节点计算,使其效率极其低下。

这里的MapReduce并不是仅仅是hive中的mapreduce模型,而是计算思想模型,比如spark、flink等,甚至更广阔的其余分布式计算框架等。

上一篇:选择屏幕动态显示BLOCK title


下一篇:CF622D Solution