job.setSpeculativeExecution(false);
抓网页阶段,不允许同一个任务运行多次,否则,网页就抓重了
为了充分利用闲置资源,加快map 和 reduce 的执行,于是有SpeculativeExecution机制,同时运行多个map 或 reduce,先运行完的获胜,其他的干掉
相关文章
- 10-20React源码 commit阶段详解
- 10-202016 - 1- 14 UI阶段学习补充 transform属性详解
- 10-20第六阶段_typedef关键字详解:创建一个classroom的结构体用来保存一个班级 的信息,所有学生的信息,以及班级人数
- 10-20x264 lookahead阶段详解
- 10-20详解两阶段3D目标检测网络 Voxel R-CNN:Towards High Performance Voxel-based 3D Object Detection
- 10-20nutch Fetcer阶段详解
- 10-20Wordpress源码分析 三阶段详解(2)
- 10-20源码详解Android 9.0 系统启动流程之init进程(第一阶段)
- 10-20分布式事务(两阶段提交)模型详解
- 10-20Java基础,Java进阶,Javaweb,MySQL阶段常见面试题型,附带答案详解