Hive Map 端OOM 异常

怪异现象:数据量不大,且不是Reduce端OOM,是Map端OOM

Map Task运行的时候数据流中包含了非法字符例如:EOF、NOP等东西,导致BufferedReader读取和StreamDecoder解码出错,

进一步导致了OOM,需要剔除这些记录,可以通过length来限制。

PS:当然,这只是Map 端OOM出现的其中一种原因,仅供参考。

上一篇:《Invert》开发日志05:终止


下一篇:[课程设计]任务进度条&开发日志目录