怪异现象:数据量不大,且不是Reduce端OOM,是Map端OOM
Map Task运行的时候数据流中包含了非法字符例如:EOF、NOP等东西,导致BufferedReader读取和StreamDecoder解码出错,
进一步导致了OOM,需要剔除这些记录,可以通过length来限制。
PS:当然,这只是Map 端OOM出现的其中一种原因,仅供参考。
2024-01-03 17:48:04
怪异现象:数据量不大,且不是Reduce端OOM,是Map端OOM
Map Task运行的时候数据流中包含了非法字符例如:EOF、NOP等东西,导致BufferedReader读取和StreamDecoder解码出错,
进一步导致了OOM,需要剔除这些记录,可以通过length来限制。
PS:当然,这只是Map 端OOM出现的其中一种原因,仅供参考。