Hadoop运行程序的时候在日志里发现的错误

在日志里发现下面这个错误

[2021-10-26 19:47:45.029]Container [pid=8097,containerID=container_1635247229913_0031_01_000003] is running 274078208B beyond the 'VIRTUAL' memory limit. Current usage: 153.1 MB of 1 GB physical memory used; 2.4 GB of 2.1 GB virtual memory used. Killing container.

首先分析一下

153.1MB:是任务所占的物理内存

1GB :mapreduce.map.memory.mb 参数默认设置大小

2.8GB:程序占用的虚拟内存

2.1GB:mapreduce.map.memory.mb 乘以 yarn.nodemanager.vmem-pmem-ratio 得到的

其中 yarn.nodemanager.vmem-pmem-ratio 是 虚拟内存和物理内存比例,在yarn-site.xml中设置,默认是2.1

很明显,container占用了2.8G的虚拟内存,但是分配给container的却只有2.1GB。所以kill掉了这个container

解决办法

此处可修改etc/hadoop/mapred-site.xml
添加配置信息
<property>
  <name>mapreduce.map.memory.mb</name>
  <value>1536</value>
</property>
<property>
  <name>mapreduce.map.java.opts</name>
  <value>-Xmx1024M</value>
</property>
<property>
  <name>mapreduce.reduce.memory.mb</name>
  <value>3072</value>
</property>
<property>
  <name>mapreduce.reduce.java.opts</name>
  <value>-Xmx2560M</value>
</property>

然后重启整个haodoop模块
重新提交任务


 

上一篇:【技美百人计划】图形 3.7 移动端TB(D)R架构基础


下一篇:React(3)——组件的生命周期、Diffing算法