hadoop运行jar包处理文件一直处于Running job状态的解决方法
参考博客:https://blog.csdn.net/dai451954706/article/details/50464036起初一直以为是导出的jar包有问题,百度了很久也没找到解决办法,最后终于让我找到了有用的解决办法。在 yarn-site.xml中添加<property><name>yarn.nodemanager.resource.memory-mb</n
·
参考博客:https://blog.csdn.net/dai451954706/article/details/50464036
起初一直以为是导出的jar包有问题,百度了很久也没找到解决办法,最后终于让我找到了有用的解决办法。
在 yarn-site.xml中添加
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>20480</value>
</property>
<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>2048</value>
</property>
<property>
<name>yarn.nodemanager.vmem-pmem-ratio</name>
<value>2.1</value>
</property>
我改完这个配置文件之后再次运行,发现还是处于Running job的状态,然后在mapred-site.xml中把下面几行配置删掉
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
然后再次执行就成功了
更多推荐
已为社区贡献1条内容
所有评论(0)