spark运行程序问题--报WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any resources
通过/spart-submit提交任务时，报WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any resources问题。且一直重试该操作。该问题spark集群没有资源可用。在本机测试情况下，虚拟机给2G的内存，那么spark中可设定为1G，这样就可以成功将任务运行完成。具体操作：找到spark下的...
·
通过/spart-submit提交任务时，报WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any resources问题。
且一直重试该操作。
该问题spark集群没有资源可用。
在本机测试情况下，虚拟机给2G的内存，那么spark中可设定为1G，这样就可以成功将任务运行完成。
具体操作：
找到spark下的conf，然后修改spark-env.sh文件
在文件末添加：export SPARK_WORKER_MEMORY=1024m
这样就可以正常执行程序了
腾讯云面向开发者汇聚海量精品云计算使用和开发经验，营造开放的云计算技术生态圈。
更多推荐
0
0- 0
已为社区贡献4条内容
所有评论(0)