hive on spark 时,executor和driver的内存设置,yarn的资源设置。
在使用Hive on Spark时,需要进行以下三个方面的内存和资源设置:

  1. Executor的内存设置
    在使用Hive on Spark时,需要根据数据量和任务复杂度等因素,合理地设置每个Executor的内存大小。通常情况下,每个Executor需要留一部分内存给操作系统和其他进程使用,同时为了避免过度调度,每个Executor的内存大小不应过小。一般而言,每个Executor的内存大小需要在4GB到8GB之间。
    可以通过设置以下参数来设置每个Executor的内存大小:
		spark.executor.memory
  1. Driver的内存设置
    在使用Hive on Spark时,Driver负责向集群中提交作业,并监控作业的进度和状态。因此,需要根据数据量和任务复杂度等因素,合理地设置Driver的内存大小。通常情况下,Driver需要保证有足够的内存来存储数据和执行查询计划。一般而言,Driver的内存大小需要在2GB到4GB之间。

可以通过设置以下参数来设置Driver的内存大小:

		spark.driver.memory
  1. YARN的资源设置
    YARN负责管理集群中的资源分配和任务调度,因此需要对其进行相应的资源设置。在使用Hive on Spark时,可以通过设置以下参数来调整YARN的资源:
		yarn.scheduler.maximum-allocation-mb

这个参数用来设置YARN每个节点上的最大可用内存大小。通常情况下,需要根据每个节点的物理内存大小来设置该参数。

		yarn.nodemanager.resource.memory-mb

这个参数用来设置YARN每个节点上可用的总内存大小。通常情况下,需要根据每个节点的物理内存大小来设置该参数。同时需要注意的是,该参数的值应该大于等于yarn.scheduler.maximum-allocation-mb。

		yarn.scheduler.minimum-allocation-mb

这个参数用来设置YARN每个节点上最小可用内存大小。通常情况下,该参数的值应该等于每个Executor的内存大小。

Logo

腾讯云面向开发者汇聚海量精品云计算使用和开发经验,营造开放的云计算技术生态圈。

更多推荐