spark.network.timeout参数入门
默认120s所有网络交互的默认超时时间。 如果未配置,则将使用此配置代替spark.storage.blockManagerSlaveTimeoutMs,spark.shuffle.io.connectionTimeout,spark.rpc.askTimeout或spark.rpc.lookupTimeout。用途若如出现各种timeout,executor lost ,task lostspa
·
默认120s
所有网络交互的默认超时时间。 如果未配置,则将使用此配置代替spark.storage.blockManagerSlaveTimeoutMs,spark.shuffle.io.connectionTimeout,spark.rpc.askTimeout或spark.rpc.lookupTimeout。
用途
若如出现各种timeout,executor lost ,task lostspark.network.timeout 根据情况改成300(5min)或更高
参考
更多推荐
所有评论(0)