这是个socket请求错误,意思是说不能为其分配请求的地址。 

分析原因:

socket发起connect请求的时候会随机分配一个端口给你。这个分配的端口是有范围的,记录在:

/proc/sys/net/ipv4/ip_local_port_range

可以看到我的端口范围是32768到60999。当你用多个进程发起过多的请求的时候,端口用完了就会报这个错误。

解决办法:

要解决端口被TIME_WAIT状态的socket占满的问题,可以有以下的解决办法:

a) 修改可用端口范围(我使用了这种)


修改之后再启动pyspark就正常了。

这种办法可能不能解决根本问题,因为如果使用短连接,即使增加可用端口还是会被占满的。 

b) 设置net.ipv4.tcp_tw_recycle = 1(但网上说尽量不要修改这个值)

这个参数表示系统的TIME-WAIT sockets是否可以快速回收

c) 设置net.ipv4.tcp_tw_reuse=1

这个参数表示是否可以重用TIME_WAIT状态的端口;

参考:https://www.cnblogs.com/djiankuo/p/5956606.html

 

Logo

腾讯云面向开发者汇聚海量精品云计算使用和开发经验,营造开放的云计算技术生态圈。

更多推荐