一、接口错误

spark连接HDFS时直接报错,可能是hadoop中core-site.xml配置的集群端口时9000,而spark写的是8020,改为9000即可。

二、hdfs文件丢失

当初次连接成功,并且获取表结构也成功,但是一获取表数据时就报错 拒绝连接 ,这时要到MySQL中查看该数据库或者该表的文件是否真的存在于指定位置,当文件丢失时也会报错。报错内容会显示文件端口丢失。

Logo

腾讯云面向开发者汇聚海量精品云计算使用和开发经验,营造开放的云计算技术生态圈。

更多推荐