sparksql读不到表内容,但是hive却是可以,后来排查到是因为hive表有多级目录,所以需要配置下sparksql参数:

spark.sql.hive.convertMetastoreParquet=false

mapred.input.dir.recursive=true

如果是hive可配置

mapreduce.input.fileinputformat.input.dir.recursive=true

hive.mapred.supports.subdirectories=true

Logo

腾讯云面向开发者汇聚海量精品云计算使用和开发经验,营造开放的云计算技术生态圈。

更多推荐