spark: Required field ‘filesAdded‘ is unset!
异常
Caused -by:
org.apache.hadoop.hive.ql.metadata.HiveException:
new GxB 18
Struct: InsertEventRequestData (filesAdded:null) M3
-org.apache.thrift.TApplicationBxception: Required field ‘filesAdded’ is unset!
at at
org.apache.hadoop.hive.ql.metadata.Hive.fireInsertBvent (Hive.java:2383) 05
at

原因: 该异常看似跟 获取元数据有关,其实没有,该异常是因为 spark 任务为 yarn-client 模式
driver 获取在行过程中,本地机器 free -g 可用内存不足导致
解决调小driver memory 大小或者 或者调大 driver 所在机器资源解决
该问题在 yarn-client 模式,或者 spark-sql(本质也是yarn-client)情况发生
有人说这是:hive的一个bug , 可以修改 hive-site.xml 配置文件中的 hive.metastore.dml.events 为 false 来解决此问题。
如果修改配置没有解决还可能是下面的原因
由于Spark SQL中的查询操作无法正确连接到Hive Metastore,导致在执行INSERT INTO语句时出现异常。这可能是因为您的Hive版本与Spark SQL不兼容,或者Hive Metastore配置不正确。纯属瞎扯,改配置一直就是 false;重启服务后解决,肯定是因为二次执行过程driver 和当前机器状态改善的问题。

实测,该问题就是因为 执行机器内存资源不足导致
更多推荐
所有评论(0)