今天执行hive任务,只有几万条数据,结果却一直失败,上yarn看报错org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error while processing row (tag=0) {",发现map正常执行,不过reduce只有一个

 

 经过推敲,发现了应该是数据倾斜的原因,目前增加的reduce个数后安全下车

Logo

腾讯云面向开发者汇聚海量精品云计算使用和开发经验,营造开放的云计算技术生态圈。

更多推荐