spark sql 查询hive task过多导致任务执行缓慢_sparksql的hivetablescan如何减少task数量

作者：我家小花儿 | 2024-06-14 17:07:45

踩

sparksql的hivetablescan如何减少task数量

一、问题

跑了一年多的spark sql任务突然挂掉了，查看yarn的界面，任务并行度达到了恐怖的81835个,运行速度自然也快不到哪去。spark任务界面如下图所示

在这里插入图片描述

二、解决

1.排查过程

sql类似于下面这段sql,开始以为是先join再where过滤导致数据量特别大导致task过多(想法是错误的后面验证了是先过滤再进行join的)
select * from A join B on A.c=B.c WHERE A.date=2020-08-20 and B.date=2020-08-20
-想法1:改为临时表先进行过滤,结果发现task个数还是没变
在这里插入图片描述

再看了下入参的hive表下的文件个数

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/我家小花儿/article/detail/718849