spark sql 的join调优_spark join优化

背景

spark sql中join操作是最耗费性能的操作，因为这涉及到数据的shuffle操作，如果由此导致数据倾斜更是会雪上加霜，那么如何优化join操作的性能呢？

join优化

方式一 broadcast广播：

如果是大表和小表的join操作，最简单的解决方式就是对小表进行broadcast操作，把小表的数据广播到各个executor的内存中，然后和大表进行join，这种方式是join优化的首选，不过也有硬伤，因为有个前提，broadcast的表要是小表，量不能太大

方式二 distributed by操作：

如果是两个大表之间进行join操作，影响性能的主要因素是数据倾斜，我们要进行尽量保证join的两张表发送到executor的数据的数量是一样的，而这个可以通过distributed by join(条件列)进行，这样可以提前把两个表的数据按照条件列分布好，在进行join操作时就不会发生数据倾斜的问题了

注：distributed by 条件列 是把数据按照条件列进行分区，分区的数量由set spark.sql.shuffle.partitions=600; 进行控制，此外，即使不是用于join操作，遇到表数据倾斜是我们也可以使用，例如：select * from Table distribute by rand(); 这样就可以保证每个分区的数据基本一致了

参考文献： https://blog.csdn.net/vipshop_fin_dev/article/details/95231696