spark接收kafka的数据运行spark程序节点的task数据倾斜_spark 获取 kafka topic 数据分区数据倾斜

作者：码创造者 | 2024-08-13 18:00:58

踩

spark 获取 kafka topic 数据分区数据倾斜

这是因为你的spark的slave节点和kafka的broker节点重合时，kafka的topic分区不均衡，没有分布在不同节点上，spark拉取数据就近原则，在那里拉取就在该节点计算，你可以建立多个分区均衡在各个节点上。导致这个原因是你的createDirectStream方法导致的，因为这个方法会自己映射你的kafka分区对应spark的分区，如果分区过少就会不均衡。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/码创造者/article/detail/975943

spark接收kafka的数据运行spark程序节点的task数据倾斜_spark 获取 kafka topic 数据分区 数据倾斜

spark接收kafka的数据运行spark程序节点的task数据倾斜_spark 获取 kafka topic 数据分区数据倾斜