sparkstream窗口内消费kafka相同时间内相同条数速率不同，性能不一样_sparkstream接kafka的数据 5s一次拉取数据的频率是如何的

作者：煮酒与君饮 | 2024-08-08 02:07:40

踩

sparkstream接kafka的数据 5s一次拉取数据的频率是如何的

假设有100w条数据，sparkstream窗口时间片为5分钟，Kafka生产数据2种场景：1、Kafka在5分钟平均每分钟生产2w条，5分钟共100w；2、5分钟内，一次性生产100w条。其中后者sparkstream处理的时间远远比前者快.为啥？speakstream窗口是5分钟，处理总数也是一样的，是不是也就是意味着处理时间应该没啥偏差吧，不因由Kafka生产的速率改变而性能不一样吧！

声明：本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：【wpsshop博客】