学习笔记 | 解析 Spark 数据处理与分析场景_spark的batch data processing

作者：酷酷是懒虫 | 2024-06-26 12:09:47

踩

spark的batch data processing

数据处理场景

在这里插入图片描述

按照大数据的作业类型

在数据工程与数据科学中，很大一部分数据处理任务都可以被称为批处理（Batch Processing），所谓批处理，就是对数据进行批量处理，一次性对一定量的数据进行处理，根据数据量的大小，批处理从开始到结束的时间从数十秒到数小时都有可能，当然如果时间花费太长，还是会考虑优化、切分等，因为这样作业执行失败的成本太高了。

批处理任务的输入和输出通常都是一批数据，在数据工程中常见的ETL场景中，经常会从数据库中抽取一部分数据进行去重后写入到存储系统，另外机器学习中训练模型都是典型的批处理。对于批处理来说，最大的缺点是数据处理任务延迟较长，无法与在线系统进行实时对接，但对于每条数据来说，消耗的计算成本是最低的。

而与批处理相对应的是流处理（Streaming Processing），与静止在某个系统

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/酷酷是懒虫/article/detail/759313