当前位置:   article > 正文

分布式计算:Apache Flink提供了一套丰富的API和工具用来实现分布式计算。这些工具可以用来编写应用程_支持分布式计算的软件

支持分布式计算的软件

作者:禅与计算机程序设计艺术

1.简介

Apache Flink是一个开源的分布式计算框架,由Apache软件基金会(ASF)托管,是目前流处理领域最热门的项目之一,具有高吞吐量、低延迟、容错性强等优点。它是一个基于Java的分布式计算平台,提供用于实时数据分析、事件处理、批处理和机器学习等多种应用场景。它的运行环境支持本地模式(单机部署),YARN模式(Hadoop YARN集成)和Kubernetes模式(容器化部署)。

Apache Flink的架构如图所示:

从整体架构图中可以看出,Flink有四个主要模块:

  1. JobManager:负责整个集群的资源管理和作业调度;
  2. TaskManager:负责执行数据的流动运算;
  3. DataStream API:用于创建和处理实时流数据,其背后用到了DataStreamGraph抽象类和Operator接口;
  4. Runtime Context:在每个运行时实例中都有一个上下文对象,其中包含了包括网络配置、JVM设置、内存配置、文件系统配置等一系列运行时参数。

2.基本概念术语说明

(1)Watermark

Watermark 是 Apache Flink 提供的一个重要概念,它是一种特殊的数据类型,用于标识事件时间界限。每一个 Watermark 表示的是当前已知的所有消息中最大的那个消息的时间戳,即 watermark time 的值,它也被称为 event t

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/酷酷是懒虫/article/detail/751893
推荐阅读
相关标签
  

闽ICP备14008679号