搜索
查看
编辑修改
首页
UNITY
NODEJS
PYTHON
AI
GIT
PHP
GO
CEF3
JAVA
HTML
CSS
搜索
煮酒与君饮
这个屌丝很懒,什么也没留下!
关注作者
热门标签
jquery
HTML
CSS
PHP
ASP
PYTHON
GO
AI
C
C++
C#
PHOTOSHOP
UNITY
iOS
android
vue
xml
爬虫
SEO
LINUX
WINDOWS
JAVA
MFC
CEF3
CAD
NODEJS
GIT
Pyppeteer
article
热门文章
1
高并发抢票时,防止机器人刷票的令牌大闸,减轻服务器的压力(防刷+限流)
2
IDEA提交代码到GitHub_idea git commit and push
3
图文讲解:iOS App提交流程_ios developer 创建app sku 是什么
4
干货 | 关于SwiftUI,看这一篇就够了
5
【计算机网络】[第三章:数据链路层][自用](需要重新排版)
6
STM32编写ADC功能,实现单路测量电压值(OLED显示)_stm32战舰v3 adc显示到oled
7
深度学习1:神经网络原理与算法详解_深度神经网络算法原理
8
signature=37447d22ba390eb81bb1cd3414a3fcfb,generator-nodex
9
kali linux 安装教程(最新)_kali虚拟机安装步骤
10
sharding-jdbc分片策略
当前位置:
article
> 正文
Spark内核架构剖析_spark sql内核剖析 下载
作者:煮酒与君饮 | 2024-06-30 10:19:27
赞
踩
spark sql内核剖析 下载
1
(图中流程标号):当我们在strandalone模式下提交我们的spark应用时,会创建和构造一个DriverActor进程出来,这个进程会执行我们的Application应用程序。。。
2
:
写过spark应用程序的都知道,第一步需要构造SparkConf然后创建一个SC(SparkContext),重点来了,SparkContext在初始化的时候最重要的是干两件事:就是构造DAGScheduler和TaskScheDuler。
3
:然后,TaskScheduler会负责,通过他的一个后台进程,去连接Master,向Master注册Application.
4
:Master接收到TaskScheduler的注册请求后,会使用自己的资源调度算法,在Spark集群的Worker上为Application申请多个Executor,并且通知Worker启动相应的Executor。(实际中有许多的Worker和Executor,这里只用一个来画图展示)
5
:Worker会为Application启动相应的Executor。
6
:Executor启动后会把自己反向注册到Taskscheduler上面去,至此SparkContext的初始化结束,Driver继续执行我们的程序。
7
:每当执行到一个action操作(例如:foreach...)的时候,就会创建一个job,并将job提交给DAGSheduler,DAGScheduler会将job划分为多个stage(按照宽依赖进行划分),然后每个stage创建一个TaskSet,并将TaskSet交给TaskSheduler。
8
:TaskSheduler会将每一个TaskSet中的每一个task提交到executor上执行(task分配算法)。
9
:Executor每接收到一个task,就会用TaskRunner来封装task,然后丢入线程池进行执行。
总结:spark应用程序的执行,就是stage分批次的作为task提交到executor执行,每一个task针对RDD的partition,执行我们的算子和函数,以此类推,直到所有的操作执行完为止。
声明:
本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:
https://www.wpsshop.cn/w/煮酒与君饮/article/detail/772294
推荐阅读
article
Spark
Streaming
_面试题_
spark
streaming
常见面试题目...
文章目录1.什么是
Spark
Streaming
2.
Spark
Streaming
如何执行流式计算的?3.WordC...
赞
踩
article
spark
读取本地
文件
_
spark
读取本地
文件
...
spark
读取本地
文件
_
spark
读取本地
文件
spark
读取本地
文件
1 背景 &nbs...
赞
踩
article
【
Spark
】读取
Linux
得数据并将结果
存储
在
HDFS
上_
saveastextfile
方法
存储
到h...
读取
Linux
得数据并将结果
存储
在
HDFS
上准备工作打包运行查看结果准备工作在
Linux
上创建以下数据确保hadoop和...
赞
踩
article
Spark
RDD
编程
文件
数据
读写_
spark
读取
文件
系统
的
数据
...
Spark
RDD
编程
文件
数据
读写_
spark
读取
文件
系统
的
数据
spark
读取
文件
系统
的
数据
...
赞
踩
article
Spark
数据
读取保存_
spark
saveastextfile
...
的
数据
读取及
数据
保存可以从两个维度来作区分:文件格式以及文件系统: 类型的文件读都可以用 ,保存使用 2. 读取 jso...
赞
踩
article
【
spark
】
spark
使用
sql
读取
elasticsearch
es
索引,使用
keystore
配置...
spark
使用
sql
读取
elasticsearch
es
索引,使用
keystore
配置用户密码_
spark
sql
读取
es
...
赞
踩
article
Spark
入门到精通
:
第一节
Spark
1.5
.
0
集群
搭建
...
转载地址
:
http://blog.csdn.net/lovehuangjiaju/article/details/481...
赞
踩
article
spark
-
sql
笔记_
apache
spark
默认
账号密码
...
SparkSQL:1.
spark
sql
可以和hive集成问题1:
spark
sql
什么时候和hive集成?答:当开发者需要...
赞
踩
article
Spark
primer
之
统计
csdn
十大常用
密码
_常见
密码
统计
...
受 http://blog.
csdn
.net/luyee2010/article/details/8620112文章启发...
赞
踩
article
Spark
远程调试_
spark
远程调试...
【代码】
Spark
远程调试。_
spark
远程调试
spark
远程调试 ...
赞
踩
article
Zeppelin
调试
Spark
程序_
zeppelin
spark
...
目录1 什么是
Zeppelin
2
Zeppelin
配置
spark
3 Zeppein运行
spark
程序3.1 创建spar...
赞
踩
article
Spark
,hadoop,
Linux
基础
命令
_
spark
命令
...
比如,如果字段不固定,利用关系型数据库也是比较困难的,有人会说,需要的时候加个字段就可以了,这样的方法也不是不可以,但在...
赞
踩
article
spark
常用命令
Spark
SQL –
map
() vs
map
Partitions() | ...
map
()例子1首先,让我们从列表中创建一个RDD。from py
spark
.sql import
Spark
Sessi...
赞
踩
article
Spark
基础教程
一文看懂
spark
常用
操作
汇总...
Spark
基础教程
一文看懂
spark
常用
操作
汇总
Spark
基础教程
一文看懂
spark
常用
操作
汇总 ...
赞
踩
article
【
spark
】
spark
常用
命令
列表
_
spark
创建
列表
命令
...
:启动
spark
-shell时,指定需要加载的类库bin\
spark
-shell --jars E:\DM\code\p...
赞
踩
article
spark
-
sql
的
常见
的
命令
行操作_
spark
-
sql
命令
...
这里
的
spark
不是 Scala 中
的
包名,而是创建
的
spark
Session 对象
的
变量名称,所以必须先创建 S...
赞
踩
article
spark
-
3.5
.1+
Hadoop
3.4.0+Hive4.0
分布式
集群
安装
配置_
spark
3...
三 Spark 与Hive 集成。1 拷贝配置文件和Mysql 驱动。2 登录hive,创建测试表。3 启动
spark
...
赞
踩
article
大
数据
三大组件(
spark
,
hadoop
,
hive
)的安装之
hive
之伪分布式_
sudo
chown
...
cp mysql-connector-java-5.1.40/mysql-connector-java-5.1.40-b...
赞
踩
article
Spark
Streaming
详细文本教学0
1
_第
1
关
:
sparkstreaming
基础 与 套接...
文章目录前言TERMINAL
1
:
Running Netcat未完の前言你们好我是啊晨今儿更新spark 技术
Spark
...
赞
踩
article
【
Spark
】(
task7
)Py
Spark
Streaming
入门...
文章目录一、
Spark
Streaming
入门二、
Streaming
和 Structured
Streaming
区别2...
赞
踩
相关标签
spark
big data
大数据
spark读取本地文件
hdfs
linux
分布式
scala
sql
elasticsearch
运维
服务器