热门标签
热门文章
- 1AXI Quad SPI IP核基于AXI接口的设计指南
- 2数据传输安全（为支付宝第三方做铺垫）
- 3解码2024：可解释人工智能的十大突破揭晓_2024年神经网络的可解释性这一大突破对于什么至关重要
- 4Android Gradle相关总结_gradle-6.7.1-all.zip
- 5Vue+OpenLayers 实现地图上添加 Echarts 环形图_openlayers在地图上添加效果
- 6毕业设计：基于深度学习的用户评价情感分析系统_怎么通过平均主题余弦相似度判断最优主题数
- 7vue3+vite+ts 使用webrtc-streamer播放海康rtsp监控视频_vue3 webrtc 播放
- 8NOI的1.5.39与7无关的数_noi与7无关的数csdn
- 9linux安装emqx_linux 更换emqx版本
- 10终于还是在上电时序问题上给自己挖了个坑
当前位置: article > 正文
Spark远程Debug调试_sparksql debug模式
作者：笔触狂放9 | 2024-06-25 18:04:13
赞
踩
sparksql debug模式
1.首先调试spark分为好几个阶段 有spark提交阶段，spark-driver，executor，下面分别介绍如何进行调试
spark-submit 或者spark-sql的提交
spark-sql的提交 也是通过spark-submit
spark-submit是通过spark-class
spark-class会去执行 java -cp xxx的命令 来启动spark，
主要看下
- build_command() {
- "$RUNNER" -Xmx128m $SPARK_LAUNCHER_OPTS -agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=5008 -cp "$LAUNCH_CLASSPATH" org.apache.spark.launcher.Main "$@"
- printf
推荐阅读
相关标签
