热门标签
热门文章
- 1解读：DUSt3R: Geometric 3D Vision Made Easy
- 2基于springboot实现社区智慧养老监护管理平台系统项目【项目源码+论文说明】_基于springboot的养老院管理系统
- 3Failed to build gevent Could not build wheels for gevent which use PEP 517 ... ...
- 4SparkStreaming的案例及应用_sparkstreaming案例
- 5阿里终于开源数字人技术！！
- 6warning: LF will be replaced by CRLF问题解决方法_warning lf will be replaced by crlf
- 7Time-LLM ：超越了现有时间序列预测模型的学习器
- 8LeetCode：242.有效字母的异位词
- 9STM32第二十二课：LVGL的移植和屏幕创建(7.11版本)_移植lvgl教程
- 10Java项目：基于SSM框架实现的健康综合咨询问诊平台【ssm+B/S架构+源码+数据库+毕业论文】
当前位置: article > 正文
无人值守大数据平台（CDH6.3.2+Flink+海豚调度器）如何实现大数据平台稳定及顺利跑出离线报表和实时报表（持续更新方案）
作者：小惠珠哦 | 2024-08-07 08:39:36
赞
踩
无人值守大数据平台（CDH6.3.2+Flink+海豚调度器）如何实现大数据平台稳定及顺利跑出离线报表和实时报表（持续更新方案）
目录
HDFS (Hadoop Distributed File System) 高可用性
2. YARN (Yet Another Resource Negotiator) 高可用性
6.海豚调度器（DolphinScheduler）分布式部署和高可用
背景
在一些安全要求高的行业，例如公安行业、电力、军事，要求大数据平台、离线数仓 和实时数仓都在内网环境运行，不能通过网络远程运维。
一、影响因素
（一）硬件方面
-
服务器硬件故障
- 磁盘损坏：可能导致数据丢失、读写错误，影响任务的正常执行。
- 内存故障：会造成数据处理过程中的内存溢出，导致任务失败。
-
资源不足
- CPU 性能瓶颈：当处理复杂的计算任务时，CPU 计算能力不足会导致任务处理速度缓慢。
- 内存不足：无法容纳大量的数据进行处理，可能导致数据交换频繁，降低系统性能。
- 磁盘空间不足：无法存储新增的数据，影响数据的写入和读取。
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/小惠珠哦/article/detail/941763
推荐阅读
相关标签
