无人值守大数据平台（CDH6.3.2+Flink+海豚调度器）如何实现大数据平台稳定及顺利跑出离线报表和实时报表（持续更新方案）

目录

背景

一、影响因素

（一）硬件方面

服务器硬件故障

资源不足

（二）软件方面

大数据组件故障

源数据问题

二、解决方案

（一）硬件冗余与监控

硬件冗余

（二）软件容错

1.配置高可用和分布式

HDFS (Hadoop Distributed File System) 高可用性

2. YARN (Yet Another Resource Negotiator) 高可用性

3. MapReduce 高可用性

4. HBase 高可用性

5. Kafka 高可用性

6.海豚调度器（DolphinScheduler）分布式部署和高可用

7.mysql主从复制避免单点故障

2.程序健壮性

（三）资源管理

（四）数据存储与管理

影响

解决方案

（五）配置优化

性能调优

最佳实践

（六）任务调度与优化

1.故障自愈

2.实现自动化修复和回滚

3.自动重启

背景

在一些安全要求高的行业，例如公安行业、电力、军事，要求大数据平台、离线数仓和实时数仓都在内网环境运行，不能通过网络远程运维。

一、影响因素

（一）硬件方面

1. 服务器硬件故障

   • 磁盘损坏：可能导致数据丢失、读写错误，影响任务的正常执行。
   • 内存故障：会造成数据处理过程中的内存溢出，导致任务失败。

2. 资源不足

   • CPU 性能瓶颈：当处理复杂的计算任务时，CPU 计算能力不足会导致任务处理速度缓慢。
   • 内存不足：无法容纳大量的数据进行处理，可能导致数据交换频繁，降低系统性能。
   • 磁盘空间不足：无法存储新增的数据，影响数据的写入和读取。