【大数据之路12】Spark 执行引擎 SparkCore

Spark 执行引擎 SparkCore

• 1. Spark 概述
• • 1. Spark 简介
  • 2. 学习 Spark 的必要性
  • 3. SparkCore
  • 4. SparkSQL
  • 5. SparkStreaming
• 2. Spark 体系架构
• • 1. Spark 架构图
  • 2. 相关说明
  • • 1. 服务器端
    • 2. 客户端 driver program
• 3. Spark 部署说明
• • 1. 部署模式
  • 2. 部署方案
• 4. Spark HA（高可用）的实现方式
• • 1. 基于文件系统的单点恢复
  • 2. 基于 ZooKeeper
• 5. 执行 Spark 程序
• • 1. Spark Submit
  • 2. Spark Shell
  • • 1. 本地模式
    • 2. 集群模式
    • 3. 处理 hdfs 数据，提交到集群运行
  • 3. WordCount程序
  • • 1. 环境准备
    • 2. Java 版本
    • 3. Scala 版本
• 6. Spark 运行机制及原理分析
• • 1. WordCount 程序执行流程分析
  • 2. Spark 提交任务流程
• 7. Spark 算子【函数】
• • 1. RDD（类）【重要】
  • • 1. RDD 概述
    • 2. RDD 基本原理
  • 2. RDD 特性
  • • 1. RDD 具有数据流模型的特点
    • 2. 一组分片（Partition）
    • 3. 一个计算每个分区的函数
    • 4. RDD 彼此之间有前后依赖关系
    • 5. 一个 Partitioner，即 RDD 的分片函数（分区器）
    • 6. 一个列表
  • 3. 创建 RDD
  • • 1. 通过外部文件创建 `sc.textFile()`
    • 2. 通过并行化创建 `sc.parallelize()`
  • 4. RDD 类型
  • • 1. Transformation 延迟加载
    • 2. Action 触发计算
    • 3. RDD 基本算子示例
  • 5. RDD 的缓存机制
  • • 1. 缓存机制概述
    • 2. 缓存机制案例
  • 6. RDD 容错机制：检查点
  • • 1. 检查点介绍
    • 2. 检查点类型
    • • 1. 本地目录【开发/测试环境】
      • 2. HDFS 目录【生产环境】
  • 7. RDD 的依赖关系和 Spark 任务中的 Stage
  • • 1. RDD 的依赖关系
    • 2. Spark 任务中的 Stage（阶段）
• 8. Spark RDD 高级算子
• • 1. mapPartitionsWithIndex
  • 2. aggregate 聚合操作
  • 3. aggregateByKey 求和操作
  • 4. 重分区：coalesce 与 repartition
  • 5. 其他高级算子
• 9. Spark Shuffle
• • 1. 概述
  • 2. Shuffle Write
• 10. Job、Stage、Task 分别如何划分
• 11. Spark 基础编程
• • 1. 网站访问量 top3 的两个网页
  • 2. 图书每天平均销量
  • 3. 二次排序
  • 4. TopN---Top5