文章目录
- 一. Spark入门
- 二. Spark RDD与 Spark core
- 三. Spark SQL
- 四. Spark Streaming
- 五. Spark内核原理
一. Spark入门
Spark基础知识
Spark部署模式、
Spark运行流程
【概述】spark（一）:spark特点、知识范畴、spark架构、任务提交流程、支持哪些运行环境
二. Spark RDD与 Spark core
RDD基础
常用的RDD算子
RDD函数传递
RDD依赖关系
RDD缓存与检查点
数据的存储与读取
RDD编程进阶
【理论】（spark 二）spark core之RDD：基础概念、特点、stage任务划分与hello spark
【算子1】spark（三）：spark core：trans算子中value类型的算子使用说明
【算子2】spark（四）：spark core：trans算子中key-value类型的算子使用说明
【算子3】spark（五）：spark core：控制算子（cache、persist）、action算子和检查点
【变量】spark（六）变量共享：累加器和广播变量
三. Spark SQL
Spark SQL基础
Spark SQL创建
RDD DataFrame DataSet转换
IDEA创建Spark SQL程序
用户自定义函数
Spark SQL数据源
【spark sql】spark（八）sparkSQL概述：dataFrame、DataSet、UDF、SparkSQL数据源
四. Spark Streaming
基本介绍
WordCount案例实操
DStream创建
从Kafka中采集数据
DStream转换
window函数
【spark streaming】spark（九）Spark Streaming Programming Guide：概述、wordcount、数据源、trans（常见算子、window）、输出源
五. Spark内核原理
【shuffle/内存模型】spark（七）超详细mareduce shuffle和spark Shuffle讲解、以及spark比mapreduce快在哪些方面
