基础

1. spark3.0教程：介绍

部署

1. spark3.0教程：部署模式

2. spark3.0教程：下载地址

   • spark3.0教程：scala版本

三种方式部署

1. spark3.0教程：local本地模式（单机）安装（学习用）

2. spark3.0教程：yarn模式部署（spark-3.0.0-bin-without-hadoop）（不推荐）

   • spark3.0教程：yarn模式部署后-测试提交应用（计算PI）

3. spark3.0教程：yarn模式部署（spark-3.0.0-bin-hadoop）（推荐）

   • spark3.0教程：yarn模式部署后-测试提交应用（计算PI）

1. spark3.0教程：yarn模式两种提交任务方式：yarn client和yarn cluster

2. spark3.0教程：spark-submit介绍和参数

3. client模式提交任务，访问 web ui（4040端口）常见错误

   • spark3.0 web ui（4040端口）要启动成功后才能访问，否则访问报错

   • spark报错：Failed to get the application information. If you are starting up Spark, please wait a while until it’s ready.

4. spark3.0教程：配置历史服务

5. spark3.0教程：spark-shell yarn client提交任务

6. spark3.0教程：SparkContext

   • spark3.0教程：SparkContext对象读取HDFS文件、本地文件

7. spark3.0教程：架构（Driver、Cluster Manager、Worker、Executor、Task、SparkContext）

8. spark3.0教程：三大数据结构（RDD算子、累加器、广播变量）

常见问题

1. spark WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform

RDD算子

1. spark3.0教程：RDD算子介绍和五大特性

2. spark3.0教程：RDD算子分类：转换算子和行动算子

3. spark3.0教程：第一个程序-WordCount实现

4. spark3.0教程：sc.textFile源码分析、默认并行度（本地开发环境）

5. spark3.0教程：RDD并行度和分区方式（通过textFile方式生成的rdd）

6. spark3.0教程：sc.makeRDD()并行度和分区方式

行动算子（常用）

1. spark3.0教程：RDD行动算子collect()

2. spark3.0教程：RDD行动算子foreach()

转换算子

单 value 类型，需要1个RDD

1. spark3.0教程：RDD转换算子map()（读取文件）

2. spark3.0教程：多个RDD多个分区执行顺序

3. spark3.0教程：RDD大部分转换算子分区不变

4. spark3.0教程：RDD转换算子mapPartitions()

5. spark3.0教程：RDD转换算子mapPartitionsWithIndex()

6. spark3.0教程：RDD转换算子flatMap()

7. spark3.0教程：RDD转换算子glom()

8. spark3.0教程：RDD转换算子groupBy()

9. spark3.0教程：RDD转换算子filter()

10. spark3.0教程：RDD转换算子sample()

    • spark3.0教程：RDD转换算子takeSample()

    • spark3.0教程：RDD转换算子takeSample()、sample()区别

11. spark3.0教程：RDD转换算子distinct()

12. spark3.0教程：RDD转换算子coalesce()合并分区

13. spark3.0教程：RDD转换算子repartition()重新分区

14. spark3.0教程：RDD转换算子sortBy()排序

双 value 类型，需要2个RDD

1. spark3.0教程：RDD转换算子intersection交集、union并集、subtract差集

2. spark3.0教程：RDD转换算子zip拉链

Key-Value 类型

1. spark3.0教程：RDD转换算子partitionBy重新分区

   • spark partitionBy、coalesce、repartition算子区别

2. spark3.0教程：RDD转换算子reduceByKey

3. spark3.0教程：RDD转换算子groupByKey()

4. spark3.0教程：RDD转换算子join()

5. spark3.0教程：RDD转换算子join与zip的区别

6. spark3.0教程：RDD转换算子leftOuterJoin()

7. spark3.0教程：RDD转换算子rightOuterJoin()

8. spark3.0教程：RDD转换算子cogroup()

9. spark3.0教程：join()和cogroup()区别

10. spark3.0教程：RDD转换算子sortByKey()排序

行动算子

1. spark3.0教程：RDD行动算子collect()

2. spark3.0教程：RDD行动算子foreach()

3. spark3.0教程：RDD行动算子reduce()

4. spark3.0教程：RDD行动算子take()

5. spark3.0教程：RDD行动算子takeOrdered()

6. spark3.0教程：RDD行动算子 top()

7. spark3.0教程：RDD行动算子aggregate()

8. spark3.0教程：RDD行动算子fold()

9. spark3.0教程：RDD行动算子countByKey()

10. spark3.0教程：RDD行动算子countByValue()

11. spark3.0教程：RDD行动算子count()

12. spark3.0教程：RDD行动算子first()

保存相关

1. spark3.0教程：RDD行动算子saveAsTextFile

2. spark3.0教程：RDD行动算子saveAsObjectFile

3. spark3.0教程：RDD行动算子saveAsSequenceFile

总结

1. spark3.0教程：spark会导致 shuffle 的算子

2. spark3.0可以改变分区数量的算子

3. spark3.0教程：分区方式-HashPartitioner、RangePartitioner、自定义分区

4. spark 案例

案例

• spark3.0教程：案例-统计10万人的平均年龄（Java）

• spark3.0教程：案例-统计各个性别人数、最高身高、最低身高（scala）

累加器

1. spark3.0教程：累加器

2. spark3.0教程：转换算子不会执行累加器，行动算子会执行累加器

广播变量

1. spark3.0教程：广播变量

SparkSQL

读取文件中的数据

1. spark3.0教程：SparkSQL介绍

   • 从Shark到SparkSQL，从Hive on Spark到Spark on Hive

2. spark3.0教程：SparkSession作用和创建

3. spark3.0教程-SparkSQL：DataFrame介绍、与 RDD 的区别

4. spark3.0-SparkSQL 第一个idea工程

5. spark3.0教程-SparkSQL：默认shuffle 有200个分区，设置分区数（spark.sql.shuffle.partitions）

6. spark3.0-SparkSQL 全局临时视图和局部临时视图

7. spark3.0教程-SparkSQL：数据类型

8. spark3.0教程-SparkSQL：读取csv文件并指定类型

RDD、DataFrame、DataSet

1. spark3.0教程-SparkSQL：RDD转DataFrame

2. spark3.0教程-SparkSQL：DataFrame转RDD

3. spark3.0教程-SparkSQL：Dataset介绍

4. spark3.0教程-SparkSQL：RDD转Dataset

5. spark3.0教程-SparkSQL：Dataset转RDD

6. spark3.0教程-SparkSQL：DataFrame转Dataset、Dataset转DataFrame

读文件

1. spark3.0教程-SparkSQL：load() 通用读取文件和parquet 格式文件

2. spark3.0教程-SparkSQL：read.json() 读取json文件

3. spark3.0教程-SparkSQL：不创建表，直接查询（适合json）

保存文件

1. spark3.0教程-SparkSQL：save()通用保存文件和parquet 格式文件

2. spark3.0教程-SparkSQL：write.csv()保存csv文件

3. spark3.0教程-SparkSQL：write.json()保存json文件

4. spark3.0教程-SparkSQL：mode()、SaveMode 保存模式

SQL

1. spark3.0教程-SparkSQL：分页

用户自定义函数

1. spark3.0教程-SparkSQL：UDF自定义函数

2. spark3.0教程-SparkSQL：UDAF自定义聚合函数

读写MySQL

1. spark3.0教程-SparkSQL：连接MySQL，读取数据

2. spark3.0教程-SparkSQL：连接MySQL，写入数据

3. spark3.0教程-SparkSQL：连接MySQL，写入数据，打包后，部署到yarn运行（依赖第三方包）

读取 Hive 数据

1. spark3.0教程：为什么Spark读取Hive数据、读取Hive的方式

2. spark3.0教程-SparkSQL：Spark on Hive配置

3. spark3.0教程-SparkSQL：Spark on Hive 启动

4. spark3.0教程-SparkSQL：spark-sql 命令，对 Hive进行操作

5. spark3.0教程-Spark on Hive：scala代码通过 Spark 查询 Hive中的表

   • spark 读取 hive 报错：tmp/hive on HDFS should be writable. Current permissions are: rw-rw-rw-

   • spark 读取 hive 报错：Permission denied: user=xxx, access=EXECUTE, inode=

DSL

1. spark3.0-SparkSQL DSL语法

2. spark3.0-SparkSQL DSL-第一个idea工程

3. spark3.0-SparkSQL DSL-分组查询

Thrift JDBC Server

1. spark3.0教程：配置、启动Thrift JDBC Server

2. spark3.0教程：创建启动脚本，启动metastore（元数据）服务，启动thriftserver服务

Streaming

• spark3.0教程：Streaming 介绍

• spark3.0教程：Streaming案例：过滤黑名单

• spark3.0教程：Streaming案例-电商平台实时分析热门商品

其他

1. spark3.0教程：打包、提交服务器、运行

2. spark3.0教程-SparkSQL：连接MySQL，写入数据，打包后，部署到yarn运行（依赖第三方包）

原文出处：/show_1IXnoqdXeRM.html