spark3.0教程:部署模式

local本地模式

相当于 hadoop 单机模式,用于学习、演示

standalone

独立集群部署,不依赖其他
构建一个基于Master/Slave的资源调度集群

standalone-HA

独立集群-高可用。配置多个 Master 节点,比 standalone 更稳定
Spark 主要是计算框架,而不是资源调度框架,所以一般还是部署在yarn上

spark-on-yarn(推荐)

运行在 yarn 资源管理器框架之上,由 yarn 负责资源管理,Spark 负责计算

有 yarn-client 和 yarn-cluster 两种模式

生产环境中多用 yarn-cluster