为什么编译
从Spark官网下载的预编译版本的Spark,受到诸多限制:
hadoop是 3.0.3,从官网下载的 spark3.0预编译 没有支持 hadoop 3.0.3 的
生产环境使用的Hadoop是CDH版本,那么从官网下载的预编译版本就不能使用;
为了兼容Spark新特性,生产环境只升级了HDFS组件,那么预编译版本也不能使用
因此,为了更好的兼容生产环境中大数据生态组件,需要编译Spark源码。
官网教程
https://spark.apache.org/docs/3.0.0/building-spark.html
要求
- 必须在 linux 上编译
参考:
https://blog.csdn.net/u011817217/article/details/81740792