描述问题
执行 spark-shell、pyspark、spark-submit 等命令时,能正常运行,但有 警告,如下:
2022-05-01 11:21:42,686 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
解决
解决方法一(推荐)
在 $SPARK_HOME/conf/spark-env.sh 文件加下面配置:
export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native
然后再次执行命令,就没有警告了
解决方法二
设置 linux环境变量
编辑:
vim /etc/profile.d/bigdata_env.sh
添加下面内容:
export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native/:$LD_LIBRARY_PATH
立即生效:
source /etc/profile