spark WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform

描述问题

执行 spark-shell、pyspark、spark-submit 等命令时,能正常运行,但有 警告,如下:

2022-05-01 11:21:42,686 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

解决

解决方法一(推荐)

在 $SPARK_HOME/conf/spark-env.sh 文件加下面配置:

export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native

然后再次执行命令,就没有警告了

解决方法二

设置 linux环境变量

编辑:

vim /etc/profile.d/bigdata_env.sh

添加下面内容:

export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native/:$LD_LIBRARY_PATH

立即生效:

source /etc/profile

原文出处:/show_1IX3EStt6ZrZ.html