Spark记录-spark报错Unable to load native-hadoop library for your platform

字数统计: 136 | 阅读时长≈ 1 分钟

问题描述

spark搭建好之后，在启动spark-shell时报出了如下的警告，虽说不影响正常使用，但是看着不舒服，总想把它解决掉，在网上查找资料之后终于找到了解决办法

1	WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

在spark的conf/spark-env.sh文件加入

1	export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native

在/etc/profile或者~/.bashrc下添加如下内容

1	export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native

再次启动spark-shell，问题解决

打赏