MacOS 10下 Spark启动：WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform_mac pyspark报错 unable to load native-hadoop library

鉴于网上讲的各种版本特别多，尝试许久都不正确。以下为亲测有效的版本

环境介绍

操作系统：MacOS 10.14.6

Spark版本：2.4.3

Hadoop版本：2.2.1

引发问题原因：本人的原因是由于没有本地32位编译好的Hadoop包导致的，具体可以自行修改hadoop目录下hadoop-env.sh修改日志输出，添加参数`export HADOOP_ROOT_LOGGER=DEBUG,console`，使用`hadoop fs`命令定位具体问题：

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

解决方法分为3步：

1. 下载编译好的native包(万能的CSDN上有资源,附地址：https://download.csdn.net/download/loujun2016/10798878)，解压到/usr/local/Cellar/hadoop/3.1.2/libexec下

2. 确保~/.bash_profile中有`export HADOOP_HOME=/usr/local/Cellar/hadoop/3.1.2/libexec`正确

3. 配置hadoop-env.sh

`export HADOOP_OPTS="-Djava.library.path=/usr/local/Cellar/hadoop/3.1.2/libexec/native"`

任意目录下，使用hadoop fs检查是否还有WARN信息

4. 配置spark-env.sh

`export JAVA_LIBRARY_PATH=${HADOOP_HOME}/native`

在spark的bin目录下，使用./spark-shell启动，检查是否还有WARN信息