当前位置: article > 正文

Spark On Hive配置_spark on hive 配置

作者：酷酷是懒虫 | 2024-08-16 11:08:20

踩

spark on hive 配置

Spark On Hive 配置步骤

在Spark客户端安装包下的conf目录中创建文件hive-site.xml，配置hive的metastore路径

<configuration>
   <property>
        <name>hive.metastore.uris</name>
        <value>thrift://node01:9083</value>
   </property>
</configuration>
1
2
3
4
5
6

启动Hive的metastore服务

hive --service metastore 
1

启动zookeeper集群，启动Hadoop集群
启动SparkShell 读取Hive中的表总数，对比hive中查询同一表查询总数测试时间

注意

如果使用Spark on Hive 查询数据时，出现错误：
在这里插入图片描述

找不到Hadoop集群路径，要在客户端机器conf/spark-env.sh中设置Hadoop的路径：
在这里插入图片描述

总结

上面写了一大堆，其实总体就两步：

配置hive的metastore路径
设置Hadoop路径

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/酷酷是懒虫/article/detail/987925