Spark整合hive_spark和hive的整合

整合hive和spark让spark能够操作hive中的表和数据

在hive的hive-site.xml修改一行配置，增加了这一行配置之后，以后在使用hive之前都需要先启动元数据服务

<property>
<name>hive.metastore.uris</name>
<value>thrift://master:9083</value>
</property>
1
2
3
4

将hive-site.xml 复制到spark conf目录下

 cp hive-site.xml /usr/local/soft/spark-2.4.5-bin-hadoop2.6/conf/
1

启动hive元数据服务(配置过hive的环境变量)

nohup hive --service metastore >> metastore.log 2>&1 &
1

将mysql 驱动包复制到saprk jars目录下

cp mysql-connector-java-5.1.17.jar /usr/local/soft/spark-2.4.5-bin-hadoop2.6/jars/
1

整合好之后在spark-sql 里面就可以使用hive的表了

spark-sql --master yarn-client  --conf  spark.sql.shuffle.partitions=2
1