当前位置:   article > 正文

HiveSQL和SparkSQL的区别和联系_sparksql和hivesql的区别

sparksql和hivesql的区别

一、SparkSQL和Hive对比

在这里插入图片描述

二、HiveSQL和SparkSQL的对比

sql生成mapreduce程序必要的过程:解析(Parser)、优化(Optimizer)、执行(Execution)
在这里插入图片描述

三、spark、hive on spark、spark on hive三者的比较

Hive引擎包括:默认MR、tez、spark

Hive on Spark:Hive既作为存储元数据又负责SQL的解析优化,语法是HQL语法,执行引擎变成了Spark,Spark负责采用RDD执行。

Spark on Hive : Hive只作为存储元数据,Spark负责SQL解析优化,语法是Spark SQL语法,Spark负责采用RDD执行。

【spark on hive 】

hive只作为存储角色,spark 负责sql解析优化,底层运行的还是sparkRDD

具体可以理解为spark通过sparkSQL使用hive语句操作hive表,底层运行的还是sparkRDD,

步骤如下:

1.通过sparkSQL,加载Hive的配置文件,获取Hive的元数据信息

2.获取到Hive的元数据信息之后可以拿到Hive表的数据

3.通过sparkSQL来操作Hive表中的数据

【hive on spark】

hive既作为存储又负责sql的解析优化,spark负责执行

这里Hive的执行引擎变成了spark,不再是MR。

这个实现较为麻烦,必须重新编译spark并导入相关jar包

目前大部分使用spark on hive

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/Li_阴宅/article/detail/767002
推荐阅读
相关标签
  

闽ICP备14008679号